ChatGPT 的爆火掀起了 AI 大模型狂飆熱潮，隨著國(guó)內(nèi)外原來(lái)越多的 AI 大模型應(yīng)用落地，AI 算力需求快速增加。在算力的背后，網(wǎng)絡(luò)起到至關(guān)重要的作用——網(wǎng)絡(luò)性能決定 GPU 集群算力，網(wǎng)絡(luò)可用性決定 GPU 集群算力穩(wěn)定性。因此，高性能與高可用的網(wǎng)絡(luò)對(duì) AI 大模型的構(gòu)建尤為重要。

6 月 26 日，騰訊云舉辦《面向 AI 大模型的高性能網(wǎng)絡(luò)》溝通會(huì)，首次對(duì)外完整披露自研星脈高性能計(jì)算網(wǎng)絡(luò)，并梳理了騰訊的網(wǎng)絡(luò)架構(gòu)演進(jìn)歷程。會(huì)后，騰訊云副總裁王亞晨、騰訊云數(shù)據(jù)中心網(wǎng)絡(luò)總監(jiān)李翔接受了 InfoQ 在內(nèi)的媒體采訪，進(jìn)一步分享面向 AI 大模型的高性能網(wǎng)絡(luò)是如何構(gòu)建的。

據(jù)了解，星脈網(wǎng)絡(luò)具備業(yè)界最高的 3.2T 通信帶寬，可提升 40% 的 GPU 利用率、節(jié)省 30%~60% 的模型訓(xùn)練成本，進(jìn)而能為 AI 大模型帶來(lái) 10 倍通信性能提升?；隍v訊云新一代算力集群，可支持 10 萬(wàn)卡的超大計(jì)算規(guī)模。

王亞晨表示：“星脈網(wǎng)絡(luò)是為大模型而生。它所提供的大帶寬、高利用率以及零丟包的高性能網(wǎng)絡(luò)服務(wù)，將助力算力瓶頸的突破，進(jìn)一步釋放 AI 潛能，全面提升企業(yè)大模型的訓(xùn)練效率，在云上加速大模型技術(shù)的迭代升級(jí)和落地應(yīng)用?！?/p>

AI 大模型時(shí)代需要什么樣的網(wǎng)絡(luò)？ 大帶寬、高利用率、無(wú)損

AI 大模型訓(xùn)練需要海量算力的支撐，而這些算力無(wú)法由單臺(tái)服務(wù)器提供，需要由大量的服務(wù)器作為節(jié)點(diǎn)，通過(guò)高速網(wǎng)絡(luò)組成集群，服務(wù)器之間互聯(lián)互通，相互協(xié)作完成任務(wù)。有數(shù)據(jù)顯示，GPT-3.5 的訓(xùn)練使用了微軟專門建設(shè)的 AI 計(jì)算系統(tǒng)，由 1 萬(wàn)個(gè) V100 GPU 組成的高性能網(wǎng)絡(luò)集群，總算力消耗約 3640 PF-days (假如每秒計(jì)算一千萬(wàn)億次，需要計(jì)算 3640 天)。

如此大規(guī)模、長(zhǎng)時(shí)間的 GPU 集群訓(xùn)練任務(wù)，僅僅是單次計(jì)算迭代內(nèi)梯度同步需要的通信量就達(dá)到了百 GB 量級(jí)，此外還有各種并行模式、加速框架引入的通信需求。如果網(wǎng)絡(luò)的帶寬不夠大、延時(shí)長(zhǎng)，不僅會(huì)讓算力邊際遞減，還增加了大模型訓(xùn)練的時(shí)間成本。因此，大帶寬、高利用率、無(wú)損的高性能網(wǎng)絡(luò)至關(guān)重要。

王亞晨表示，大模型運(yùn)算實(shí)際上是一個(gè)通信過(guò)程，一部分 GPU 進(jìn)行運(yùn)算，運(yùn)算完成后還需要與其他 GPU 之間交互數(shù)據(jù)。通信帶寬越大，數(shù)據(jù)傳輸越快，GPU 利用率越高，等待時(shí)間就會(huì)越少。此外，大模型訓(xùn)練對(duì)時(shí)延和丟包要求也比較高。“假設(shè)有很多 GPU 運(yùn)算同一個(gè)任務(wù)，因?yàn)橛心就靶?yīng)存在，一定要等花費(fèi)時(shí)間最長(zhǎng)的 GPU 運(yùn)算完之后，才能完成一個(gè)運(yùn)算任務(wù)。AI 對(duì)于時(shí)延的敏感度比 CPU 高很多，所以一定要把木桶效應(yīng)消除，把時(shí)延控制在非常短的水平，讓 GPU 的效率更高。此外，和帶寬、時(shí)延相比，丟包對(duì) GPU 效率的影響更加明顯，一旦丟包就需要重傳，重新進(jìn)行 GPU 的訓(xùn)練?！?/p>

王亞晨認(rèn)為，大集群不等于大算力。集群訓(xùn)練會(huì)引入額外的通信開銷，導(dǎo)致 N 個(gè) GPU 算力達(dá)不到單個(gè) GPU 算力的 N 倍。這也意味著，一味地增加 GPU 卡或計(jì)算節(jié)點(diǎn)，并不能線性地提升算力收益?！癎PU 利用率的合理水平大概是在 60% 左右?！蓖鮼喅空f(shuō)道。

要想通過(guò)集群發(fā)揮出更強(qiáng)的算力，計(jì)算節(jié)點(diǎn)需協(xié)同工作并共享計(jì)算結(jié)果，需要優(yōu)化服務(wù)器之間的通信、拓?fù)?、模型并行、流水并行等底層?wèn)題。高速、低延遲的網(wǎng)絡(luò)連接可以縮短兩個(gè)節(jié)點(diǎn)之間同步梯度信息的時(shí)間，使得整個(gè)訓(xùn)練過(guò)程變得更快。同時(shí)，降低不必要的計(jì)算資源消耗，使計(jì)算節(jié)點(diǎn)能夠?qū)Ｗ⒂谶\(yùn)行訓(xùn)練任務(wù)。

AI 大模型驅(qū)動(dòng) DCN 網(wǎng)絡(luò)代際演進(jìn)

據(jù)介紹，騰訊網(wǎng)絡(luò)主要提供的功能是“連接”，一是連接用戶到機(jī)器的流量，二是連接機(jī)器到機(jī)器的流量。目前，騰訊的網(wǎng)絡(luò)架構(gòu)主要分三大部分：

ECN 架構(gòu)，表示不同類型的客戶通過(guò)多種網(wǎng)絡(luò)方式接入云上虛擬網(wǎng)絡(luò)，這一塊主要是外聯(lián)架構(gòu)，主要包括終端用戶、企業(yè)用戶、物聯(lián)網(wǎng)用戶分別通過(guò)運(yùn)營(yíng)商專線、企業(yè)專線、邊緣網(wǎng)關(guān)接入騰訊數(shù)據(jù)中心。

DCI 網(wǎng)絡(luò)，主要是數(shù)據(jù)中心之間的互聯(lián)，實(shí)現(xiàn)一個(gè)城市多數(shù)據(jù)中心或者多個(gè)城市的數(shù)據(jù)中心進(jìn)行互聯(lián)，底層會(huì)用到光纖傳輸。

DCN，主要是數(shù)據(jù)中心的網(wǎng)絡(luò)，這部分的任務(wù)是實(shí)現(xiàn)數(shù)據(jù)中心里面超過(guò) 10 萬(wàn)或者幾十萬(wàn)服務(wù)器進(jìn)行無(wú)阻塞的連接。

騰訊通過(guò) ECN、DCI、DCN 等網(wǎng)絡(luò)，把用戶和業(yè)務(wù)服務(wù)器連接起來(lái)，并且把數(shù)百萬(wàn)臺(tái)服務(wù)器連接起來(lái)。

王亞晨表示，AI 大模型的發(fā)展驅(qū)動(dòng)了 DCN 網(wǎng)絡(luò)代際演進(jìn)。

在移動(dòng)互聯(lián)網(wǎng)時(shí)代，騰訊的業(yè)務(wù)以 to C 為主，數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)器規(guī)模并不大，當(dāng)時(shí)主要解決的是數(shù)據(jù)中心、服務(wù)器之間的互聯(lián)，以及運(yùn)營(yíng)商之間的互聯(lián)。所以那時(shí)數(shù)據(jù)中心流量特征很明顯，基本都是外部訪問(wèn)的流量，對(duì)網(wǎng)絡(luò)的時(shí)延和丟包要求也不高。

隨著移動(dòng)互聯(lián)網(wǎng)以及云的快速發(fā)展，數(shù)據(jù)中心網(wǎng)絡(luò)流量模型發(fā)生了變化，除了有從運(yùn)營(yíng)商訪問(wèn)過(guò)來(lái)的南北向流量，也有數(shù)據(jù)中心之間互訪的東西向流量，對(duì)網(wǎng)絡(luò)的時(shí)延要求也是從前的 10 倍。為了降低設(shè)備故障對(duì)網(wǎng)絡(luò)的影響，騰訊采用多平面設(shè)計(jì)，并引入了控制器的概念，把轉(zhuǎn)發(fā)面和控制面進(jìn)行分離。用定制的設(shè)備、多平面以及 SDN 的路由器控制，將故障的解決時(shí)間控制在一分鐘之內(nèi)。

在 AI 大模型時(shí)代，數(shù)據(jù)中心網(wǎng)絡(luò)流量模型進(jìn)一步發(fā)生變化。“到了 AI 大模型時(shí)代，我們發(fā)現(xiàn)東西向流量比以前大了很多，尤其是 AI 在訓(xùn)練的時(shí)候，幾乎沒(méi)有什么南北向流量。我們預(yù)計(jì)如果大模型逐漸成熟，明年大模型數(shù)據(jù)中心流量南北向流量可能會(huì)有所增長(zhǎng)，因?yàn)橥评硇枨髸?huì)上來(lái)。但就現(xiàn)在而言，東西向流量需求非常大，我們 DCN 網(wǎng)絡(luò)設(shè)計(jì)會(huì)把南北向流量和東西向流量分開，以前是耦合在一張網(wǎng)絡(luò)里，基礎(chǔ)網(wǎng)絡(luò)都是一套交換機(jī)，只是分不同層。但到了 GPU 時(shí)代，我們需要專門為 GPU 構(gòu)建一層高性能網(wǎng)絡(luò)?！蓖鮼喅空f(shuō)道。

基于此，騰訊打造出了高性能網(wǎng)絡(luò)星脈：具備業(yè)界最高的 3.2T 通信帶寬，能提升 40% 的 GPU 利用率，節(jié)省 30%~60% 的模型訓(xùn)練成本，為 AI 大模型帶來(lái) 10 倍通信性能提升。基于騰訊云新一代算力集群 HCC，可支持 10 萬(wàn)卡的超大計(jì)算規(guī)模。

高性能網(wǎng)絡(luò)星脈是如何設(shè)計(jì)的？

據(jù)李翔介紹，騰訊網(wǎng)絡(luò)大概由大大小小幾十個(gè)組件組成，數(shù)據(jù)中心網(wǎng)絡(luò)是其中最大、歷史最悠久的一個(gè)。在 PC 和移動(dòng)互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)中心網(wǎng)絡(luò)主要解決的是規(guī)模問(wèn)題。而進(jìn)入算力時(shí)代，業(yè)務(wù)對(duì)算力網(wǎng)絡(luò)有了更高的要求。

“舉個(gè)例子，如果說(shuō)過(guò)去兩個(gè)階段數(shù)據(jù)中心網(wǎng)絡(luò)是‘村村通’，解決大規(guī)模部署和廣覆蓋的問(wèn)題，那么在算力時(shí)代，數(shù)據(jù)中心網(wǎng)絡(luò)就是全自動(dòng)化、無(wú)擁塞的高速公路?！崩钕璞硎荆珹I 大模型對(duì)互聯(lián)有比較高的要求，幾千張 GPU 協(xié)同計(jì)算，如果出現(xiàn)任何一個(gè)丟包阻塞，那么全部都要降速，這種降速 1 分鐘就有幾十萬(wàn)的損失。

基于此，騰訊云開始搭建算力集群。4 月 14 日，騰訊云正式發(fā)布面向大模型訓(xùn)練的新一代 HCC（High-Performance Computing Cluster）高性能計(jì)算集群。網(wǎng)絡(luò)層面，計(jì)算節(jié)點(diǎn)間存在海量的數(shù)據(jù)交互需求，隨著集群規(guī)模擴(kuò)大，通信性能會(huì)直接影響訓(xùn)練效率。騰訊自研的星脈網(wǎng)絡(luò)，為新一代集群帶來(lái)了業(yè)界最高的 3.2T 的超高通信帶寬。

據(jù)介紹，騰訊對(duì)大模型集群網(wǎng)絡(luò)做了以下幾大優(yōu)化：

（1）采用高性能 RDMA 網(wǎng)絡(luò)

RDMA（GPU 之間直接通信），是一種高性能、低延遲的網(wǎng)絡(luò)通信技術(shù)，主要用于數(shù)據(jù)中心高性能計(jì)算，允許計(jì)算節(jié)點(diǎn)之間直接通過(guò) GPU 進(jìn)行數(shù)據(jù)傳輸，無(wú)需操作系統(tǒng)內(nèi)核和 CPU 的參與。這種數(shù)據(jù)傳輸方法可以顯著提高吞吐量并降低延遲，從而使計(jì)算節(jié)點(diǎn)之間的通信更加高效。

過(guò)往的數(shù)據(jù)中心 VPC 網(wǎng)絡(luò)，在源服務(wù)器與目標(biāo)服務(wù)器之間傳輸時(shí)，需要經(jīng)過(guò)多層協(xié)議棧的處理，過(guò)往數(shù)據(jù)每一層都會(huì)產(chǎn)生延遲，而騰訊自研的星脈 RDMA 網(wǎng)絡(luò)，可以讓 GPU 之間直接進(jìn)行數(shù)據(jù)通信。

打個(gè)比方，就像之前貨物在運(yùn)輸途中需要多次分揀和打包，現(xiàn)在通過(guò)高速傳送帶、不經(jīng)過(guò)中間環(huán)節(jié)，貨物直接送到目的地

同時(shí)，由于星脈 RDMA 直接在 GPU 中傳輸數(shù)據(jù)，CPU 資源得以節(jié)省，從而提高計(jì)算節(jié)點(diǎn)的整體性能和效率。

（2）自研網(wǎng)絡(luò)協(xié)議（TiTa）

在網(wǎng)絡(luò)協(xié)議上，騰訊云通過(guò)自研 TiTa 協(xié)議，讓數(shù)據(jù)交換不擁塞、時(shí)延低，使星脈網(wǎng)絡(luò)可以實(shí)現(xiàn) 90% 負(fù)載 0 丟包。

網(wǎng)絡(luò)協(xié)議是在計(jì)算節(jié)點(diǎn)之間傳輸數(shù)據(jù)的規(guī)則和標(biāo)準(zhǔn)，主要關(guān)注數(shù)據(jù)傳輸?shù)目刂品绞?，能改善網(wǎng)絡(luò)連接性能、通信效率和延遲問(wèn)題。

為了滿足大型模型訓(xùn)練中的超低時(shí)延、無(wú)損和超大帶寬要求，傳統(tǒng)的網(wǎng)絡(luò)協(xié)議由于其固有的設(shè)計(jì)與性能限制，無(wú)法滿足這些需求，還需要對(duì)“交通規(guī)則”進(jìn)行優(yōu)化。

星脈網(wǎng)絡(luò)采用的自研端網(wǎng)協(xié)同協(xié)議 TiTa，可提供更高的網(wǎng)絡(luò)通信性能，特別是在滿足大規(guī)模參數(shù)模型訓(xùn)練的需求方面。TiTa 協(xié)議內(nèi)嵌擁塞控制算法，以實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)狀態(tài)并進(jìn)行通信優(yōu)化，使得數(shù)據(jù)傳輸更加流暢且延遲降低。

（3）定制化高性能集合通信庫(kù) TCCL

通信庫(kù)在訓(xùn)練過(guò)程中負(fù)責(zé)管理計(jì)算節(jié)點(diǎn)間的數(shù)據(jù)通信。面對(duì)定制設(shè)計(jì)的高性能組網(wǎng)架構(gòu)，業(yè)界開源的 GPU 集合通信庫(kù)（比如 NCCL）并不能將網(wǎng)絡(luò)的通信性能發(fā)揮到極致，從而影響大模型訓(xùn)練的集群效率。

為解決星脈網(wǎng)絡(luò)的適配問(wèn)題，騰訊云還為星脈定制了高性能集合通信庫(kù) TCCL（Tencent Collective Communication Library），相對(duì)業(yè)界開源集合通信庫(kù)，可以提升 40% 左右的通信性能。

并在網(wǎng)卡設(shè)備管理、全局網(wǎng)絡(luò)路由、拓?fù)涓兄H和性調(diào)度、網(wǎng)絡(luò)故障自動(dòng)告警等方面融入了定制設(shè)計(jì)的解決方案。

（4）多軌道網(wǎng)絡(luò)架構(gòu)

星脈網(wǎng)絡(luò)對(duì)通信流量做了基于多軌道的流量親和性規(guī)劃，使得集群通信效率達(dá) 80% 以上。

多軌道流量聚合架構(gòu)將不同服務(wù)器上位于相同位置的網(wǎng)卡，都?xì)w屬于同一 ToR switch；不同位置的網(wǎng)卡，歸屬于不同的 ToR switch。由于每個(gè)服務(wù)器有 8 張計(jì)算平面網(wǎng)卡，這樣整個(gè)計(jì)算網(wǎng)絡(luò)平面從物理上劃分為 8 個(gè)獨(dú)立并行的軌道平面。

在多軌道網(wǎng)絡(luò)架構(gòu)中，AI 訓(xùn)練產(chǎn)生的通信需求（AllReduce、All-to-All 等）可以用多個(gè)軌道并行傳輸加速，并且大部分流量都聚合在軌道內(nèi)傳輸（只經(jīng)過(guò)一級(jí) ToR switch），小部分流量才會(huì)跨軌道傳輸（需要經(jīng)過(guò)二級(jí) switch），大幅減輕了大規(guī)模下的網(wǎng)絡(luò)通信壓力。

（5）異構(gòu)網(wǎng)絡(luò)自適應(yīng)通信

大規(guī)模 AI 訓(xùn)練集群架構(gòu)中，GPU 之間的通信實(shí)際上由多種形式的網(wǎng)絡(luò)來(lái)承載的：機(jī)間網(wǎng)絡(luò)（網(wǎng)卡 + 交換機(jī)）與機(jī)內(nèi)網(wǎng)絡(luò)（NVLink/NVSwitch 網(wǎng)絡(luò)、PCIe 總線網(wǎng)絡(luò)）。

星脈網(wǎng)絡(luò)將機(jī)間、機(jī)內(nèi)兩種網(wǎng)絡(luò)同時(shí)利用起來(lái)，達(dá)成異構(gòu)網(wǎng)絡(luò)之間的聯(lián)合通信優(yōu)化，使大規(guī)模 All-to-All 通信在業(yè)務(wù)典型 message size 下的傳輸性能提升達(dá) 30%。

（6）自研全棧網(wǎng)絡(luò)運(yùn)營(yíng)系統(tǒng)

為確保星脈網(wǎng)絡(luò)的高可用性，騰訊云還自研了端到端全棧網(wǎng)絡(luò)運(yùn)營(yíng)系統(tǒng)，先是實(shí)現(xiàn)了端網(wǎng)部署一體化以及一鍵故障定位，提升高性能網(wǎng)絡(luò)的易用性，進(jìn)而通過(guò)精細(xì)化監(jiān)控與自愈手段，提升可用性，為極致性能的星脈網(wǎng)絡(luò)提供全方位運(yùn)營(yíng)保障。

具體應(yīng)用成效方面，大模型訓(xùn)練系統(tǒng)的整體部署時(shí)間可以從 19 天縮減至 4.5 天，保證基礎(chǔ)配置 100% 準(zhǔn)確，并讓系統(tǒng)故障的排查時(shí)間由天級(jí)降低至每分鐘級(jí)，故障的自愈時(shí)間縮短到秒級(jí)。

寫在最后

AI 大模型時(shí)代給網(wǎng)絡(luò)帶來(lái)了新的機(jī)遇與挑戰(zhàn)。隨著 GPU 算力的持續(xù)提升，GPU 集群網(wǎng)絡(luò)架構(gòu)也需要不斷迭代升級(jí)。

王亞晨表示，未來(lái)，星脈網(wǎng)絡(luò)將圍繞算力網(wǎng)卡、高效轉(zhuǎn)發(fā)、在網(wǎng)計(jì)算、高速互聯(lián)四大方向持續(xù)迭代。“這四個(gè)迭代方向也與我們面臨的痛點(diǎn)相關(guān)，目前我們重點(diǎn)發(fā)力算力網(wǎng)卡和高效轉(zhuǎn)發(fā)這兩大方向。其中，算力網(wǎng)卡需要與交換機(jī)做配合，實(shí)現(xiàn)更優(yōu)的、類似主動(dòng)預(yù)測(cè)控制的機(jī)制，讓網(wǎng)絡(luò)更不容易擁塞；高效轉(zhuǎn)發(fā)方面，之后可能會(huì)變成定長(zhǎng)包的轉(zhuǎn)發(fā)機(jī)制，這樣也能保證整體效率?！?/p>