上周,在中國(guó)信通院的引領(lǐng)下,ODCC春季全員大會(huì)在風(fēng)光秀麗的揚(yáng)州舉行。大會(huì)內(nèi)容豐富,涵蓋了服務(wù)器、設(shè)施、網(wǎng)絡(luò)、邊緣計(jì)算、新技術(shù)與測(cè)試、智能運(yùn)營(yíng)等多個(gè)工作組的技術(shù)研討,共計(jì)舉辦近十場(chǎng),近百位行業(yè)專(zhuān)家進(jìn)行了精彩的主題分享。作為AI網(wǎng)絡(luò)特別組及網(wǎng)絡(luò)工作組的成員,奇異摩爾積極參與大會(huì),與業(yè)界同仁共同探討AI網(wǎng)絡(luò)互聯(lián)應(yīng)用的發(fā)展趨勢(shì)。
當(dāng)前,國(guó)內(nèi)外GPU卡間互聯(lián)技術(shù)正呈現(xiàn)出多樣化的繁榮景象,不同標(biāo)準(zhǔn)、協(xié)議及產(chǎn)業(yè)鏈生態(tài)迅速發(fā)展,形成了“百家爭(zhēng)鳴”的格局。在本次大會(huì)上,中國(guó)移動(dòng)OISA、騰訊ETH-X以及UALink生態(tài)標(biāo)準(zhǔn)分別展示了各自生態(tài)的最新進(jìn)展,這一交流將有力推動(dòng)國(guó)內(nèi)開(kāi)放標(biāo)準(zhǔn)的快速發(fā)展,加速產(chǎn)業(yè)鏈上下游的協(xié)同創(chuàng)新。
超節(jié)點(diǎn)GPU互聯(lián)賦予推理大模型“滿血”性能
在DeepSeek通過(guò)算法優(yōu)化和創(chuàng)新技術(shù)顯著提高GPU利用率的大背景下,Scale-UP各生態(tài)標(biāo)準(zhǔn)組在ODCC大會(huì)期間深入探討了對(duì)推理集群中卡間互聯(lián)的HBD域需求及其重要性。與會(huì)專(zhuān)家詳細(xì)分析了,采用64卡H800互聯(lián)部署的DeepSeek大模型,相較于僅使用8卡GPU互聯(lián)的配置,推理效率提升了超過(guò)15%。
同時(shí),相關(guān)專(zhuān)家指出,盡管?chē)?guó)內(nèi)市場(chǎng)對(duì)DeepSeek一體機(jī)的需求火爆,但即便是配置了671B參數(shù)的算力,其實(shí)際在推理應(yīng)用能力上的性能發(fā)揮仍有潛力可挖。構(gòu)建由更多服務(wù)器組成的推理集群,才能真正釋放DeepSeek的完整潛能。在這一背景下,Scale-Up高效互聯(lián)技術(shù)構(gòu)建的超節(jié)點(diǎn)GPU互聯(lián)服務(wù)器,在提升大型推理模型的性能效率方面展現(xiàn)出顯著優(yōu)勢(shì)。
奇異摩爾積極推動(dòng)OISA Chiplet生態(tài)適配
去年6月由中國(guó)移動(dòng)創(chuàng)新提出的全向智感互聯(lián)架構(gòu)(OISA)旨在構(gòu)建一個(gè)高效、智能、靈活且開(kāi)放的GPU卡間互聯(lián)系統(tǒng),特別針對(duì)大模型訓(xùn)練、推理及高性能計(jì)算等數(shù)據(jù)密集型AI應(yīng)用進(jìn)行優(yōu)化。其全向連接設(shè)計(jì)確保了大規(guī)模GPU之間能夠進(jìn)行對(duì)等通信,而智能感知功能則通過(guò)定義流量感知標(biāo)簽,在提升數(shù)據(jù)傳輸效率的同時(shí),增強(qiáng)了鏈路的遙測(cè)和可視化能力。同時(shí),OISA從帶寬、時(shí)延及無(wú)損三個(gè)層次所對(duì)應(yīng)的事物層、數(shù)據(jù)層以及物理層進(jìn)行全面架構(gòu)的更新,更高效地支持張量并行和專(zhuān)家并行,對(duì)Dense模型及MoE專(zhuān)家稀疏化模型均有較大幫助。
(來(lái)源:OISA)
奇異摩爾作為OISA的重要聯(lián)盟成員正在全力推進(jìn)OISA Chiplet技術(shù)的協(xié)同與適配。在OISA GPU技術(shù)標(biāo)準(zhǔn)化的過(guò)程中,生態(tài)在協(xié)議層預(yù)留可擴(kuò)展接口與現(xiàn)有生態(tài)兼容。GPU內(nèi)部GPU Die通過(guò)與奇異摩爾的NDSA-G2G (又稱GPU I/O Die)集成共封,GPU Die與I/O Die接口通過(guò)與UCIe標(biāo)準(zhǔn)兼容,允許通過(guò)先進(jìn)封裝技術(shù)實(shí)現(xiàn)OISA體系的互聯(lián)集成,最終實(shí)現(xiàn)生態(tài)內(nèi)不同GPU 通過(guò)I/O Die完成卡間互聯(lián)。
(圖:Kiwi NDSA-G2G)
2024年,中國(guó)移動(dòng)算力計(jì)劃資本開(kāi)支475億元,同比增長(zhǎng)21.5%;2025年算力領(lǐng)域投資預(yù)計(jì)達(dá)373億元,占資本開(kāi)支的25%,重點(diǎn)投向智算資源(FP16算力超34EFLOPS)和推理資源(根據(jù)市場(chǎng)需求不設(shè)上限)。
奇異摩爾的NDSA-G2G以Chiplet形態(tài)為OISA生態(tài)賦能,構(gòu)建更大規(guī)模的超級(jí)節(jié)點(diǎn)Domain,助力中國(guó)移動(dòng)智算中心在國(guó)內(nèi)形成完整的算力閉環(huán)。
展望未來(lái),預(yù)計(jì)OISA將在年中發(fā)布相關(guān)協(xié)議的白皮書(shū)。屆時(shí),奇異摩爾將作為白皮書(shū)中的關(guān)鍵Chiplet技術(shù)貢獻(xiàn)者,為整個(gè)生態(tài)貢獻(xiàn)其專(zhuān)業(yè)知識(shí)和力量。
隨著大模型MoE架構(gòu)和萬(wàn)億參數(shù)模型過(guò)渡為常態(tài),超節(jié)點(diǎn)互聯(lián)正從"可選方案"進(jìn)化為"必選項(xiàng)"。奇異摩爾正積極攜手與國(guó)內(nèi)國(guó)外主流Scale Up生態(tài)(ETH-X, OISA, UAlink)共同打造更開(kāi)放、兼容的下一代互聯(lián)標(biāo)準(zhǔn)。當(dāng)前,AI基礎(chǔ)設(shè)施已進(jìn)入“規(guī)模算力”與“高效互聯(lián)”雙輪驅(qū)動(dòng)的新階段。奇異摩爾將持續(xù)攜手產(chǎn)業(yè)伙伴,以開(kāi)放生態(tài)加速超節(jié)點(diǎn)互聯(lián)技術(shù)的商業(yè)化進(jìn)程,助力全球AI產(chǎn)業(yè)突破算力瓶頸,邁向更智能的未來(lái)。
關(guān)于我們
AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商
奇異摩爾,成立于2021年初,是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進(jìn)的高性能RDMA 和Chiplet技術(shù),創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric,專(zhuān)為超大規(guī)模AI計(jì)算平臺(tái)量身打造,以滿足其對(duì)高性能互聯(lián)的嚴(yán)苛需求。
我們的產(chǎn)品線豐富而全面,涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品,如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴(kuò)展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案,為AI計(jì)算提供了堅(jiān)實(shí)的支撐。
奇異摩爾的核心團(tuán)隊(duì)匯聚了來(lái)自全球半導(dǎo)體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英,他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗(yàn),致力于推動(dòng)技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團(tuán)隊(duì)擁有超過(guò)50個(gè)高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項(xiàng)目的經(jīng)驗(yàn),為公司的產(chǎn)品和服務(wù)提供了強(qiáng)有力的技術(shù)保障。我們的使命是支持一個(gè)更具創(chuàng)造力的芯世界,愿景是讓計(jì)算變得簡(jiǎn)單。奇異摩爾以創(chuàng)新為驅(qū)動(dòng)力,技術(shù)探索新場(chǎng)景,生態(tài)構(gòu)建新的半導(dǎo)體格局,為高性能AI計(jì)算奠定穩(wěn)固的基石。
-
gpu
+關(guān)注
關(guān)注
28文章
4945瀏覽量
131224 -
chiplet
+關(guān)注
關(guān)注
6文章
459瀏覽量
12994 -
奇異摩爾
+關(guān)注
關(guān)注
0文章
61瀏覽量
3731
原文標(biāo)題:生態(tài)共建 | 奇異摩爾以互聯(lián)之長(zhǎng)推進(jìn)OISA GPU卡間互聯(lián)生態(tài)適配
文章出處:【微信號(hào):奇異摩爾,微信公眾號(hào):奇異摩爾】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
奇異摩爾田陌晨榮獲中國(guó)半導(dǎo)體行業(yè)領(lǐng)軍人物獎(jiǎng)
AS32S601 芯片在衛(wèi)星互聯(lián)網(wǎng)推進(jìn)系統(tǒng)中的技術(shù)適配性研究
認(rèn)識(shí) Thread 協(xié)議的互聯(lián)能力
Intel-Altera FPGA:通信行業(yè)的加速引擎,開(kāi)啟高速互聯(lián)新時(shí)代
奇異摩爾受邀出席第三屆HiPi Chiplet論壇
衢州市領(lǐng)導(dǎo)蒞臨奇異摩爾考察調(diào)研
摩爾線程完成DeepSeek開(kāi)源庫(kù)FlashMLA和DeepGEMM適配
奇異摩爾分享計(jì)算芯片Scale Up片間互聯(lián)新途徑

回顧:奇異摩爾@ ISCAS 2024 :聚焦互聯(lián)技術(shù)與創(chuàng)新實(shí)踐

摩爾線程成立摩爾學(xué)院,賦能GPU開(kāi)發(fā)者
摩爾線程GPU與超圖軟件大模型適配:共筑國(guó)產(chǎn)地理空間AI新生態(tài)
摩爾線程與超圖軟件完成產(chǎn)品兼容認(rèn)證
智原科技與奇異摩爾2.5D封裝平臺(tái)量產(chǎn)
國(guó)家大力部署 IPv6,打造下一代互聯(lián)網(wǎng)新生態(tài)

評(píng)論