DeepSeek開(kāi)源周第四日，摩爾線程宣布已成功支持DeepSeek開(kāi)源通信庫(kù)DeepEP和并行算法DualPipe，并發(fā)布相關(guān)開(kāi)源代碼倉(cāng)庫(kù)：MT-DeepEP和MT-DualPipe。

DeepEP是一個(gè)用于MoE（混合專(zhuān)家）模型訓(xùn)練和推理的開(kāi)源EP（expert parallelism，專(zhuān)家并行）通信庫(kù)，主要適用于大模型訓(xùn)練，特別是需要EP的集群訓(xùn)練。它通過(guò)優(yōu)化通信信道的使用率，顯著提升了訓(xùn)練效率。摩爾線程基于MUSA Compute Capability 3.1全功能GPU，第一時(shí)間適配了DeepEP，支持以下特性：

高效優(yōu)化的 All-to-All 通信，支持 dispatch & combine

支持 MTLink + GPU（MUSA Compute Capability 3.1）節(jié)點(diǎn)內(nèi)通信

訓(xùn)練及推理預(yù)填充階段的高吞吐量計(jì)算核心

推理解碼階段的低延遲計(jì)算核心

原生支持 FP8 數(shù)據(jù)分發(fā)

靈活控制 GPU 資源，實(shí)現(xiàn)計(jì)算與通信的高效重疊

DualPipe是DeepSeek-V3提出的雙向流水線并行算法，通過(guò)前向計(jì)算與后向計(jì)算階段的計(jì)算與通信完全重疊，顯著減少了“流水線氣泡”（設(shè)備空閑等待）。與傳統(tǒng)流水線并行相比，DualPipe 采用雙向數(shù)據(jù)流設(shè)計(jì)，使數(shù)據(jù)從兩端相向處理，大幅提升了資源利用率與訓(xùn)練效率。

摩爾線程依托深度學(xué)習(xí)框架Torch-MUSA（已開(kāi)源）和MUSA軟件棧全方位的兼容性，實(shí)現(xiàn)了對(duì)DualPipe這一算法的高效支持。MT-DualPipe可以完整接入摩爾線程 MT-Megatron框架和MT-TransformerEngine框架（即將開(kāi)源），實(shí)現(xiàn)DeepSeek V3訓(xùn)練流程的完整復(fù)現(xiàn)。

此外，MT-DualPipe結(jié)合MT-Megatron可以實(shí)現(xiàn)完整DeepSeek V3模型的MLP-FFN分離以及DW-DG分離，進(jìn)一步降低氣泡占比，優(yōu)化通信效率。同時(shí)，MT-DualPipe與MT-TranformerEngine和MT-DeepEP的結(jié)合，可以利用MT-DeepEP和異步通信引擎實(shí)現(xiàn)更高效的通信掩蓋，大大降低對(duì)計(jì)算資源的損耗。

DeepEP和DualPipe的第一時(shí)間適配，充分驗(yàn)證了摩爾線程MUSA架構(gòu)和全功能GPU在生態(tài)兼容與快速適配上的強(qiáng)大優(yōu)勢(shì)。我們誠(chéng)摯歡迎廣大開(kāi)發(fā)者下載體驗(yàn)，并期待您的反饋與建議。

關(guān)于摩爾線程

摩爾線程成立于2020年10月，以全功能GPU為核心，致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案，為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。

我們的目標(biāo)是成為具備國(guó)際競(jìng)爭(zhēng)力的GPU領(lǐng)軍企業(yè)，為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺(tái)。我們的愿景是為美好世界加速。