AI 工廠依靠的不僅僅是計(jì)算網(wǎng)。當(dāng)然，連接 GPU 的東西向網(wǎng)絡(luò)對(duì)于 AI 應(yīng)用的性能至關(guān)重要，而連接高速存儲(chǔ)陣列的存儲(chǔ)網(wǎng)也不容忽視。存儲(chǔ)性能在運(yùn)行 AI 業(yè)務(wù)過程中的多個(gè)階段中發(fā)揮著關(guān)鍵作用,包括訓(xùn)練過程中的 Checkpoint 操作、推理過程中的檢索增強(qiáng)生成（RAG）等。

為了滿足這些需求，NVIDIA 和存儲(chǔ)生態(tài)合作伙伴正在將NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)擴(kuò)展到數(shù)據(jù)存儲(chǔ)網(wǎng)，從而帶來更高的性能和更快的實(shí)現(xiàn) AI 的時(shí)間。由于 Spectrum-X 動(dòng)態(tài)路由技術(shù)能夠緩解網(wǎng)絡(luò)中的流量沖突并增加有效帶寬，從而使存儲(chǔ)性能遠(yuǎn)高于 RoCE v2，RoCE v2 是大多數(shù)數(shù)據(jù)中心用于 AI 計(jì)算網(wǎng)和存儲(chǔ)網(wǎng)的以太網(wǎng)網(wǎng)絡(luò)協(xié)議。

Spectrum-X 將讀取帶寬加速了高達(dá) 48%，寫入帶寬加速了高達(dá) 41%。帶寬的增加可以更快地完成 AI 工作流中與存儲(chǔ)相關(guān)的操作，從而縮短訓(xùn)練業(yè)務(wù)的完成時(shí)間，并降低推理過程中的 Token 分配延遲。

Spectrum-X 的主要存儲(chǔ)合作伙伴

隨著 AI 工作負(fù)載的規(guī)模和復(fù)雜性不斷增加，存儲(chǔ)解決方案也必須不斷發(fā)展，以跟上現(xiàn)代 AI 工廠的需求。DDN、VAST Data?和WEKA?等領(lǐng)先的存儲(chǔ)供應(yīng)商正與 NVIDIA 合作，利用 Spectrum-X 集成和優(yōu)化其解決方案，為 AI 存儲(chǔ)網(wǎng)帶來先進(jìn)的功能。

Spectrum-X 對(duì) Israel-1 超級(jí)計(jì)算機(jī)的大規(guī)模影響

NVIDIA 已經(jīng)搭建了生成式 AI 超級(jí)計(jì)算機(jī) Israel-1，用于對(duì)各種 AI 網(wǎng)絡(luò)解決方案進(jìn)行預(yù)測(cè)試和驗(yàn)證以優(yōu)化 Spectrum-X 性能和簡(jiǎn)化網(wǎng)絡(luò)部署。這使 Israel-1 成為測(cè)試 Spectrum-X 如何影響存儲(chǔ)工作負(fù)載的良好平臺(tái)，展示了網(wǎng)絡(luò)在現(xiàn)實(shí)的超級(jí)計(jì)算機(jī)運(yùn)行狀態(tài)下對(duì)存儲(chǔ)性能的影響。

為了了解 Spectrum-X 對(duì)存儲(chǔ)網(wǎng)絡(luò)的影響，Israel-1 團(tuán)隊(duì)測(cè)量了從 NVIDIA HGX ?GPU 服務(wù)器客戶端訪問存儲(chǔ)時(shí)的讀寫帶寬。該測(cè)試（Flexible I/O Tester 基準(zhǔn)測(cè)試）在將網(wǎng)絡(luò)配置為標(biāo)準(zhǔn) RoCE v2 網(wǎng)絡(luò)的情況下執(zhí)行一次，然后在啟用 Spectrum-X 的動(dòng)態(tài)路由和擁塞控制后重新運(yùn)行。

這些測(cè)試使用了不同數(shù)量的 GPU 服務(wù)器作為客戶端運(yùn)行，覆蓋了從 40 個(gè) GPU 到 800 個(gè) GPU。在所有的測(cè)試中，Spectrum-X 都表現(xiàn)得更好。讀帶寬提升幅度在 20%到 48%之間，寫帶寬提升幅度在 9％到 41％之間，這些結(jié)果與 DDN、VAST?和 WEKA?等生態(tài)合作伙伴測(cè)到的加速性能一致。

存儲(chǔ)網(wǎng)絡(luò)性能對(duì)于 AI 性能至關(guān)重要

要想知道 Spectrum-X 為何會(huì)帶來如此大的影響，需要先了解存儲(chǔ)在 AI 業(yè)務(wù)中的重要性。AI 性能不僅僅受大語言模型（LLM）每一步完成時(shí)間的影響，還與許多其他因素有關(guān)。例如，由于模型訓(xùn)練通常需要幾天、幾周或幾個(gè)月才能完成，因此設(shè)置 Checkpoint 或保存部分訓(xùn)練模型的中間結(jié)果到存儲(chǔ)非常重要，通常需要每隔幾個(gè)小時(shí)操作一次。這意味著，萬一系統(tǒng)出現(xiàn)問題，訓(xùn)練進(jìn)度不會(huì)丟失。

對(duì)于具有數(shù)十億至數(shù)萬億參數(shù)的模型，這些 Checkpoint 的狀態(tài)變得越來越大，現(xiàn)在最大型 LLM 模型會(huì)生成高達(dá)數(shù) TB 的數(shù)據(jù)，保存數(shù)據(jù)或恢復(fù)數(shù)據(jù)會(huì)產(chǎn)生多條“大象流”，這些突發(fā)的大象流，可能會(huì)淹沒交換機(jī)的緩沖和鏈路，所以網(wǎng)絡(luò)必須保證為訓(xùn)練工作負(fù)載提供最佳利用率。

檢索增強(qiáng)生成（RAG）是另一個(gè)存儲(chǔ)網(wǎng)可以影響工作負(fù)載性能的例子，借助 RAG，LLM 與不斷增長(zhǎng)的知識(shí)庫相結(jié)合，為模型添加特定領(lǐng)域的上下文，從而提供更快的響應(yīng)時(shí)間，而無需額外的模型訓(xùn)練或微調(diào)。RAG 的工作原理是獲取額外的內(nèi)容或知識(shí)，并將其嵌入到向量數(shù)據(jù)庫中，從而使其成為可搜索到的知識(shí)庫。

輸入推理提示時(shí)，系統(tǒng)會(huì)解析（嵌入）提示并搜索數(shù)據(jù)庫，檢索到的內(nèi)容會(huì)向提示添加上下文，以幫助 LLM 制定最佳答案。向量數(shù)據(jù)庫是多維的，可能非常龐大，尤其是由圖像和視頻組成的知識(shí)庫。

這些數(shù)據(jù)庫通過存儲(chǔ)網(wǎng)連接到推理節(jié)點(diǎn)，網(wǎng)絡(luò)必須確?？焖?a target="_blank">通信以盡可能降低延遲。對(duì)于多租戶生成式 AI 工廠而言，這一點(diǎn)變得尤為重要，因?yàn)檫@些工廠每秒要處理大量的查詢。

存儲(chǔ)中動(dòng)態(tài)路由和擁塞控制的應(yīng)用

Spectrum-X 平臺(tái)引入了 InfiniBand 網(wǎng)絡(luò)上的關(guān)鍵創(chuàng)新技術(shù)，例如RoCE Adaptive Routing（動(dòng)態(tài)路由）和RoCE Congestion Control（擁塞控制）。NVIDIA 通過采用這些創(chuàng)新技術(shù)并將其與存儲(chǔ)網(wǎng)相結(jié)合，提高了存儲(chǔ)工作負(fù)載的性能和網(wǎng)絡(luò)利用率。

動(dòng)態(tài)路由

為了消除大象流之間的碰撞并減輕 Checkpoint 過程中產(chǎn)生的網(wǎng)絡(luò)流量，動(dòng)態(tài)路由可以對(duì)于網(wǎng)絡(luò)上的流進(jìn)行逐包的動(dòng)態(tài)負(fù)載平衡，Spectrum-4 以太網(wǎng)交換機(jī)根據(jù)實(shí)時(shí)擁塞狀況來選擇擁塞最低的路徑。由于數(shù)據(jù)包被噴灑到整個(gè)網(wǎng)絡(luò)中，到達(dá)目的地時(shí)它們可能會(huì)出現(xiàn)亂序，在傳統(tǒng)的以太網(wǎng)下，這將需要重新傳輸許多數(shù)據(jù)包。

借助 Spectrum-X，接收端主機(jī)里的 SuperNIC 或數(shù)據(jù)處理器（DPU）知道數(shù)據(jù)包的正確順序，可以在主機(jī)內(nèi)存中按序放置數(shù)據(jù)包，從而使動(dòng)態(tài)路由對(duì)應(yīng)用程序透明。這可提高網(wǎng)絡(luò)利用率，為 Checkpoint、數(shù)據(jù)獲取等實(shí)現(xiàn)更高的有效帶寬以及提供可預(yù)測(cè)、一致的結(jié)果。

擁塞控制

Checkpoints 和其它存儲(chǔ)操作通常會(huì)導(dǎo)致 Incast 擁塞，也稱為多對(duì)一擁塞。當(dāng)多個(gè)客戶端嘗試向單個(gè)存儲(chǔ)節(jié)點(diǎn)寫入數(shù)據(jù)時(shí)，就會(huì)出現(xiàn)這種情況。Spectrum-X 引入了一種基于遙測(cè)的擁塞控制技術(shù)，使用交換機(jī)中硬件遙測(cè)技術(shù)來通知 SuperNIC 或 DPU，以降低發(fā)送端的數(shù)據(jù)注入速率（即 RDMA 寫和讀)。從而防止出現(xiàn)擁塞熱點(diǎn)，這些熱點(diǎn)可能會(huì)反向傳播，導(dǎo)致相鄰作業(yè)或進(jìn)程受到擁塞的不公平影響。

增強(qiáng)彈性

由于 AI 工廠通常由大量交換機(jī)、線纜和收發(fā)器組成，任何鏈路中斷都可能導(dǎo)致網(wǎng)絡(luò)性能的大幅下降，因此網(wǎng)絡(luò)彈性對(duì)于維護(hù)基礎(chǔ)設(shè)施的健康至關(guān)重要。Spectrum-X 全局動(dòng)態(tài)路由可在鏈路中斷時(shí)實(shí)現(xiàn)優(yōu)化、快速的重新收斂，從而充分利用存儲(chǔ)網(wǎng)。

NVIDIA 全棧集成

除了 Spectrum-X 為存儲(chǔ)網(wǎng)帶來的創(chuàng)新之外，NVIDIA 還提供并推薦使用多種 SDK、庫和軟件產(chǎn)品，以加速存儲(chǔ)到 GPU 數(shù)據(jù)通路，其中包括但不限于以下內(nèi)容：

NVIDIA Air：一款基于云的網(wǎng)絡(luò)仿真工具，用于對(duì)交換機(jī)、SuperNIC 和存儲(chǔ)進(jìn)行建模，可加速 Day 0、Day 1 和 Day 2 對(duì)于存儲(chǔ)網(wǎng)的操作。

NVIDIA Cumulus Linux：基于自動(dòng)化部署和 API 構(gòu)建的網(wǎng)絡(luò)操作系統(tǒng)，可確保大規(guī)模網(wǎng)絡(luò)的平穩(wěn)運(yùn)營(yíng)和管理。

NVIDIA DOCA：面向 NVIDIA SuperNIC 和 DPU 的 SDK，可在存儲(chǔ)、安全等方面提供出色的可編程性和性能。

NVIDIA NetQ：一款網(wǎng)絡(luò)驗(yàn)證工具集，集成了交換機(jī)遙測(cè)技術(shù)，可提供網(wǎng)絡(luò)的實(shí)時(shí)可見性。

NVIDIA GPUDirect Storage：一項(xiàng)在存儲(chǔ)和 GPU 顯存之間建立直接數(shù)據(jù)路徑的技術(shù)，可提高數(shù)據(jù)傳輸效率。

開始使用 Spectrum-X

隨著模型越來越大，數(shù)據(jù)走向更多的多模態(tài)，存儲(chǔ)將一直是生成式 AI 訓(xùn)練和操作的關(guān)鍵要素。