推理將成為數(shù)據(jù)中心最常見的工作負(fù)載，這一點(diǎn)毋庸置疑。隨著數(shù)據(jù)中日益廣泛采用NVIDIA H100，以及非NVL72系統(tǒng)開始部署NVIDIA DGX B200，計(jì)算能力正迎來(lái)爆炸式增長(zhǎng)。

觀察PCIe各代產(chǎn)品帶寬擴(kuò)展與計(jì)算能力增長(zhǎng)的情況可以發(fā)現(xiàn)：從PCIe 3.0到6.0，帶寬增長(zhǎng)了8倍，而GPU FLOPS在同一時(shí)期增長(zhǎng)了37.5倍。

我們還發(fā)現(xiàn)，過(guò)去四年間，訓(xùn)練集群的平均FLOPS增加了905倍，而訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)點(diǎn)數(shù)量在同一時(shí)期增加了2,500倍。

雖然推理一直是且將繼續(xù)是計(jì)算密集型工作負(fù)載，但其對(duì)快速存儲(chǔ)的依賴正在迅速顯現(xiàn)。推理模型將推動(dòng)大語(yǔ)言模型 (LLM) 的實(shí)用性、準(zhǔn)確性和資源需求大幅提升。序列長(zhǎng)度的增加促使LLM系統(tǒng)設(shè)計(jì)不斷創(chuàng)新，將KV緩存存儲(chǔ)到磁盤而非刷新后重新計(jì)算正在成為效率更高的做法。這將對(duì)企業(yè)用于推理的GPU本地系統(tǒng)提出更高的性能要求。

我們關(guān)注這一趨勢(shì)已有一段時(shí)間，并因此研發(fā)出了美光9550這款性能出色的SSD。其高IOP和卓越能效能夠有效契合這些新興工作負(fù)載的需求。

舉例而言，我們使用微軟的DeepSpeed ZeRO-Inference工具對(duì)美光9550與某前沿競(jìng)品進(jìn)行了測(cè)試。結(jié)果顯示，美光9550的讀取速度快15%，平均功耗低27%，從而使SSD能耗低37%、系統(tǒng)總能耗低19%。

盡管寫入操作只占推理工作負(fù)載的一小部分，但不同SSD在寫入性能方面存在顯著差異。美光9550的寫入速度快78%，同時(shí)平均功耗低22%。這表明美光9550完成推理任務(wù)的能耗僅為其他產(chǎn)品的一半，且系統(tǒng)總能耗低43%。

隨著計(jì)算能力的迅猛發(fā)展以及推理領(lǐng)域令人矚目的實(shí)用性創(chuàng)新成果不斷涌現(xiàn)，存儲(chǔ)技術(shù)亟待跟上步伐。數(shù)據(jù)中心SSD的開發(fā)周期較長(zhǎng)；NAND制造、ASIC設(shè)計(jì)、功耗、散熱等環(huán)節(jié)均對(duì)AI系統(tǒng)中存儲(chǔ)的最終性能起著關(guān)鍵作用。美光多年來(lái)一直在測(cè)試人工智能 (AI) 工作負(fù)載，并將其視為美光9550以及其他新一代數(shù)據(jù)中心SSD開發(fā)工作的重要組成部分。我們深知，要打造契合未來(lái)AI工作負(fù)載需求的存儲(chǔ)解決方案，就必須在當(dāng)下先人一步。

測(cè)試詳情：

DeepSpeed ZeRO AIO讀取——在GPU內(nèi)部通過(guò)DeepSpeed庫(kù)模擬合成工作負(fù)載。

測(cè)試系統(tǒng)：2顆Intel Xeon Platinum 8568Y+、768GB DDR5 DRAM、2塊NVIDIA L40S GPU競(jìng)品是一款PCIe 5.0高性能數(shù)據(jù)中心SSD，其在規(guī)格和目標(biāo)用例方面與美光9550相似。

相關(guān)數(shù)據(jù)通過(guò)850次測(cè)試運(yùn)行產(chǎn)生，測(cè)試歷時(shí)446小時(shí)。

本文作者

Ryan Meredith

美光存儲(chǔ)解決方案架構(gòu)總監(jiān)