AMD和Nvidia陷入了一場(chǎng)人工智能性能之戰(zhàn)——就像兩家公司幾十年來(lái)在游戲GPU性能上的競(jìng)爭(zhēng)一樣。

AMD聲稱其新的Instinct MI300X GPU是世界上最快的人工智能芯片，擊敗了Nvidia炙手可熱的H100和即將推出的H200 GPU。AMDCEO Lisa Su最近在一個(gè)人工智能活動(dòng)上發(fā)表演講時(shí)表示：“這是世界上性能最高的生成式人工智能加速器?！?/p>

這標(biāo)志著MI300X的正式推出，它是MI300A的一個(gè)更強(qiáng)大的版本，將用于Lawrence Livermore國(guó)家實(shí)驗(yàn)室建造的代號(hào)為El Capitan的200億次超級(jí)計(jì)算機(jī)。

MI300X基于CDNA3架構(gòu)，可為FP16和BFLoat16等關(guān)鍵AI數(shù)據(jù)類型提供三倍以上的性能。該芯片有1530億個(gè)晶體管，采用3D封裝；內(nèi)部使用了5納米和6納米工藝制造的芯片模塊。該芯片擁有304個(gè)GPU計(jì)算單元，192GB HBM3內(nèi)存，5.3 TB/s內(nèi)存帶寬。

MI300X的峰值FP32性能為163.4 teraflops，峰值FP64性能為81.7 teraflops。上一代MI250X的峰值單精度(FP32)矢量和雙精度(FP64)矢量性能為47.9 teraflops。AMD還將其芯片與H100的SXM版本進(jìn)行了比較，Nvidia H100 SXM可提供68 teraflops的峰值FP32性能和34 teraflops的FP64性能。H100 NVL模型在性能上縮小了差距，可提供134teraflops的FP32性能和68teraflops的FP64性能。

Nvidia即將推出的H200是H100的內(nèi)存升級(jí)版本，但內(nèi)存和帶寬仍然比MI300X少。H200的GPU內(nèi)存為141GB，帶寬為4.8TB/s。

“對(duì)于MI300X，我們?cè)黾恿烁蟮撵`活性、更大的內(nèi)存容量和更大的帶寬。這意味著它的內(nèi)存容量是競(jìng)爭(zhēng)對(duì)手的2.4倍，內(nèi)存帶寬是1.6倍?！盨u將MI300X與Nvidia的H100 SXM型號(hào)進(jìn)行了比較，后者具有80GB的HBM內(nèi)存和3.35TB/s的內(nèi)存帶寬。two-pieceH100 NVL型號(hào)的HBM3內(nèi)存為188GB，但內(nèi)存帶寬為7.8TB/s，超過(guò)了MI300X。

AMD能保持這個(gè)頭銜多久還有待觀察。Nvidia正計(jì)劃對(duì)其芯片進(jìn)行年度升級(jí)，新的B100 GPU將于2024年推出，X100 GPU將于2025年推出。

AMD在短短一年的時(shí)間里取得了長(zhǎng)足的進(jìn)步。一年前，當(dāng)ChatGPT出現(xiàn)時(shí)，AMD措手不及。聊天機(jī)器人推動(dòng)Nvidia成長(zhǎng)為一家價(jià)值數(shù)萬(wàn)億美元的公司，A100和H100 GPU成為最熱門(mén)的科技資產(chǎn)。

GPT-4背后的Nvidia硬件憑借一己之力推動(dòng)了人工智能的采用，并且仍然是無(wú)可爭(zhēng)議的人工智能冠軍。但Nvidia的硬件短缺促使客戶尋找替代品，并為AMD提供了一個(gè)展示其最新GPU和系統(tǒng)的機(jī)會(huì)，成為一個(gè)可行的替代品。除了Nvidia，AMD在市場(chǎng)上也有很多機(jī)會(huì)。

Su表示:“我們現(xiàn)在預(yù)計(jì)，數(shù)據(jù)中心加速器TAM在未來(lái)四年中將以每年超過(guò)70%的速度增長(zhǎng)，到2027年將超過(guò)4000億美元?！?/p>

MI300X芯片有1530億個(gè)晶體管，有12個(gè)5納米和6納米芯片。“它使用了世界上最先進(jìn)的封裝?！盡I300X在基礎(chǔ)層有四個(gè)IO芯片。每個(gè)IO芯片都有256兆字節(jié)的 Infinity Cache 和下一代IO，如128通道HBM3接口，支持PCIe Gen5，以及連接多個(gè)MI300X的第四代Infinity Fabric。該芯片在IO芯片上堆疊了8個(gè)CDNA3加速器小芯片。304個(gè)計(jì)算單元通過(guò)密集的TSV連接。支持高達(dá)每秒17TB的帶寬。該芯片連接了8層HBM3，總共有192GB的內(nèi)存和5.3 TB/s的帶寬。

云供應(yīng)商微軟、甲骨文和Meta已經(jīng)在他們的云基礎(chǔ)設(shè)施中部署了MI300X GPU，盡管這些公司的人工智能能力主要還是來(lái)自Nvidia的芯片。提供人工智能替代方案的云供應(yīng)商是很普遍的，如亞馬遜提供了各種選擇，包括其新發(fā)布的Trainium2芯片和英特爾的Gaudi處理器。其意圖也很明確：讓客戶有更多的選擇，不必屈服于NvidiaH100芯片的天價(jià)。

微軟CEO Kevin Scott在AMD活動(dòng)臺(tái)上表示：“現(xiàn)在看到GPT-4在MI300X上的應(yīng)用，看到Llama的表現(xiàn)，并讓它投入生產(chǎn)，令人非常興奮。”甲骨文云也將MI300X放入其云服務(wù)中。它還與Naveen Rao等早期采用者合作，后者的人工智能服務(wù)公司MosaicML最近被Databricks以13億美元收購(gòu)。

據(jù)HPCwire報(bào)道，一家新的云服務(wù)公司TensorWave將在2024年推出一種新的可擴(kuò)展和適應(yīng)性強(qiáng)的GPU架構(gòu)。基于GigaIO FabreX可組合PCIe技術(shù)，TensorNODE系統(tǒng)將支持多達(dá)5,760個(gè)Instinct MI300X GPU，并為所有GPU提供單個(gè)FabreX內(nèi)存結(jié)構(gòu)域。

AMD緊隨Nvidia的腳步，也宣布了自己的服務(wù)器架構(gòu)，展示了一個(gè)兼容開(kāi)放計(jì)算項(xiàng)目的服務(wù)器設(shè)計(jì)，其中包含8個(gè)MI300X GPU，這些GPU通過(guò)Infinity Fabric相互連接。該板可以放入任何兼容OCP的開(kāi)放藍(lán)圖中，客戶可以在其上構(gòu)建服務(wù)器。

“我們這么做是經(jīng)過(guò)深思熟慮的。我們想讓客戶盡可能容易地采用它，這樣你就可以把主板拿出來(lái)，放入MI300X Instinct平臺(tái)。”這樣的系統(tǒng)建造起來(lái)會(huì)更便宜，讓客戶可以靈活地以最優(yōu)惠的價(jià)格購(gòu)買硬件。與Nvidia相比，這是一種截然不同的方法，Nvidia的HGX系統(tǒng)基于專有架構(gòu)，成本很高。

AMD讓MI300X兼容OCP的計(jì)劃已經(jīng)取得了成效，Meta快速部署了帶有該GPU的服務(wù)器。Meta高級(jí)工程總監(jiān)Ajit Mathews表示：“MI300X利用了OCP模塊、標(biāo)準(zhǔn)和平臺(tái)，這有助于我們極短的時(shí)間內(nèi)采用它。事實(shí)上，MI300X是Meta歷史上最快的部署解決方案之一?！?/p>

AMD對(duì)硬件的關(guān)注破壞了該公司的人工智能軟件戰(zhàn)略，該戰(zhàn)略落后于提供CUDA開(kāi)發(fā)框架的Nvidia。CUDA的支持幫助推動(dòng)了NvidiaGPU的廣泛采用。

該公司即將發(fā)布下一代ROCm 6，并聲稱具有新的功能和性能優(yōu)勢(shì)。開(kāi)發(fā)者George Hotz曾批評(píng)AMD缺乏軟件支持、文檔以及對(duì)GPU開(kāi)發(fā)者的支持回應(yīng)。AMD總裁彭于平表示，與上一代版本相比，ROCm 6的MI300X性能提高了8倍。

對(duì)于具有700億個(gè)參數(shù)的大型語(yǔ)言模型，ROCm6比MI300X快8倍，比MI250快8倍。ROCm 6框架將支持新的數(shù)據(jù)類型，包括FP16，這將提高性能并開(kāi)放內(nèi)存資源和帶寬。該框架還將進(jìn)行許多低層次優(yōu)化，以獲得更好的AI性能。

審核編輯：黃飛