科技云報道原創(chuàng)。

“我們需要更大的GPU”！

3月19日凌晨，一年一度的“AI風(fēng)向標”重磅會議——GTC 2024如期而至。

英偉達CEO黃仁勛在大會上發(fā)布了包括新一代加速計算平臺NVIDIA Blackwell、Project GR00T人形機器人基礎(chǔ)模型、Omniverse Cloud API、NVIDIA DRIVE Thor集中式車載計算平臺等在內(nèi)的一系列突破性科技成果。

其中，NVIDIA Blackwell作為英偉達的“王炸”力作，再次將AI芯片的技術(shù)標準推向了新的高度。

緊接著，NVIDIA和亞馬遜云科技宣布了雙方的擴展合作，Blackwell將很快登陸亞馬遜云科技，并與亞馬遜云科技引以為傲的網(wǎng)絡(luò)連接、高級虛擬化和超大規(guī)模集群等領(lǐng)先技術(shù)結(jié)合，為數(shù)萬億參數(shù)規(guī)模的大模型推理工作負載帶來巨大的性能飛躍。

萬億級參數(shù)規(guī)模正處在當前全球頂級大模型的實際參數(shù)區(qū)間，也許用戶很快就能在各種生成式AI應(yīng)用中體驗到新硬件帶來的提升。

“王炸”AI芯片誕生

訓(xùn)練萬億參數(shù)級別的大模型，需要多大規(guī)模的算力？

在GTC現(xiàn)場，黃仁勛首先算了一道數(shù)學(xué)題。以O(shè)penAI最先進的1.8萬億參數(shù)大模型為例，該模型需要幾萬億的Token進行訓(xùn)練。

萬億參數(shù)與數(shù)萬億的Token相乘，就是訓(xùn)練OpenAI最先進大模型所需的計算規(guī)模。黃仁勛估算，如果用一顆petaflop（每秒鐘進行1千萬億次運算）量級的GPU進行運算，需要1000年的時間才能完成。

在Transformer發(fā)明后，大模型的規(guī)模正在以驚人的速度擴展，平均每6個月就會翻倍，這意味著萬億級別參數(shù)并不是大模型的上限。

在這種趨勢下，黃仁勛相信，生成式AI的迭代和發(fā)展，需要更大的GPU、更快的GPU互連技術(shù)、更強大的超級計算機內(nèi)部連接技術(shù)，以及更龐大的超級計算機巨型系統(tǒng)。

一直以來，NVIDIA推出的GPU一般是兩種架構(gòu)，其中面向游戲的GeForce RTX系列GPU是Ada Lovelace架構(gòu)，面向AI、大數(shù)據(jù)等應(yīng)用的專業(yè)級顯卡是Hopper架構(gòu)。風(fēng)靡世界的H100就是基于Hopper架構(gòu)。

雖然Hopper已經(jīng)能夠滿足大部分商用市場的需求，但黃仁勛認為這樣還不夠：“我們需要更大的GPU，更需要將GPU堆疊在一起?！?/span>

于是，同時用以上兩種架構(gòu)類型的產(chǎn)品Blackwell誕生了。Blackwell是英偉達祭出的第六代芯片架構(gòu)。這塊小小的GPU，集成了2080億個晶體管，擁有著超強的算力，也顛覆了此前所有的產(chǎn)品。

據(jù)黃仁勛透露，英偉達為該芯片的研發(fā)投入了100億美元。這一新架構(gòu)以加州大學(xué)伯克利分校數(shù)學(xué)家David Harold Blackwell命名。他專門研究博弈論和統(tǒng)計學(xué)，也是第一位入選美國國家科學(xué)院的黑人學(xué)者。

Blackwell在單芯片訓(xùn)練方面的FP8性能是其上一代架構(gòu)的2.5倍，在推理方面的 FP4 性能是其上一代架構(gòu)的5倍。它具有第五代NVLink互連，速度是Hopper的兩倍，并且可擴展至576個GPU。

所以，Blackwell不是一個芯片，而是一個平臺。

NVIDIA GB200 Grace Blackwell超級芯片通過900GB/s超低功耗的片間互聯(lián)，將兩個NVIDIA B200 Tensor Core GPU與NVIDIA Grace CPU相連。

其巨大的性能升級，能為人工智能公司提供20 petaflops或每秒2萬億次計算的AI性能，相較于H100，大語言模型性能提升30倍，同時能耗只有1/25。

不難看出，Blackwell平臺如此卓越的性能提升，是為了下一代生成式AI做準備。而從OpenAI最近發(fā)布的Sora和已經(jīng)開始研發(fā)更強大、更復(fù)雜的GPT-5模型也能看出，生成式AI的下一步是多模態(tài)和視頻，也就意味著更大規(guī)模的訓(xùn)練。Blackwell帶來了更多可能性。

如今，從谷歌的無邊搜索引擎，到亞馬遜的云頂天堂，再到特斯拉的智能駕駛，各大科技巨頭正紛紛加入NVIDIA的Blackwell陣營，開啟了一場令人興奮的AI加速計算盛宴。

亞馬遜、谷歌、戴爾、Meta、微軟、OpenAI、Oracle、特斯拉等行業(yè)翹楚都在爭先恐后地布局，準備在AI新時代大展身手。

難掩戰(zhàn)略焦慮

受益于去年以來生成式AI的火爆，2月21日盤后，英偉達公布的最新一季度財報再次打破市場預(yù)期。財報顯示，2024財年，英偉達總營收達609億美元，同比增長125.85%；凈利潤為297.6億美元，同比增長超581%；調(diào)整后每股盈利為12.96美元，同比增長288%。此次已經(jīng)是英偉達實現(xiàn)連續(xù)四個季度的盈利超出市場預(yù)期。

英偉達的業(yè)績加速實則反映了全球科技公司對于AI算力需求的激增。隨著Sora等應(yīng)用的橫空出世，世人看到了大模型落地的巨大潛力。

生成式 AI很有可能進入“軍備競賽”階段，與之伴隨的是科技公司對芯片的需求也會持續(xù)提升。

Counterpoint Research的數(shù)據(jù)顯示，2023年，英偉達的營收將飆升至303億美元，比2022年的163億美元增長86%，躍升為2023年全球第三大半導(dǎo)體廠商。

富國銀行則預(yù)計，英偉達2024年將會在數(shù)據(jù)中心市場獲得高達457億美元的營收，或創(chuàng)下歷史新高。

不過，創(chuàng)造歷史的英偉達并非高枕無憂。英偉達在AI計算的“壟斷”的現(xiàn)狀并不讓所有人都滿意，競爭對手在竭力打破英偉達的統(tǒng)治地位，客戶也需要第二個AI芯片供應(yīng)源。

盡管英偉達的GPU有很多優(yōu)點，不過它在用于AI時它可能耗電量太高且編程復(fù)雜。從創(chuàng)業(yè)公司到其他芯片制造商和科技巨頭，英偉達的競爭對手層出不窮。

近期，OpenAI CEO奧爾特曼正在與中東阿布扎比G42基金、日本軟銀集團等全球投資者籌集超過80億美元資金，成立一家全新AI 芯片公司，目標是利用資金建立一個工廠網(wǎng)絡(luò)來制造芯片，直接對標英偉達。

2月17日，業(yè)內(nèi)人士透露，日本投資界巨頭軟銀集團創(chuàng)始人孫正義正在尋求籌集最高達1000億美元的資金，打造一家規(guī)模龐大的合資芯片公司，這家公司能夠與芯片設(shè)計部門Arm形成互補。

過去，AMD一直在進行其新一代AI戰(zhàn)略規(guī)劃，包括并購和部門重組等，但生成式AI的橫空出世導(dǎo)致該公司產(chǎn)品陣容進一步擴充：去年12月發(fā)布的MI300芯片專門面向復(fù)雜的AI大模型，配置了1530億個晶體管、192GB的內(nèi)存、每秒5.3TB的內(nèi)存帶寬，分別是英偉達最強AI芯片H100的大約2倍、2.4倍和1.6倍。

亞馬遜云科技也在自研芯片領(lǐng)域進行持續(xù)投入，以提升客戶云上工作負載性價比。亞馬遜云科技很早就面向AI領(lǐng)域推出了Trainium訓(xùn)練芯片和Inferentia推理芯片兩個系列，并不斷更新迭代。

去年底推出Trainium2能夠通過云中擴展和網(wǎng)絡(luò)互聯(lián)提供65exaflops的AI算力，數(shù)周時間即可完成3千億參數(shù)的大語言模型的訓(xùn)練。這些AI芯片已被使用在包括Anthropic等生成式AI領(lǐng)域的頭部企業(yè)當中。

這些大廠不約而同地砸下重金，選擇自研AI芯片，透露出誰都不想將科技的話語權(quán)和主導(dǎo)權(quán)交到芯片大廠的手中，只有處于“AI食物鏈”頂端，才有可能掌握通向未來的鑰匙。

研發(fā)為底，生態(tài)為徑

黃仁勛曾在很多地方有過這樣的表示：英偉達不是在銷售芯片，而是在銷售解決問題的能力。

在這種產(chǎn)業(yè)生態(tài)共建的理念驅(qū)動下，英偉達圍繞GPU打造了一個涵蓋硬件、軟件及開發(fā)工具在內(nèi)的生態(tài)系統(tǒng)。

例如，英偉達在自動駕駛領(lǐng)域的投資成果顯著，其Drive PX系列平臺以及后來推出的Drive AGX Orin系統(tǒng)級芯片，成為了眾多汽車制造商實現(xiàn)高級駕駛輔助系統(tǒng)（ADAS）和自動駕駛的關(guān)鍵部件，這是底層技術(shù)創(chuàng)新與實際應(yīng)用場景深度融合的成功案例。

面對行業(yè)競爭，英偉達希望發(fā)揮整體的生態(tài)協(xié)作力量，共同為產(chǎn)業(yè)服務(wù)，為市場服務(wù)。

英偉達與云計算“一哥”亞馬遜云科技的合作同樣成果不凡，從第一個GPU云實例到現(xiàn)在的Blackwell平臺解決方案，雙方的合作已經(jīng)超過13年?？蛻艉芸炀湍茉趤嗰R遜云科技上使用基于NVIDIA GB200 Grace Blackwell Superchip和B100 Tensor Core GPUs的基礎(chǔ)設(shè)施。

英偉達的超強算力芯片系統(tǒng)與亞馬遜云科技強大的Elastic Fabric Adapte（EFA）網(wǎng)絡(luò)連接能力、高級虛擬化（Amazon Nitro System）和超大規(guī)模集群（Amazon EC2 UltraClusters）等領(lǐng)先技術(shù)的結(jié)合，使得客戶能夠更快更大規(guī)模且更安全地在云上構(gòu)建和運行數(shù)萬億參數(shù)的大語言模型。

在大模型研發(fā)領(lǐng)域，萬億級參數(shù)規(guī)模此前還算是一道門檻。根據(jù)公開的報道，去年年中發(fā)布的GPT4的模型參數(shù)是1.8萬億，由8個220B模型組成；前不久發(fā)布的Claude3模型沒有公布參數(shù)規(guī)模，而馬斯克最新開源的Grok大模型參數(shù)是3140億參數(shù)規(guī)模。

雙方此次合作，有望在加速萬億級別大語言模型的研發(fā)方面，為生成式AI領(lǐng)域的突破提供新的可能。

英偉達自身的AI團隊專門在亞馬遜云科技上構(gòu)建了Project Ceiba項目，以幫助其推動未來生成式AI的創(chuàng)新。

Ceiba項目首次亮相是在2023年11月底亞馬遜云科技2023 re:Invent全球大會上，這是當時英偉達與亞馬遜云科技合作建造的世界上最快的AI超級計算之一，當時的計算性能為65 exaflops。

隨著Blackwell平臺加入Ceiba項目，為其帶來了7倍于原先的計算性能，現(xiàn)在，該AI超級計算機將能夠處理高達414 exaflops的AI計算量。

新的Ceiba項目擁有20,736顆B200 GPU的超級計算機，采用新型NVIDIA GB200 NVL72系統(tǒng)構(gòu)建，該系統(tǒng)利用第五代NVLink技術(shù)連接10,368顆NVIDIA Grace CPU。

系統(tǒng)還通過亞馬遜云科技的第四代EFA網(wǎng)絡(luò)進行擴展，為每個Superchip提供高達800 Gbps的低延遲、高帶寬網(wǎng)絡(luò)吞吐量。

此外，亞馬遜云科技還計劃提供配備基于新的英偉達B100 GPU的Amazn EC2實例，并能夠在Amazon EC2 UltraClusters中進行大規(guī)模部署。

此次合作被黃仁勛抱以更多期待：“人工智能正在以前所未有的速度推動突破，導(dǎo)致新的應(yīng)用、商業(yè)模式和跨行業(yè)的創(chuàng)新。

英偉達與亞馬遜云科技的合作正在加速新的生成式AI能力的發(fā)展，并為客戶提供前所未有的計算能力，以推動可能性的邊界?！?/span>

如此多的行業(yè)，如此繁復(fù)的創(chuàng)新，英偉達正與其合作伙伴構(gòu)建起越來越強大的AI生態(tài)，共同引領(lǐng)生成式AI的新紀元。用黃仁勛的話說，當計算機圖形學(xué)、物理學(xué)、人工智能交匯，便衍生出NVIDIA的靈魂。

【關(guān)于科技云報道】

專注于原創(chuàng)的企業(yè)級內(nèi)容行家——科技云報道。成立于2015年，是前沿企業(yè)級IT領(lǐng)域Top10媒體。獲工信部權(quán)威認可，可信云、全球云計算大會官方指定傳播媒體之一。深入原創(chuàng)報道云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等領(lǐng)域。

審核編輯 黃宇