GTC 2023直播：英偉達(dá)推出Hopper GPU，速度比PCIE快7倍
針對(duì)ChatGPT等大型語(yǔ)言模型的推理，我們宣布推出一款新的Hopper GPU配備雙GPU NVLINK的PCIE H100
同時(shí)還可支持商用PCIE服務(wù)器輕松擴(kuò)展
目前在云上唯一可以實(shí)際處理ChatGPT的GPU是HGX A100與適用于GPT-3處理的HGX A100相比，一臺(tái)搭載四對(duì)H100及雙GPU NVLINK的標(biāo)準(zhǔn)服務(wù)器的速度
H100可將大型語(yǔ)言模型的處理成本，降低一個(gè)數(shù)量級(jí)
Grace Hopper非常適合處理大型數(shù)據(jù)集，例如適用于推薦系統(tǒng)和大型語(yǔ)言模型的AI數(shù)據(jù)庫(kù)。
如今，利用大容量?jī)?nèi)存，CPU會(huì)存儲(chǔ)和查詢巨型嵌入表，然后將結(jié)果傳輸?shù)紾PU進(jìn)行推理，借助Grace-Hopper， Grace可以查詢嵌入表，并將結(jié)果直接傳輸?shù)紿opper速度比PCIE快7倍
GTC 2023主題直播地址：https://t.elecfans.com/live/2302.html
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
cpu
+關(guān)注
關(guān)注
68文章
11083瀏覽量
217175 -
服務(wù)器
+關(guān)注
關(guān)注
13文章
9797瀏覽量
88029 -
gtc
+關(guān)注
關(guān)注
0文章
73瀏覽量
4604 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1590瀏覽量
9123
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
英偉達(dá)獲美批準(zhǔn)恢復(fù)H20在華銷售，同步推出全新兼容GPU
7月15日上午，央廣財(cái)經(jīng)記者從英偉達(dá)方面確認(rèn)，英偉達(dá)已經(jīng)獲得美國(guó)批準(zhǔn)，將恢復(fù) H20 在中國(guó)的銷售，并推
英偉達(dá)擬再推中國(guó)特供GPU，今年6月量產(chǎn)！
電子發(fā)燒友網(wǎng)綜合報(bào)道 近年來，美國(guó)政府對(duì)華半導(dǎo)體出口管制政策不斷收緊，英偉達(dá)等半導(dǎo)體企業(yè)面臨嚴(yán)峻挑戰(zhàn)。為保持在中國(guó)市場(chǎng)的競(jìng)爭(zhēng)力，英偉達(dá)推出了
發(fā)表于 05-27 00:03
?4395次閱讀
立訊技術(shù)亮相英偉達(dá)GTC 2025大會(huì)
日前，英偉達(dá)年度技術(shù)盛會(huì)GTC 2025在美國(guó)加州圣何塞拉開帷幕。作為全球AI與計(jì)算領(lǐng)域的頂級(jí)峰會(huì)，GTC 2025匯聚了全球數(shù)千名開發(fā)者、企業(yè)領(lǐng)袖及學(xué)術(shù)專家，共同探討AI與加速計(jì)算的
英偉達(dá)GTC25亮點(diǎn)：NVIDIA Blackwell Ultra 開啟 AI 推理新時(shí)代
英偉達(dá)GTC25亮點(diǎn)：NVIDIA Blackwell Ultra 開啟 AI 推理新時(shí)代
英偉達(dá)GTC2025大會(huì)關(guān)鍵信息點(diǎn)總結(jié) Blackwell Ultra 量子計(jì)算與機(jī)器人
英偉達(dá) GTC 2025 大會(huì)關(guān)鍵信息點(diǎn)總結(jié)
新思科技攜手英偉達(dá)加速芯片設(shè)計(jì)，提升芯片電子設(shè)計(jì)自動(dòng)化效率
解決方案在英偉達(dá) GPU和英偉達(dá) CUDA-X庫(kù)上所實(shí)現(xiàn)的加速 基于英偉
發(fā)表于 03-19 17:59
?283次閱讀
新思科技亮相英偉達(dá)GTC 2025大會(huì)
為了實(shí)現(xiàn)這一速度提升，新思科技在GTC全球AI大會(huì)上宣布，正在使用英偉達(dá) CUDA-X庫(kù)優(yōu)化其下一代半導(dǎo)體開發(fā)解決方案。公司還在擴(kuò)大對(duì)英偉
英偉達(dá)或3月發(fā)布CPO交換機(jī)新品
據(jù)供應(yīng)鏈最新消息，全球圖形處理器(GPU)巨頭英偉達(dá)公司計(jì)劃在3月份舉辦的GPU技術(shù)大會(huì)(GTC)上，正式
軟銀升級(jí)人工智能計(jì)算平臺(tái),安裝4000顆英偉達(dá)Hopper GPU
軟銀公司宣布，其正在擴(kuò)展的日本頂級(jí)人工智能計(jì)算平臺(tái)已安裝了約4000顆英偉達(dá)Hopper GPU。這一舉措顯著提升了平臺(tái)的計(jì)算能力。據(jù)悉，該平臺(tái)自2
英偉達(dá)年度研發(fā)支出超120億美元,為AMD的兩倍之多
的季度里，英偉達(dá)的研發(fā)支出達(dá)到了30.9億美元。若以此速度持續(xù)，該GPU制造商在前一季度及接下來三個(gè)季度的累計(jì)研發(fā)預(yù)算預(yù)計(jì)將達(dá)到123.6億美元。
英偉達(dá)或明年將革新AI GPU設(shè)計(jì),采用插槽設(shè)計(jì)
10月11日最新消息，集邦咨詢Trendforce于今日（10月11日）發(fā)表博文透露，英偉達(dá)預(yù)計(jì)在今年第四季度推出GB200后，正考慮在其下一代AI GPU產(chǎn)品中采納獨(dú)立
英偉達(dá)Blackwell GPU量產(chǎn)加速，Q4營(yíng)收沖刺百億美元大關(guān)
近日，全球領(lǐng)先的圖形處理單元（GPU）及人工智能芯片制造商英偉達(dá)傳來重大利好消息。據(jù)摩根士丹利最新發(fā)布的行業(yè)分析報(bào)告指出，英偉達(dá)基于Blac
亞馬遜云科技宣布Amazon EC2 P5e實(shí)例正式可用 由英偉達(dá)H200 GPU提供支持
北京2024年9月18日?/美通社/ -- 亞馬遜云科技宣布由英偉達(dá)H200 GPU提供支持的 Amazon Elastic Compute Cloud P5e（Amazon EC2 P5e）實(shí)例
英偉達(dá)回應(yīng)AI芯片推遲發(fā)布傳聞
近日，英偉達(dá)就外界廣泛關(guān)注的AI芯片Blackwell推遲發(fā)布傳聞作出正式回應(yīng)。8月4日，英偉達(dá)方面在接受媒體采訪時(shí)明確表示：“正如我們之前所說，H
英偉達(dá):Hopper芯片需求強(qiáng)勁 英偉達(dá)發(fā)言人談生產(chǎn)增長(zhǎng)
據(jù)外媒報(bào)道，英偉達(dá)發(fā)言人透露Hopper芯片需求強(qiáng)勁，而且Blackwell 芯片的廣泛采樣也已經(jīng)開啟。而對(duì)于產(chǎn)量問題；則表示有望在下半年實(shí)現(xiàn)增長(zhǎng)。
工商網(wǎng)監(jiān)
評(píng)論