美光近期發(fā)布的內(nèi)存和存儲產(chǎn)品組合創(chuàng)新備受矚目，這些成就加速了 AI 的發(fā)展。美光8 層堆疊和 12 層堆疊 HBM3E 解決方案提供業(yè)界前沿性能，功耗比競品1低 30%。美光 8 層堆疊 24GB HBM3E 產(chǎn)品將搭載于 NVIDIA H200 Tensor Core GPU 中。在 Six Five Media 最近的一期節(jié)目中，主持人 Daniel Newman（Futurum Group 首席執(zhí)行官）和 Patrick Moorhead（Moor Insights & Strategy 首席執(zhí)行官）與美光產(chǎn)品管理高級總監(jiān) Girish Cherussery 進行了視頻訪談。

他們探討了高帶寬內(nèi)存 (HBM)的廣闊市場，并研究了其在當今技術(shù)領(lǐng)域的各種應(yīng)用。這篇文章回顧了他們的談話，其中話題包括 HBM 的復(fù)雜性、美光如何滿足市場需求以及目前內(nèi)存生態(tài)系統(tǒng)的發(fā)展情況。Girish 還為渴望了解 AI 內(nèi)存和存儲技術(shù)市場趨勢的聽眾提供了寶貴的見解。

什么是高帶寬內(nèi)存？有哪些應(yīng)用領(lǐng)域？

HBM 作為行業(yè)標準的封裝內(nèi)存，是一款變革性產(chǎn)品。其以較小的尺寸，在給定容量下實現(xiàn)更高的帶寬和能效。正如 Girish 在 Six Five 播客節(jié)目中所言，AI 應(yīng)用部署越來越多的復(fù)雜大語言模型 (LLM)，由于 GPU 內(nèi)存容量和帶寬有限，訓(xùn)練這些模型面臨著挑戰(zhàn)。大語言模型的規(guī)模呈指數(shù)級增長，遠遠超過了內(nèi)存容量的增長速度。這一趨勢凸顯了對內(nèi)存容量日益增長的需求。

以 GPT-3 為例，該模型有大約 1750 億個參數(shù)。這意味著需要約 800GB 的內(nèi)存及更高的帶寬，以防止出現(xiàn)性能瓶頸。最新的 GPT-4 模型的參數(shù)更多（估計達到萬億個）。采用傳統(tǒng)方法增加內(nèi)存器件會導(dǎo)致系統(tǒng)成本過高。

HBM 提供了一種高效的解決方案。美光基于其業(yè)界前沿 1β (1-beta) 技術(shù)，推出 11mm x 11mm 封裝規(guī)格堆疊 8 或 12 層 24Gb 裸片的 HBM3E 內(nèi)存，提供 24GB 或 36GB 容量。美光先進的設(shè)計和工藝創(chuàng)新，助力 HBM3E 實現(xiàn)超過 1.2 TB/s 的內(nèi)存帶寬，超過 9.2 Gb/s 的引腳速率。正如 Girish 所言，HBM3E 擁有 16 個獨立的高頻數(shù)據(jù)通道，類似于“高速公路車道”，可以更快地來回傳輸數(shù)據(jù)，提供所需性能。

美光 HBM3E 更高的容量和帶寬縮短了大語言模型的訓(xùn)練時間，為客戶節(jié)省了大量運營支出。HBM3E 容量更大，支持規(guī)模更大的大語言模型，有助于避免 CPU 卸載和 GPU 之間的通信延遲。

HBM3E 功耗很低，因為主機和內(nèi)存之間的數(shù)據(jù)路徑較短。DRAM 通過硅通孔 (TSV) 與主機通信，Girish 將其形象地比喻為牙簽穿過漢堡。其從底層顆粒獲取電源和數(shù)據(jù)，然后將其傳輸?shù)巾敳績?nèi)存層。憑借基于 1β 制程節(jié)點的先進 CMOS 技術(shù)創(chuàng)新，以及多達 2 倍硅通孔和封裝互連縮小 25% 的先進封裝創(chuàng)新，美光 HBM3E 的功耗比競品低 30%。在每個內(nèi)存實例 8Gbps 的速率下，功耗降低了 30%，以擁有 500,000 個 GPU 安裝基數(shù)的客戶為例，僅在五年內(nèi)就可以節(jié)約超過 1.23 億美元運營成本。

因此，正如 Daniel Newman 所言，美光 HBM3E 內(nèi)存在容量、速度和功耗方面表現(xiàn)優(yōu)異，對數(shù)據(jù)中心的可持續(xù)發(fā)展需求產(chǎn)生了積極影響。

美光 HBM3E 如何滿足生成式 AI和高性能計算的需求？

美光相信通過解決各種技術(shù)問題，可以幫助人們應(yīng)對所面臨的根本性難題，豐富所有人的生活。

如今，超級計算機模擬技術(shù)帶來了巨大的內(nèi)存和帶寬需求。正如 Girish 所言，在新冠疫情期間，制藥公司迫切需要找到用于治療新冠病毒的新藥物和化合物。HBM 作為高性能計算系統(tǒng)器件，可滿足大規(guī)模計算的需求，解決當今時代的關(guān)鍵難題。因此，HBM 作為支持大規(guī)模計算系統(tǒng)發(fā)展的重要器件，以其緊湊的外形尺寸提供所需的性能和容量，同時大幅降低功耗，從根本上改變了人們對內(nèi)存技術(shù)的看法。

隨著 AI 時代計算規(guī)模的不斷擴大，當下的數(shù)據(jù)中心面臨著耗電量高、缺乏建設(shè)空間的難題。AI 和高性能計算 (HPC) 工作負載推動提高內(nèi)存利用率和容量。冷卻數(shù)據(jù)中心所需的能源消耗巨大，也是個挑戰(zhàn)。對于采用 HBM 的系統(tǒng)而言，系統(tǒng)冷卻位于 DRAM 堆棧頂部，而底部顆粒和 DRAM 層功耗所產(chǎn)生的熱量則位于堆棧底部。這要求我們在設(shè)計的早期階段就考慮功耗和散熱問題。美光先進的封裝創(chuàng)新技術(shù)提供了改善熱阻抗的結(jié)構(gòu)解決方案，有助于改善立方體的散熱表現(xiàn)。結(jié)合大幅降低的功耗，整體散熱表現(xiàn)將大大優(yōu)于競品。美光 HBM3E 的功耗更低、散熱效率更高，有助于應(yīng)對數(shù)據(jù)中心面臨的重大挑戰(zhàn)。

AI 內(nèi)存解決方案的新興趨勢是什么？

生成式 AI 在從云到邊緣的各種應(yīng)用中迅速普及，推動了異構(gòu)計算環(huán)境中系統(tǒng)架構(gòu)的重大創(chuàng)新。AI 正在加速推動邊緣應(yīng)用的發(fā)展趨勢，如工業(yè) 4.0、自動駕駛汽車、AI 個人電腦和 AI 智能手機等。正如 Girish 所分享的，這些長期趨勢推動了內(nèi)存子系統(tǒng)的重大技術(shù)創(chuàng)新，以提供更高的容量、帶寬、可靠性和更低的功耗。

美光基于 1β 技術(shù)的 LPDDR5X 產(chǎn)品組合為這些系統(tǒng)提供了出色的性能/功耗，可用于邊緣 AI 推理。美光率先在市場上推出基于 LPDDR5X 的創(chuàng)新型 LPCAMM2，旨在提升個人電腦用戶的體驗，推動 AI 個人電腦革命。

數(shù)據(jù)中心架構(gòu)也在不斷演變。美光單顆粒大容量 RDIMM 推動了全球數(shù)據(jù)中心服務(wù)器在 AI、內(nèi)存數(shù)據(jù)庫和通用計算工作負載方面的進步。我們率先上市的 128GB 大容量 RDIMM 性能卓越、容量大、延遲低，可高效處理需要更大容量內(nèi)存的應(yīng)用程序，包括從 GPU 卸載到 CPU 處理的 AI 工作負載。

我們還看到，由于 LPDDR 內(nèi)存（低功耗 DRAM）在性能/功耗方面的優(yōu)勢，越來越多的數(shù)據(jù)中心將其用于 AI 加速和推理應(yīng)用。美光顯存 GDDR6X 的引腳速率達到驚人的 24 Gb/s，也被用于數(shù)據(jù)中心的推理應(yīng)用中。

美光率先推出的另一種新興內(nèi)存解決方案 CXL 內(nèi)存，可為數(shù)據(jù)中心應(yīng)用提供內(nèi)存和帶寬擴展。美光 CXL 內(nèi)存模塊 CZ120可為 AI、內(nèi)存數(shù)據(jù)庫、高性能計算和通用計算工作負載提供內(nèi)存擴展。

AI 正在為人類開創(chuàng)一個新時代，觸及我們生活的方方面面。隨著社會不斷利用 AI 的潛力，AI 將繼續(xù)推動數(shù)字經(jīng)濟中各行業(yè)的快速創(chuàng)新。數(shù)據(jù)是數(shù)字經(jīng)濟的核心，也是內(nèi)存和存儲解決方案的核心。美光已做好準備，憑借其技術(shù)實力、創(chuàng)新內(nèi)存和存儲解決方案的強大產(chǎn)品組合及強有力的路線圖，以及致力于通過改變世界使用信息的方式豐富全人類生活的承諾，助推 AI 革命。

審核編輯：劉清