OpenAI GPT 技術(shù)的聊天機器人，其擁有 3000 億單詞的語料基礎(chǔ)，預(yù)訓(xùn)練出擁有 1750 億個參數(shù)的模型，海量的參數(shù)與強大的智能交互能力離不開背后算力和服務(wù)器的支撐。據(jù)我們測算，若未來 ChatGPT 達到 10 億日活，每人平均 10000字左右問題，則需新增服務(wù)器投入 46.30 萬臺。服務(wù)器的需求起量為上游的存儲/PCB/模擬市場帶來新增量。我們預(yù)計，單臺服務(wù)器帶來的 PCB 價值量約為 4000元，而 AI 服務(wù)器放量亦將帶來 DDR5 和 HBM 存儲用量的快速提升。

01

ChatGPT：引領(lǐng)內(nèi)容生成式 AI 行業(yè)變革

此前微軟宣布將在未來向 OpenAI 投資 100 億美元，并將 ChatGPT 的技術(shù)整合到最新版本的必應(yīng)搜索引擎和 Edge 瀏覽器中。微軟這一舉動拉開了大型科技公司 AI 競賽的序幕，谷歌亦宣布推出 Bard 對抗 ChatGPT，國內(nèi)百度、騰訊等科技巨頭亦在加緊推出自己的生成式 AI

從 2018 年 OpenAI 開發(fā)出 GPT-1 開始，GPT 模型的智能化程度不斷提升，ChatGPT 是從 GPT3.5 系列中的模型進行微調(diào)而誕生的，此前 OpenAI 還設(shè)計了GPT-1、GPT-2 和 GPT-3 模型。相比于前幾代 GPT 模型，ChatGPT 具有類似人類的情境感知和回饋能力，在語言識別、判斷和交互層面實現(xiàn)了較好的效果。除此之外，OpenAI 旗下還有可生成圖片內(nèi)容的 AI 應(yīng)用 Dall-E，高智能化的內(nèi)容生成式 AI 有望在未來一段時間內(nèi)改變?nèi)祟惪萍及l(fā)展的格局，讓智能化廣泛進入人們的日常生活。

ChatGPT 為人類開拓出了訓(xùn)練大語言模型的新道路。ChatGPT 在擁有 3000億單詞的語料基礎(chǔ)上預(yù)訓(xùn)練出擁有 1750 億個參數(shù)的模型（GPT-2 僅有 15 億參數(shù)），預(yù)訓(xùn)練數(shù)據(jù)量從 5GB 增加到 45TB。ChatGPT 證明了在高算力的支持下，千億級參數(shù)規(guī)模的模型訓(xùn)練+人類反饋，可以使 AI 融合世界的知識和規(guī)則，極大提升模型表現(xiàn)。

02

ChatGPT 拉動算力需求快速增長

ChatGPT 參數(shù)量、數(shù)據(jù)量高度擴張，算力需求劇增。從 2018 年起，OpenAI就開始發(fā)布生成式預(yù)訓(xùn)練語言模型 GPT（Generative Pre-trained Transformer），可用于生成文章、代碼、機器翻譯、問答等各類內(nèi)容，每一代 GPT 模型的參數(shù)量都快速增長：2019 年 2 月發(fā)布的 GPT-2 參數(shù)量為 15 億，而 2020 年 5 月的 GPT-3，參數(shù)量達到了 1750 億。

ChatGPT 海量的參數(shù)與強大的智能交互能力，離不開算力的支撐。根據(jù)Similarweb 的數(shù)據(jù)，23 年 1 月份 ChatGPT 日活約 1300 萬人，累計用戶已超 1億人，創(chuàng)下了互聯(lián)網(wǎng)最快破億應(yīng)用的記錄。若 ChatGPT 日活達至 1 億人，每人平均 1000 字左右的問題，那么需要多大的算力資源支持？

我們建立計算假設(shè)如下：

1） 假設(shè)均采用英偉達 DGX A100 服務(wù)器：該服務(wù)器單機搭載 8 片 A100GPU，AI 算力性能約為 5 PetaFLOP/s，單機最大功率約為 6.5kw；

2） ChatGPT 日活達至 1 億人，每人平均 1000 字左右問題；

3） 自回歸語言模型以 token 作為單位進行數(shù)據(jù)處理和計算，在英文環(huán)境下，一般 750 個單詞等于 1000 個 token。最常見的 Transformer 類語言模型在推理過程中每個 token 的計算成本（以 FLOPs 為指標(biāo)）約為 2N，其中 N 為模型參數(shù)數(shù)量（20 年發(fā)布的 GPT-3 擁有 1750 億參數(shù)，22 年谷歌發(fā)布的 PaLM 擁有 5400 億參數(shù)，假定 ChatGPT 為 3000 億參數(shù)）；

4） 模型的 FLOPs 利用率為 20%；

5） 假定訪問峰值是一天均值的 5 倍；

若 ChatGPT 日活達至 1 億人，每人平均 1000 字左右的問題，初始服務(wù)器投入需 4630 臺。粗略估計 ChatGPT 1000 字左右的問題需要的算力資源為2*3000 億*1000*1.333/20%=4PetaFLOP，而 ChatGPT 日活約 1 億人，若每人平均 1000 字左右的問題，假設(shè) 24 小時平均分配任務(wù)，則所需算力為 1 億*4PetaFLOP/（24*3600s）=4630PetaFLOP/ s?？紤]訪問流量存在峰值，假定訪問峰值是一天均值的 5 倍，而單臺英偉達 DGXA100 系列服務(wù)器算力為 5 PetaFLOP/s，則需要對應(yīng)服務(wù)器數(shù)量為 4630PetaFLOP/s*5/ PetaFLOP/s=4630 臺。

而若未來 ChatGPT 日活達至 10 億人，每人平均 10000 字左右問題，則有望帶動約 46.30 萬臺。

且考慮谷歌每日搜索量已達 35 億次，長期來看 ChatGPT 日活有廣闊的提升空間，算力需求將持續(xù)釋放。此外，若考慮 ChatGPT 嵌入終端應(yīng)用后，其對算力資源的消耗量或?qū)⒊蓴?shù)倍級增長，所需服務(wù)器數(shù)量需求更是成數(shù)倍級提升。

文字交互僅是大模型用量的起點，未來圖像、視頻等多種形態(tài)帶動算力需求大幅提升。ChatGPT 目前仍主要停留在文字交互層面，但圖像、視頻等領(lǐng)域也可使用 Transformer 大模型，所需算力規(guī)模遠大于文字交互。例如 OpenAI 的繪畫 AI模型 DALL-E2，其可直接根據(jù)文字生成逼真的圖像，也可以對現(xiàn)有圖像上根據(jù)文字指令創(chuàng)建新作品。

03

上游存儲/PCB/模擬受益 ChatGPT 需求新增量

ChatGPT 拉動服務(wù)器需求快速增長的同時，將直接拉動算力芯片需求增長，我們于下文中詳細(xì)對算力芯片需求進行了介紹。此外，服務(wù)器需求的增長，也將帶動上游存儲/PCB/模擬的需求快速增長。

1）ChatGPT 新時代，服務(wù)器需求帶動 DDR5 和 HBM 用量快速提升。隨著ChatGPT 等應(yīng)用開啟 AI 新時代，全球數(shù)據(jù)生成、儲存、處理量有望呈等比級數(shù)增長，而 DDR5 內(nèi)存和高帶寬存儲器（HBM）可支持更高速率的帶寬。對于計算-內(nèi)存而言，DDR5 標(biāo)準(zhǔn)的最高速率是 DDR4 的兩倍，而 HBM 基于 TSV 和芯片堆疊技術(shù)的堆疊 DRAM 架構(gòu)，可實現(xiàn)高于 256GBps 的突破性帶寬。深度學(xué)習(xí)和人工智能的快速發(fā)展對數(shù)據(jù)運算的要求越來越高，隨著數(shù)據(jù)指數(shù)式增長，內(nèi)存墻對于計算速度的影響越來越凸顯，而 DDR5 和 HBM 技術(shù)可以幫助數(shù)據(jù)中心突破“內(nèi)存墻”瓶頸。我們看好在 ChatGPT 的帶動下，服務(wù)器 DDR5 和 HBM 的滲透率有望加速提升

2） ChatGPT 帶動 PCB 需求新增量。服務(wù)器內(nèi)部涉及 PCB 的主要部件包括主板、電源背板、網(wǎng)卡、Riser 卡、硬盤背板等，PCB 在 AI 服務(wù)器應(yīng)用中對板厚、層數(shù)、工藝等有著更高的要求，具有高層數(shù)、高密度及高傳輸速率的特點。

PCB 層數(shù)越多，設(shè)計越靈活，能夠?qū)﹄娐菲鸬礁玫乜棺枳饔?，更易于實現(xiàn)芯片之間地高速傳輸，單位價值量也越高。PCIe3.0 接口的信號傳輸速率為 8GT/s，對應(yīng)的服務(wù)器 PCB 板為 8-10 層；PCIe4.0 接口的傳輸速率為 16GT/s，使用的服務(wù)器 PCB 層數(shù)為 12-14 層，目前滲透率在快速提高，如英偉達 DGXA100 系列服務(wù)器就采用了 PCIe4.0 接口；服務(wù)器平臺下一步將升級到 PCIe 5.0，傳輸速率為32GT/s，PCB 的層數(shù)可達 18 層。隨著 ChatGPT 對算力要求的提升，預(yù)計服務(wù)器PCB 將呈量價齊升的態(tài)勢，保守估計每臺服務(wù)器的 PCB 價值量可達 4000 元。

3）ChatGPT 拉動服務(wù)器建設(shè)的同時，亦帶來大量電源管理芯片需求。從市電輸入服務(wù)器開始，到電流輸入 CPU 等元器件止，大體上需要經(jīng)過三次電流的改變。第一次是經(jīng)過服務(wù)器的電源模塊，將市電從交流電轉(zhuǎn)換成 48V 的直流電（ACDC）。接下來，該直流電會被輸送至 DC/DC 變換器，進一步被轉(zhuǎn)換成 12V，提供給中間母線結(jié)構(gòu)（IBA）。最后該 12V 母線電壓將被分配至板上多個負(fù)載點（PoL）變換器中，為芯片或子電路提供電源。不過由于主板上 CPU 等內(nèi)核器件與風(fēng)扇等

其他器件對功率的要求各不相同，因此需要分開處理。對于 CPU 等內(nèi)核器件，往往需要使用多相電源供電，而對于部分功率較小且比較穩(wěn)定的其他器件，不需要使

用多相電源，只需要使用 Buck 進行降壓就可以對其進行供電。具體而言，主板上的電源管理 IC 主要包括 eFuse/熱插拔、多相電源、LDO 與降壓 Buck 等四類。

審核編輯 ：李倩