大模型是AI開發(fā)的新范式，是人工智能邁向通用智能的里程碑：大模型指通過在大規(guī)模寬泛的數(shù)據(jù)上進(jìn)行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型，本質(zhì)依舊是基于統(tǒng)計(jì)學(xué)的語(yǔ)言模型，只不過“突現(xiàn)能力”賦予其強(qiáng)大的推理能力。大模型的訓(xùn)練和推理都會(huì)用到AI芯片的算力支持，在數(shù)據(jù)和算法相同情況下，算力是大模型發(fā)展的關(guān)鍵，是人工智能時(shí)代的“石油”。

1.算法：大模型——人工智能邁向通用智能的里程碑

大模型就是Foundation Model（基礎(chǔ)模型），指通過在大規(guī)模寬泛的數(shù)據(jù)上進(jìn)行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型。大模型兼具“大規(guī)?！焙汀邦A(yù)訓(xùn)練”兩種屬性，面向?qū)嶋H任務(wù)建模前需在海量通用數(shù)據(jù)上進(jìn)行預(yù)先訓(xùn)練，能大幅提升人工智能的泛化性、通用性、實(shí)用性，是人工智能邁向通用智能的里程碑技術(shù)。

大模型的本質(zhì)依舊是基于統(tǒng)計(jì)學(xué)的語(yǔ)言模型，“突現(xiàn)能力”賦予其強(qiáng)大的推理能力。當(dāng)前幾乎所有參數(shù)規(guī)模超過千億的大語(yǔ)言模型都采取GPT模式。近些年來，大型語(yǔ)言模型研究的發(fā)展主要有三條技術(shù)路線：Bert模式、GPT模式以及混合模式。Bert模式適用于理解類、做理解類、某個(gè)場(chǎng)景的具體任務(wù)，專而輕，2019年后基本上就沒有什么標(biāo)志性的新模型出現(xiàn)；混合模式大部分則是由國(guó)內(nèi)采用；多數(shù)主流大語(yǔ)言模型走的還是GPT模式，2022年底在GPT-3.5的基礎(chǔ)上產(chǎn)生了ChatGPT，GPT技術(shù)路線愈發(fā)趨于繁榮。

GPT4作為人工智能領(lǐng)域最先進(jìn)的語(yǔ)言模型，在如下四個(gè)方面有較大的改進(jìn)。

1）多模態(tài)：GPT4可以接受文本和圖像形式的prompt，在人類給定由散布的文本和圖像組成的輸入的情況下生成相應(yīng)的文本輸出（自然語(yǔ)言、代碼等）；

2）多語(yǔ)言：在測(cè)試的26種語(yǔ)言的24種中，GPT-4優(yōu)于GPT-3.5和其他大語(yǔ)言模型（Chinchilla，PaLM）的英語(yǔ)語(yǔ)言性能；

3）“記憶力”：GPT-4的最大token數(shù)為32,768，即2^15，相當(dāng)于大約64,000個(gè)單詞或50頁(yè)的文字，遠(yuǎn)超GPT-3.5和舊版ChatGPT的4,096個(gè)token；

4）個(gè)性化：GPT-4比GPT-3.5更原生地集成了可控性，用戶將能夠?qū)ⅰ熬哂泄潭ㄈ唛L(zhǎng)、語(yǔ)氣和風(fēng)格的經(jīng)典ChatGPT個(gè)性”更改為更適合他們需要的東西。

2.算力：AI訓(xùn)練的基礎(chǔ)設(shè)施

大模型算力成本主要分為初始訓(xùn)練成本和后續(xù)運(yùn)營(yíng)成本。

初始訓(xùn)練：根據(jù)openAI官網(wǎng)數(shù)據(jù)，每個(gè)token（token是服務(wù)端生成的一串字符串,以作客戶端進(jìn)行請(qǐng)求的一個(gè)令牌）的訓(xùn)練成本通常約為6N FLOPS（FLOPS指每秒浮點(diǎn)運(yùn)算次數(shù)，理解為計(jì)算速度,可以用來衡量硬件的性能），其中N是LLM（大型語(yǔ)言模型）的參數(shù)數(shù)量。1750億參數(shù)模型的GPT-3是在3000億token上進(jìn)行訓(xùn)練的。根據(jù)openAI官網(wǎng)數(shù)據(jù)，在訓(xùn)練過程中，模型的FLOPS利用率為46.2%。我們假設(shè)訓(xùn)練時(shí)間為1個(gè)月，采用英偉達(dá)A100進(jìn)行訓(xùn)練計(jì)算（峰值計(jì)算能力為312 TFLOPS FP16/FP32），則測(cè)算結(jié)果為需要843顆英偉達(dá)A100芯片。

運(yùn)營(yíng)（推理）成本：運(yùn)營(yíng)階段所需算力量與使用者數(shù)量緊密相關(guān)。根據(jù)openAI官網(wǎng)數(shù)據(jù)，每個(gè)token的推理成本通常約為2N FLOPS，其中N是LLM的參數(shù)數(shù)量。根據(jù)openAI官網(wǎng)數(shù)據(jù)，在訓(xùn)練過程中，模型的FLOPS利用率為21.3%。同樣采用英偉達(dá)A100進(jìn)行推理計(jì)算（峰值計(jì)算能力為312 TFLOPS FP16/FP32）。我們假設(shè)GPT-3每日5000萬活躍用戶，每個(gè)用戶提10個(gè)問題，每個(gè)問題回答400字，則測(cè)算結(jié)果為需要16255顆英偉達(dá)A100芯片。

GPT-4為多模態(tài)大模型，對(duì)算力要求相比GPT-3會(huì)提升10倍。GPT-4的收費(fèi)是8kcontext為$0.03/1k token，是GPT-3.5-turbo收費(fèi)的15倍（$0.002 / 1K tokens），因此我們推斷GPT-4的參數(shù)量是GPT-3的10倍以上，預(yù)計(jì)GPT-4的算力需求是GPT-3的10倍以上。

國(guó)產(chǎn)大模型有望帶動(dòng)國(guó)內(nèi)新增A100出貨量超200萬顆，使得中國(guó)算力市場(chǎng)空間增加2倍以上。我們假設(shè)國(guó)內(nèi)百度，華為，阿里，騰訊，字節(jié)等前10位頭部大廠都會(huì)發(fā)布自己的大模型。

加速卡國(guó)產(chǎn)化率較低，美國(guó)制裁加速。根據(jù)IDC數(shù)據(jù)，2021年，中國(guó)加速卡市場(chǎng)中Nvidia占據(jù)超過80%市場(chǎng)份額。

英偉達(dá)推出中國(guó)特供版A800，算力與A100基本一致。2022年11月8日，英偉達(dá)推出A800 GPU，將是面向中國(guó)客戶的A100 GPU的替代產(chǎn)品。A800符合美國(guó)政府關(guān)于減少出口管制的明確測(cè)試，并且不能通過編程來超過它。A800 GPU在算力上與A100保持一致，但增加了40GB顯存的PCIe版本，但在NVLink互聯(lián)速度上，A800相較于A100下降了200GB/s的速度。同時(shí)，A800 80GB SXM版本目前已經(jīng)不支持16塊GPU的成套系統(tǒng)，上限被限制在8塊?？偟膩砜?，A800能夠滿足國(guó)內(nèi)市場(chǎng)需求，是A100的平替版本。

3.數(shù)據(jù)：AI發(fā)展的驅(qū)動(dòng)力

數(shù)據(jù)資源是AI產(chǎn)業(yè)發(fā)展的重要驅(qū)動(dòng)力之一。數(shù)據(jù)集作為數(shù)據(jù)資源的核心組成部分，是指經(jīng)過專業(yè)化設(shè)計(jì)、采集、清洗、標(biāo)注和管理，生產(chǎn)出來的專供人工智能算法模型訓(xùn)練的數(shù)據(jù)。

大模型的訓(xùn)練數(shù)據(jù)主要來自于維基百科、書籍、期刊、Reddit社交新聞?wù)军c(diǎn)、Common Crawl和其他數(shù)據(jù)集。OpenAI雖沒有直接公開ChatGPT的相關(guān)訓(xùn)練數(shù)據(jù)來源和細(xì)節(jié)，但可以從近些年業(yè)界公布過的其他大模型的訓(xùn)練數(shù)據(jù)推測(cè)出ChatGPT的訓(xùn)練數(shù)據(jù)來源，近幾年大模型訓(xùn)練采用的數(shù)據(jù)來源基本類似。國(guó)內(nèi)大模型的數(shù)據(jù)來源和自身優(yōu)勢(shì)業(yè)務(wù)有較強(qiáng)相關(guān)性，如百度文心一言大模型的來源主要基于互聯(lián)網(wǎng)公開數(shù)據(jù)，包括網(wǎng)頁(yè)、搜索、圖片、語(yǔ)音日均調(diào)用數(shù)據(jù)，以及知識(shí)圖譜等。

GPT4依靠大量多模態(tài)數(shù)據(jù)訓(xùn)練。GPT4是一個(gè)大規(guī)模的多模態(tài)模型，相比于此前的語(yǔ)言生成模型，數(shù)據(jù)方面最大的改進(jìn)之一就是突破純文字的模態(tài)，增加了圖像模態(tài)的輸入，具有強(qiáng)大的圖像理解能力，即在預(yù)練習(xí)階段輸入任意順序的文本和圖畫，圖畫經(jīng)過Vision Encoder向量化、文本經(jīng)過普通transformer向量化，兩者組成多模的句向量，練習(xí)目標(biāo)仍為next-word generation。根據(jù)騰訊云開發(fā)者推測(cè)，GPT4訓(xùn)練數(shù)據(jù)中還額外增加了包含正誤數(shù)學(xué)問題、強(qiáng)弱推理、矛盾一致陳述及各種意識(shí)形態(tài)的數(shù)據(jù)，數(shù)據(jù)量可能是GPT3.5（45TB數(shù)據(jù)）的190倍。

4.應(yīng)用：AI的星辰大海

AI時(shí)代已經(jīng)來臨，最大的市場(chǎng)將是被AI賦能的下游應(yīng)用市場(chǎng)。如果說AI是第四次工業(yè)革命，那么正如前三次工業(yè)革命，最大的市場(chǎng)將是被AI賦能的下游應(yīng)用市場(chǎng)。本輪革命性的產(chǎn)品ChatGPT將極大地提升內(nèi)容生產(chǎn)力，率先落地于AIGC領(lǐng)域，打開其產(chǎn)業(yè)的想象邊界。文本生成、代碼生成、圖像生成以及智能客服將是能直接賦予給下游行業(yè)的能力，打開其產(chǎn)業(yè)想象的邊界。

最直接的應(yīng)用在內(nèi)容創(chuàng)作領(lǐng)域。ChatGPT的功能核心是基于文本的理解和分析，與內(nèi)容創(chuàng)作行業(yè)趨同。ChatGPT可用于創(chuàng)建新聞文章、博客文章甚至小說等內(nèi)容，它可以生成原創(chuàng)且連貫的內(nèi)容，為內(nèi)容創(chuàng)作者節(jié)省時(shí)間和資源。整體生成式AI已用于創(chuàng)建圖像，視頻，3D對(duì)象，Skyboxes等。這大大節(jié)省了創(chuàng)作時(shí)間，同時(shí)帶來了多樣的創(chuàng)作風(fēng)格。

ChatGPT解決了機(jī)器人的痛點(diǎn)。ChatGPT開啟了一種新的機(jī)器人范式，允許潛在的非技術(shù)型用戶參與到回路之中，ChatGPT可以為機(jī)器人場(chǎng)景生成代碼。在沒有任何微調(diào)的情況下，利用LLM的知識(shí)來控制不同的機(jī)器人動(dòng)作，以完成各種任務(wù)。ChatGPT大大改善了機(jī)器人對(duì)指令的理解，并且不同于以前單一、明確的任務(wù)，機(jī)器人可以執(zhí)行復(fù)合型的任務(wù)。

ChatGPT在芯片設(shè)計(jì)領(lǐng)域的應(yīng)用。傳統(tǒng)的芯片設(shè)計(jì)強(qiáng)烈依賴模板而忽視了大量可以復(fù)用的優(yōu)秀數(shù)據(jù)，同時(shí)數(shù)據(jù)量大導(dǎo)致ChatGPT泛化性更好。此外芯片硬件模塊相對(duì)單一，有一些成熟范式，芯片設(shè)計(jì)代碼復(fù)雜但人工不足，這些都與ChatGPT有很好的互補(bǔ)。AI使得芯片開發(fā)成本降低、周期縮短，具備足夠多訓(xùn)練數(shù)據(jù)和AI能力的芯片設(shè)計(jì)公司競(jìng)爭(zhēng)優(yōu)勢(shì)可能會(huì)擴(kuò)大。

審核編輯 ：李倩