中國(guó)AI芯片公司的天花板，可能是AMD。

ChatGPT火爆時(shí)，浩然被兩股矛盾的情緒夾在縫隙：一面是興奮，一面是悲傷。 作為一名AI芯片公司的高級(jí)軟件工程師，ChatGPT大爆發(fā)前夜，浩然對(duì)自己參與研發(fā)的大算力AI芯片充滿信心，他相信為特定AI算法研發(fā)的專用芯片，相比英偉達(dá)通用的GPGPU在同等功耗下可以有2倍的性能優(yōu)勢(shì)，價(jià)格可以做到50%甚至更低，只要軟件體驗(yàn)不太差，客戶一定會(huì)買單。 可ChatGPT掀起的大模型熱潮，讓浩然和同行們都開(kāi)始思考，AI算法是否有從百家爭(zhēng)鳴走向大一統(tǒng)的可能。

這意味著，過(guò)去為特定領(lǐng)域AI算法研發(fā)的專用AI芯片，由于計(jì)算負(fù)載特性的急劇變化，之前的性價(jià)比優(yōu)勢(shì)會(huì)被明顯削弱，英偉達(dá)兼具高顯存帶寬和高互聯(lián)帶寬特性的通用GPU優(yōu)勢(shì)將會(huì)進(jìn)一步擴(kuò)大，想要和英偉達(dá)競(jìng)爭(zhēng)的難度更大了，這讓浩然有些悲觀。 但從自己工作的角度，AI算法的大一統(tǒng)可以讓硬件工程師和軟件工程師工作的目標(biāo)都更清晰，工作會(huì)難度降低，這是浩然歡呼的理由。 “我不相信英偉達(dá)能一直保持領(lǐng)先?！毙酒軜?gòu)師宇陽(yáng)保持信心，“GPU不見(jiàn)得是大模型的最佳解，中國(guó)AI芯片公司里一定會(huì)有能和英偉達(dá)掰手腕的公司。 國(guó)內(nèi)眾多的AI大芯片公司，誰(shuí)能吃下大模型市場(chǎng)？

芯片公司想喝口大模型的湯也不容易

就算是英偉達(dá)長(zhǎng)久以來(lái)的競(jìng)爭(zhēng)對(duì)手AMD，在英偉達(dá)大口吃AI大模型肥肉的時(shí)候，AMD也沒(méi)喝上多少湯。綜合實(shí)力不及AMD的國(guó)內(nèi)初創(chuàng)公司們，就算嘴上高呼趕超英偉達(dá)，心里也清楚能做互聯(lián)網(wǎng)公司的第二供應(yīng)商，喝上大模型的湯就是巨大的成功。 大模型火爆，全世界的公司都在找英偉達(dá)買GPU。原先售價(jià)3萬(wàn)多美元的最新款H800 GPU，就算終端售價(jià)加價(jià)1萬(wàn)多美元依舊一卡難求。這種供不應(yīng)求的盛況直接將英偉達(dá)的市值推向1萬(wàn)億美元，創(chuàng)造了全球半導(dǎo)體公司市值的新紀(jì)錄。 “客戶很奇怪，就算AMD有性能不錯(cuò)的GPU現(xiàn)貨，許多想要購(gòu)買H800 GPU的人依舊不為所動(dòng)?！币患褹I芯片公司的高管道出想要超越英偉達(dá)的難度。

技術(shù)出身，如今已是芯片公司高管的洪杰深諳其中的道理，“客戶對(duì)AMD的要求和對(duì)英偉達(dá)產(chǎn)品的要求一樣，有的時(shí)候甚至更苛刻，客戶愿意買單的替代產(chǎn)品是比英偉達(dá)的GPU便宜，體驗(yàn)還要差不多。” “采購(gòu)英偉達(dá)GPU量最大的公司還沒(méi)有第二供應(yīng)商。”洪杰感嘆，“不得不承認(rèn)英偉達(dá)的強(qiáng)大，現(xiàn)階段不要說(shuō)超越英偉達(dá)，成為二供都很難?！?困難的事情往往收益很高，像是字節(jié)跳動(dòng)這類大客戶，每年采購(gòu)英偉達(dá)GPU的訂單金額就接近百億元。只要能從英偉達(dá)嘴里分到幾十億的市場(chǎng)份額，就足夠養(yǎng)活幾家國(guó)內(nèi)的AI芯片公司。 離開(kāi)AMD創(chuàng)業(yè)的人成為二供的概率會(huì)更大嗎？歡迎添加文章作者微信BENSONEIT聊聊離開(kāi)AMD的人。

「追隨派」和「創(chuàng)新派」?fàn)帗尨竽Ｐ?/strong>

國(guó)內(nèi)AI大芯片初創(chuàng)公司非常特別，有跟隨英偉達(dá)路線做GPGPU的初創(chuàng)公司，可以叫他們“追隨派”。也有另辟蹊徑，設(shè)計(jì)AI專用芯片（也就是DSA，Domain Specific Architecture，領(lǐng)域?qū)Ｓ眉軜?gòu)）的“創(chuàng)新派”。 這是一個(gè)非常有趣的現(xiàn)象，因?yàn)樵趪?guó)外只有創(chuàng)新派沒(méi)有追隨派，也就是沒(méi)人選擇走GPGPU的技術(shù)路線創(chuàng)業(yè)。 “所有人都知道，沿著英偉達(dá)的路徑不可能超越英偉達(dá)，這幾乎是不證自明的事情。并且，西方的創(chuàng)業(yè)者更喜歡做顛覆式創(chuàng)新?！焙榻芊治?，“尋求顛覆式創(chuàng)新的架構(gòu)師們對(duì)AI計(jì)算問(wèn)題的理解與定義不同，自然也計(jì)出了各種不同的AI芯片架構(gòu)?！?谷歌定義的TPU專用性很強(qiáng)，是一個(gè)典型的領(lǐng)域?qū)Ｓ眯酒珼SA。

被譽(yù)為全球AI芯片獨(dú)角獸的SambaNova Systems選擇了可重構(gòu)架構(gòu)。Cerebras Systems走了一條直接用晶圓做芯片的路。英國(guó)AI芯片獨(dú)角獸Graphcore創(chuàng)造了獨(dú)特的IPU架構(gòu)。 國(guó)內(nèi)也有多家走DSA路徑創(chuàng)業(yè)的AI大芯片公司，比如寒武紀(jì)、昆侖芯、燧原科技、瀚博半導(dǎo)體、墨芯人工智能。 “選擇DSA路徑創(chuàng)業(yè)還有一個(gè)優(yōu)勢(shì)，核心IP設(shè)計(jì)門檻相對(duì)較低?！毙酒幾g器專家德輝打了個(gè)比方， 用搭樂(lè)高來(lái)理解設(shè)計(jì)GPGPU和DSA的難度，設(shè)計(jì)GPGPU就是面向18歲以上玩家的樂(lè)高，有許多精細(xì)的小模塊，拼起來(lái)難度大但作品很精巧。設(shè)計(jì)DSA就像是面向5歲的樂(lè)高，模塊更大拼起來(lái)更容易。

“DSA的門檻可以很低，上限也可以很高。”宇陽(yáng)說(shuō)，“ GPU也是一個(gè)DSA。最初的GPU圖形專用加速芯片，沒(méi)有可編程性，后來(lái)英偉達(dá)為其增加了通用性之后才變成了GPGPU?！?英偉達(dá)將GPU變?yōu)榇蟊娬J(rèn)知里的通用芯片，也是通過(guò)了近20年的努力，從建立CUDA軟件生態(tài)到成熟，讓GPGPU能做圖形加速，AI計(jì)算，科學(xué)計(jì)算。 “從技術(shù)維度，區(qū)別CPU和DSA可以看其是否能運(yùn)行Windows、Linux這樣的操作系統(tǒng)?！庇铌?yáng)補(bǔ)充，“從這個(gè)角度看GPU依舊是DSA?！?只是在大部分人眼里，英偉達(dá)的GPGPU已然成為了一顆通用芯片，在當(dāng)下最為火熱的AI市場(chǎng)里供不應(yīng)求。

早已看到英偉達(dá)GPGPU強(qiáng)大的中國(guó)創(chuàng)業(yè)者，直接選擇了GPGPU架構(gòu)進(jìn)行創(chuàng)業(yè)，就像天數(shù)智芯、登臨科技、壁仞科技、海飛科。 “選擇GPGPU的路徑雖然不能超越英偉達(dá)，但有國(guó)產(chǎn)替代的剛需，而且這條路線可以通過(guò)多種技術(shù)方案做到‘兼容CUDA’，降低用戶的軟件切換成本?！焙迫恢毖裕坝辛藝?guó)產(chǎn)替代的需求，讓中國(guó)大芯片創(chuàng)業(yè)公司有機(jī)會(huì)與英偉達(dá)競(jìng)爭(zhēng)，并且最終一定會(huì)留下幾家AI大芯片的公司?！?這時(shí)誰(shuí)能吃下大模型的問(wèn)題就變成了追隨派和創(chuàng)新派的機(jī)會(huì)誰(shuí)更大？

兩派相爭(zhēng)，創(chuàng)新派已死？

一個(gè)非常犀利的觀點(diǎn)是，DSA已死。這是一個(gè)極具爭(zhēng)議性的話題，探討這個(gè)話題可以添加作者微信BENSONEIT。 這種論調(diào)核心的邏輯是英偉達(dá)編程性很強(qiáng)的GPGPU已經(jīng)通過(guò)了AI大模型的驗(yàn)證，在Transformer讓AI算法趨于收斂的現(xiàn)狀下，英偉達(dá)可以通過(guò)手工優(yōu)化底層代碼，高效調(diào)度底層硬件獲得持續(xù)的性能提升，讓已經(jīng)流片量產(chǎn)的DSA不再擁有設(shè)計(jì)之初的巨大性能優(yōu)勢(shì)。 “算法不確定的時(shí)候，英偉達(dá)沒(méi)有動(dòng)力針對(duì)某個(gè)算法做手工優(yōu)化。這讓針對(duì)某類算法（比如CNN）的DSA可以有2倍甚至更多的性能優(yōu)勢(shì)?！焙迫粚?duì)DSA的未來(lái)有些悲觀。

“現(xiàn)在算法和模型收斂，英偉達(dá)進(jìn)行手工優(yōu)化可以充分釋放出硬件的性能，每一代CUDA升級(jí)都會(huì)帶來(lái)10-20%的性能提升。而通過(guò)底層硬件固化實(shí)現(xiàn)性價(jià)比優(yōu)勢(shì)的DSA要持續(xù)通過(guò)軟件優(yōu)化提升性能的難度很大，極端的情況軟件甚至沒(méi)有多大的提升空間?！?德輝從他擅長(zhǎng)的編譯角度解釋，F(xiàn)lash Attention系列工作在大模型上的驚艷效果，正是說(shuō)明針對(duì)特定模型的手工融合大算子是一種典型手段，本質(zhì)是通過(guò)手工將特定的模型子結(jié)構(gòu)從存儲(chǔ)受限（memory bound）轉(zhuǎn)化成了計(jì)算受限（compute bound），最大程度發(fā)揮出了GPU的計(jì)算性能。 “這種方式只是做了局部的優(yōu)化，手工成本比較高，也難以大規(guī)模推廣?！钡螺x不認(rèn)為DSA已死，“只有擁有一個(gè)能夠自動(dòng)生成融合算子的編譯器，GPU才能最大程度發(fā)揮出性能優(yōu)勢(shì)。但自動(dòng)編譯CPU做了幾十年也沒(méi)做出來(lái)，這是一個(gè)業(yè)界難題?！?比編譯器更底層的芯片架構(gòu)，也決定著計(jì)算AI大模型任務(wù)的效率。

宇陽(yáng)也指出了GPU架構(gòu)的局限性，GPU為了保證很強(qiáng)的編程性，在架構(gòu)上借鑒了CPU的設(shè)計(jì)，芯片上沒(méi)有緩沖器（Buffer），每次操作的對(duì)象只能是寄存器，典型寄存器大小是個(gè)很短的向量，比如64字節(jié)，這是保證編程靈活性的最好設(shè)計(jì)，但數(shù)據(jù)要不斷在芯片內(nèi)部和外部存儲(chǔ)之間搬運(yùn)，效率不高。 “AI大模型動(dòng)輒就是上百億個(gè)參數(shù)，要提升計(jì)算效率需要盡量減少數(shù)據(jù)的搬移。DSA可以為大模型設(shè)計(jì)很大的片上緩存，一次可以操作64字節(jié)的上千倍，相比GPGPU有明顯優(yōu)勢(shì)?！庇铌?yáng)指出。 兩者的差別非常明顯，GPGPU計(jì)算 AI模型時(shí)計(jì)算單元的利用率一般情況下只有30%-40%，而DSA一般都能做到計(jì)算單元的利用率達(dá)到80%-90%。 “許多人沒(méi)看到DSA的核心價(jià)值——數(shù)據(jù)流優(yōu)化?！钡螺x的經(jīng)驗(yàn)告訴他，“通過(guò)充分發(fā)揮DSA片上有的大存儲(chǔ)器（SRAM）優(yōu)勢(shì)，利用編譯器進(jìn)行徹底優(yōu)化，實(shí)現(xiàn)理想的圖編譯，每一層都把大模型計(jì)算的存儲(chǔ)受限轉(zhuǎn)化為計(jì)算受限，能夠最大化DSA的優(yōu)勢(shì)?！?而DSA的優(yōu)勢(shì)沒(méi)被充分挖掘出來(lái)，還是因?yàn)樵S多DSA芯片公司都在用英偉達(dá)的思路設(shè)計(jì)軟件。

“用英偉達(dá)GPGPU的方法設(shè)計(jì)軟件既是一個(gè)思維定式，也是一個(gè)經(jīng)過(guò)驗(yàn)證成功的路，風(fēng)險(xiǎn)更低。并且，要針對(duì)DSA的優(yōu)勢(shì)用另外的思路設(shè)計(jì)編譯器，也有技術(shù)上的挑戰(zhàn)，比如打破算子邊界帶來(lái)的復(fù)雜性?！边@是德輝的心得。 即便再看好DSA，宇陽(yáng)和德輝都沒(méi)有否認(rèn)未來(lái)的趨勢(shì)是混合DSA。

專用和通用融合才是大模型的最優(yōu)解

“一個(gè)完美的AI大模型處理器應(yīng)該是用T4 GPU的計(jì)算核心，用H100 GPU的顯存?！焙榻苡靡粋€(gè)形象的說(shuō)法道出大模型的真實(shí)需求。 而兼具通用性和專用性的混合DSA芯片才是滿足大模型需求的理想產(chǎn)品，未來(lái)AI芯片公司的比拼是混合DSA。 6年前，英偉達(dá)的Volta架構(gòu)首次為深度學(xué)習(xí)加入了Tensor Core，此后的每代架構(gòu)都不斷優(yōu)化Tensor Core，增強(qiáng)GPU的AI性能。 2022年發(fā)布的H100 GPU，又增加了軟硬結(jié)合的Transformer Engine，目的是加速AI大模型計(jì)算。 Tensor Core和Transformer引擎，都是為AI工作流設(shè)計(jì)的專用計(jì)算單元。也就是說(shuō)，英偉達(dá)早就在“通用”的GPGPU上增加了“專用”的AI加速單元，這種融合設(shè)計(jì)兼顧了GPGPU的通用性，又能發(fā)揮專用加速單元的能效比優(yōu)勢(shì)，更像是大模型的最優(yōu)解。

這里有一個(gè)會(huì)讓人費(fèi)解的問(wèn)題，既然AI模型都穩(wěn)定了，為什么不是設(shè)計(jì)一個(gè)Transformer專用的加速芯片，還需要通用性？ “算法的類別雖然從幾千種變成幾百種，但還在不斷優(yōu)化，只有具備足夠的通用性，才能最大化芯片的價(jià)值。”宇陽(yáng)解釋。 “從芯片的設(shè)計(jì)規(guī)律看，設(shè)計(jì)一個(gè)Transformer專用加速芯片，去‘賭’未來(lái)三至五年內(nèi)不會(huì)有新的模型結(jié)構(gòu)顛覆性的替換掉Transformer，也是一個(gè)非常瘋狂的想法?！焙迫谎a(bǔ)充。 那混合DSA的路線明確之后，各家芯片的差異會(huì)如何體現(xiàn)？ “混合DSA其實(shí)就是在通用的CPU和純粹專用的DSA之間找一個(gè)平衡點(diǎn)。不同的架構(gòu)師選擇的點(diǎn)會(huì)完全不一樣，但到底誰(shuí)的設(shè)計(jì)更好，需要時(shí)間的檢驗(yàn)。因?yàn)榧軜?gòu)的設(shè)計(jì)不是一個(gè)純粹的技術(shù)問(wèn)題，還與當(dāng)時(shí)所處的時(shí)間，環(huán)境有很大關(guān)系?！庇铌?yáng)這樣認(rèn)為。 其中有賭的部分，浩然說(shuō)，“混合DSA的片上存儲(chǔ)（SRAM）非常貴，因?yàn)樾枰加玫男酒娣e非常大，所以到底設(shè)計(jì)多大的SRAM，需要賭?！?br />
最終混合DSA芯片之間差異將會(huì)很小。 “就像如今安卓系統(tǒng)和iOS系統(tǒng)越來(lái)越像一樣，最后能夠留下來(lái)的混合DSA架構(gòu)的AI芯片，可能也是80%相同，只有20%不同。”洪杰做出了這樣的判斷。 但在走到這一天之前，混合DSA還有一個(gè)巨大的難題——比GPGPU和DSA都更復(fù)雜的軟件棧。這很容易理解，既然是將兩種架構(gòu)融合，系統(tǒng)就更加復(fù)雜，難度自然也更大。 當(dāng)然，更明確的算法又能降低軟件開(kāi)發(fā)和優(yōu)化的難度。 此時(shí)，就可以回到最初的問(wèn)題，中國(guó)芯片公司誰(shuí)能喝到大模型的湯？

誰(shuí)能更快吃上大模型？

商業(yè)的成功不是單純的技術(shù)路線“好壞”就可以決定，現(xiàn)在可以看到的是，跟隨派轉(zhuǎn)向混合DSA的技術(shù)難度相對(duì)低一些，創(chuàng)新派有RISC-V CPU可選，可謂各有優(yōu)劣。具體到每一家公司的時(shí)候，情況又各不相同。 “GPU的眾核（Many Core）設(shè)計(jì)，相比DSA的設(shè)計(jì)難度更大，所以已經(jīng)設(shè)計(jì)出GPGPU的初創(chuàng)公司，再增加一個(gè)DSA，比DSA增加一個(gè)GPGPU的難度小一些?！焙迫粡谋姾嗽O(shè)計(jì)的難度判斷各家芯片公司面臨的挑戰(zhàn)大小。 “GPU的一致性控制確實(shí)很難?！庇铌?yáng)部分認(rèn)同浩然的觀點(diǎn)，“但增加可編程性并不一定就是要做一個(gè)GPGPU，有很多路徑可選?！?德輝就非?？春?a target="_blank">RISC-V CPU加上DSA的混合DSA，“RISC-V CPU可以提供向量計(jì)算，并且有足夠的通用性，與DSA混合是一個(gè)不錯(cuò)的選擇。” 這種混合DSA方式要自己建立軟件生態(tài)，需要投入的資源巨大。

“芯片要落地非常關(guān)鍵的是要接受客戶的批評(píng)和質(zhì)疑，然后務(wù)實(shí)地迭代?！焙榻艿南敕ㄊ?，“芯片公司要把客戶不愿做的活都做了，比如遷移芯片的大量工作，讓客戶可以無(wú)感遷移，但這需要極大的人力和時(shí)間的投入?！?相比之下，DSA路徑的公司想兼容CUDA生態(tài)的難度比GPGPU路徑的公司難度更大。

但對(duì)于走GPGPU路徑創(chuàng)業(yè)的公司也不是一件容易的事情，要兼容英偉達(dá)的CUDA生態(tài)，硬件設(shè)計(jì)和軟件都要盡量接近英偉達(dá)，才能實(shí)現(xiàn)接近英偉達(dá)GPU的性能。 “AMD就是走兼容英偉達(dá)的路，國(guó)內(nèi)公司走這條路的天花板就是AMD。”德輝指出，“在部分場(chǎng)景做到英偉達(dá)80%的體驗(yàn)沒(méi)有問(wèn)題，但超越不了英偉達(dá)?！?再大致看看各家的情況，追隨派里天數(shù)智芯和登臨科技具有先發(fā)優(yōu)勢(shì)，壁仞科技也被多位內(nèi)工程師視作黑馬。 創(chuàng)新派里的寒武紀(jì)受到美國(guó)禁令的限制前途難料；燧原科技每一代產(chǎn)品都采用了HBM（高帶寬存儲(chǔ)器）適合大模型，但和其它公司一樣，軟件是個(gè)不小的挑戰(zhàn)。 注意一個(gè)時(shí)間點(diǎn)，2025年英特爾計(jì)劃推出融合其GPU和DSA的新一代AI芯片，那時(shí)候AI芯片的競(jìng)爭(zhēng)將會(huì)更加激烈。




審核編輯：劉清