無論是市場動力、技術創(chuàng)新還是熱點趨勢，2024年的半導體產(chǎn)業(yè)都繞不開“AI”這個關鍵詞。從算力芯片，到芯片互聯(lián)、異構(gòu)聚合等AI基礎設施，再到軟件平臺、開發(fā)者社區(qū)與生態(tài)合作組織等平臺生態(tài)建設，以及算力集群等大規(guī)模應用——半導體產(chǎn)業(yè)鏈的每一個節(jié)點，都在跟隨AI的腳步創(chuàng)新發(fā)展。

1月22日，“中國電子報編輯選擇——2024年AI芯片創(chuàng)新產(chǎn)品及生態(tài)應用”正式出爐。本次編輯選擇結(jié)合行業(yè)關注、市場熱點和企業(yè)動態(tài)，通過考察技術領先性、市場競爭力、產(chǎn)品應用性、生態(tài)構(gòu)建能力等指標，推選出10個創(chuàng)新產(chǎn)品及生態(tài)應用，涵蓋優(yōu)秀產(chǎn)品、創(chuàng)新技術、生態(tài)貢獻和卓越應用等，以期為行業(yè)發(fā)展樹立典范，為業(yè)界人士提供參考，為產(chǎn)業(yè)合作提供契機。

第6代TPU Trillium

谷歌公司

優(yōu)秀產(chǎn)品

Trillium（TPU v6e）是谷歌第 6 代 TPU。相比上一代產(chǎn)品TPU v5e，Trillium訓練性能提升超 4 倍，推理吞吐量提升3 倍；單顆芯片峰值計算能力(Int8)提升4.7倍，達到1836TOPs；HBM容量及帶寬各提升1倍，分別達到32GB和1640GBps；芯片間互聯(lián)帶寬提高一倍，達到3584Gbps；能源效率提升67%。Trillium支持最多256個v6e芯片訓練，以及最多8個芯片的單主機推理。在擴展能力方面，使用由3072個v6e芯片組成的12個計算模塊進行部署時，Trillium實現(xiàn)了99%的擴展效率。即便在跨數(shù)據(jù)中心網(wǎng)絡環(huán)境下，使用由6144個芯片組成的24個計算模塊對gpt3-175b進行預訓練，Trillium也展現(xiàn)出94%的擴展效率。

擁有45TOPS NPU的PC平臺驍龍X Elite

高通公司

優(yōu)秀產(chǎn)品

驍龍X Elite是高通專為Windows 11 AI+ PC打造的PC平臺，擁有45TOPS NPU算力。該平臺采用定制的集成高通Oryon CPU，擁有12個高性能內(nèi)核，主頻達3.8GHz，雙核增強技術可將兩個高性能內(nèi)核提升到4.3GHz，是首個主頻達到4GHz以上的ARM架構(gòu)CPU核心；集成Adreno GPU能夠?qū)崿F(xiàn)每秒4.6萬億次浮點運算的圖形性能。驍龍X Elite采用了全新異構(gòu)高通AI引擎，擁有45TOPS算力NPU。此外，該平臺支持10Gbps 5G下載速度，以及高通FastConnect7800支持的Wi-Fi 7等通信技術。除驍龍X Elite外，驍龍X系列還包括驍龍X Plus、驍龍X Plus（8核）以及驍龍X平臺。目前，來自眾多領先OEM廠商的超過60款PC設計已經(jīng)量產(chǎn)或正在開發(fā)中，包括華碩、宏基、戴爾、HP和聯(lián)想等。

多模態(tài)智慧感知決策AI芯片PIMCHIP-S300

北京蘋芯科技有限公司

優(yōu)秀產(chǎn)品

PIMCHIP-S300是一款基于存算一體技術的多模態(tài)智慧感知決策AI芯片。該芯片搭載的SRAM存算一體技術能夠使計算直接在存儲器內(nèi)部發(fā)生，有效減少了傳統(tǒng)架構(gòu)中數(shù)據(jù)搬運帶來的能耗和延遲問題，核心能效比達27TOPS/W，同時能夠?qū)崿F(xiàn)低功耗運行。該芯片支持音頻、視頻多模態(tài)融合感知，具備超低功耗喚醒、VAD（聲音活動檢測）、語音識別、運動監(jiān)測和視覺識別功能，可適用于智能穿戴、智慧家居、無人機等多個新興行業(yè)，為合作伙伴帶來高能效、低成本的解決方案，推動其產(chǎn)品的智能化轉(zhuǎn)型。

異構(gòu)GPU協(xié)同訓練方案HGCT

上海壁仞科技股份有限公司

創(chuàng)新技術

壁仞科技自主原創(chuàng)的異構(gòu)GPU協(xié)同訓練方案HGCT，是業(yè)界首次實現(xiàn)統(tǒng)一異構(gòu)通信庫支持多種不同廠商、不同型號的GPU進行GDR高速通信，也是業(yè)界首次實現(xiàn)四種異構(gòu)GPU混合訓練同一個大模型，將異構(gòu)算力有效聚合，端到端混訓效率達到95-98%，突破了大模型異構(gòu)算力孤島難題，有望實現(xiàn)萬卡、十萬卡異構(gòu)集群混訓。該方案具備普適性、易用性、兼容性，使多種國產(chǎn)GPU和英偉達GPU算力的異構(gòu)聚合成為可能，從而有助于加快國產(chǎn)GPU的落地遷移，有助于應用方最大化異構(gòu)GPU集群利用效率，助力國產(chǎn)大模型落地。壁仞科技已聯(lián)合中國移動發(fā)布“芯合”異構(gòu)混合并行訓練系統(tǒng)，聯(lián)合中國電信、中興通訊等發(fā)布“智算異構(gòu)四芯混訓解決方案”。

實現(xiàn)光學I/O芯粒的完全集成

英特爾公司

創(chuàng)新技術

面向大模型和生成式AI的部署需求，數(shù)據(jù)中心需要指數(shù)級提升的I/O帶寬和更長的傳輸距離，以支持更大規(guī)模的處理器集群和更加高效的架構(gòu)。在2024年光纖通信大會上，英特爾展示了完全集成的OCI（光學計算互連）芯粒。基于已實際驗證的硅光子技術，英特爾在OCI芯粒中集成了包含片上激光器的硅光子集成電路（PIC）、光放大器和電子集成電路。英特爾現(xiàn)場展示的OCI芯粒與自家CPU封裝在一起，但它也能與下一代CPU、GPU、IPU等SOC集成。該OCI芯粒可在最長100米的光纖上，單向支持64個32Gbps通道，以滿足AI基礎設施日益增長的對更高帶寬、更低功耗和更長傳輸距離的需求。同時有助于實現(xiàn)可擴展的CPU和GPU集群連接，和包括一致性內(nèi)存擴展及資源解聚的新型計算架構(gòu)。

用于AI XPU的3.5D面對面（F2F）封裝技術

博通公司

創(chuàng)新技術

2024年12月，博通公司推出3.5D系統(tǒng)級封裝平臺技術XDSiP，助力消費級人工智能領域企業(yè)開發(fā)下一代定制加速器（XPU）。該3.5D技術結(jié)合了3D硅片堆疊與2.5D封裝，能在單個封裝器件中集成超6000平方毫米的硅片以及多達12個HBM堆棧。基于創(chuàng)新的面對面（F2F）堆疊方式，3.5D XDSiP直接連接上下層芯片的頂部金屬層，從而提供了密集且可靠的連接，同時將電氣干擾降至最低，并具備出色的機械強度。相比傳統(tǒng)的面對背（F2B）封裝，3.5D XDSiP技術將堆疊芯片之間的信號密度提升7倍，芯片間接口的功耗降低10倍，降低了3D堆疊內(nèi)計算、內(nèi)存和輸入/輸出組件之間的延遲，且能夠?qū)崿F(xiàn)更小的中介層和封裝尺寸。

開源軟件平臺ROCm

超威半導體產(chǎn)品（中國）有限公司

生態(tài)貢獻

ROCm（Radeon Open Compute Platform）是一個開源的軟件平臺，通過支持異構(gòu)硬件、優(yōu)化平臺工具、提升開發(fā)者友好程度以及拓展合作伙伴等方式，助力AI產(chǎn)業(yè)生態(tài)建設。ROCm既支持AMD的多種GPU架構(gòu)，還推出了適用于中國本土需求的定制化解決方案；提供了諸多優(yōu)化的庫和工具鏈，如MIOpen（深度學習庫）、rocBLAS（線性代數(shù)庫）和rocFFT（快速傅里葉變換庫）等，為開發(fā)者提供了強大的開發(fā)基礎，加速了算法的實現(xiàn)和優(yōu)化。該平臺同時提供了編譯器工具鏈、性能分析工具、調(diào)試工具等多種類型的平臺工具，通過提供詳盡文檔和教程等方式給予開發(fā)者支持。

海光產(chǎn)業(yè)生態(tài)合作組織

海光信息技術股份有限公司

生態(tài)貢獻

海光產(chǎn)業(yè)生態(tài)合作組織（簡稱：光合組織）是海光信息打造的貫通“芯片設計與制造—整機系統(tǒng)—軟件生態(tài)—應用服務”各個環(huán)節(jié)的開放創(chuàng)新鏈和產(chǎn)業(yè)鏈，凝聚了超過4000家上下游合作伙伴。該組織通過共同開展技術攻關、方案優(yōu)化、應用創(chuàng)新及市場開拓，為千行百業(yè)提供了高質(zhì)量的產(chǎn)品及解決方案。海光信息C86-3G、C86-4G等CPU系列產(chǎn)品，深算一號、深算二號等DCU系列產(chǎn)品，完全兼容x86指令集以及國際主流操作系統(tǒng)和應用軟件,為該組織的應用拓展提供了產(chǎn)品基礎。

慶陽“東數(shù)西算”智能算力樞紐示范工程

上海燧原科技股份有限公司

卓越應用

2024年6月19日，由燧原科技支持建設的全國算力樞紐（甘肅·慶陽）首批萬P算力上線，首個國產(chǎn)萬卡算力集群啟動。該算力集群搭建燧原科技新一代人工智能推理加速卡“燧原S60”。在項目建設過程中，燧原科技致力于打造智算中心的新范式，解決誰來建設、如何運營、用戶在哪三大核心問題，整合貫通智算產(chǎn)業(yè)生態(tài)鏈條，實現(xiàn)了智算中心“建”、“運”、“用”的商業(yè)閉環(huán)與可持續(xù)發(fā)展，助力慶陽充分發(fā)揮大模型算力資源優(yōu)勢，發(fā)展人工智能技術應用，實現(xiàn)當?shù)禺a(chǎn)業(yè)集聚和人才匯聚。

NVIDIA以太網(wǎng)加速xAI構(gòu)建全球最大AI超級計算機

英偉達公司

卓越應用

2024年10月，英偉達宣布人工智能初創(chuàng)企業(yè)xAI的 Colossus 超級計算機集群達到了10萬顆 NVIDIA Hopper GPU規(guī)模。該集群使用了英偉達第一款專為 AI打造的以太網(wǎng)網(wǎng)絡平臺 NVIDIA Spectrum-X，是專為多租戶、超大規(guī)模的 AI 工廠設計的 RDMA（遠程直接內(nèi)存訪問）網(wǎng)絡。Colossus 是世界上最大的 AI 超級計算機之一，被用于訓練 xAI 的Grok系列大語言模型，以及為訂閱用戶提供的聊天機器人功能。xAI和英偉達用了122天就建成了所有配套設施和Colossus超級計算機，從第一個機架落地到開始訓練任務，只用了19天。而建造這種規(guī)模的系統(tǒng)通常需要數(shù)月乃至數(shù)年的時間。