9月14-15日，AIGC與大模型時代首場AI芯片峰會——2023全球AI芯片峰會將在深圳舉行。清華大學教授、中國半導(dǎo)體行業(yè)協(xié)會副理事長、IEEE Fellow魏少軍領(lǐng)銜40+位演講嘉賓，NVIDIA與AMD齊聚，15家國產(chǎn)AI芯片企業(yè)屆時將登臺，3+Chiplet企業(yè)首度亮相。掃碼報名，線下交流。

芯片大廠紛紛入坑Chiplet。

一年一度的頂級芯片盛會Hot Chips正在舉行，作為全球芯片架構(gòu)創(chuàng)新的風向標，今年的Hot Chips繼續(xù)披露工業(yè)界前沿研發(fā)成果和突破性技術(shù)，覆蓋人工智能（AI）訓(xùn)練及推理、Chiplet、近存計算、處理器、光子計算、晶圓級集群、神經(jīng)擬態(tài)計算等熱門領(lǐng)域。

本屆大會為期三天，NVIDIA、高通、英特爾、AMD、谷歌、SK海力士、三星、Arm、IBM等芯片巨頭，Meta、微軟等科技巨頭，晶圓級芯片創(chuàng)企Cerebras、光子AI芯片創(chuàng)企曦智科技、稀疏化計算AI芯片創(chuàng)企墨芯人工智能、RISC-V服務(wù)器處理器創(chuàng)企Ventana、RISC-V IP供應(yīng)商SiFive等具有代表性的創(chuàng)業(yè)公司，均發(fā)表了展現(xiàn)當前芯片工業(yè)界前沿趨勢的主題演講。 期間，英特爾揭秘了其第六代至強數(shù)據(jù)中心處理器的架構(gòu)變化，詳解了新一代架構(gòu)、E核和P核處理器技術(shù)，包括內(nèi)存和I/O子系統(tǒng)的設(shè)計改進，并披露2023~2025年的最新產(chǎn)品路線圖。

英特爾宣布將在明年推出兩款采用Intel 3工藝技術(shù)的至強新品——為計算密集型和人工智能工作負載優(yōu)化的高性能核心（P核）和針對高密度和橫向擴展工作負載優(yōu)化的高能效核心（E核）。E核至強處理器（代號Sierra Forest）將在2024年上半年問世，P核至強處理器（代號(Granite Rapids）將緊隨其后登場。 總體而言，英特爾將至強處理器稱作“人工智能的最佳CPU”，Granite Rapids可將AI工作負載性能提升2-3倍，實現(xiàn)2.8倍的更好內(nèi)存帶寬，內(nèi)存模組MCR DIMM帶寬可提高30-40%；而Sierra Forest可在機架級別將機架密度提高250%，將每瓦性能提高240%。

插播一則會議預(yù)告。9月14-15日，2023全球AI芯片峰會將在深圳舉行。清華大學魏少軍教授領(lǐng)銜近50位演講嘉賓，NVIDIA與AMD齊聚，15+國產(chǎn)AI芯片企業(yè)屆時將登臺交鋒，3家Chiplet企業(yè)首度亮相。開幕式、AI芯片架構(gòu)創(chuàng)新專場、AI大算力芯片專場和高能效AI芯片專場將在主會場進行。智算中心算力與網(wǎng)絡(luò)高峰論壇等板塊將在分會場進行。掃碼報名~

01.全面轉(zhuǎn)向Chiplet，內(nèi)存和I/O大幅升級英特爾Fellow、數(shù)據(jù)中心處理器架構(gòu)師Chris Gianos發(fā)表了主題為《為靈活性和價值而設(shè)計的未來英特爾至強處理器架構(gòu)》演講。 未來的英特爾至強處理器引入了一種新架構(gòu)，能提供必要的可擴展性、能效、性能和多功能性，滿足日益增長的數(shù)據(jù)中心工作負載和部署需求。 該架構(gòu)采用模塊化設(shè)計方式，通過fabric技術(shù)把模塊化die互連，實現(xiàn)靈活的架構(gòu)，可將獨立的計算和I/O的chiplets（常譯為“芯?！薄ⅰ靶⌒酒保┻M行靈活組合，并借助EmiB封裝技術(shù)實現(xiàn)高帶寬和低延遲。基于該架構(gòu)的模塊化SoC包含通用IP、固件、操作系統(tǒng)、平臺組件等組件。

當前最新一代英特爾至強可擴展處理器（代號Sapphire Rapids）最高支持8個DDR5通道和80個PCIe 5.0/CXL 1.1連接通道。相比之下，AMD的EPYC 4數(shù)據(jù)中心處理器擁有12個DDR5通道和128個PCIe通道。 而第六代至強將在通道數(shù)量和內(nèi)存帶寬上取得顯著進步，內(nèi)存配置轉(zhuǎn)向12個通道的DDR/MCR、1-2DPC，先進I/O支持136個通道的PCIe 5.0/CXL 2.0以及6個UPI鏈路（144通道），內(nèi)存帶寬相比Sapphire Rapids將提高近3倍。值得一提的是服務(wù)器內(nèi)存模組MCR DIMM，據(jù)稱內(nèi)存帶寬會比傳統(tǒng)DDR5大幅提升。早在今年3月英特爾宣布更新其數(shù)據(jù)中心和人工智能路線圖時，就曾演示過一個帶有新MCR DIMM模塊的的預(yù)生產(chǎn)Granite Rapids至強，速率高達8800MT/s，這幾乎是當前服務(wù)器平臺上可用的DDR5（4400~4800MT/s）速率的兩倍。下一代至強架構(gòu)具有可擴展性，將提供P核和E核版本，支持1S-8S規(guī)格的P核、1S-2S規(guī)格的E核?；谶@些功能，不同工藝節(jié)點之間能夠進行匹配，從而得以實現(xiàn)性能和能效的最佳平衡。 得益于I/O和內(nèi)存子系統(tǒng)的進步，這一架構(gòu)提供了高性能和平臺靈活性的優(yōu)化，邏輯單片計算集群相較以往的產(chǎn)品提供了更好的每瓦特性能和每線程性能，并為未來代號為Granite Rapids和Sierra Forest的英特爾至強處理器奠定基礎(chǔ)。

02.兩種核心架構(gòu)：

基于Intel 3工藝節(jié)點，專攻高性能與高能效

能效已經(jīng)成為現(xiàn)代云計算和數(shù)據(jù)中心改變高性能服務(wù)器處理器設(shè)計的關(guān)鍵因素。對于數(shù)據(jù)中心來說，省電才是硬道理。

英特爾高級首席工程師、架構(gòu)師Don Soltis在Hot Chips上發(fā)表的《基于高能效核心（E-Core）的英特爾至強處理器：下一代高性能、高能效計算》主題演講，便重點介紹了代號為Sierra Forest的全新英特爾至強處理器的架構(gòu)設(shè)計細節(jié)，如何在消耗同樣能源的情況下，讓每個芯片完成更多的計算工作。 英特爾探討了其首款高能效核心E核至強如何補充現(xiàn)有和未來的英特爾高性能核心P核處理器解決方案，以提供一個高度通用的平臺，最大限度地提高計算性能、最大限度地降低功耗。 英特爾觀察到客戶需求正在變化：對高性能CPU核心的需求持續(xù)不斷；對更高密度和更高每瓦性能的CPU核心的需求也不斷增長；不同工作負載及應(yīng)用，需要在核心性能、核心能效與核心密度之間取得平衡；擴展部署模型要求增加功率、I/O、帶寬和內(nèi)存。

針對這些趨勢，英特爾通過P核和E核來滿足性能和效率需求。 英特爾第六代至強可擴展處理器將提供P核和E核兩種版本的核心架構(gòu)，其中P核至強Granite Rapids針對計算密集型和AI工作負載的性能進行了優(yōu)化，E核至強Sierra Forest針對高密度和橫向擴展工作負載的能效進行了優(yōu)化。

P核和E核均基于最新的Intel 3工藝技術(shù)（相當于7nm工藝），支持客戶輕松優(yōu)化，具有硬件兼容、軟件棧共享、全面安全性等特點，并在TCO和每瓦性能上取得進步。 兩種架構(gòu)擁有不同的功能集。P核采用經(jīng)驗證的至強架構(gòu)，優(yōu)化了每核性能并提高了能效，新軟件功能包括支持用于AI/ML的FP16的高級矩陣擴展（AMX）、長度256位的內(nèi)存加密秘鑰、Code SW預(yù)取和取指分支提示、單線程MBA+L2高速緩存分配技術(shù)/代碼和數(shù)據(jù)優(yōu)先級（CAT/CDP）。

其微架構(gòu)對性能進行優(yōu)化，包括：64KB、16路指令高速緩存（I-cache），改進分支預(yù)測和錯誤恢復(fù)，3-cycle FP乘法，更突出的內(nèi)存請求和預(yù)取能力。E核采用全新英特爾至強架構(gòu)，擁有優(yōu)化的能效吞吐量性能，軟件功能支持BF16、FP16轉(zhuǎn)換，并支持HLAT、CMPccXADD、LAM、LASS、AVX-IFMA、AVX-DOT-PROD-INT8等。

該處理器將擁有144個核心，提供單插槽和雙插槽配置，微架構(gòu)對能效進行優(yōu)化，包括64kB I-cache、6-wide解碼器、5-wide分配器、8-wide retire、2核或4核共享4MB L2、支持處理多達64個outstanding misses。 英特爾聲稱在機架級別，與當前的Sapphire Rapids相比，E核至強處理器Sierra Forest面向云計算可將機架密度提高250%，將每瓦性能提高240%。

03.結(jié)語：Chiplet在數(shù)據(jù)中心走向主流從英特爾對下一代數(shù)據(jù)中心處理器架構(gòu)的投資，可以看到面對計算多樣性，提高算力涉及的技術(shù)跨度更加廣泛，需要兼顧到計算單元、I/O單元、內(nèi)存的可擴展性，更加高速的互連網(wǎng)絡(luò)，靈活高效的模塊化功能，電源管理能力等等。 進入高算力時代，英特爾和AMD這兩大數(shù)據(jù)中心處理器巨頭都選擇走上了Chiplet路線，在處理器封裝大量獨立的計算和I/O chiplets，讓芯片設(shè)計如同“搭積木”般成為可能。這種將I/O功能從計算芯片中分離出來的設(shè)計正在風靡數(shù)據(jù)中心芯片設(shè)計行業(yè)，不僅是數(shù)據(jù)中心CPU，英偉達的A100 GPU、AMD的AI芯片MI300、特斯拉Dojo超級計算機的D1芯片等均是Chiplet產(chǎn)品。