2021年6月14日～6月17日，第48屆國際計算機體系結(jié)構(gòu)大會（ISCA）通過線上模式順利召開。清華大學(xué)魏少軍、劉雷波教授團隊作了題為“ABC-DIMM： Alleviating the Bottleneck of Communication in DIMM-based Near Memory Processing with Inter-DIMM Broadcast”的學(xué)術(shù)報告。

該報告針對DIMM（雙列直插式存儲模塊）近存計算架構(gòu)的通信瓶頸問題，提出了基于DIMM間廣播技術(shù)的通信優(yōu)化方法。該方法充分利用了內(nèi)存總線廣播的可擴展性以及廣播機制的廣泛適用性，為DIMM近存計算的通信優(yōu)化提供了強有力的新工具。

報告人孫偉藝是論文第一作者，目前正在清華大學(xué)集成電路學(xué)院攻讀博士學(xué)位。論文通訊作者是劉雷波教授，主要合作者還有李兆石、尹首一等。

當(dāng)前，隨著數(shù)據(jù)密集型應(yīng)用的廣泛部署，傳統(tǒng)主存系統(tǒng)已難以應(yīng)對日益增長的容量和帶寬需求。為應(yīng)對這一挑戰(zhàn)，諸多近存計算架構(gòu)被相繼提出，其中基于DIMM的近存計算架構(gòu)是公認(rèn)最具潛力的架構(gòu)之一。

該架構(gòu)把計算邏輯集成到DIMM的緩存芯片上，通過讓內(nèi)存通道內(nèi)多個DIMM并行訪存和計算，實現(xiàn)較高的總訪存帶寬，從而以較低的設(shè)計與生產(chǎn)代價獲得較高的性能提升潛力。

然而，DIMM近存計算系統(tǒng)的性能提升依賴于DIMM數(shù)量的增加，但現(xiàn)有DIMM間基于內(nèi)存總線的點對點通信機制卻可能嚴(yán)重制約系統(tǒng)性能相對于DIMM數(shù)量的可擴展性。

具體來說，當(dāng)一個內(nèi)存通道內(nèi)DIMM數(shù)量增加時，每個DIMM分配到的平均點對點通信帶寬迅速減小，對于許多重要的數(shù)據(jù)密集型應(yīng)用，各個DIMM和CPU之間的通信主導(dǎo)了程序的運行時間，極大限制了系統(tǒng)的整體性能。

針對該問題，魏少軍、劉雷波團隊提出了DIMM間廣播技術(shù)。

從硬件角度來看，總線系統(tǒng)在物理層面上天然支持廣播，且主存總線的有效廣播帶寬隨著DIMM數(shù)量的增加而自然擴展。而從軟件角度來看，大量數(shù)據(jù)密集型應(yīng)用都能以“廣播主導(dǎo)”的方式實現(xiàn)。

基于上述想法，團隊設(shè)計了ABC-DIMM系統(tǒng)，通過在主存中實現(xiàn)并利用“DIMM間廣播”來消除DIMM近存計算架構(gòu)中的通信瓶頸。該系統(tǒng)由三部分構(gòu)成。

首先，團隊設(shè)計了指導(dǎo)程序員以廣播主導(dǎo)方式實現(xiàn)各類應(yīng)用的“廣播-計算”編程框架，從而讓軟件能夠充分利用“DIMM間廣播”來優(yōu)化通信。它通過分割輸出來劃分任務(wù)，而任務(wù)間的通信則由輸入數(shù)據(jù)的廣播所主導(dǎo)。

其次，團隊提供了“內(nèi)存通道內(nèi)”和“內(nèi)存通道間”的完整“DIMM間廣播”機制，利用這些機制，“廣播-計算”框架在多內(nèi)存通道下的通信可以得到高效的實現(xiàn)。

最后，團隊為“DIMM間廣播”機制提供了全棧式的硬件和API設(shè)計。為使系統(tǒng)實現(xiàn)盡可能地簡單和低廉，團隊將設(shè)計開銷和范圍成功控制在了DIMM緩存芯片以及CPU的內(nèi)存控制器之內(nèi)。

具體而言，通過在緩存芯片中加入指令翻譯模塊，“DIMM間廣播”能夠在不更改DRAM芯片的前提下以新DDR指令的形式融入主存系統(tǒng)中。此外，通過對內(nèi)存控制器的有限修改以及相應(yīng)的API設(shè)計，“DIMM間廣播”能夠在不更改ISA的前提下被軟件有效使用。

模擬評估顯示，ABC-DIMM的平均性能分別達到了兩個主流基線近存系統(tǒng)性能的2.50倍和2.93倍。

過去10余年，魏少軍、劉雷波教授團隊在軟件定義芯片領(lǐng)域取得了多項重要技術(shù)突破，關(guān)鍵技術(shù)在多項國家重大工程中得到批量應(yīng)用，曾獲國家技術(shù)發(fā)明二等獎、教育部技術(shù)發(fā)明一等獎、電子學(xué)會技術(shù)發(fā)明一等獎、中國發(fā)明專利金獎、世界互聯(lián)網(wǎng)大會15項世界互聯(lián)網(wǎng)領(lǐng)先科技成果等。

編輯：jq