Exaflop 是衡量超級計算機性能的單位，表示該計算機每秒可至少進行百億億次浮點運算。

為了解決這個時代最復雜的問題，比如如何治療像新冠肺炎和癌癥這樣的疾病、以及如何緩解氣候變化等。計算機的計算量正在不斷增加。

所有這些重大挑戰(zhàn)將計算帶入了現(xiàn)今的百億億次級時代，頂級性能通常以 exaflops 來衡量。

什么是 Exaflop？

Exaflop 是衡量超級計算機性能的單位，表示該計算機每秒可以至少進行 10^18 或百億億次浮點運算。

Exaflop 中的 exa-前綴表示“百億億”，即 10 億乘以 10 億或1的后面有 18 個零。同樣，單個 exabyte 的內存子系統(tǒng)可以儲存百億億字節(jié)的數(shù)據。

exaflop 中的“flop”是浮點運算的縮寫。exaflop/s 是表示系統(tǒng)每秒浮點運算次數(shù)的單位。

浮點是指所有數(shù)字都用小數(shù)點表示的計算方法。

1000 Petaflop = 1 Exaflop

前綴 peta- 表示 10^15，即 1 的后面有 15 個零。因此 1 exaflop 等于 1000 petaflop。

1 exaflop 的計算量到底有多大？相當于十億人中的每個人都拿著十億個計算器。

如果他們同時按下等號，就是進行了 1 個 exaflop。

擁有 Big Red 200 和其他幾臺超級計算機的印第安納大學表示，exaflop 計算機的速度相當于一個人每秒鐘進行一次計算，并一直計算 31,688,765,000 年。

Exaflop 簡史

在超級計算發(fā)展史的大部分時間里，一次浮點運算就是一次，但隨著工作負載引入 AI ，這種情況也發(fā)生了變化。

人們開始使用最高的精度格式來表示數(shù)字，這種格式被稱為雙精度，由 IEEE 浮點運算標準定義。它之所以被稱為雙精度或 FP64，是因為計算中的每個數(shù)字都需要以 64 位用 0 或 1 表示的數(shù)據塊表示，而單精度為 32 位。

雙精度使用 64 位確保每個數(shù)字都精確到很細微的部分，比如 1.0001 + 1.0001 = 2.0002，而不是 1 + 1 = 2。

這種格式非常適合當時的大部分工作負載，比如從原子到飛機等全部需要確保模擬結果接近于真實的模擬。

因此，當 1993 年全球最強大的超級計算機榜單 TOP500 首次發(fā)布時，衡量 FP64 數(shù)學性能的 LINPACK 基準（又稱HPL）自然成為了默認的衡量標準。

AI 大爆炸

十年前，計算行業(yè)發(fā)生了 NVIDIA 首席執(zhí)行官黃仁勛所說的 AI 大爆炸。

這種強大的新計算形式開始在科學和商業(yè)應用上展現(xiàn)出重大成果，而且它運用了一些非常不同的數(shù)學方法。

深度學習并不是模擬真實世界中的物體，而是在堆積如山的數(shù)據中篩選，以找到能夠帶來新洞察的模式。

這種數(shù)學方法需要很高的吞吐量，所以用經過簡化的數(shù)字（比如使用 1.01 而不是 1.0001）進行大量計算要比用更復雜的數(shù)字進行少量計算好得多。

因此 AI 使用 FP32、FP16 和 FP8 等低精度格式，通過 32 位、16 位和 8 位數(shù)讓用戶更快地進行更多計算。

混合精度不斷發(fā)展

AI 使用 64 位數(shù)就如同在周末外出時帶著整個衣柜。

研究人員一直在積極地為 AI 尋找理想的低精度技術。

例如首個 NVIDIA Tensor Core GPU——Volta，它使用了混合精度，并以 FP16 格式執(zhí)行矩陣乘法，然后用 FP32 累積結果以獲得更高的精度。

Hopper 通過 FP8 加速

最近，NVIDIA Hopper 架構首次發(fā)布了速度更快的低精度 AI 訓練方法。Hopper Transformer Engine 能夠自動分析工作負載，盡可能采用 FP8 并以 FP32 累積結果。

在進行計算密集度較低的推理工作，比如在生產中運行 AI 模型時，TensorFlow 和 PyTorch 等主要框架通過支持 8 位整數(shù)實現(xiàn)快速性能，因為這樣就不需要使用小數(shù)點來完成工作。

好消息是，NVIDIA GPU 支持上述所有精度格式，因此用戶可以實現(xiàn)每個工作負載的最優(yōu)加速。

去年，IEEE P3109 委員會開始為機器學習中使用的精度格式制定行業(yè)標準。這項工作可能還需要一到兩年的時間才能完成。

一些模擬軟件在低精度工作中大放異彩

雖然 FP64 在模擬工作中仍然很受歡迎，但當?shù)途葦?shù)學能夠更快提供可用結果時，許多人會使用后者。

影響 HPC 應用程序性能的因素各不相同

例如，研究人員用 FP32 運行廣受歡迎的汽車碰撞模擬器——Ansys LS-Dyna?；蚪M學也傾向于使用低精度數(shù)學。

此外，許多傳統(tǒng)的模擬開始在部分工作流程中采用 AI。隨著越來越多的工作負載使用 AI，超級計算機需要支持較低的精度才能有效運行這些新興應用。

基準與工作負載同步發(fā)展

在認識到這些變化后，包括 Jack Dongarra（2021 年圖靈獎得主和 HPL 的貢獻者）在內的研究人員在 2019 年首次發(fā)布了 HPL-AI，這項新基準更適合測量新的工作負載。

Dongarra 在 2019 年的博客中表示：“無論是技術不斷優(yōu)化的傳統(tǒng)模擬，還是 AI 應用，混合精度技術對于提高超級計算機的計算效率越來越重要。正如 HPL 實現(xiàn)了對雙精度能力的基準測試一樣，這種基于 HPL 的新方法可以對超級計算機的混合精度能力進行大規(guī)?；鶞蕼y試?！?/p>

尤利希超級計算中心主任 Thomas Lippert 同意了這一觀點。

他在去年發(fā)表的一篇博客中表示：“我們使用 HPL-AI 基準是因為它既能夠準確地衡量日益增加的 AI 和科學工作負載中的混合精度工作，也能反映準確的 64 位浮點計算結果?！?/p>

現(xiàn)今的 Exaflop 系統(tǒng)

在 6 月的一份報告中，全球 20 個超級計算機中心提交了 HPL-AI 結果，其中有三個中心提供了超過 1 exaflop 的性能。

在這些系統(tǒng)中，橡樹嶺國家實驗室的超級計算機在 HPL 上的 FP64 性能也超過了 1 exaflop。

2022 年 6 月 HPL-AI 結果的采樣器

兩年前，一非傳統(tǒng)系統(tǒng)首次達到 1 exaflop。這臺由 Folding@home 聯(lián)盟組裝的眾源超級計算機在呼吁幫助抵御新冠疫情后，達到了這一里程碑，到現(xiàn)在已有超過 100 萬臺計算機加入其中。

理論和實踐中的Exaflop

許多組織從那時起就已開始安裝理論峰值性能超過 1 exaflop 的超級計算機。需要注意的是，TOP500 榜單同時發(fā)布 Rmax（實際）和 Rpeak（理論）分數(shù)。

Rmax 指計算機實際表現(xiàn)出的最佳性能。

Rpeak 是一切系統(tǒng)都處于高水平運行時的最高理論性能，而這幾乎從未發(fā)生過。該數(shù)值的計算方法通常是將系統(tǒng)中的處理器數(shù)量乘以其時鐘速度，然后再將結果乘以處理器在一秒鐘內可執(zhí)行的浮點運算數(shù)。

因此，如果有人說他們的系統(tǒng)達到 1 exaflop，請詢問他說的是 Rmax（實際）還是Rpeak（理論）。

Exaflop 時代的眾多指標

這也是新百億億次時代的眾多細微變化之一。

值得注意的是，HPL 和 HPL-AI 屬于合成基準，即它們衡量的是數(shù)學程序的性能，而不是真實世界的應用。MLPerf 等其他基準則基于真實世界中的工作負載。

最后，衡量系統(tǒng)性能的最佳標準當然是它運行用戶應用程序的情況。該衡量標準不是基于 exaflop，而是基于投資回報率。

審核編輯：湯梓紅