Blackwell 完成的每一項測試，都為各項 AI 應用樹立了訓練性能新標桿。

對于使用文本、計算機代碼、蛋白質(zhì)鏈、摘要、視頻甚至 3D 圖形的生成式 AI 應用，它們需要數(shù)據(jù)中心規(guī)模的加速計算來高效地訓練其背后的大語言模型（LLM）。

在 MLPerf Training 4.1 行業(yè)基準測試中，NVIDIA Blackwell 平臺在所有參與測試的工作負載上都取得了令人贊嘆的測試結果。在 LLM 基準測試中，每塊 GPU 的性能提高了 2.2 倍，其中包括 Llama 2 70B 微調(diào)和 GPT-3 175B 預訓練。

此外，NVIDIA 提交的 NVIDIA Hopper 平臺測試結果繼續(xù)在所有基準測試上保持了規(guī)模級的記錄，包括使用 11,616 塊 Hopper GPU 進行的 GPT-3 175B 基準測試。

Blackwell 帶來性能躍升

這是 NVIDIA 首次向 MLCommons 聯(lián)盟提交 Blackwell 的訓練測試結果，其結果突顯了該架構是如何提高生成式 AI 訓練性能的。MLCommons 聯(lián)盟為業(yè)內(nèi)公司創(chuàng)建了標準化、公正且經(jīng)過嚴格的同行評審的測試。

例如，Blackwell 架構包括新的核函數(shù)，它們可以更高效地使用 Tensor Core。這些核函數(shù)執(zhí)行優(yōu)化的專用數(shù)學運算，例如矩陣乘，是許多深度學習算法的主要計算。

Blackwell 擁有更高的每塊 GPU 計算吞吐量以及更大、更快的高帶寬內(nèi)存，使其能夠在更少的 GPU 上運行 GPT-3 175B 基準測試，同時實現(xiàn)出色的每塊 GPU 性能。

通過利用容量更大、帶寬更高的 HBM3e 內(nèi)存，僅僅 64 塊 Blackwell GPU 就能夠運行 GPT-3 LLM 基準測試，并且不損失每塊 GPU 性能。使用 Hopper 進行相同的基準測試時則需要 256 塊 GPU。

在提交 Blackwell 的訓練測試結果之前，NVIDIA 還提交了 MLPerf Inference 4.1 推理測試結果。在該測試中，Blackwell 的 LLM 推理性能比 Hopper 高出 4 倍。測試結果顯示，通過利用 Blackwell 架構的 FP4 精度以及 NVIDIA QUASAR 量化系統(tǒng)，Blackwell 在滿足基準測試的精度要求的同時展現(xiàn)出了強大的性能。

持續(xù)優(yōu)化

經(jīng)過持續(xù)的軟件開發(fā)，NVIDIA 平臺在各種框架、模型和應用的訓練和推理方面獲得了性能提升和功能改進。

在本輪提交的 MLPerf 訓練測試結果中，當使用 GPT-3 175B 進行訓練時，Hopper 的每塊 GPU 訓練性能比上次提交該基準測試時提高了 1.3 倍。

NVIDIA 還提交了 GPT-3 175B 基準測試的大規(guī)模測試結果，該測試使用了 11,616 塊 Hopper GPU，這些 GPU 通過 NVIDIA NVLink 和 NVSwitch 高帶寬 GPU 間通信以及 NVIDIA Quantum-2 InfiniBand 網(wǎng)絡連接在一起。

自去年以來，NVIDIA Hopper GPU 在 GPT-3 175B 基準測試中的規(guī)模和性能提升了三倍多。此外，在 Llama 2 70B LoRA 微調(diào)基準測試中，NVIDIA 在使用相同數(shù)量的 Hopper GPU 的情況下將性能提高了 26%，這體現(xiàn)了軟件方面的持續(xù)優(yōu)化。

NVIDIA 持續(xù)優(yōu)化加速計算平臺的努力，使其 MLPerf 測試結果得以不斷提升——提高了容器化軟件的性能，為使用現(xiàn)有平臺的合作伙伴和客戶帶來更強大的算力，并讓他們從平臺投資中獲得更高的回報。

攜手合作

NVIDIA 的合作伙伴——包括華碩、Azure、思科、戴爾、富士通、Giga Computing、Lambda Labs、聯(lián)想、Oracle Cloud、云達科技和超微等系統(tǒng)制造商和云服務提供商——也在最新一輪 MLPerf 測試中提交了令人印象深刻的測試結果。

作為 MLCommons 的創(chuàng)始成員，NVIDIA 認為，行業(yè)標準的基準測試和基準測試最佳實踐對于 AI 計算而言至關重要。通過獲取經(jīng)過同行評審、精簡的 AI 和 HPC 各個平臺的對比信息，企業(yè)可以跟上最新的 AI 計算創(chuàng)新步伐，并獲得有助于指導其重大平臺投資決策的關鍵數(shù)據(jù)。