在我們（指代servethehome）撰寫本文時(shí)，NVIDIA H100 80GB PCIe 在 CDW 等在線零售商處的售價(jià)為 3.2 萬美元，并且缺貨了大約六個(gè)月?？梢岳斫獾氖?，NVIDIA 的高端（幾乎）萬能 GPU 的價(jià)格非常高，需求也是如此。NVIDIA 為許多人工智能用戶和那些在企業(yè)中運(yùn)行混合工作負(fù)載的用戶提供了一種替代方案，但這種方案并不引人注目，但這是非常好的。NVIDIA L40S 是面向圖形的 L40 的變體，它正迅速成為人工智能領(lǐng)域最保守的秘密。讓我們深入了解原因。

NVIDIA A100、NVIDIA L40S 和 NVIDIA H100

首先，我們首先要說的是，如果您現(xiàn)在想要訓(xùn)練基礎(chǔ)模型（例如 ChatGPT），那么 NVIDIA H100 80GB SXM5 仍然是首選 GPU。一旦基礎(chǔ)模型經(jīng)過訓(xùn)練，通常可以在成本和功耗顯著降低的部件上根據(jù)特定領(lǐng)域的數(shù)據(jù)或推理來定制模型。

NVIDIA H100

目前，用于高端推理的 GPU 主要有三種：NVIDIA A100、NVIDIA H100 和新的 NVIDIA L40S。我們將跳過NVIDIA L4 24GB，因?yàn)樗袷堑投送评砜ā?/p>

NVIDIA H100 L40S A100 堆棧頂部

NVIDIA A100 和 H100 型號(hào)基于該公司各自代的旗艦 GPU。由于我們討論的是 PCIe 而不是 SXM 模塊，因此外形尺寸之間兩個(gè)最顯著的差異是 NVLink 和功耗。SXM 模塊專為更高功耗而設(shè)計(jì)（大約是 PCIe 版本的兩倍），并通過 NVLink 和多 GPU 組件中的 NVSwitch 拓?fù)溥M(jìn)行互連。

NVIDIA A100 PCIe于 2020 年以 40GB 型號(hào)推出，然后在 2021 年中期，該公司將產(chǎn)品更新為A100 80GB PCIe 附加卡。多年后，這些卡仍然很受歡迎。

NVIDIA A100 80GB PCIe

NVIDIA H100 PCIe是專為主流服務(wù)器設(shè)計(jì)的低功耗 H100?？紤] PCIe 卡的一種方法是，在電壓/頻率曲線的不同部分運(yùn)行相似數(shù)量的芯片，旨在降低性能，但功耗也低得多。

NVIDIA H100 型號(hào)和 NVLink

即使在 H100 系列內(nèi)也存在一些差異。NVIDIA H100 PCIe 仍然是 H100，但在 PCIe 外形規(guī)格中，它降低了性能、功耗和一些互連（例如 NVLink 速度）。

L40S 則完全不同。NVIDIA 采用了基礎(chǔ) L40（一款使用 NVIDIA 最新 Ada Lovelace 架構(gòu)的數(shù)據(jù)中心可視化 GPU），并更改了調(diào)整，使其更多地針對(duì) AI 而不是可視化進(jìn)行調(diào)整。

NVIDIA L40S 是一款令人著迷的 GPU，因?yàn)樗Ａ袅?L40 的光線追蹤核心和 DisplayPort 輸出以及支持 AV1 的 NVENC / NVDEC 等功能。與此同時(shí)，NVIDIA 將更多的功率用于驅(qū)動(dòng) GPU 人工智能部分的時(shí)鐘。

NVIDIA L40S 4x DisplayPort

我們將其放在圖表上以便更容易可視化。NVIDIA 的規(guī)格有時(shí)甚至?xí)鶕?jù) NVIDIA 來源單一視圖而有所不同，因此這是我們能找到的最好的規(guī)格，如果我們獲得規(guī)格更新，我們將對(duì)其進(jìn)行更新。我們還包括雙卡H100 NVL，它有兩個(gè)增強(qiáng)型 H100，它們之間有一個(gè) NVLink 橋，因此將其視為雙卡解決方案，而其余的都是單卡。

這里有幾點(diǎn)值得關(guān)注：

與 L40 相比，L40S 是一款在人工智能訓(xùn)練和推理方面大幅改進(jìn)的卡，但人們可以很容易地看到共同的傳統(tǒng)。

如果您需要絕對(duì)的內(nèi)存容量、帶寬或 FP64 性能，則 L40 和 L40S 不適合。鑒于目前 AI 工作負(fù)載取代傳統(tǒng) FP64 計(jì)算的相對(duì)份額，大多數(shù)人都會(huì)接受這種權(quán)衡。

L40S 的內(nèi)存看起來可能比 NVIDIA A100 少得多，而且物理上確實(shí)如此，但這并不是故事的全部。NVIDIA L40S 支持NVIDIA Transformer Engine和 FP8。使用 FP8 可以極大地減小數(shù)據(jù)大小，因此，與 FP16 值相比，F(xiàn)P8 值可以使用更少的內(nèi)存，并且需要更少的內(nèi)存帶寬來移動(dòng)。NVIDIA 正在推動(dòng) Transformer Engine，因?yàn)?H100 也支持它，有助于降低其 AI 部件的成本或提高其性能。

L40S 有一組更注重可視化的視頻編碼/解碼，而 H100 則專注于解碼方面。

NVIDIA H100 速度更快。它還花費(fèi)更多。從某種意義上說，在我們撰寫本文時(shí)，在列出公開價(jià)格的 CDW 上，H100 的價(jià)格約為 L40S 價(jià)格的 2.6 倍。

另一個(gè)重要問題是可用性。如今，獲得 NVIDIA L40S 比排隊(duì)等待 NVIDIA H100 快得多。

秘密在于，在 AI 硬件方面取得領(lǐng)先的一種新的常見方法是不使用 H100 進(jìn)行模型定制和推理。相反，我們又回到了我們多年前介紹過的熟悉的架構(gòu)，即密集 PCIe 服務(wù)器。2017 年，當(dāng)我們進(jìn)行DeepLearning11 時(shí)，將 NVIDIA GeForce GTX 1080 Ti 塞進(jìn)服務(wù)器中的 10 倍 NVIDIA GTX 1080 Ti 單根深度學(xué)習(xí)服務(wù)器甚至是大公司（例如世界某些地區(qū)的搜索/網(wǎng)絡(luò)超大規(guī)模企業(yè)）的首選架構(gòu)駕駛公司。

NVIDIA 更改了其 EULA，禁止此類配置，并且使其軟件更加關(guān)注用于 AI 推理和訓(xùn)練的數(shù)據(jù)中心部分，因此現(xiàn)在情況有所不同。

到 2023 年，考慮同樣的概念，但采用 NVIDIA L40S 技術(shù)（并且沒有服務(wù)器“humping”。）

通過購買 L40S 服務(wù)器并獲得比使用 H100 更低成本的 GPU，人們可以獲得類似的性能，而且價(jià)格可能更低。

NVIDIA L40S 與 H100 的其他考慮因素

L40S 還有其他幾個(gè)方面需要考慮。一是它支持NVIDIA Virtual GPU vGPU 16.1，而 H100 仍然只支持 vGPU 15。NVIDIA 正在將其 AI 芯片從 vGPU 支持方面進(jìn)行一些拆分。

對(duì)于那些想要部署一種 GPU 機(jī)器然后能夠運(yùn)行不同類型的工作負(fù)載的人來說，像 L40S 這樣的東西是有意義的。鑒于其可視化根源，它還擁有支持 AV1 和 RT 內(nèi)核的 NVIDIA 視頻編碼引擎。

L40S 不支持一項(xiàng)功能，那就是 MIG。我們之前已經(jīng)研究過 MIG，但它允許將 H100 分成最多 7 個(gè)不同大小的分區(qū)。這對(duì)于在公共云中拆分 H100 GPU 非常有用，以便可以在客戶之間共享 GPU 資源。對(duì)于企業(yè)來說，這通常是一個(gè)較低興奮度的功能。

此外，部署 L40S 的功耗較低，僅為 SXM5 系統(tǒng)功耗的一半。這對(duì)于那些想要橫向擴(kuò)展但每個(gè)機(jī)架可能沒有大量電力預(yù)算的人來說非常有吸引力。

最重要的是，L40S 的速度不如 H100，但憑借 NVIDIA 的 FP8 和 Transformer Engine 支持，對(duì)于許多人來說，它比 H100 更可用、更容易部署，而且通常價(jià)格更低。

最后的話

關(guān)于 NVIDIA H100 PCIe 與 L40S 以及為什么人們會(huì)使用任一版本，目前有很多非常糟糕的信息。希望這有助于在更大程度上澄清這一點(diǎn)。對(duì)我們來說，L40S 并不便宜，但它讓我們想起 6 多年前，當(dāng)時(shí)人工智能領(lǐng)域的做法是在服務(wù)器中使用成本較低的 NVIDIA GPU，然后使用更多的 GPU。NVIDIA 再次推出該型號(hào)，使用 L40S 和官方認(rèn)可的架構(gòu)，支持多達(dá)數(shù)千個(gè) GPU。