NVIDIA Jetson Orin Nano Super 開(kāi)發(fā)者套件的推出開(kāi)創(chuàng)了小型邊緣設(shè)備生成式 AI 的新時(shí)代。全新的 Super 模式為生成式 AI 性能帶來(lái)了空前的提升，最多可提升至 1.7 倍，使其成為高性價(jià)比的生成式 AI 超級(jí)計(jì)算機(jī)。

JetPack 6.2 現(xiàn)已支持 Jetson Orin Nano 和 Jetson Orin NX 生產(chǎn)模組通過(guò) Super 模式實(shí)現(xiàn)性能升級(jí)，最多可將生成式 AI 性能提升至 2 倍?，F(xiàn)在，您可以為新的和現(xiàn)有的機(jī)器人和邊緣 AI 應(yīng)用釋放更多價(jià)值并降低總體擁有成本。

本文將詳細(xì)介紹 Super 模式的詳細(xì)信息，包括新的功率模式、Jetson Orin Nano 和 Orin NX 模組上常用生成式 AI 模型的基準(zhǔn)性能、文檔更新情況以及支持 Super 開(kāi)發(fā)者套件的 NPN 合作伙伴。

Jetson Orin Nano 和Jetson Orin NX 系列的新參考功率模式

JetPack 6.2 通過(guò)在 GPU、DLA 內(nèi)存和 CPU 時(shí)鐘上解鎖更高的頻率，提升 Jetson Orin Nano 和 Jetson Orin NX 系列的功耗。

表 1. Jetson Orin Nano 和 Jetson Orin NX 模組的新參考功率模式

Jetson Orin Nano 模組現(xiàn)在有 25W 模式和無(wú)功率上限的全新 MAXN SUPER 模式。同樣，Jetson Orin NX 模組現(xiàn)在可以使用新的 40W 參考功率模式以及無(wú)功率上限的 MAXN SUPER 模式。

MAXN SUPER 是一種無(wú)功率上限的功率模式，所支持的 CPU、GPU、DLA、PVA 和 SOC 引擎核數(shù)量和時(shí)鐘頻率最高。在該模式下，如果模組總功率超過(guò)熱設(shè)計(jì)功率（TDP）上限，系統(tǒng)會(huì)將模組調(diào)低頻率，通過(guò)降低性能將功率控制在熱上限內(nèi)。

我們強(qiáng)烈建議您建立自己的自定義功率模式，以便在功耗或熱穩(wěn)定性與性能之間找到適合您的應(yīng)用和需求的合適平衡點(diǎn)。

表 2 比較了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在原始模式和 Super 模式下的詳細(xì)規(guī)格。

表 2. Jetson Orin Nano 和 Jetson Orin NX 在原始模式和 Super 模式下的規(guī)格

在使用新的功率模式時(shí)，請(qǐng)確保產(chǎn)品當(dāng)前或新的熱設(shè)計(jì)能夠適應(yīng)功率模式的新規(guī)格。

最新功耗估算器工具

功耗估算器工具是 NVIDIA 提供的一個(gè)功能強(qiáng)大的工具，它可通過(guò)修改系統(tǒng)參數(shù)（例如 GPU、CPU、DLA 等的核數(shù)、最高頻率和負(fù)載水平）創(chuàng)建自定義功耗配置文件和 nvpmodel 配置文件。該工具能夠估算各種設(shè)置下的功耗，在需要平衡性能和功耗時(shí)可用于創(chuàng)建滿足需求的最佳參數(shù)設(shè)置。

我們已在功耗估算器工具中增加了 Super 模式。我們強(qiáng)烈建議您在部署高性能應(yīng)用之前使用功耗估算器工具并進(jìn)行實(shí)際驗(yàn)證。

常用生成式 AI 模型的性能提升情況

在通過(guò) JetPack 6.2 引入 Super 模式后，Jetson Orin Nano 和 Jetson Orin NX 模組的推理性能最多可提升至 2 倍。我們對(duì)最常用的大語(yǔ)言模型（LLM）、視覺(jué)語(yǔ)言模型（VLM）和視覺(jué)轉(zhuǎn)換器（ViT）進(jìn)行了基準(zhǔn)測(cè)試。

大語(yǔ)言模型

下圖和表格顯示了 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B 等常用 LLM 在 Super 模式下的性能基準(zhǔn)。

圖 1. 使用 Super 模式時(shí)的 LLM 性能提升情況

DNR 表示模組內(nèi)存不足以運(yùn)行特定模型。模型性能會(huì)受到節(jié)流行為的影響。

下表中的 LLM 生成性能（每秒 token 數(shù)）使用 MLC API 進(jìn)行 INT4 量化后測(cè)量得出。

表 3 顯示了JetPack 6.2 為 Jetson Orin Nano 4GB 上的 LLM 所帶來(lái)的性能提升。

表 3. Jetson Orin Nano 4GB 上常用 LLM 的基準(zhǔn)性能（token/秒）

表 4 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 LLM 所帶來(lái)的性能提升。

表 4. Jetson Orin Nano 8GB 上常用 LLM 的基準(zhǔn)性能（token/秒）

表 5 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的 LLM 所帶來(lái)的性能提升。

表 5. Jetson Orin NX 8GB 上常用 LLM 的基準(zhǔn)性能（token/秒）

表 6 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 LLM 所帶來(lái)的性能提升。

表 6. Jetson Orin NX 16GB 上常用 LLM 的基準(zhǔn)性能（token/秒）

視覺(jué)語(yǔ)言模型

下圖和表格顯示了 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B 等常用 VLM 在 Super 模式下的性能基準(zhǔn)。

圖 2. 使用 Super 模式運(yùn)行時(shí)的 VLM 性能提升情況

DNR 表示模組內(nèi)存不足以運(yùn)行特定模型。模型性能會(huì)受到節(jié)流行為的影響。

表 7 顯示了 JetPack 6.2 為 Jetson Orin Nano 4GB 上的 VLM 所帶來(lái)的性能提升。

表 7. Jetson Orin Nano 4GB 上常用 VLM 的基準(zhǔn)性能（token/秒）

表 8 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 VLM 所帶來(lái)的性能提升。

表 8. Jetson Orin Nano 8GB 上常用 VLM 的基準(zhǔn)性能（token/秒）

表 9 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的VLM所帶來(lái)的性能提升。

表 9. Jetson Orin NX 8GB 上常用 VLM 的基準(zhǔn)性能（token/秒）

表 10 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 VLM 所帶來(lái)的性能提升。

表 10. Jetson Orin NX 16 GB 上常用 VLM 的基準(zhǔn)性能（token/秒）

所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度運(yùn)行，其余模型使用 Hugging Face Transformer 以 FP4 精度運(yùn)行。

視覺(jué) Transformer

下圖和表格顯示了 CLIP、DINO 和 SAM2 等常用 ViT 在 Super 模式下的性能基準(zhǔn)。

圖 3. 使用 Super 模式運(yùn)行時(shí)的 ViT 性能提升情況

DNR 表示模組上的內(nèi)存不足以運(yùn)行特定模型。模型性能會(huì)受到節(jié)流行為的影響。

表 11 顯示了 JetPack 6.2 為 Jetson Orin Nano 4GB 上的 ViT 所帶來(lái)的性能提升。

表 11. Jetson Orin Nano 4GB 上常用 ViT 的基準(zhǔn)性能（token/秒）

表 12 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 ViT 所帶來(lái)的性能提升。

表 12. Jetson Orin Nano 8GB 上常用 ViT 的基準(zhǔn)性能（token/秒）

表 13 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的 ViT 所帶來(lái)的性能提升。

表 13. Jetson Orin NX 8GB 上常用 ViT 的基準(zhǔn)性能（token/秒）

表 14 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 ViT 所帶來(lái)的性能提升。

表 14. Jetson Orin NX 16GB 上常用 ViT 的基準(zhǔn)性能（token/秒）

所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度運(yùn)行，測(cè)量單位為 FPS。

開(kāi)始使用搭載 JetPack 6.2 的NVIDIA Jetson Orin Nano和 Jetson Orin NX

NVIDIA Jetson 生態(tài)系統(tǒng)提供了多種使用 JetPack 鏡像刷寫(xiě)開(kāi)發(fā)者套件和生產(chǎn)模組的方式。

可使用以下任何一種方法在 Jetson Orin Nano 開(kāi)發(fā)者套件或模組上安裝 JetPack 6.2：

從 JetPack SDK 頁(yè)面獲得 SD 卡鏡像：

https://developer.nvidia.com/embedded/jetpack

根據(jù)下載和安裝說(shuō)明，對(duì) SDK Manager 進(jìn)行刷寫(xiě)：

https://developer.nvidia.com/sdk-manager

根據(jù)刷寫(xiě)支持，刷寫(xiě) bootloader、kernel 和 root file system 的腳本：

https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/SD/FlashingSupport.html#flashing-support

新的刷寫(xiě)配置

新功率模式僅適用于新的刷寫(xiě)配置。默認(rèn)刷寫(xiě)配置沒(méi)有改變。如要啟用新功率模式，您必須在刷寫(xiě)時(shí)使用新的刷寫(xiě)配置。

下面是進(jìn)行刷寫(xiě)時(shí)使用的新的刷寫(xiě)配置：

刷寫(xiě)或更新到 JetPack 6.2 后，運(yùn)行以下命令以啟動(dòng)新提供的 Super 模式。

在 Jetson Orin Nano 模組上啟動(dòng) MAXN SUPER 模式：

在 Jetson Orin NX 模組上啟動(dòng) MAXN SUPER 模式：

您還可以從頁(yè)面右上角的功率模式菜單中選擇 MAXN SUPER 和其他功率模式。

圖 4. 功率模式選擇菜單

Jetson AI Lab

Jetson AI 實(shí)驗(yàn)室是 NVIDIA 探索和試驗(yàn)針對(duì)邊緣設(shè)備優(yōu)化的生成式 AI 技術(shù)的中心。它為開(kāi)發(fā)者提供支持并為合作社區(qū)提供近 50 種教程、預(yù)構(gòu)建容器和資源，幫助社區(qū)使用經(jīng)過(guò)優(yōu)化的推理基礎(chǔ)設(shè)施部署設(shè)備端 LLM、SLM、VLM、擴(kuò)散策略和語(yǔ)音模型。

通過(guò)簡(jiǎn)化前沿 AI 工具的訪問(wèn)途徑，該實(shí)驗(yàn)室使各級(jí)別的開(kāi)發(fā)者都能在本地進(jìn)行創(chuàng)新和部署生成式 AI，從而推動(dòng)開(kāi)源邊緣 AI 和機(jī)器人學(xué)習(xí)的發(fā)展。

Jetson 生態(tài)系統(tǒng)合作伙伴為 Super 模式做好準(zhǔn)備

為了幫助客戶進(jìn)行部署，Jetson 生態(tài)系統(tǒng)合作伙伴已通過(guò)增強(qiáng)自己的解決方案，支持這一輪性能提升。

NVIDIA Jetson Orin生命周期和路線圖

由于客戶對(duì) Jetson Orin 的需求不斷增長(zhǎng)，NVIDIA 最近宣布將 Jetson Orin 的產(chǎn)品生命周期延長(zhǎng)至 2032 年。經(jīng)過(guò)這次的性能提升，Jetson Orin Nano 和 Orin NX 系列已成為當(dāng)前和未來(lái)模型的理想平臺(tái)。

即將發(fā)布的 JetPack 5.1.5 也將支持 Jetson Orin NX 和 Jetson Orin Nano 模組的 Super 模式。使用 JetPack 5 進(jìn)行開(kāi)發(fā)的開(kāi)發(fā)者和客戶將從性能提升中受益。

圖 5.JetPack 軟件路線圖

使用 JetPack 6.2提升應(yīng)用性能

JetPack 6.2 是一個(gè)突破性的版本，它可在現(xiàn)有 Jetson 模組上實(shí)現(xiàn)驚人的 2 倍推理性能提升，且不會(huì)增加任何成本。對(duì)于希望提升應(yīng)用性能的 Jetson 開(kāi)發(fā)者和客戶而言，此次升級(jí)必不可少?，F(xiàn)在就升級(jí)到 JetPack 6.2，充分釋放 Jetson 平臺(tái)的潛力。