計(jì)算機(jī)發(fā)展成為今天的機(jī)器有著悠久的歷史，今天看到的許多計(jì)算機(jī)都遵循類似的設(shè)計(jì)結(jié)構(gòu)，至少包含CPU、GPU、內(nèi)存和存儲(chǔ)。迄今為止，我們對(duì)計(jì)算機(jī)設(shè)計(jì)的了解大部分都是基于這些使計(jì)算機(jī)正常運(yùn)行的關(guān)鍵組件。每個(gè)組件都帶來(lái)了獨(dú)特的作用和功能，可以讓計(jì)算機(jī)輸出一定的性能。就GPU而言，這個(gè)特定的部分早已發(fā)展成為拼圖中非常專業(yè)且獨(dú)特的部分。

GPU早已超越了渲染圖形的最初目的，成為并行處理任務(wù)不可或缺的工具，尤其是在當(dāng)今的人工智能和機(jī)器學(xué)習(xí)應(yīng)用中。隨著這些應(yīng)用程序的快速增長(zhǎng)，GPU迅速普及，成為許多人利用工業(yè)4.0自動(dòng)化或機(jī)器人技術(shù)中繁重工作負(fù)載需求的關(guān)鍵組件。當(dāng)計(jì)算機(jī)集成GPU時(shí)，這些系統(tǒng)會(huì)帶來(lái)增強(qiáng)的性能，從而實(shí)現(xiàn)比傳統(tǒng)CPU本身更強(qiáng)大的處理能力。 GPU擅長(zhǎng)同時(shí)執(zhí)行大量計(jì)算，這使其成為神經(jīng)網(wǎng)絡(luò)訓(xùn)練和邊緣AI推理的基礎(chǔ)任務(wù)的理想選擇。

由于GPU技術(shù)是并行處理的基礎(chǔ)，因此迄今為止，NVIDIA一直是強(qiáng)大顯卡背后的半導(dǎo)體技術(shù)的主要設(shè)計(jì)者之一。該公司為世界各地的用戶設(shè)計(jì)并提供其 CUDA 核心技術(shù)，以訪問(wèn)其專有的圖形處理單元來(lái)運(yùn)行從視頻游戲到繁重工作負(fù)載人工智能軟件的所有內(nèi)容。工業(yè) 4.0 受益于GPU的強(qiáng)大影響，尤其是當(dāng)今人工智能技術(shù)的巨大繁榮。隨著越來(lái)越多的人工智能應(yīng)用程序占領(lǐng)當(dāng)今的市場(chǎng)，越來(lái)越多的嵌入式應(yīng)用程序正在尋求利用異構(gòu)特定領(lǐng)域計(jì)算架構(gòu)的新方法，例如 GPU 或類似的性能加速器。

?

然而，許多工業(yè)應(yīng)用始終面臨的一個(gè)令人不安的問(wèn)題是散熱功率和熱量背后的自然物理原理，尤其是在GPU中。 GPU很大，會(huì)產(chǎn)生大量熱量并消耗大量電量。當(dāng)今市場(chǎng)上的許多消費(fèi)級(jí)GPU都具有巨大的功耗，通常不適合工業(yè)計(jì)算機(jī)，而無(wú)需訴諸某種主動(dòng)冷卻方法。

Jetson是什么？

NVIDIA認(rèn)識(shí)到許多工業(yè)環(huán)境在實(shí)施AI和邊緣計(jì)算時(shí)面臨的挑戰(zhàn)，尤其是涉及GPU時(shí)。隨著人工智能應(yīng)用擴(kuò)展到傳統(tǒng)數(shù)據(jù)中心和云環(huán)境之外，人們?cè)絹?lái)越需要一個(gè)能夠?qū)⑷斯ぶ悄軣o(wú)縫集成到邊緣設(shè)備且沒(méi)有任何缺點(diǎn)的專用平臺(tái)。 NVIDIA尋求實(shí)現(xiàn)AI民主化，并為許多工業(yè)應(yīng)用創(chuàng)建更易于訪問(wèn)的解決方案。其動(dòng)機(jī)是讓開(kāi)發(fā)人員、研究人員和各種規(guī)模的企業(yè)能夠利用人工智能的力量，而無(wú)需經(jīng)歷通常與大規(guī)模計(jì)算基礎(chǔ)設(shè)施相關(guān)的復(fù)雜性。

該產(chǎn)品是NVIDIA的Jetson平臺(tái)，它是一系列嵌入式AI計(jì)算設(shè)備，旨在將深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的變革能力引入邊緣設(shè)備或更不穩(wěn)定的遠(yuǎn)程環(huán)境。 Jetson系列的核心是提供高性能GPU、專用AI硬件和全面的軟件堆棧的獨(dú)特組合，以實(shí)現(xiàn)在現(xiàn)實(shí)場(chǎng)景中部署智能應(yīng)用程序。傳統(tǒng) x86系統(tǒng)帶來(lái)的痛點(diǎn)為NVIDIA努力創(chuàng)建一個(gè)能夠緩解世界各地許多人目前面臨的共同挑戰(zhàn)的系統(tǒng)鋪平了道路。

了解 Jetson 模塊，主要設(shè)計(jì)獨(dú)特性：

每個(gè)NVIDIA Jetson都是一個(gè)完整的模塊系統(tǒng) (SoM)，包括GPU、CPU、內(nèi)存、電源管理、高速接口等。這些組件經(jīng)過(guò)優(yōu)化，可提供高性能人工智能推理，同時(shí)保持功效，使邊緣設(shè)備能夠高效運(yùn)行復(fù)雜的人工智能算法。通過(guò)將所有關(guān)鍵部件組合到一個(gè)模塊中，NVIDIA Jetson 可以與更小、空間受限的解決方案集成，而無(wú)需犧牲許多邊緣設(shè)備所需的性能或能效。

Jetson平臺(tái)的進(jìn)一步與眾不同之處還在于NVIDIA獨(dú)特的設(shè)計(jì)理念。NVIDIA將Jetson打造為不僅僅是一款專用硬件，還創(chuàng)建了一個(gè)專為Jetson設(shè)備上的AI開(kāi)發(fā)量身定制的工具生態(tài)系統(tǒng)。這包括對(duì)TensorFlow和NVIDIA自己的TensorRT等流行AI框架的支持，以及用于計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的庫(kù)和 API。此外，NVIDIA對(duì)開(kāi)源軟件和全面文檔的承諾培育了一個(gè)協(xié)作生態(tài)系統(tǒng)，社區(qū)可以為平臺(tái)的持續(xù)改進(jìn)做出貢獻(xiàn)并從中受益。NVIDIA的Jetpack SDK 是該公司最全面的Jetson產(chǎn)品庫(kù)，為客戶提供構(gòu)建端到端AI解決方案的完整解決方案。

Jetson的獨(dú)特設(shè)計(jì)

Jetson平臺(tái)的獨(dú)特之處不僅在于其原始計(jì)算能力，還在于其獨(dú)特的設(shè)計(jì)理念。 NVIDIA采用整體方法打造Jetson設(shè)備，同時(shí)考慮硬件和軟件方面，以打造無(wú)縫的開(kāi)發(fā)體驗(yàn)。

JetsonOrin模塊系列

最新的 NVIDIA Jetson設(shè)備是Jetson Orin 系列（于2023年3月推出），提供三種不同的外形尺寸，可以處理需要實(shí)時(shí)處理、數(shù)據(jù)遙測(cè)和豐富的I/O靈活性的各種邊緣AI工作負(fù)載。

Jetson AGX Orin模塊

Jetson AGX Orin 模塊可提供高達(dá) 275 TOPS 的 AI 性能，功率可配置在 15W 至 60W 之間。這是 Jetson Orin 系列中的旗艦型號(hào)，提供最高的性能和功能。它專為自動(dòng)駕駛汽車、機(jī)器人、工業(yè)自動(dòng)化和智慧城市等領(lǐng)域要求嚴(yán)格的人工智能應(yīng)用而設(shè)計(jì)。AGX Orin模塊提供強(qiáng)大的處理能力，適合需要實(shí)時(shí)AI推理、傳感器融合和高性能計(jì)算的應(yīng)用。

JetsonOrin NX模塊

Jetson Orin NX 模塊以最小的Jetson外形尺寸提供高達(dá)100 TOPS的AI性能，功率可配置在10W至25W之間。 Orin NX型號(hào)定位為中檔選項(xiàng)，在性能、功效和成本效益之間實(shí)現(xiàn)了平衡。它適用于廣泛的AI邊緣計(jì)算應(yīng)用，包括智能相機(jī)、無(wú)人機(jī)、智能家電和嵌入式AI系統(tǒng)。 Orin NX 模塊提供強(qiáng)大的處理能力，同時(shí)與AGX模塊相比更加緊湊且更具成本效益。

JetsonOrinNano 模塊

Jetson Orin Nano 系列模塊以最小的 Jetson 外形尺寸提供高達(dá) 40 TOPS 的 AI 性能，功率選項(xiàng)在 7W 至 15W 之間。 Orin Nano 是 Jetson Orin 系列中的入門級(jí)型號(hào)，面向優(yōu)先考慮較低功耗和成本但仍需要 AI 處理能力的應(yīng)用。它適用于邊緣 AI 設(shè)備、IoT（物聯(lián)網(wǎng)）設(shè)備以及空間、功耗和成本限制是關(guān)鍵因素的其他嵌入式系統(tǒng)。

應(yīng)用領(lǐng)域

Jetson 平臺(tái)的多功能性為各個(gè)行業(yè)的無(wú)數(shù)應(yīng)用程序打開(kāi)了大門。一些值得注意的實(shí)現(xiàn)包括：自動(dòng)駕駛汽車、機(jī)器人技術(shù)、智慧城市、衛(wèi)生保健、工業(yè)物聯(lián)網(wǎng)。

為工作選擇正確的工具

對(duì)于 NVIDIA Jetson，這并不一定會(huì)削弱GPU作為處理能力來(lái)源的能力。相反，它為系統(tǒng)集成商和原始設(shè)備制造商在決定如何實(shí)施人工智能計(jì)算任務(wù)解決方案時(shí)提供了更多選擇。當(dāng)涉及到工業(yè)應(yīng)用時(shí)，總是需要考慮某些因素。在很多情況下，GPU 可能是比選擇 Jetson 更有利的選擇，反之亦然。

• GPU：在訓(xùn)練大規(guī)模神經(jīng)網(wǎng)絡(luò)或執(zhí)行需要巨大計(jì)算能力的復(fù)雜人工智能算法時(shí)選擇 GPU。 GPU 在大規(guī)模并行性和原始計(jì)算能力至關(guān)重要的場(chǎng)景中表現(xiàn)出色。
• Jetson：選擇 Jetson 設(shè)備在邊緣部署 AI 應(yīng)用程序，其中低延遲、電源效率和緊湊外形等因素至關(guān)重要。 Jetson 擅長(zhǎng)于需要實(shí)時(shí)推理并集成到小型、資源受限設(shè)備的場(chǎng)景。
• 其他 AI 加速器 (TPU)- 另一種選擇可能是完全不同的路線，其中張量處理單元可能比 GPU 或 Jetson 更有利。在許多情況下，在某些應(yīng)用中從 x86 過(guò)渡到 ARM 可能弊大于利。這些加速器是 GPU 和 NVIDIA Jetson 的低功耗、快速性能替代品。

結(jié)論

在人工智能計(jì)算的動(dòng)態(tài)格局中，GPU 和 NVIDIA Jetson 平臺(tái)都扮演著不可或缺的角色，各自滿足不同的需求和用例。通過(guò)了解這些技術(shù)的優(yōu)勢(shì)和應(yīng)用，開(kāi)發(fā)人員和工程師可以有效地利用它們來(lái)推動(dòng)創(chuàng)新并釋放人工智能在不同領(lǐng)域的全部潛力。無(wú)論是利用 GPU 的并行處理能力，還是通過(guò) Jetson 在邊緣直接部署 AI，AI 計(jì)算的未來(lái)都充滿了可能性，等待著人們?nèi)ヌ剿骱屠茫愿纳粕鐣?huì)。