未來十年，科學儀器的靈敏度和分辨率將提高 10-100 倍，因此需要相應的存儲和處理規(guī)模。這些增強型儀器產(chǎn)生的數(shù)據(jù)將達到摩爾定律無法充分解決的極限，它將挑戰(zhàn)僅基于數(shù)據(jù)中心 HPC 的傳統(tǒng)運營模式。

邊緣計算 依賴 AI 和 高性能計算 （ HPC ）來跟上這些增強功能的時代已經(jīng)到來。

5 月 30 日， NVIDIA 超尺度和 HPC 計算副總裁伊恩·巴克博士在德國漢堡的 國際超級計算大會 （ ISC ）特別演講中回應了這種觀點。在介紹此 邊緣計算背景下 HPC 和 AI 本質(zhì)的視角轉(zhuǎn)變 的同時，特別演講還介紹了一個旨在解決邊緣 HPC 數(shù)據(jù)密集型工作負載這一難題的平臺： NVIDIA Holoscan 。

介紹用于 HPC Edge 的 NVIDIA Holoscan 平臺

NVIDIA Holoscan 平臺已經(jīng)擴展，以滿足 DevOps 工程師、性能工程師、數(shù)據(jù)科學家和研究人員在這些不可思議的邊緣儀器上工作的特定需求。

現(xiàn)代實時、邊緣人工智能應用正日益成為多模式應用。它們涉及高速 IO 、視覺 AI 、成像 AI 、圖形、流媒體技術(shù)等。創(chuàng)建和維護這些應用程序非常困難。擴展它們甚至更加困難。

NVIDIA 正在構(gòu)建流式反應式框架（ SRF ），以應對這些挑戰(zhàn)。

圖 1 ：。 NVIDIA Holoscan for HPC 工作流

雖然Holoscan最初是針對醫(yī)療保健，但它是一個通用的計算和成像平臺，旨在實現(xiàn)高性能，同時滿足邊緣的尺寸重量和功率（SWaP）限制。

現(xiàn)在， Holoscan 平臺得到了擴展，這得益于一個易于使用的軟件框架，該框架通過確保最大的流數(shù)據(jù)性能和計算，最大限度地提高了開發(fā)人員的生產(chǎn)率。該平臺是云本機平臺，支持邊緣位置和數(shù)據(jù)中心之間的混合計算和數(shù)據(jù)管道。它的體系結(jié)構(gòu)還考慮了可伸縮性，使用了網(wǎng)絡(luò)感知優(yōu)化和異步計算。

擴展的 Holoscan 平臺提供了一個靈活的軟件堆棧，可以在基于 NVIDIA Jetson AGX Xavier 或 Jetson AGX Orin 。 還有一個云本機版本，運行在常見的高性能硬件上，以加速邊緣的數(shù)據(jù)分析和可視化工作流。

介紹 NVIDIA 流式反應式框架

HPC 和 AI 研究領(lǐng)域最優(yōu)秀的人才正在不斷開發(fā)更快更好的算法，以解決當今最具挑戰(zhàn)性的問題。然而，許多開發(fā)人員發(fā)現(xiàn)，將他們的模型和代碼移植到全速率生產(chǎn)是一項挑戰(zhàn)，尤其是在面臨高速流輸入和嚴格的吞吐量和延遲要求時。

一個有效的解決方案需要各種技能：從數(shù)據(jù)科學家到性能工程師的人才，同時跨越多種軟件語言、硬件和軟件架構(gòu)、位置和縮放規(guī)則。因此， NVIDIA 創(chuàng)建了流式反應式框架（ SRF ），以減輕對生產(chǎn)的研究負擔，同時保持光速性能。

圖 2 ：。在 Holoscan 中， HPC 流式數(shù)據(jù)管道使用 SRF 進行了標準化，以便為傳感器數(shù)據(jù)構(gòu)建模塊化和可重用的管道

NVIDIA SRF 是一個網(wǎng)絡(luò)感知、靈活且面向性能的流式數(shù)據(jù)框架，它為 C ++和 Python 開發(fā)人員標準化并簡化了從云到邊緣的生產(chǎn) HPC 和 AI 部署。

構(gòu)建 NVIDIA SRF 管道時，請指定應用程序數(shù)據(jù)流。以及縮放和放置邏輯。放置邏輯指示數(shù)據(jù)流運行的硬件，縮放邏輯表示需要多少并行拷貝才能滿足性能要求。

NVIDIA SRF 可以輕松地與 C ++和 Python 代碼以及特定于域的 SDK 的 NVIDIA 目錄集成。

NVIDIA SRF 仍處于實驗階段，正在積極開發(fā)中。您可以在 2022 年 6 月中旬訪問 在 GitHub 上下載 NVIDIA SRF 。

用于可視化和成像的 AI

NVIDIA Orin ，一種基于 AI 推斷中的 NVIDIA 安培體系結(jié)構(gòu) 、 設(shè)置新記錄 的低功耗片上系統(tǒng)，提高了每臺加速器的性能。它比上一代 Jetson AGX Xavier 快 5 倍，同時平均能效提高 2 倍。

Jetson AGX Orin 是用于 HPC 和 NVIDIA Clara Holoscan 的 Holoscan 的關(guān)鍵成分，該平臺系統(tǒng)制造商和研究人員正在使用該平臺開發(fā)下一代 AI 儀器。其強大的成像計算能力和多功能軟件堆棧使其對涉及可視化和成像的 HPC 邊緣用例具有吸引力。

Orin 憑借其 JetPack SDK 運行完整的 NVIDIA AI 平臺，這是一個已經(jīng)在數(shù)據(jù)中心和云計算中得到驗證的軟件棧。它得到了使用 NVIDIA Jetson 平臺的 100 萬開發(fā)人員的支持。

美國能源部阿貢國家實驗室（ ArgonneNational Laboratory ）的 高級光子源 （ APS ）可以產(chǎn)生超明亮的高能光子束。光子的亮度是標準醫(yī)院 X 光機的 1000 億倍，可以在納米級和原子級上拍攝圖像。隨著 2024 年 APS-U 的升級，它將能夠產(chǎn)生比當前機器亮 500 倍的光子。

牛津大學的鉆石光源 是世界一流的同步加速器設(shè)備，正在將現(xiàn)有光束線和五條新的旗艦光束線的亮度和相干性提高 20 倍。 Diamond 的數(shù)據(jù)傳輸速率已經(jīng)達到每月 PB ，使用 Diamond II ，預計至少會高出一個數(shù)量級。

在世界范圍內(nèi)，有 50 多個先進光源支持 16000 多名研究科學家的工作，這些儀器也有更多的升級。雖然所有這些進步本身都很顯著，但它們依賴于計算和數(shù)據(jù)科學家準備好在邊緣的超級計算機上運行人工智能數(shù)據(jù)處理應用程序。

PtychoNN ： APS 邊緣計算平臺

APS 是一臺足球場大小的機器，可以產(chǎn)生光子束。這些光束用于研究材料、物理和生物結(jié)構(gòu)。

如今，生成具有納米級分辨率的材料圖像的一種方法是光子照相法（ ptychography ），這是一種計算密集型方法，用于將散射的 X 射線干涉圖轉(zhuǎn)換為實際物體的圖像。

到目前為止，該方法需要解決一個具有挑戰(zhàn)性的反問題，即使用正向和反向傅里葉變換，根據(jù)在數(shù)萬次 X 射線測量中觀察到的衍射圖案，迭代計算物體的圖像?？茖W家們等了幾天才得到實驗圖像的結(jié)果。

現(xiàn)在，有了人工智能，科學家們可以繞過大部分反演過程，在實驗進行時查看物體的圖像，甚至可以在飛行中進行調(diào)整。

有了人工智能， APS 的科學家們能夠使用流式 ptychography 管道，通過深度卷積神經(jīng)網(wǎng)絡(luò)模型 PtychoNN 進行加速，從而將圖像處理速度提高 300 倍以上，并將生成高質(zhì)量圖像所需的數(shù)據(jù)減少 25 倍。

圖3. 在A100上的數(shù)據(jù)中心培訓PtychoNN模型，并在波束線儀器上部署經(jīng)過培訓的AI模型，AGX Orin運行PtychoNN以更快300倍的速度傳輸圖像

PtychoNN 模型的培訓 NVIDIA A100 Tensor Core GPU 具有深度學習和 X 射線圖像相位檢索數(shù)據(jù)。經(jīng)過訓練的模型可以在 edge 設(shè)備上運行，以直接將傳入的衍射圖像映射到真實空間中的對象圖像，并在毫秒內(nèi)實時映射。

更快的取樣意味著儀器的使用效率更高，為調(diào)查更多材料提供了機會。它提供了以前不可能實現(xiàn)的功能，例如查看在 X 射線束中受損的生物材料樣本、快速變化的樣本或與 X 射線束大小相比較大的樣本。

通用的硬件和軟件體系結(jié)構(gòu)簡化了編排， NVIDIA AGX 位于邊緣， A100 GPU 群集位于數(shù)據(jù)中心。該解決方案易于擴展，以跟上 APS 預期的 125 倍數(shù)據(jù)速率增長。預計 2022 年的探測器升級和 2024 年的設(shè)施升級將帶來增長。

“為了充分利用升級后的 APS 的功能，我們必須重新設(shè)計數(shù)據(jù)分析。我們目前的方法不足以跟上。機器學習可以充分利用并超越當前的可能。”

Mathew Cherukara ，阿貢國家實驗室計算科學家

這種使用 NVIDIA GPU 和 PtychoNN 的工作流程和方法可能是世界上許多其他光源的適用模型，這些光源也可以 通過實時 X 射線成像加速科學突破 。

在前面的示例中，單個 GPU 邊緣設(shè)備使用經(jīng)過訓練的神經(jīng)網(wǎng)絡(luò)加速圖像流。 edge 實驗耗時數(shù)天，現(xiàn)在只需幾分之一秒，研究人員就可以實時交互使用他們的大型科學儀器。有關(guān)邊緣其他相關(guān) HPC 和 AI 示例的更多信息，請參閱以下參考資料：

邊緣高性能地理空間圖像處理

Clara 全息掃描實時顯示活細胞顯微圖像

使用 NVIDIA 工具包的高級傳感器處理管道

雖然我們的許多突出的 edge HPC 應用程序都專注于流式視頻和成像管道，但 NVIDIA Holoscan 可以擴展到具有各種數(shù)據(jù)格式和速率的其他傳感器類型。無論您是使用軟件定義的無線電進行高帶寬頻譜分析，還是從電網(wǎng)監(jiān)測遙測異常， NVIDIA Holoscan 都是軟件定義儀器的首選平臺。

通過關(guān)注開發(fā)人員的生產(chǎn)力和應用程序性能，無論傳感器是什么，邊緣 HPC 都可以提供實時分析和任務(wù)成功。

關(guān)于作者

Harry Petty 是一位經(jīng)驗豐富的數(shù)據(jù)中心營銷人員和技術(shù)專家，曾在大型科技公司擔任領(lǐng)導職務(wù)，為混合云、存儲解決方案、網(wǎng)絡(luò)處理器和服務(wù)器產(chǎn)品線推廣 SDN 產(chǎn)品。

Geetika Gupta 是 HPC + AI 和 Edge 應用的領(lǐng)先產(chǎn)品。自 NVIDIA 開普勒一代以來，她一直擔任數(shù)據(jù)中心 GPU 的產(chǎn)品經(jīng)理，現(xiàn)在專注于 HPC + AI 和流式數(shù)據(jù)用例的融合。 Geetika 擁有加州大學洛杉磯分校安德森學院的 MBA 學位和 IITBHU 的機械工程學士學位。

Adam Thompson 是 NVIDIA 的高級解決方案架構(gòu)師。他有信號處理方面的背景，他的職業(yè)生涯一直在參與和領(lǐng)導一些項目，這些項目專注于射頻分類、數(shù)據(jù)壓縮、高性能計算、統(tǒng)計信號處理以及管理和設(shè)計針對大數(shù)據(jù)框架的應用程序。

審核編輯：郭婷