從物理信息神經(jīng)網(wǎng)絡（ PINN ）到神經(jīng)算子，開發(fā)人員長期以來一直在尋求通過實時傳感器數(shù)據(jù)流構建實時數(shù)字雙胞胎的能力，這種雙胞胎具有真實形式的渲染、強健的可視化以及與現(xiàn)實世界中的物理系統(tǒng)的同步。 Modulus 的最新發(fā)布讓我們更接近這個現(xiàn)實。

Modulus 22.03， 用于開發(fā)基于物理的機器學習模型的前沿框架，為開發(fā)人員提供了關鍵功能，如新穎的物理知識和數(shù)據(jù)驅(qū)動的人工智能架構，以及與 Omniverse （ OV ）平臺的集成。

本次發(fā)布朝著使用 Modulus OV 擴展為工程師和研究人員構建精確模擬和交互式可視化功能邁出了重要一步。這種增強得到了新的人工智能體系結構的支持，這種體系結構可以使用神經(jīng)算子從數(shù)據(jù)中學習。在這個最新版本的模中添加了其他增強功能，以便于對湍流等問題進行精確建模，以及改進訓練收斂性的功能。

Omniverse 集成

在 OV 集成中，訓練和推理工作流基于 Python API ，生成的訓練模型輸出作為場景引入 OV ，使用此擴展。

該擴展可以將模訓練模型的輸出導入到常見場景（如流線和 iso 曲面）的可視化管道中。它還提供了一個界面，允許交互探索設計變量和參數(shù)，以推斷新的系統(tǒng)行為。?通過利用 Omniverse 中的這個擴展，您可以在數(shù)字孿生的上下文中可視化模擬行為。?

新的網(wǎng)絡架構

Modulus 現(xiàn)在支持神經(jīng)運算符，如 FNO 、 AFNO PINO 和 DeepONet 架構。這使得數(shù)據(jù)驅(qū)動的物理機器學習模型能夠用于有大量地面真實數(shù)據(jù)可供訓練的用例。

FNO： 受物理啟發(fā)的神經(jīng)網(wǎng)絡模型，使用光譜空間中的全局卷積作為歸納偏差，用于訓練物理系統(tǒng)的神經(jīng)網(wǎng)絡模型。它結合了重要的空間和時間相關性，這些相關性強烈地控制著許多可以用偏微分方程（ PDE ）描述的物理系統(tǒng)的動力學。

AFNO： 一種自適應 FNO ，通過在操作員學習和標記混合之間建立聯(lián)系，將自我注意力擴展到視覺轉(zhuǎn)換器中的高分辨率圖像。 AFNO 基于 FNO ，允許幀令牌混合作為連續(xù)的全局卷積，而不依賴于輸入分辨率。由此產(chǎn)生的模型高度并行，具有準線性復雜度，序列大小具有線性記憶。

PINO： PINO 是 FNO 的明確物理信息版本。 PINO 結合了操作學習和功能優(yōu)化框架。在算子學習階段， PINO 通過參數(shù)化 PDE 族的多個實例學習解算子。在測試時間優(yōu)化階段， PINO 優(yōu)化 PDE 查詢實例的預訓練運算符 ansatz 。在 PINO tutorial 中了解更多信息。

DeepONet： DeepOne 體系結構由兩個子網(wǎng)絡組成，一個子網(wǎng)絡用于編碼輸入函數(shù)，另一個子網(wǎng)絡用于編碼位置，然后合并以計算輸出。結果表明，與全連通網(wǎng)絡相比，深網(wǎng)通過引入感應偏差來減少泛化誤差。在 DeepONet Tutorial 中了解更多信息。

Modulus 支持這些不同的體系結構，使我們的用戶生態(tài)系統(tǒng)能夠選擇適合其用例的正確方法。

更多關鍵增強功能

兩個方程（ 2-eqn 。）湍流模型 ： 支持兩方程湍流（ k-e 和 k-w ）模型，用于模擬充分發(fā)展的湍流。文檔中包含了使用墻函數(shù)的通道情況（ 1D 和 2D ）的參考應用程序。它展示了兩種墻功能（標準和流槽剝落）。在 2-eqn tutorial 中了解更多信息。

損失平衡的新算法： 為了提高收斂性，引入了三種新的損耗平衡算法，即梯度范數(shù)、隨機回溯的相對損耗平衡（ReLoBRaLo）和軟適應。這些算法根據(jù)不同損失的相對訓練率動態(tài)調(diào)整損失權重。

此外，還加入了神經(jīng)切線核（ NTK ）分析。 NTK 是一種神經(jīng)網(wǎng)絡分析工具，用于指示每個組件的收斂速度。它將為不同損失條件下的權重提供一個可解釋的選擇。通過對損失的均方誤差進行分組，可以實時計算 NTK 。

支持新的優(yōu)化器： Modulus 現(xiàn)在支持 30 多個優(yōu)化器，包括內(nèi)置的 PyTorch 優(yōu)化器和 火炬優(yōu)化器庫。 包括對 AdaHessian 的支持， AdaHessian 是一個二階隨機優(yōu)化器，它近似于 Hessian 對角線的指數(shù)移動平均值，用于梯度向量的自適應預處理。

關于作者

Bhoomi Gadhia 是 NVIDIA 的高級產(chǎn)品營銷經(jīng)理，專注于 NVIDIA Modular ，一個用于開發(fā)物理信息機器學習神經(jīng)網(wǎng)絡模型的人工智能框架。她在計算機輔助工程應用領域擁有超過 10 年的經(jīng)驗，在 Hexagon MSC Software 和 Ansys 擔任技術和產(chǎn)品營銷職務。布米居住在加利福尼亞州，擁有機械工程碩士學位。

審核編輯：郭婷