來源：NVIDIA

空間計算將數(shù)字數(shù)據(jù)與物理世界實時融合，通過增強現(xiàn)實和虛擬現(xiàn)實頭顯或智能眼鏡等設備、增強混合現(xiàn)實交互。

1空間計算是如何運作的？

空間計算通過將數(shù)字內(nèi)容與物理環(huán)境無縫融合來增強用戶交互。為了實現(xiàn)這一目標，它利用了許多先進技術。

增強現(xiàn)實和混合現(xiàn)實 (AR/MR)

增強現(xiàn)實 (AR) 和混合現(xiàn)實 (MR) 在空間計算中發(fā)揮著關鍵作用。AR 通過疊加數(shù)字內(nèi)容來增強現(xiàn)實世界環(huán)境，使用戶能夠同時感知兩種現(xiàn)實。同時，MR 更進一步，將物理和數(shù)字領域無縫融合。

邊緣和云計算

邊緣和云計算對于提高空間計算設備的數(shù)據(jù)處理效率和輸出質(zhì)量是不可或缺的。邊緣和云計算能夠流式傳輸令人驚嘆的視覺效果和極其復雜的場景，將高質(zhì)量圖形直接傳送到頭顯等本地設備，實現(xiàn)身臨其境的實時交互。邊緣和云計算還提供復雜的人工智能任務所需的計算能力。通過混合渲染，用戶可以將一些任務分載到云端，同時在本地處理其他任務，將它們無縫混合到單一應用中。這樣可有效管理即時和高要求的過程，確保沉浸且高效的空間計算體驗。

AI 和機器學習

借助 AI 和機器學習，空間計算設備能夠通過處理和情境化來自現(xiàn)實世界的傳感器數(shù)據(jù)、來解釋物理世界并與之交互。這些技術增強了交互性和沉浸感，并構成了手部跟蹤等直觀用戶界面的基礎。例如，手部跟蹤允許用戶以自然、無縫的方式與虛擬對象交互，從而改善整體用戶體驗。

生成式 AI 可以根據(jù)文本描述創(chuàng)建 3D 和 4D 模型，這些模型隨后用于增強擴展現(xiàn)實 (XR) 設備的渲染能力。3D 模型表示靜態(tài)對象，而 4D 模型增加了時間維度，融入了運動、動畫或動態(tài)變化。這豐富了視覺質(zhì)量，使虛擬環(huán)境更加生動和引人入勝。

世界捕獲與渲染

空間計算利用計算機視覺等技術來創(chuàng)建環(huán)境的交互式 3D 表示。通過分析視覺數(shù)據(jù)，計算機視覺可解釋物理空間的幾何形狀和布局。其他技術，如高斯?jié)姙R和神經(jīng)輻射場 (NeRF)，可以快速重建 3D 場景以進行可視化和分析。生成式 AI（包括擴散模型）可以將 2D 圖像轉換為 3D 動畫，增強數(shù)字內(nèi)容與現(xiàn)實世界的融合。

世界捕獲與渲染技術的進步促進了數(shù)字孿生的創(chuàng)建，將現(xiàn)實世界的數(shù)據(jù)帶入空間計算設備，實現(xiàn)身臨其境的體驗。這種數(shù)字內(nèi)容與物理空間的無縫融合支持 XR 環(huán)境中的訓練、協(xié)作和內(nèi)容創(chuàng)建方面的應用。

2空間計算有哪些優(yōu)勢？

融合現(xiàn)實世界和虛擬世界：這項技術促進了物理和數(shù)字領域的無縫融合，為用戶提供情境信息以增強他們對這些空間的理解和在其中的互動。

增強協(xié)作：它允許用戶在虛擬環(huán)境中與數(shù)字對象交互并進行協(xié)作，這對于基于團隊的活動和項目尤為有益。

訓練和仿真：空間計算可實現(xiàn)在危險或復雜的環(huán)境中進行安全有效的訓練仿真，使其成為醫(yī)學、制造和建筑等領域的寶貴工具。

集成 AI：通過 AI 支持高級場景理解，空間計算可用于創(chuàng)建沉浸式體驗，將我們物理空間的元素融入其中，以增強虛擬環(huán)境的交互性。

使用熟悉的 2D 范式：空間計算允許用戶在 3D 空間中使用熟悉的 2D 計算范式，如 Web 瀏覽器或其他 2D 窗口。這使得向空間計算的過渡更加直觀和易于接受。

總體而言，這些優(yōu)勢使 XR 環(huán)境更具交互性、沉浸感和協(xié)作性，極大豐富了用戶體驗。

3空間計算使用案例有哪些？

空間計算在各行各業(yè)都有變革性的使用案例，增強了功能和用戶體驗。以下是空間計算的一些實際應用示例：

汽車設計：汽車設計通過虛擬原型設計和數(shù)字孿生受益于空間計算。設計師可以在虛擬應用中創(chuàng)建和測試汽車模型，從而加快設計流程并實現(xiàn)更創(chuàng)新、更高效的設計。激光雷達技術的集成可以進一步增強汽車領域的空間計算，提供車輛及其周圍環(huán)境的精確且詳細的 3D 掃描，從而實現(xiàn)更準確的數(shù)字復制和仿真。

虛擬展廳定制：在零售業(yè)，空間計算有助于虛擬展廳的創(chuàng)建，購物者可以在其中定制汽車或家具的產(chǎn)品變體，創(chuàng)造逼真的個性化交互購物體驗。

手術規(guī)劃和培訓：空間計算可以連接并整合來自手術室中各種物聯(lián)網(wǎng)設備（如醫(yī)療設備、傳感器和患者監(jiān)護儀）的數(shù)據(jù)。這種整合可以增強情境感知能力，提高手術團隊成員之間的協(xié)調(diào)性。

游戲：空間計算可提供身臨其境的體驗，讓玩家能以更自然、更直觀的方式與游戲環(huán)境互動，因而徹底改變了游戲。

建筑和產(chǎn)品設計：空間計算工具可顯著增強數(shù)字環(huán)境中的 3D 模型設計和優(yōu)化，在 AECO 和產(chǎn)品設計中尤其有用，可實現(xiàn)快速可視化、迭代和審批。

室內(nèi)導航：空間計算可以顯著增強室內(nèi)導航，特別是在機場、醫(yī)院和購物中心等大型設施中。通過集成空間技術，用戶可以接收實時、情境感知且疊加在其物理環(huán)境中的方向指引。例如，醫(yī)院的訪客可以使用空間計算設備查看前往特定病房或部門的導航指引，虛擬箭頭和標記會引導他們穿過復雜的布局。

物理 AI：空間計算通過創(chuàng)建逼真的虛擬環(huán)境并幫助機器人在物理世界中導航來增強物理人形機器人的訓練和功能。機器人可以在虛擬環(huán)境中模擬、學習和優(yōu)化任務，然后再部署到現(xiàn)實世界中。通過利用 XR 遠程操作和數(shù)字孿生等技術，物理機器人可以在復雜環(huán)境中高精度地導航和操作。這種方法推動了機器人在制造、物流和醫(yī)療保健等行業(yè)中的應用，確保機器人獲得良好的訓練且高效。

4空間計算的挑戰(zhàn)

為了實現(xiàn)空間計算的承諾，開發(fā)者需要克服幾個挑戰(zhàn)和實際問題：

高計算能力：空間計算需要大量計算資源來實時處理和渲染復雜環(huán)境，這對當前的設備內(nèi)硬件可能要求較高。NVIDIA GPU 和邊緣 AI 技術能夠實時處理海量數(shù)據(jù)集，確保高保真模擬和交互。NVIDIA Omniverse 和 CloudXR 等技術可利用這種計算能力將大量模型的高保真渲染無縫融入空間計算應用中，幫助各行業(yè)克服硬件限制。

低延遲：確保低延遲對于提供無縫且響應迅速的用戶體驗至關重要。任何延遲都可能破壞空間計算應用的沉浸感和有效性。NVIDIA 通過在廣泛的環(huán)境（包括云服務提供商 (CSP)、本地基礎設施和邊緣設備）中部署其 GPU 來應對這一挑戰(zhàn)。這種廣泛部署可確保數(shù)據(jù)處理更接近于用戶，從而最大限度地減少延遲，并提供空間計算應用必需的流暢、實時的交互。

AI 集成：集成 AI 以準確理解并情景化用戶環(huán)境非常具有挑戰(zhàn)性，但有助于創(chuàng)建響應迅速且適應性強的虛擬空間。NVIDIA 通過 NVIDIA Isaac 和 Metropolis (NIM) 等旨在為空間計算應用精簡 AI 集成的平臺來簡化這一過程。這些解決方案提供了針對實時情境理解優(yōu)化的預構建 AI 模型和工具套件，使開發(fā)者能夠輕松創(chuàng)建可適應用戶交互和環(huán)境變化的智能系統(tǒng)。

逼真且身臨其境的體驗：創(chuàng)造逼真且身臨其境的體驗需要高級圖形。這涉及復雜的軟件和硬件能力。NVIDIA 憑借其行業(yè)領先的 RTX GPU 來解決這一問題，這些 GPU 支持實時光線追蹤和 AI 增強的渲染，可生成逼真的視覺效果。結合 NVIDIA Omniverse 等平臺，開發(fā)者可以利用強大的工具來創(chuàng)建逼真的模擬和交互環(huán)境。這些解決方案確?？臻g計算應用在各行業(yè)提供無與倫比的真實感和沉浸感。

5入門指南

詳細了解 NVIDIA XR

了解 NVIDIA 如何利用尖端技術徹底改變虛擬現(xiàn)實，為沉浸式體驗和下一代應用提供支持。

用于 Omniverse 數(shù)字孿生工作流的空間串流

詳細了解如何通過此參考工作流將基于 OpenUSD 的沉浸式 Omniverse 數(shù)字孿生串流到 Apple Vision Pro。

如何構建原生 OpenUSD XR 應用

在此實戰(zhàn)實驗中了解如何使用 OpenUSD、NVIDIA Omniverse 和 CloudXR 構建、定制和串流 XR 應用。