案例簡介

在本案例中，通過使用 Jetson 平臺，輕威科技研發(fā)了無需穿戴的下一代多人實時運動捕捉系統(tǒng) SemCam，可以在演員無需穿戴任何 Mark 點和傳感器的前提下，僅憑 AI 視覺識別和 AI 視覺三維重建，即可實時計算出多位演員的實時 3D 運動信息，計算精度和延時均可達到光學(xué)運動捕捉水平，拓展了運動捕捉系統(tǒng)在體育運動分析、LBE、仿真實訓(xùn)、VFX 等場景的應(yīng)用。

本案例主要應(yīng)用到Jetson Orin Nano和NVIDIA TensorRT。

運動捕捉行業(yè)長期依賴高精度傳感器，通過讓演員穿戴 Mark 點或慣性傳感器，運動捕捉系統(tǒng)可以通過光學(xué)或慣性計算獲得演員的精確運動數(shù)據(jù)，這些數(shù)據(jù)用來制作影視特效、驅(qū)動數(shù)字人及進行運動醫(yī)學(xué)分析。但是在體育比賽、LBE VR 線下娛樂、仿真實訓(xùn)等場景中，演員很難配合穿戴傳感器，并且需要在較大空間中實時獲取多人的精確運動數(shù)據(jù)，這對傳統(tǒng)運動捕捉技術(shù)帶來巨大挑戰(zhàn)。

SemCam 通過 Jetson AI 邊緣計算技術(shù)，可以在無需演員配合的前提下，實時提取多人精確運動數(shù)據(jù)，并通過 NVIDIA TensorRT 實時重建出 3D 運動信息，計算精度達到毫米級，系統(tǒng)延時小于 20 毫秒。

運動捕捉技術(shù)面臨多維度實施挑戰(zhàn)

“AI 將成為未來運動捕捉技術(shù)的核心驅(qū)動力”。目前，運動捕捉技術(shù)的使用越來越廣泛，隨著虛擬現(xiàn)實、數(shù)字人、虛擬拍攝、仿真實訓(xùn)、人機協(xié)同等技術(shù)不斷被用戶使用，如何實時獲取人在空間中的精確運動信息變得至關(guān)重要，可以說運動捕捉技術(shù)已經(jīng)變?yōu)榇蛲ㄎ锢硎澜绾蛿?shù)字世界的橋梁之一。但是傳統(tǒng)運動捕捉技術(shù)需要演員穿戴 Mark 點或慣性傳感器，這會造成以下三個問題：

很多場景下用戶無法配合穿戴傳感器。例如在體育運動分析場景中，可穿戴傳感器在出現(xiàn)意外時會造成運動員身體受傷，并且在進行競技比賽時根本無法要求對方運動員配合穿戴；

傳感器需要定期校準(zhǔn)，操作不便。傳統(tǒng)運動捕捉技術(shù)用到的光學(xué)傳感器需要在相機產(chǎn)生震動后重新標(biāo)定，慣性傳感器也需要定期進行磁校準(zhǔn)，上述工作不僅增加了用戶寶貴的時間成本，還必須配備專業(yè)技術(shù)人員完成，這在仿真實訓(xùn)、LBE 等時間人員成本敏感的場景中尤為明顯；

對環(huán)境要求敏感。傳統(tǒng)運動捕捉技術(shù)需要良好的物理環(huán)境，光學(xué)捕捉對近紅外頻譜敏感，因此捕捉場地中需要小心剔除陽光等紅外光源干擾，而慣性傳感器則對磁干擾、無線通訊干擾敏感，這無疑限制了運動捕捉系統(tǒng)的部署場景。

解決上述問題的最好辦法是使用 AI 技術(shù)完成運動捕捉，通過計算機視覺直接在圖像中提取演員的 2D 運動數(shù)據(jù)，并通過視覺三維重建恢復(fù)出精確的 3D 運動數(shù)據(jù)。有些團隊使用 AI 服務(wù)器部署運動捕捉算法，但是單純使用 AI 服務(wù)器計算仍然面臨以下挑戰(zhàn)：

運動捕捉場地越來越大，往往需要多目視覺解決場地覆蓋和魯棒性問題。每個視覺傳感器的視角和可視距離是有限的，為了應(yīng)對賽事、仿真實訓(xùn)和 LBE 對越來越大、越來越復(fù)雜的場地需求，現(xiàn)代運動捕捉設(shè)備往往需要數(shù)十甚至上百目視覺傳感器同時工作，以解決全場地視角覆蓋，這意味著如果用 AI 服務(wù)器部署，需要 AI 服務(wù)器同時處理和計算上百路視頻信息，用戶很難接受這樣的服務(wù)器集群部署；

海量數(shù)據(jù)傳輸造成的系統(tǒng)延時。運動捕捉行業(yè)對系統(tǒng)延時很敏感，尤其是涉及實時圖像渲染的仿真實訓(xùn)、LBE、數(shù)字人等場景，上百路視頻的實時傳輸會對網(wǎng)絡(luò)帶寬和計算延時帶來巨大壓力；

設(shè)備間時鐘同步。為了完成高質(zhì)量的運動捕捉，需要不同傳感器同時工作，且同步誤差需要在納秒級，這對系統(tǒng)設(shè)計、協(xié)議設(shè)計也提出了挑戰(zhàn)，同時還需考慮部署簡潔的問題。

上述挑戰(zhàn)的存在使得通過 AI 技術(shù)實現(xiàn)多人實時運動捕捉，并且在實用性和數(shù)據(jù)精度上達到以光學(xué)捕捉為代表的工業(yè)級標(biāo)準(zhǔn)困難重重，而 Jetson 邊緣計算的引入將這一設(shè)想變?yōu)榭赡堋?/p>

NVIDIA Jetson Orin 助力實現(xiàn)

AI 運動捕捉技術(shù)突破

由于上述挑戰(zhàn)的存在，輕威科技選擇使用 NVIDIA Jetson Orin 系列邊緣計算平臺來設(shè)計實時 AI 運動捕捉系統(tǒng)，推進了 AI 運動捕捉技術(shù)的使用，解決了客戶在很多場景中無法部署傳統(tǒng)運動捕捉系統(tǒng)的需求。

在 SemCam 設(shè)備中內(nèi)置 Jetson Orin 系列，通過邊緣計算完成繁重的 2D 運動數(shù)據(jù)提取。在使用 AI 計算運動數(shù)據(jù)中，最繁重的工作來自于對每路視頻數(shù)據(jù)的處理和解算。Jetson Orin 系列可以讓 SemCam 在設(shè)備端直接處理來自 CMOS 的原始數(shù)據(jù)，完成 AI 特征解算，而無需進行耗時的視頻編碼、傳輸，甚至可以做到緩沖區(qū)零拷貝。計算后的 2D 特征點通過網(wǎng)絡(luò)發(fā)送到上位機進行三維重建，大大減少了傳輸帶寬，減輕了傳輸延時。

借助 Jetson Orin 的低功耗設(shè)計，簡化數(shù)據(jù)及供電鏈路。由于 Jetson Orin 采用低功耗設(shè)計，即便滿負(fù)荷運行也符合 PoE/PoE+ 供電標(biāo)準(zhǔn)，因此 SemCam 直接采用該標(biāo)準(zhǔn)，僅用一根網(wǎng)線即可完成供電和數(shù)據(jù)傳輸，大大簡化了系統(tǒng)部署難度。

通過嵌入式 Linux 開放協(xié)議棧，實現(xiàn)高精度設(shè)備間時鐘同步。由于 Jetson Orin 使用 Linux 作為操作系統(tǒng)，SemCam 通過修改通訊協(xié)議棧實現(xiàn)了納秒級時鐘同步，可以讓上百臺 SemCam 真正“同時”工作，完成高精度的運動數(shù)據(jù)解算。

實現(xiàn)可更新的模型設(shè)計。SemCam 的實現(xiàn)還允許用戶更新 AI 模型，以實現(xiàn)不同運動捕捉任務(wù)的需求。用戶可以在同一捕捉場地中指定每組 SemCam 運行不同捕捉任務(wù)，同時完成包括演員、動物、物體的實時捕捉。

此外，在上位機的三維重建算法上，輕威科技也借助 NVIDIA TensorRT 實現(xiàn)了高性能、高魯棒性的實時三維重建、信號過濾和數(shù)據(jù)降噪，在單顆 GPU 上即可實現(xiàn)超 200fps、超 100 目傳感器的實時高精度三維重建。

SemCam 是目前 AI 運動捕捉行業(yè)中率先可交付的邊緣計算解決方案，可以為客戶提供上千平米空間、上百目傳感器、多至 24 人的實時 3D 運動捕捉，吸引了體育運動分析、LBE、仿真實訓(xùn)的大量用戶，解決了上述行業(yè)中無法穿戴傳感器獲得高精度運動數(shù)據(jù)的核心需求。

NVIDIA賦能 SemCam，

打造無穿戴式實時多人運動捕捉系統(tǒng)

通過使用 NVIDIA Jetson Orin 邊緣計算平臺，SemCam 將真正可用的實時多人運動捕捉系統(tǒng)變?yōu)榭赡?。SemCam 可以做到完全無需演員配合，實時獲取準(zhǔn)確 3D 運動數(shù)據(jù)，可以大大拓展運動捕捉技術(shù)的使用場景。

“運動捕捉是連接物理世界和數(shù)字世界的關(guān)鍵橋梁，未來人們使用運動捕捉技術(shù)將和使用鍵盤、網(wǎng)絡(luò)攝像頭、觸摸屏一樣普及，我們的動作就是我們與 3D 數(shù)字世界交互的工具。就像 iPhone 拋棄手寫筆一樣，未來的運動捕捉也不應(yīng)借助任何穿戴式傳感器，而 AI 將成為未來運動捕捉技術(shù)的核心驅(qū)動力。我們很高興在運動捕捉技術(shù)發(fā)展的黃金時代遇到 AI，遇到 NVIDIA，我們正在積極使用 NVIDIA Jetson 強大的邊緣計算能力構(gòu)建快速、精巧、低功耗的非侵入式運動捕捉設(shè)備，讓更多場景可以更容易、更高效地使用運動捕捉技術(shù)。今年我們也加入了 NVIDIA 初創(chuàng)加速計劃，將在技術(shù)和市場方面有更多的交流和聯(lián)動?！?輕威科技創(chuàng)始人 CEO 郭偉表示。

輕威科技致力于運動捕捉設(shè)備與方案，SemCam 是輕威科技創(chuàng)新研發(fā)的首款基于 AI 邊緣計算的多人實時運動捕捉系統(tǒng)，可以讓演員在無需穿戴任何 Mark 點和傳感器的前提下，實時捕捉演員的高精度 3D 運動數(shù)據(jù)。SemCam 解決了在體育運動分析、LBE、仿真實訓(xùn)、VFX 等場景下，被捕捉對象難以配合穿戴傳感器進行運動捕捉的問題。

NVIDIA 初創(chuàng)加速計劃

NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception)為免費會員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯(lián)合國內(nèi)外知名的風(fēng)投機構(gòu)、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術(shù)支持、市場宣傳、融資對接、業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。