Derivative、Notch 和 Pixotope 等公司使用 NVIDIA Vid2Vid Cameo 和 3D 人體姿態(tài)估計工具來實時驅(qū)動表演。

NVIDIA AI 工具可為各個級別的創(chuàng)作者（視覺特效和動畫工作室、創(chuàng)意專業(yè)人士，甚至是攝像頭發(fā)燒友）實現(xiàn)由深度學(xué)習(xí)驅(qū)動的表演捕捉技術(shù)。

借助 NVIDIA Vid2Vid Cameo，創(chuàng)作者可以利用 AI 從專業(yè)攝像頭或智能手機拍攝的標準 2D 視頻中捕捉面部動作和表情。這種表演可實時用于為虛擬形象、人物或繪畫制作動畫。

通過 3D 人體姿態(tài)估計軟件，創(chuàng)作者可以捕捉散步、跳舞和武術(shù)表演之類的全身動作，從而利用 AI 讓虛擬角色栩栩如生。

對于沒有 3D 經(jīng)驗的個人，這些工具可以助力他們使用智能手機視頻片段輕松制作創(chuàng)意項目動畫。專業(yè)人士可以更進一步，結(jié)合使用姿態(tài)估計和 Vid2Vid Cameo 軟件，將自己的動作傳輸?shù)教摂M角色，用于直播或動畫項目。

創(chuàng)意工作室可以利用 AI 驅(qū)動的表演捕捉技術(shù)進行概念設(shè)計或預(yù)視覺化，從而快速傳達特定動作在數(shù)字角色上的樣子。

NVIDIA 通過 Vid2Vid Cameo 演示表演捕捉技術(shù)

NVIDIA Vid2Vid Cameo 通過 NVIDIA AI Playground 上的演示提供，只需兩個元素即可生成頭部特寫視頻：可制作動畫的虛擬形象或繪畫的靜止圖像，以及原始表演者說話、唱歌或移動頭部的視頻片段。

該模型基于生成式對抗網(wǎng)絡(luò) (GAN) 繪制面部動作，以捕捉實時運動，進而將該運動傳輸至虛擬角色。經(jīng)過 18 萬個視頻的訓(xùn)練，該網(wǎng)絡(luò)學(xué)會了如何識別 20 個關(guān)鍵點以對面部運動進行建模，即編碼眼睛、嘴、鼻子、眉毛等部位的位置。

這些點從表演者的視頻流中提取，然后應(yīng)用于虛擬形象或數(shù)字角色。在下面的演示中了解其工作原理，該演示將埃德加·愛倫·坡的《十四行詩 – 致科學(xué)》的表演轉(zhuǎn)換為藝術(shù)家 Gary Kelley 創(chuàng)作的一幅作家肖像。

視覺平臺集成 NVIDIA 的 Vid2Vid Cameo 和姿態(tài)估計

雖然 Vid2Vid Cameo 可以捕捉詳細的面部表情，但姿態(tài)估計 AI 可追蹤全身的運動，這是創(chuàng)作者處理負責執(zhí)行復(fù)雜動作或在數(shù)字場景中移動的虛擬角色時所需的關(guān)鍵功能。

Pose Tracker 是一個卷積神經(jīng)網(wǎng)絡(luò)模型，可作為 NVIDIA Omniverse 3D 設(shè)計協(xié)作和世界模擬平臺的擴展程序。它允許用戶上傳視頻片段或?qū)⒅辈ヒ曨l作為運動源進行串流，以實時制作角色動畫。創(chuàng)作者可以免費下載 NVIDIA Omniverse，并借助分步教程開始使用。

已將 NVIDIA AI 表演捕捉技術(shù)集成到自身產(chǎn)品的公司包括：

Derivative 是基于節(jié)點的實時視覺開發(fā)平臺 TouchDesigner 的制造商，已采用 Vid2Vid Cameo，以提供易于使用的面部追蹤。

Notch 是一家為 3D、視覺效果和直播活動視覺效果提供實時圖形工具的公司，該公司使用 NVIDIA 的人體姿態(tài)估計 AI 來幫助藝術(shù)家簡化舞臺設(shè)置。Notch 用戶無需依賴自定義硬件追蹤系統(tǒng)，而是可以使用標準攝像頭設(shè)備實時控制 3D 角色動畫。

Pixotope 是一家先進的虛擬制作公司，使用 NVIDIA AI 助力的實時人才追蹤來驅(qū)動實時制作的交互式元素。在近期的 NVIDIA GTC 大會上，這家總部位于挪威的公司分享了其工作成果，在屏幕上實現(xiàn)真實元素和虛擬元素之間的交互。