借助攝影測(cè)量方法以及GPU賦力的深度學(xué)習(xí)，以虛擬形式探訪陵墓的細(xì)節(jié)。

現(xiàn)在，游客無(wú)需越洋飛行就能探索納菲爾塔莉墓的精致細(xì)節(jié)。

納菲爾塔莉墓被譽(yù)為埃及最好的墓穴之一。主人納菲爾塔莉被認(rèn)為是拉美西斯二世五位妻子中最美麗的一位。拉美西斯二世為其建造的陵墓是紀(jì)念其美貌的圣地，陵墓中三間墓室和走廊墻壁都用彩飾進(jìn)行裝飾。

納菲爾塔莉墓與王后谷中的大多數(shù)陵墓一樣，在考古學(xué)家發(fā)現(xiàn)之前也曾遭到過(guò)盜墓。雖然已采取相應(yīng)的保護(hù)措施，但景點(diǎn)仍然非常脆弱。

Simon Che de Boer及其位于新西蘭的視覺(jué)特效研發(fā)公司realityvirtual.co找到了一種數(shù)字方式來(lái)保護(hù)納菲爾塔莉墓，為無(wú)數(shù)人參觀墓中景象提供了機(jī)會(huì)。

納菲爾塔莉：永恒之旅（Nefertari: A Journey to Eternity）提供VR體驗(yàn)，通過(guò)高端攝影測(cè)量、視覺(jué)效果技術(shù)和AI，打造令人震撼的細(xì)節(jié)體驗(yàn)，使納菲爾塔莉墓重現(xiàn)昔日輝煌。游客可以采用數(shù)字方式四處行走，從不同視角進(jìn)行參觀，還可以進(jìn)行放大以近距離觀察

對(duì)于需要跨越半個(gè)地球才能目睹這一景觀的游客來(lái)說(shuō)，這是一個(gè)效果逼真的替代選擇。

使用NVIDIA Quadro GPU處理海量數(shù)據(jù)

為了復(fù)制陵墓精致的細(xì)節(jié)，Che de Boer拍攝了近4000張4200萬(wàn)像素的景點(diǎn)照片，然后將攝影測(cè)量（在照片中進(jìn)行測(cè)量的科學(xué)）與深度學(xué)習(xí)方法結(jié)合，對(duì)其進(jìn)行處理和可視化。

NVIDIA GPU在處理現(xiàn)場(chǎng)采集的大量攝影測(cè)量數(shù)據(jù)上發(fā)揮了關(guān)鍵作用，其處理速度比CPU快很多倍。

GPU也是進(jìn)行3D重建和呈現(xiàn)細(xì)節(jié)紋理不可或缺的部分。通過(guò)借助部署高端NVIDIA Quadro GPU的強(qiáng)大HP工作站，realityvirtual.co使用CapturingReality將數(shù)據(jù)轉(zhuǎn)換為密集的240億3D點(diǎn)云，以進(jìn)行初始創(chuàng)建。

初始清理工作則使用Autodesk MeshMixer和Maya完成。然后，他們使用內(nèi)部專(zhuān)用流程完成改良工作并提高效率，包括填充孔、推斷材料特性、去除噪點(diǎn)和清理人工痕跡。

Che de Boer 在陵墓內(nèi)部拍攝圖像

接下來(lái)，他們對(duì)這些龐大的數(shù)據(jù)集進(jìn)行優(yōu)化，以便在Unreal Engine中以每秒90幀的穩(wěn)定速度進(jìn)行實(shí)時(shí)渲染，利用Granite的紋理流保留全部240億個(gè)細(xì)節(jié)點(diǎn)。

Che de Boer說(shuō)：“由于數(shù)據(jù)集非常龐大，處理和播放速度是關(guān)鍵。NVIDIA的新架構(gòu)與Unreal Engine相結(jié)合，加快了處理速度，并為處理龐大的數(shù)據(jù)量提供支持?！?/p>

AI助力創(chuàng)建更為逼真的VR

如果不去除陵墓中的現(xiàn)代人工痕跡，就不可能參觀到“真正”的古墓。為了實(shí)現(xiàn)這一目標(biāo)，realityvirtual.co收集了陵墓的所有壓縮數(shù)據(jù)，并且使用可編程Tensor Core和單個(gè)高端NVIDIA Quadro GPU提供的24Gb VRAM容量訓(xùn)練其超級(jí)采樣集。

通過(guò)訓(xùn)練計(jì)算機(jī)使其理解所看到的事物，計(jì)算機(jī)可以修改圖像以清除現(xiàn)代人工痕跡。例如，通過(guò)圖像修復(fù)方法去除出口標(biāo)志、牌匾、扶手、地板和鹵素?zé)?，并使用與周邊環(huán)境相關(guān)的元素取代這些區(qū)域。

為了覆蓋圖像中的缺口、清除不需要的元素或修復(fù)源攝影測(cè)量圖像中的重疊區(qū)域，realityvirtual.co利用一種新的基于AI的圖像修復(fù)方法（此方法由NVIDIA Research開(kāi)發(fā)，并且即將通過(guò)NVIDIA NGX技術(shù)堆棧提供給軟件開(kāi)發(fā)者），使用周邊環(huán)境的元素填充這些區(qū)域。

Che de Boer說(shuō)：“如果沒(méi)有高端NVIDIA Quadro提供的內(nèi)存，處理4200萬(wàn)像素圖像的數(shù)據(jù)是不可能的。我們?cè)跀z影測(cè)量和AI處理過(guò)程中廣泛使用了NVIDIA CUDA cuDNN，且貫穿到我們創(chuàng)作的各個(gè)環(huán)節(jié)，以實(shí)現(xiàn)最為逼真的效果。這看起來(lái)非常震撼，您可以獲得一種身臨其境的感覺(jué)，如果我們將NVIDIA RTX實(shí)時(shí)光線追蹤整合到未來(lái)的版本中，這種體驗(yàn)只會(huì)變得更好?！?/p>

更新的內(nèi)部版本已通過(guò)realityvirtual.co的超級(jí)采樣法運(yùn)行。這是在他們自己的數(shù)據(jù)集上進(jìn)行超級(jí)采樣訓(xùn)練，進(jìn)一步提高了最終紋理映射的細(xì)節(jié)水平。

無(wú)論參觀者距離陵墓的現(xiàn)代人工痕跡有多近，都無(wú)法分辨得出它們。除此之外，最近越來(lái)越多的項(xiàng)目開(kāi)始使用realityvirtual.co的deepPBR方法，以消除圖像擴(kuò)散、粗糙和位移。這對(duì)使用基于物理渲染的引擎（例如Unreal Engine）而言非常重要。

所有這些數(shù)據(jù)都是自行進(jìn)行訓(xùn)練的，這是一個(gè)AI使用自身數(shù)據(jù)進(jìn)行自我改進(jìn)的好例子。此結(jié)果可用作教學(xué)模擬，并可在STEAM游戲平臺(tái)免費(fèi)獲得，但是需要Vive、Rift或Windows VR頭盔。

為了繼續(xù)記錄遺產(chǎn)并在未來(lái)對(duì)其進(jìn)行數(shù)字保護(hù)，最近Che de Boer與來(lái)自洛桑聯(lián)邦理工學(xué)院（EPFL，瑞士洛桑的一所著名的研究大學(xué)）的Sarah Kenderdine教授達(dá)成了戰(zhàn)略合作關(guān)系。他們希望通過(guò)合作以虛擬形式重建新西蘭的克賴(lài)斯特徹奇大教堂，重現(xiàn)它2011年遭到地震破壞之前的樣子。此外，他們也在其他一些尚未公布但非常著名的自然景觀上進(jìn)行合作。

Che de Boer 表示：“這些都是知之者眾而見(jiàn)之者寡的地方，我們的目標(biāo)是讓全世界的人都能參觀這些景點(diǎn)，否則他們可能在有生之年都沒(méi)有機(jī)會(huì)感受這些景點(diǎn)?！?/p>