從360度視頻到Oculus，通過Facebook 360音頻編碼與渲染都可實現(xiàn)身臨其境的感受，并且使用的聲道更少，小于0.5毫秒的渲染延遲。

? 全新的360度空間音頻編碼和渲染技術(shù)，使得空間化的音頻在從編輯者到用戶的整個處理過程中，都能保持高質(zhì)量。這一技術(shù)有望首次實現(xiàn)大規(guī)模商用。

?我們支持一種被稱為“hybrid higher-order ambisonics（混合高階立體聲高保真混響）”的技術(shù)，使得空間化的聲音在整個處理過程中依舊能保持很高的質(zhì)量。這是一個具有渲染與優(yōu)化功能的8聲道音頻處理系統(tǒng)，可借助更少的聲道實現(xiàn)更高的立體聲質(zhì)量，最終達到節(jié)省帶寬的目的。

? 我們的音頻系統(tǒng)同時支持空間化音頻和頭部定向音頻。在空間化音頻中，當聽到來自某種場景的聲音時，系統(tǒng)會根據(jù)用戶在360度全景視頻的體驗中，頭部會轉(zhuǎn)向不同的方向作出不同反應。通過頭部定向音頻，人物對白和背景音樂等音頻在方位上會保持靜止。這是我們在業(yè)界第一次實現(xiàn)同時渲染混合高階立體聲和頭部定向音頻。

? 空間音頻渲染系統(tǒng)能夠為開發(fā)者帶來延遲小于半毫秒的實時渲染體驗。

? FB360編碼器工具可以將處理后的音頻傳輸至多個平臺。用于音頻渲染的SDK可集成在Facebook和Oculus Video之中，保證了從制作到發(fā)布的體驗統(tǒng)一性。這樣可以節(jié)省工作時間，并確保開發(fā)者在制作中聽到的內(nèi)容和最終發(fā)布的內(nèi)容一致。

Facebook上的360度全景視頻體驗令人驚嘆，給人帶來身臨其境的非凡體驗。但如果想獲得更加完美的視聽體驗，也可能需要360度空間音頻。當用戶使用360度空間音頻時，每種聲音聽起來像是從空間中對應的方位發(fā)出，就像我們在現(xiàn)實生活環(huán)境中感知聲音一樣。在攝像機上方飛行的直升機轟鳴聽起來就像是在用戶的上方，在攝像機前方的演員對白聽起來就像是在用戶的前面。當用戶環(huán)視整個視頻畫面時，系統(tǒng)需要根據(jù)用戶頭部方向的變化作出反應并將每種聲音重新定位到畫面上的相應位置。無論是通過手機，瀏覽器還是VR頭戴顯示器，當用戶每次觀看360度全景視頻時，音頻都需要被重新計算并更新方位以完美還原用戶真實的空間感受。

簡而言之，為了實現(xiàn)這種效果，我們必須開發(fā)一種即使不依賴放置了揚聲器的大房間也能為用戶帶來超越影院沉浸感的音頻處理系統(tǒng)。在等待我們解決的一系列問題中，首要的是必須架構(gòu)能夠反映真實世界環(huán)境的音頻環(huán)境，并通過耳機以更高的聲音解析度呈現(xiàn)給用戶，同時不斷追蹤用戶的視覺方位。通過頭戴式耳機聽到的常規(guī)立體聲可能會幫助用戶了解聲音是在自己的左耳還是右耳播放，但它不會幫助用戶感知環(huán)境中聲音的深度或高度，也無法準確感知聲音是源于自己的前方還是在后方。

創(chuàng)造這種空間化聽覺體驗并將其大規(guī)模商用化需要許多新技術(shù)。盡管空間音頻研究正在學術(shù)領(lǐng)域如火如荼地進行，但到目前為止，還沒有出現(xiàn)可靠的端到端的傳輸方式能將這種技術(shù)大規(guī)模地推向消費市場。最近我們推出了新的用戶工具和渲染方法，這使得我們首次有機會為大規(guī)模的消費市場提供高質(zhì)量的空間音頻技術(shù)。這些渲染技術(shù)被應用于一個名為“空間音頻工作站”的新型強大工作平臺，使創(chuàng)作者能夠在360度全景視頻中添加空間化音頻。該渲染系統(tǒng)也適用于Facebook應用程序，這樣用戶便可以通過Facebook聽到創(chuàng)作者上傳的同樣生動的全景音頻。

這兩項改進都能幫助視頻制作人在多種設(shè)備與平臺上重塑現(xiàn)實。我們在這篇文章中，將探討我們已經(jīng)探索到的一些技術(shù)細節(jié)。不過先讓我們了解一下空間音頻的發(fā)展歷史與背景。

初識空間音頻

由于頭相關(guān)傳輸函數(shù)（HRTFs）的存在，通過耳機使用戶聽到具有逼真空間感的聲音是有可能實現(xiàn)的。 HRTFs幫助開發(fā)者構(gòu)建可應用于音頻流的音頻濾波器，使得聲音聽起來像是位于其特定的正確位置 ——在聽者之上、之后或旁邊等等。 HRTFs通常適用于具有人類主體模型或人體頭部和軀干模型的消聲室中，但通過其他方法也可以達到這種效果。

如果想讓用戶在觀看全景視頻時也聽到全景聲，開發(fā)者必須將聲音放在正確的位置。換句話說，他們必須設(shè)計并傳輸空間音頻。有很多方法可以實現(xiàn)這一點。其中一種方法是基于對象的空間音頻，場景中的每個對象（例如，直升機或演員）單獨發(fā)出的聲音會被保存為具有位置元數(shù)據(jù)的離散流。大多數(shù)游戲的聲音環(huán)境架構(gòu)使用的便是這種基于對象的空間音頻渲染系統(tǒng)，因為每個音頻流的位置可根據(jù)玩家移動的位置而隨時變化 。

Ambisonics技術(shù)是另一種能夠展現(xiàn)整個聲場的空間音頻方法。我們可以將其視為音頻的全景照片。多聲道音頻流可輕松用于展現(xiàn)整個聲場，這使得與基于對象的空間音頻處理技術(shù)相比具有更容易進行轉(zhuǎn)碼和流式傳輸。一個 Ambisonic的流可以通過各種方案來呈現(xiàn)。這些方案最大的區(qū)別在于the order of the ambisonic sound field。一階聲場會產(chǎn)生四個聲道數(shù)據(jù)，而三階聲場則會產(chǎn)生16個聲道數(shù)據(jù)。通常，較高的聲階意味著更好的音質(zhì)和更準確的空間定位。我們可以將低階的ambisonic sound field理解為模糊的全景照片。

工作流程與工具

Spatial Workstation空間音頻工作站是我們開發(fā)的一套音頻處理工具，可幫助專業(yè)音效設(shè)計師設(shè)計能夠用于360度全景視頻和線性VR體驗的空間音頻。該工作站與現(xiàn)有音頻工作站相比具有更強大的音頻處理能力，開發(fā)者借此可以根據(jù)360度全景視頻在三維空間中定位聲音，同時通過VR耳機上的聲音輸出端對空間音頻進行預聽。這開創(chuàng)了一套貫穿內(nèi)容創(chuàng)建到發(fā)布整個過程的高質(zhì)量“端到端”工作流程。

傳統(tǒng)的立體聲音頻只包括兩個音頻通道。我們使用Spatial Workstation開發(fā)的系統(tǒng)可實現(xiàn)八個音頻通道的輸出。因為聲場已被優(yōu)化調(diào)整以適應VR和360全景視頻，我們將此稱為混合高階ambisonic系統(tǒng)。這套系統(tǒng)被整合（tuned）到我們的空間音頻渲染器中，這樣能最大限度地提高聲音的質(zhì)量和位置精度，同時把對性能的要求和延遲時間降至最低。此外，Spatial Workstation還可以輸出兩個頭部定向音頻聲道。此時輸出的，是一個不會對頭部進行追蹤并以旋轉(zhuǎn)來作出響應的立體聲流，此時聲音將保持被“鎖定”到頭部周圍某個方位的狀態(tài)。大多數(shù)360度全景體驗使用的是混合的空間化音頻和頭部定向音頻，空間化音頻可用于在360度全景內(nèi)進行的動作，而頭部定向音頻可用于旁白或背景音樂。

SPATIALIZED / HEAD-LOCKED

非凡的渲染效果

我們的空間音頻渲染器凝萃了我們這幾年開發(fā)的一系列技術(shù)，可以將空間音頻輕松擴展到廣大不同類型和配置的設(shè)備中，同時保持最佳質(zhì)量。渲染器使用參數(shù)化和表示HRTFs的方式，可以衡量HRTFs的各個組成部分來決定在渲染時是側(cè)重速度還是質(zhì)量，或在兩者之中找到一個最佳的均衡點。除此之外，我們的渲染器音頻延遲小于半毫秒，比大多數(shù)渲染器低一個數(shù)量級，這使得它非常適合用于優(yōu)化全景音視頻的實時體驗，例如帶頭部追蹤的全景視頻。

這種靈活性有利于全景音視頻在一系列臺式計算機，移動設(shè)備和瀏覽器等載體上的傳播。我們的渲染器被調(diào)整優(yōu)化，能為不同平臺的用戶帶來協(xié)調(diào)統(tǒng)一的工作體驗，并且在這些不同的平臺上都能很好地工作。對于創(chuàng)建高質(zhì)量的空間音頻而言，這種一致性非常重要。由于對運行性能有不同的要求，音頻可能在不同平臺或設(shè)備上呈現(xiàn)出不同的效果，這樣對于整個生態(tài)而言顯然是不利的。我們希望在如Facebook這樣的平臺的大規(guī)模使用下確保全景音視頻在各種常用設(shè)備和生態(tài)中都能一致保持優(yōu)秀的質(zhì)量。

跨平臺高效工作

渲染器是Audio360音頻引擎的一部分，它可以將混合高階ambisonic和頭部定向音頻流空間化。音頻引擎是用C ++編寫的，這為每個平臺提供了優(yōu)化的矢量指令。它非常輕量，可通過多線程和Lock-Free system進行列隊（queueing）與空間化（spatialization）工作并混合（mixing）。它還能直接與每個平臺上的音頻系統(tǒng)（Android上的openSL，iOS / macOS上的CoreAudio，Windows上的WASAPI）進行交流協(xié)作，以最大限度地減少輸出延遲并盡可能地提高處理效率。這種輕量化設(shè)計不僅可以讓開發(fā)者時刻保持高效工作，還能通過保持二進制大?。╞inary size small）來減少應用程序的臃腫。音頻引擎中二進制文件會被編譯為大約100千字節(jié)。

對于Web，音頻引擎使用Emscripten編譯為asm.js。這有助于我們在所有平臺上進行維護、優(yōu)化并使用相同的代碼庫。該代碼只需很少修改就能在瀏覽器中正常工作。渲染器的靈活性和高速性使我們能夠在各種瀏覽器中使用相同的技術(shù)來保證音頻質(zhì)量。這種情況下的音頻引擎被用作WebAudio中的定制處理器節(jié)點，其中的音頻流會從Facebook視頻播放器排列至音頻引擎中，同時來自音頻引擎的空間化音頻被傳遞到WebAudio并通過瀏覽器回放。與原生C ++實現(xiàn)相比，JS版本只能在2倍慢速或4倍慢速下運行，這對于實時處理而言還是足夠的。

隨著電子設(shè)備和瀏覽器的處理速度一年年變得更快，各種設(shè)備和瀏覽器的瀏覽速度都會大幅進化，渲染器和音頻引擎的靈活性和跨平臺特性使我們能夠隨之不斷提升聲音的質(zhì)量。

從編碼到客戶端

空間音頻編碼和其文件格式的世界正處于迅速發(fā)展不斷變革的狀態(tài)。我們希望盡可能方便地將使用Spatial Workstation制作的內(nèi)容編碼并上傳到Facebook，以便在人們能在所用的所有設(shè)備上觀看和收聽。Spatial Workstation編碼器能準備好8聲道空間音頻和立體聲頭部定向音頻，與360度全景視頻一起打包至一個文件并上傳到Facebook。

編碼器的選取優(yōu)化

在尋找可行的文件格式方面我們遇到了一些挑戰(zhàn)。主要面臨幾個約束條件，其中的一些可以先放一放，但迫切需要解決的是盡早提供一種合適的編碼器。主要的限制因素是將視頻轉(zhuǎn)碼成Facebook的原生視頻格式：H.264編碼的MP4格式視頻時盡可能地減少整個過程中聲音質(zhì)量的損失，這意味著存在以下實際限制：

?MP4中的AAC支持8個頻道，但不支持10個頻道。

?AAC編碼器將8聲道音頻看作是7.1環(huán)繞聲格式，它采用積極的低通濾波器和其他技術(shù)來壓縮LFE聲道。這不符合我們致力于呈現(xiàn)的空間音頻。

?MP4元數(shù)據(jù)，是可擴展的，但會繁瑣地利用工具，如ffmpeg或MP4Box工作。

我們選擇使用MP4文件中包含三條音軌的頻道進行配置。前兩個是沒有LFE的四聲道音軌，共有八個非LFE聲道。第三首曲目是立體聲頭部定向音頻。我們以高比特率進行編碼，以最大限度地減少從WAV轉(zhuǎn)換到AAC時的質(zhì)量損失，因為這些音軌將在服務器上再次進行轉(zhuǎn)碼以準備通過客戶端傳送。

在Facebook，我們擁有核心工程價值（core engineering valve）以實現(xiàn)快速的技術(shù)革新。我們認為，隨著用來編輯音頻的工具和相應功能的不斷更新，我們沒能及時考慮清楚可能需要傳達的所有信息。出于這個原因，我們需要一個前向擴展（forward-extensible）且易于使用的元數(shù)據(jù)解決方案。定義我們自己的MP4盒子類型感覺很脆弱，所以我們決定將元數(shù)據(jù)放入一個位于元框中的xml框中。 XML可以遵循一種能按照開發(fā)者的需求快速進化的模式。 MP4Box工具可用于從MP4文件中讀取和寫入此元數(shù)據(jù)。我們?yōu)槊總€音軌（在trak框下）存儲元數(shù)據(jù)，為該音軌定義聲道布局。然后，我們還在文件級（在moov框下）編寫全局元數(shù)據(jù)。

空間工作站編碼器也會將視頻作為輸入的部分。該視頻被整合到生成的文件中，無需轉(zhuǎn)碼，并將寫入適當?shù)囊曨l空間元數(shù)據(jù)，以便在上傳到Facebook時服務器將其作為360度全景視頻進行處理。

YouTube目前需要四個頻道來支持一階立體聲效果。我們同樣支持這種格式的視頻。

高效便捷的轉(zhuǎn)碼操作

一旦開發(fā)者上傳了具有360度全景視野和360度空間聲音的視頻，這些視頻就已經(jīng)準備好推送至各種設(shè)備的客戶端。音頻以多種格式進行類似的處理。我們提取音頻元數(shù)據(jù)（無論是YouTube ambiX還是Facebook 360格式）以確定音軌和頻道一一映射，然后將其轉(zhuǎn)制為各種需要的格式。與其他的所有視頻一樣，有時為了便于比較，我們會使用多個編碼器設(shè)置進行轉(zhuǎn)碼，來獲得最佳的完整體驗；我們還準備了與所有傳統(tǒng)客戶端兼容的立體聲雙耳渲染技術(shù)，并在出現(xiàn)任何問題時將其作為備選方案。

音頻與視頻可以分開處理，并通過使用自適應流媒體協(xié)議合并傳送給客戶端。

向客戶交付作品

不同的客戶端具有不同的功能并支持不同的視頻容器/編解碼器格式。我們不能強制所有設(shè)備都同時支持一種格式，因此我們?yōu)閕OS，Android和網(wǎng)絡瀏覽器準備了不同的格式。這令用戶可以跨平臺地在這些設(shè)備上控制視頻播放器，根據(jù)不同需求實現(xiàn)特殊行為，但我們更喜歡經(jīng)過充分測試并且不需要花費額外時間去執(zhí)行的現(xiàn)有代碼。出于這個原因，在iOS上我們更喜歡把MP4格式文件作為視頻載體，在Android和Web瀏覽器上我們更喜歡使用WebM。在iOS和Android上，與單聲道或立體聲音軌不同，解碼10聲道AAC音頻不直接受本機支持或單純依賴硬件加速。上述這些有關(guān)AAC以及8聲道或10聲道音頻的問題，使我們發(fā)現(xiàn)了特別的編解碼器——Opus正在被其他人用于空間音頻，利用Opus編解碼器可實現(xiàn)更好的壓縮。它是一款先進的開源編解碼器，它的軟件解碼速度比AAC更快。這使Opus自然而然成為我們的最佳選擇，特別是對于WebM這種視頻格式。大多數(shù)編碼器或解碼器目前不支持MP4下的Opus。但是，這里有一份實現(xiàn)MP4下的Opus的擬定草案，并且我們正在進行一項工作來支持ffmpeg。

當我們將上傳的文件（“4 + 4 + 2”）中的三音軌格式轉(zhuǎn)換為單個10聲道Opus音軌時遇到了一些挑戰(zhàn)。與AAC一樣，允許的信道映射和LFE信道也是一個問題。然而，Opus允許未定義的頻道映射族（255族），意味著這些頻道并不是已知的布局。這項工作已經(jīng)足夠完善了，因為我們控制了編碼和解碼，并且我們可以確保兩端的布局具有相同的理解相同。我們在流動的清單文件中傳輸通道布局信息。未來，隨著Opus中的空間音頻技術(shù)的成熟，可能會出現(xiàn)一些特定的能實現(xiàn)在大幅減小文件體積的同時顯著提升音頻質(zhì)量的通道映射和增強編碼技術(shù)。這樣，我們的客戶將能以最小或無需更改的方式對空間音頻其進行解碼。

未來的發(fā)展方向

我們處于一個不斷拓展和進化的空間音頻先進領(lǐng)域 ——正在改進優(yōu)化非空間視頻和音頻所采用的格式。我們所做的一切，開創(chuàng)了全新的視聽體驗并將其變成現(xiàn)實。但還有很多的事情需要去做：上下堆疊組件、 從工作站到視頻文件格式等方面都需要進行改進。目前，我們正在研發(fā)可以將所有音頻存儲在一個音軌中進行上載的文件格式，并有可能實現(xiàn)無損編碼。同時我們也對Opus中改善空間音頻壓縮的項目十分感興趣。我們期望探索自適應比特率和自適應信道布局技術(shù)，以改善那些受帶寬所限的用戶、或是擁有足夠多的帶寬并期待獲得更高質(zhì)量內(nèi)容的用戶的使用體驗。這是一個令人興奮的領(lǐng)域，我們期待為整個音視頻生態(tài)作出更多卓越貢獻。

LiveVideoStack Meet | 上海

多媒體開發(fā)新趨勢

2018年初的視音頻技術(shù)生態(tài)并不平靜，Codec的爭奪進入群雄逐鹿的時代; WebRTC 1.0版定稿在瀏覽器中，移動端乃至IoT上的多媒體通信; AI，區(qū)塊鏈技術(shù)的發(fā)展，正在與多媒體開發(fā)發(fā)生在化學反應，將成為推動生態(tài)發(fā)展的新力量。

2018年，LiveVideoStack將通過“LiveVideoStack Meet：多媒體開發(fā)新趨勢”系列沙龍，展現(xiàn)新技術(shù)在音視頻領(lǐng)域的探索與實踐，以及新興應用場景和傳統(tǒng)行業(yè)的最新最佳實踐。