Google最新推出的音頻編解碼器Lyra，不僅實(shí)現(xiàn)了以每秒3kb網(wǎng)絡(luò)寬帶提供聽起來自然清晰的語(yǔ)音聊天，還可以在僅90ms延遲的情況下在從高端云服務(wù)器到中端智能手機(jī)的任何設(shè)備上運(yùn)行。

2月25日，Google AI blog發(fā)布了一篇文章詳細(xì)的介紹了最新推出的Lyra——一種用于語(yǔ)音壓縮的新型超低比特率編解碼器。該編解碼器使Google Duo，以及未來的其他應(yīng)用程序能夠以每秒3kb的網(wǎng)絡(luò)寬帶提供聽起來很自然清晰的語(yǔ)音聊天。

眾所周知，人們對(duì)實(shí)時(shí)音視頻的需求不斷增加。特別是去年由于受到疫情的影響，許多人不得不隔離在家，只能與親朋好友通過視頻通話的方式保持聯(lián)系。例如，僅去年一年Google Duo和Meet就承載了超過1萬(wàn)億分鐘的視頻。而這些情況無(wú)疑是給全球的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施帶來了巨大的挑戰(zhàn)。除此之外，雖然有些人可以使用一致的高質(zhì)量，高速網(wǎng)絡(luò)，但這種連接并不普遍。比如在網(wǎng)絡(luò)通信并不發(fā)達(dá)的農(nóng)村地區(qū)。然而，盡管在連接良好的地區(qū)，人們有時(shí)也會(huì)遇到質(zhì)量差、帶寬低的問題。那么如何在有限的帶寬下實(shí)現(xiàn)高質(zhì)量的音頻輸出就成為了目前最重要的議題。

Lyra音頻編解碼器

因此，Google推出了一種高質(zhì)量、低比特率的新型音頻編解碼器——Lyra。盡管用戶在網(wǎng)速很慢的情況下，也能進(jìn)行語(yǔ)音聊天。Lyra編解碼器的基本結(jié)構(gòu)體系非常簡(jiǎn)單，如上圖所示。而Lyra與其他音頻編解碼器的不同之處在于：它利用機(jī)器學(xué)習(xí)模型，開發(fā)了一種新的模型，能夠使用最少的數(shù)據(jù)來重建語(yǔ)音。這種模型不僅能夠區(qū)分信號(hào)，還能生成全新的信號(hào)。與之相比，傳統(tǒng)的參數(shù)編解碼器只從語(yǔ)音中提取關(guān)鍵參數(shù)，然后用于在接收端重建信號(hào)。雖然實(shí)現(xiàn)低比特率，但得到的音頻通常聽起來很機(jī)械，不自然。而Lyra利用這些新的自然聲生成模型，即能夠保持參數(shù)編解碼器的低比特率，同時(shí)又能實(shí)現(xiàn)高質(zhì)量的音頻輸出。這與目前大多流媒體平臺(tái)中使用的波形編解碼器幾乎不相上下。更重要的是，Lyra的效率足夠高，可以在僅90ms延遲的情況下在從高端云服務(wù)器到中端智能手機(jī)的任何設(shè)備上運(yùn)行。

與現(xiàn)有編解碼器對(duì)比

Lyra目前被設(shè)計(jì)運(yùn)行在3kbps情況下，聽力測(cè)試表明，Lyra的表現(xiàn)優(yōu)于任何其他編解碼器。并且優(yōu)于在相同8kbps情況下的Opus，從而實(shí)現(xiàn)了超過60%的帶寬減少。Lyra可以在帶寬條件不適合高比特率和現(xiàn)有的低比特率編解碼器不能提供足夠質(zhì)量的情況下使用，這是它的一大優(yōu)勢(shì)，也是解決現(xiàn)在低音頻質(zhì)量的方案。

以下是Lyra與現(xiàn)有編解碼器的對(duì)比：

在安靜的環(huán)境下：

Original原始音頻

Opus@6kbps

Lyra@3kbps

Speex@3kbps

在嘈雜的環(huán)境下：

Original原始音頻

Opus@6kbps

Lyra@3kbps

Speex@3kbps

上方是Google提供的Lyra與Opus、Speex分別以6kbps和3kbps，對(duì)同一音頻的壓縮質(zhì)量對(duì)比。能夠明顯感受到即使Lyra在3kbps情況下，自然語(yǔ)音音頻的清晰程度也遠(yuǎn)優(yōu)于Opus在6kbps下的情況。

適用情況

Google已經(jīng)利用開源音頻庫(kù)對(duì)Lyra使用超過70種語(yǔ)言的揚(yáng)聲器進(jìn)行了數(shù)千小時(shí)的音頻培訓(xùn)，然后與專家和來自廣泛的聽眾一起驗(yàn)證音頻質(zhì)量。Lyra在一個(gè)廣泛的數(shù)據(jù)集中訓(xùn)練，包括大量不同語(yǔ)言的使用者，以確保編解碼器能夠應(yīng)對(duì)各種情況。另外，Lyra還可以在云環(huán)境中使用，以方便使用各種網(wǎng)絡(luò)和設(shè)備的用戶能夠無(wú)縫對(duì)接聊天。不僅如此，Google還將Lyra與新的視頻壓縮技術(shù)（例如AV1）配對(duì)后，即使用戶通過56kbps撥號(hào)調(diào)制調(diào)節(jié)器連接到Internet，也可以進(jìn)行視頻聊天。

責(zé)任編輯：lq