采訪講師｜莊澤森

聲網(wǎng)Agora架構(gòu)師，畢業(yè)于復旦大學電子工程系，專業(yè)方向是信號處理和估計理論，畢業(yè)后一直從事音視頻相關(guān)算法研究和優(yōu)化。2014年加入聲網(wǎng)后，專注于實時音視頻方案的架構(gòu)和實時網(wǎng)絡(luò)加速相關(guān)技術(shù)的研究，對擁塞控制算法、丟包對抗技術(shù)、FEC、jitter buffer等算法等都有相關(guān)經(jīng)驗，多年來和團隊一起研發(fā)了聲網(wǎng)一系列關(guān)鍵產(chǎn)品，包括音頻引擎、通信視頻引擎、直播SDK、多人視頻等等。

以下內(nèi)容由LiveVideoStack與莊澤森的采訪整理而成

您目前的工作以及近期關(guān)注的技術(shù)和產(chǎn)品？

莊澤森：目前在聲網(wǎng)專注于傳輸和網(wǎng)絡(luò)相關(guān)算法的研究，同時，作為架構(gòu)師參與聲網(wǎng)產(chǎn)品和服務(wù)核心質(zhì)量的技術(shù)改進。

所以，對與網(wǎng)絡(luò)相關(guān)算法和技術(shù)有關(guān)的、旨在提升音視頻體驗的傳輸和媒體技術(shù)以及機器學習和深度學習應(yīng)用于音視頻場景和網(wǎng)絡(luò)的技術(shù)，都比較關(guān)注。

您加入聲網(wǎng)的六年間對音視頻服務(wù)&技術(shù)有了哪些新的理解；在您眼中，聲網(wǎng)在這期間又歷經(jīng)了怎樣的發(fā)展和變化？

莊澤森：深刻體會到做好實時音視頻服務(wù)的不易。實際網(wǎng)絡(luò)和端設(shè)備的復雜性與多樣性，對實現(xiàn)不卡、不糊和低延遲的音視頻體驗有著極大的挑戰(zhàn)；另一方面，越來越多的實時音視頻需求，需要我們的服務(wù)支持高并發(fā)，具備高可用性和高可擴展性。這都要求我們在技術(shù)上從算法、架構(gòu)到工程不斷迭代，勇攀高度，做到極致。

需要強調(diào)的是，相關(guān)的配套設(shè)施和服務(wù)產(chǎn)品也需要跟上，如質(zhì)量監(jiān)控和透明，以及客戶支持等等。

這些年，聲網(wǎng)團隊規(guī)模一步步從小到大發(fā)展起來，聲網(wǎng)的產(chǎn)品不斷推出，產(chǎn)品線越來越全，業(yè)務(wù)也從一開始的無人問津到現(xiàn)在的每天億級分鐘數(shù)。這一切進步的背后，不變的是團隊對技術(shù)能力技術(shù)高度的追求、對音視頻技術(shù)和對實際網(wǎng)絡(luò)的不斷探索。

目前為止您所參與的最難忘的項目是什么，可以與LiveVideoStack的讀者分享其中的一兩個小故事嗎

莊澤森：在聲網(wǎng)的這些年有太多難忘的經(jīng)歷了，這里就說說剛加入聲網(wǎng)時的情況吧。

那時我的第一個項目就是獨立負責音頻網(wǎng)絡(luò)jitter buffer優(yōu)化，這也是當時音頻引擎研發(fā)中的難點之一。

團隊對引擎的網(wǎng)絡(luò)自適應(yīng)能力要求很高，而我也發(fā)現(xiàn)實際網(wǎng)絡(luò)jitter情況比想象中復雜得多，各種網(wǎng)絡(luò)類型和各種網(wǎng)絡(luò)條件，包括設(shè)備和服務(wù)器的處理瓶頸等等，都會最終表現(xiàn)為不同的jitter。如何做到在這些pattern下有流暢的音頻體驗，同時做到延時較低，這些都很有挑戰(zhàn)性；而另一方面，那時我剛從穩(wěn)定的外企來到創(chuàng)業(yè)團隊，一切都是新鮮的也是讓人忐忑的，能否快速適應(yīng)更高效更快速的工作節(jié)奏和氛圍，我心里也是沒有底的。

針對這些情況，我的做法還是擺正心態(tài)，積極融入團隊，并把注意力轉(zhuǎn)移到技術(shù)上，快速學習相關(guān)技術(shù)文獻和paper，同時進行實際網(wǎng)絡(luò)pattern的抓取和分析。記得當時還寫了一些腳本，對抓取的數(shù)據(jù)進行分析和可視化展示，進行算法仿真，并最終代碼實現(xiàn)，這樣才把第一個項目比較完美地交付了。

在您的技術(shù)進階之路上，給您啟發(fā)最大的是什么？

莊澤森：多年來一直從事技術(shù)工作，可以說有不少人都給了我很大的幫助和引導，比如聲網(wǎng)的資深技術(shù)顧問錢世鍔老師，他也是我上一家公司的導師；再比如現(xiàn)在聲網(wǎng)的首席科學家鐘聲老師，大家都是相關(guān)領(lǐng)域的專家和學者，在技術(shù)上和職業(yè)發(fā)展上給了我不少引導，他們對學術(shù)的追求和求真的態(tài)度也對我影響很大。這里邊兒還包括我們的CEOTony，他對技術(shù)的熱忱和敏感判斷，以及做事的方法，都給了我很多幫助和啟示。

您現(xiàn)階段正在解決的問題以及您下一階段的研發(fā)目標?

莊澤森：現(xiàn)階段主要在做下一代網(wǎng)絡(luò)自適應(yīng)的傳輸和媒體算法研發(fā)，在復雜的網(wǎng)絡(luò)和應(yīng)用場景下希望可以給出更魯棒更極致的方案，進一步提升音視頻體驗，應(yīng)對由于疫情和5G帶來的在全世界范圍井噴的音視頻需求。

音視頻服務(wù)做到“實時”并不容易，能請老師與大家分享您對構(gòu)建實時音視頻方案架構(gòu)的相關(guān)經(jīng)驗，以及您對于技術(shù)意義上的“實時”的理解?

莊澤森：提到實時音視頻，也許很多人都會想到低延時，而我想強調(diào)的是不要單看延時，除了“低延時”，還有“體驗三角形”、“場景”這幾個關(guān)鍵詞。

音視頻體驗包括延時、流暢度和清晰度，我稱之“體驗三角形”。音視頻方案如果只優(yōu)化單一指標，事情會相對簡單。舉個例子，假如只看延時，我們可以在各種網(wǎng)絡(luò)條件下盡量降低視頻碼率，整個傳輸和媒體方案可以做得很“敏感”，達到相對低的延時。但這樣就犧牲了清晰度，最終體驗可能也無法滿足要求。

所以，實時音視頻是在低延時語境下延時、流暢度和清晰度三者的綜合體驗結(jié)果，用現(xiàn)在流行的話說，就是“既要，又要，還要”的表述了。

另一方面，其實不同的業(yè)務(wù)對“體驗三角形”里三方的要求也不一樣，這就是“場景”的不同帶來要求也不同。比如直播場景，延時的要求可能降低，而對清晰度和流暢度則要求很高；通信場景則對延時和流暢度的要求很高，清晰度相對就排在后面了。實時音視頻也可以說是滿足場景要求的實時音視頻。

所以，實時音視頻方案的基礎(chǔ)，是需要一個在各種網(wǎng)絡(luò)條件下魯棒和高效的傳輸棧，傳輸延時和throughput兩個指標綜合評估能做到最佳結(jié)果，同時有根據(jù)業(yè)務(wù)需求向某個體驗指標偏倚的能力，即可以方便地場景化；另一方面，在傳輸棧之上，需要一個具備網(wǎng)絡(luò)適應(yīng)和對抗能力的媒體層，如自適應(yīng)網(wǎng)絡(luò)的編碼器，以及優(yōu)化的媒體jitter buffer等等。

您覺得實時音視頻場景下目前挑戰(zhàn)較大的技術(shù)難點有哪些，聲網(wǎng)的解決思路是什么？

莊澤森：實時音視頻場景下從算法、架構(gòu)到工程，各個方面都有不少難點和挑戰(zhàn)。如果挑其中較大的難點來說，可能主要在兩個地方：一個是隨著疫情的出現(xiàn)和5G技術(shù)的發(fā)展，音視頻服務(wù)的體量極大飆升，如何能撐得起這個體量，做到支持高并發(fā)，達到高可用和高可擴展；另一個就是如何在各種網(wǎng)絡(luò)狀況和資源條件下，始終提供極致的實時音視頻體驗。

對于第一個難點，聲網(wǎng)團隊在架構(gòu)設(shè)計、資源儲備和工程實現(xiàn)方面下足了功夫，迭代演進過程中也一直牢記著這些要求。甚至為了保證服務(wù)，我們會瞄準比計劃的目標負荷更大的負荷；對于第二個難點，聲網(wǎng)在算法和版本上快速迭代，對整個音視頻pipeline、各個層級、各個模塊先定義好邊界，然后分別對具體模塊具體算法不斷探索，快速落地，進而迭代。

為什么您選擇在這次LiveVideoStackCon中重點講網(wǎng)絡(luò)傳輸中的擁塞控制算法？

莊澤森：擁塞控制和帶寬估計是網(wǎng)絡(luò)傳輸里非常關(guān)鍵的部分，算法的設(shè)計將大大影響整個傳輸棧的性能和效率，進而影響上層業(yè)務(wù)的體驗和結(jié)果。而復雜多樣的網(wǎng)絡(luò)條件、各個地區(qū)網(wǎng)絡(luò)運營的不同以及應(yīng)用場景的不同又對算法提出了不同的需求，如何有一個魯棒的算法設(shè)計，確實很有挑戰(zhàn)，而能否做到，將最終決定服務(wù)的好壞。

人工智能、深度學習在擁塞控制算法中的應(yīng)用處于什么什么狀態(tài)，以及未來的展望？

莊澤森：深度學習和機器學習的應(yīng)用確實是當前擁塞控制算法研究的方向之一，也是熱點?？梢哉f，這個方向甚至可能是一把鑰匙——最終完美解決目前該領(lǐng)域所有問題的鑰匙。

不過，該方向的算法目前實際落地的很少，一些學術(shù)界的成果在實際網(wǎng)絡(luò)或者更復雜的弱網(wǎng)環(huán)境下測試效果并不令人完全滿意。這里面的原因有多方面，其中之一是實際網(wǎng)絡(luò)數(shù)據(jù)及數(shù)據(jù)標定難以獲得，特別是能涵蓋所有網(wǎng)絡(luò)狀況和網(wǎng)絡(luò)類型的數(shù)據(jù)。

后疫情時代的視頻會議服務(wù)發(fā)生了哪些變化，對相關(guān)技術(shù)、算法優(yōu)化提出了哪些新的要求？

莊澤森：關(guān)于疫情時代對音視頻服務(wù)和行業(yè)的影響，相信已經(jīng)有不少文章做過詳細論述了，我就簡單講下個人的看法。

教育、辦公、社交、娛樂等領(lǐng)域，都在往線上轉(zhuǎn)移，或者說線上線下結(jié)合。其實這本來就是一種趨勢，但疫情又在一定程度上加速了這種趨勢，使得這些在短期內(nèi)有了一個跳變。加上各種線上產(chǎn)品形態(tài)的迸發(fā)，又進一步帶來了實時音視頻服務(wù)需求的短期飆升。

其實不止線上辦公、線上教育等領(lǐng)域，這次疫情的特殊性還在于，它讓大家意識到，把業(yè)務(wù)搬到線上，可能是繞不開的一個工作，是保障業(yè)務(wù)對抗未知的“安全”戰(zhàn)略?？梢灶A(yù)計，更多的領(lǐng)域更多的玩法，都會有線上的形態(tài)，而實時音視頻服務(wù)的需求和體量也許會比我們估計的更大。

一方面線上音視頻體量飆升，另一方面，像線上教育線上辦公這些應(yīng)用場景，對實時音視頻體驗和質(zhì)量的要求也更高了。同時，隨著服務(wù)的客戶和業(yè)務(wù)增多，也將碰到更多的場景，更多的網(wǎng)絡(luò)狀況和更多的國家地區(qū)以及更多的設(shè)備等等。

所以相應(yīng)的，首先我們要“撐得起”現(xiàn)在的音視頻體量，從架構(gòu)和資源等方面要支持高并發(fā)，達到高可用性和高可擴展性。甚至為了保證服務(wù)，架構(gòu)設(shè)計和資源儲備時還要向前一步，把更大的體量支持考慮進去。

另一方面，從媒體層到傳輸層，算法能力也需要更上一層，以應(yīng)對更多的網(wǎng)絡(luò)狀況、設(shè)備狀況和場景，以保持魯棒性，提供穩(wěn)定的極致體驗。舉個例子，網(wǎng)絡(luò)優(yōu)化要考慮不同地區(qū)的差異，考慮到音視頻用量激增后在傳輸中可能遇到更多的資源和網(wǎng)絡(luò)瓶頸等等。

原文標題：實時音視頻服務(wù)的“既要、又要、還要”

文章出處：【微信公眾號：LiveVideoStack】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq