以一只音視頻百寶箱，應(yīng)對(duì)「千行千面」。

CloudImagine

大家好，今天我分享的主題是MediaBox——行業(yè)音視頻數(shù)字化再加速。 根據(jù)權(quán)威數(shù)據(jù)表明，65%的行業(yè)數(shù)字化信息來(lái)自視頻，基于此，音視頻技術(shù)對(duì)于行業(yè)數(shù)字化來(lái)說(shuō)是至關(guān)重要的。今天我想借此機(jī)會(huì)向大家介紹一個(gè)重量級(jí)的客戶(hù)端產(chǎn)品——MediaBox，它將致力于實(shí)現(xiàn)行業(yè)音視頻數(shù)字化再加速。 MediaBox，顧名思義，是一個(gè)包羅萬(wàn)象的音視頻魔盒。在這里，多種音視頻能力的SDK可供任意選擇、自由組合、多端適配，一次性滿(mǎn)足多種音視頻需求。

接下來(lái)我將從MediaBox初識(shí)與全景、音視頻終端SDK的架構(gòu)設(shè)計(jì)和演進(jìn)、音視頻低代碼開(kāi)發(fā)的場(chǎng)景建設(shè)與實(shí)踐和生態(tài)合作及未來(lái)展望四個(gè)方面進(jìn)行分享。

01

MediaBox初識(shí)與全景

從需求側(cè)來(lái)看，傳統(tǒng)音視頻技術(shù)已發(fā)展多年，在行業(yè)化的過(guò)程中被廣泛應(yīng)用于互娛行業(yè)。同時(shí)，也在逐漸向教育、醫(yī)療和零售等傳統(tǒng)行業(yè)滲透，刺激了傳統(tǒng)行業(yè)需求的旺盛增長(zhǎng)。 從研發(fā)側(cè)來(lái)看，音視頻的復(fù)雜度使得行業(yè)客戶(hù)也面臨許多挑戰(zhàn)，例如開(kāi)發(fā)門(mén)檻高、接入復(fù)雜度高、性能挑戰(zhàn)大等等。 基于這些行業(yè)趨勢(shì)和挑戰(zhàn)，企業(yè)的音視頻訴求可總結(jié)為：高易用、高性能、場(chǎng)景化、多端化的多SDK組合及方案。阿里云視頻云“MediaBox音視頻終端一體化套件”就給出了這些問(wèn)題的最優(yōu)解，通過(guò)極致的自我進(jìn)化，加速行業(yè)音視頻數(shù)字化落地。 這里分享一個(gè)大家比較熟悉的互娛場(chǎng)景：直播PK。在開(kāi)播端需要RTC技術(shù)支持直播推流和旁路直播；在PK時(shí)需要借助IM信令完成交互、RTC完成音視頻流傳輸以及進(jìn)行混流布局。這樣的場(chǎng)景就需要多個(gè)SDK和云產(chǎn)品組合完成，那么相比音視頻SDK，我們更需要場(chǎng)景化的解決方案。

通過(guò)MediaBox全景圖，可以看到，MediaBox由音視頻終端SDK、音視頻低代碼AUI Kits兩大部分組成，并基于行業(yè)生態(tài)合作構(gòu)建音視頻場(chǎng)景方案。 MediaBox音視頻終端SDK全面覆蓋實(shí)時(shí)音視頻、直播、超低延遲直播、播放器、短視頻、美顏特效等，通過(guò)自由組合出包，形成一系列不同能力的SDK，為客戶(hù)提供靈活、易用、高效的接入體驗(yàn)。 MediaBox AUI Kits通過(guò)對(duì)MediaBox SDKs單點(diǎn)能力做場(chǎng)景化的封裝，方便客戶(hù)將某個(gè)視頻場(chǎng)景化的能力快速集成到自己的應(yīng)用中?？蛻?hù)不需要理解音視頻SDK中API的具體用法，只需關(guān)心自己的業(yè)務(wù)實(shí)現(xiàn)，即可實(shí)現(xiàn)場(chǎng)景化的音視頻能力，從而大大加快業(yè)務(wù)開(kāi)發(fā)進(jìn)程。

MediaBox的優(yōu)勢(shì)可以總結(jié)為“一體、三高、多場(chǎng)景”。 首先是一體化：主要是SDK一體化和云端一體化?；赟DK一體化的底座，既可以方便地進(jìn)行SDK開(kāi)發(fā)，也可以進(jìn)行SDK組合，滿(mǎn)足不同的業(yè)務(wù)需求；云端一體化，比如特效引擎實(shí)現(xiàn)端云體驗(yàn)一體化，智能緩存、調(diào)度優(yōu)化等實(shí)現(xiàn)端云一體化。 三高，指的是高易用、高性能、高智能?；谝惑w化SDK，我們可以實(shí)現(xiàn)SDK的靈活組合，并且結(jié)合AUI方案實(shí)現(xiàn)低代碼接入以保證易用性；另外，SDK的穩(wěn)定和高性能是重中之重；同時(shí)，SDK的智能化可以很好地服務(wù)各種場(chǎng)景需求。 最后是場(chǎng)景化，場(chǎng)景化方案要解決易用和好用的問(wèn)題。舉個(gè)簡(jiǎn)單的例子，長(zhǎng)視頻和短視頻場(chǎng)景，在起播buffer的設(shè)置、緩沖區(qū)大小、本地緩存的設(shè)置上是有很大差異的，而客戶(hù)需要的是可以依據(jù)具體需求，開(kāi)箱即用的場(chǎng)景化方案。

02

MediaBox音視頻終端SDK的

架構(gòu)設(shè)計(jì)和演進(jìn)

接下來(lái)介紹MediaBox音視頻終端SDK的架構(gòu)設(shè)計(jì)。 在此之前，給大家分享兩則小故事。大家知道國(guó)產(chǎn)大飛機(jī)C919上有多少個(gè)零件嗎？據(jù)相關(guān)報(bào)道，C919上一共有250萬(wàn)個(gè)零件，如此多的零件需要經(jīng)過(guò)完整的系統(tǒng)工程組裝起來(lái)，并且其中的每個(gè)零件都非常重要。 如果我們把MediaBox比作一架飛機(jī)的話(huà)，那么其中的各個(gè)子模塊就相當(dāng)于零件，如何進(jìn)行有序組裝、并完整實(shí)現(xiàn)整體功能就成為了一個(gè)巨大的挑戰(zhàn)。 另外一個(gè)分享是關(guān)于汽車(chē)制造平臺(tái)。我們知道，不同車(chē)型可以在同一個(gè)制造平臺(tái)上生產(chǎn)，共用整車(chē)設(shè)計(jì)，尤其是底盤(pán)設(shè)計(jì)和車(chē)輛結(jié)構(gòu)。同樣的，MediaBox基于一體化的底座，可以快速迭代和開(kāi)發(fā)SDK產(chǎn)品。 上圖是MediaBox一體化SDK的總體架構(gòu)。它是一個(gè)分層的架構(gòu)，SDK的Crash捕獲和License認(rèn)證都是作為通用能力服務(wù)于整個(gè)SDK，在SDK之外還有很多研發(fā)支撐工具，來(lái)保障SDK研發(fā)的效率和穩(wěn)定性。

在SDK的發(fā)展初期，各個(gè)業(yè)務(wù)為了滿(mǎn)足需求，會(huì)各自進(jìn)行SDK的迭代。隨著客戶(hù)業(yè)務(wù)的發(fā)展，會(huì)需要使用多個(gè)SDK來(lái)完成功能需求，如果強(qiáng)行把這些SDK融合在一起，在包大小方面也不是最優(yōu)的，而且可能會(huì)產(chǎn)生包沖突。 于是我們針對(duì)幾個(gè)主要原子SDK的功能模塊做了分析。如圖所示，各個(gè)SDK之間有很多可以共用的模塊，通過(guò)SDK模塊，可以更好地進(jìn)行模塊復(fù)用，同時(shí)實(shí)現(xiàn)包大小的降低，另外也可以實(shí)現(xiàn)更多的性能優(yōu)化和兼容性提升。

這些組件抽離后，如何將它們組合到一起呢？可以通過(guò)pipeline機(jī)制來(lái)串聯(lián)從采集到渲染的整個(gè)流程。而音視頻pipeline的構(gòu)造、運(yùn)行、銷(xiāo)毀等全生命周期管理，則需要由微內(nèi)核來(lái)實(shí)現(xiàn)，它具備高效、靈活的特點(diǎn)，同時(shí)因?yàn)橐肓瞬寮芾?，可以?shí)現(xiàn)插件的插拔，提升SDK的擴(kuò)展能力。

接下來(lái)通過(guò)一個(gè)示例展示插件設(shè)計(jì)。 某位客戶(hù)希望引入智能降噪的功能模塊，一般情況下智能降噪模塊是基于深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)的，所以其SDK包相對(duì)很大。如果我們直接把該模塊引入SDK，會(huì)導(dǎo)致整個(gè)SDK的size過(guò)大。 通過(guò)前文介紹，pipeline機(jī)制可以很好地串聯(lián)內(nèi)部組件，那么對(duì)于外部組件是否有好的解決之法？我們?cè)谖?nèi)核中通過(guò)插件占位實(shí)現(xiàn)了插件的熱插拔，真正實(shí)現(xiàn)一套插件代碼、一次打包，同時(shí)滿(mǎn)足兩種客戶(hù)的訴求。

前面介紹了一些架構(gòu)設(shè)計(jì)的思考，接下來(lái)就涉及到一些實(shí)際落地的困難和挑戰(zhàn)。 第一個(gè)問(wèn)題，是重寫(xiě)SDK，還是基于現(xiàn)有的SDK進(jìn)行演進(jìn)？在業(yè)務(wù)需求的推動(dòng)下，只能選擇后者，但這相當(dāng)于開(kāi)著飛機(jī)換引擎，對(duì)于整體穩(wěn)定性的考驗(yàn)非常之大。 第二個(gè)問(wèn)題，對(duì)于一臺(tái)零件眾多的龐大機(jī)器，如何讓它順暢地運(yùn)行起來(lái)？多團(tuán)隊(duì)如何協(xié)作？版本如何管理？ 一體化工程涉及到多個(gè)組件，各個(gè)組件的版本管理、依賴(lài)關(guān)系也相當(dāng)復(fù)雜，組件也很難獨(dú)立被引用。因此我們?cè)O(shè)計(jì)了一個(gè)靈活組件管理工具：ACPM（Aliyun C++ Package Manager）。它由兩個(gè)主要的模塊組成： 1、依賴(lài)模塊：負(fù)責(zé)根據(jù)描述分析依賴(lài)關(guān)系、下載對(duì)應(yīng)組件、生成cmake工程需要的編譯文件； 2、發(fā)布模塊：負(fù)責(zé)托管組件靜態(tài)庫(kù)（在MTL上），并記錄發(fā)布時(shí)的具體信息，以供依賴(lài)時(shí)分析。 通過(guò)這樣的方式，我們可以更好地管理各個(gè)組件。舉一個(gè)實(shí)際應(yīng)用的例子，短視頻、直播、RTC都使用到了視頻采集模塊。如果針對(duì)此模塊做融合，直接重寫(xiě)一份模塊進(jìn)行共用，在實(shí)際運(yùn)行過(guò)程中可能會(huì)遇到一些挑戰(zhàn)。 我們采用的方式是ACPM化，在一個(gè)相對(duì)業(yè)務(wù)量較小的業(yè)務(wù)（如短視頻）內(nèi)，將其SDK中的視頻采集模塊ACPM化，另外兩個(gè)業(yè)務(wù)仍使用原有的模塊。在前者的ACPM化模塊逐漸穩(wěn)定后，再將后兩者的模塊進(jìn)行ACPM化，就可達(dá)到整體組件使用和工程效率上的融合。

ACPM化也可以應(yīng)用在公共組件、音視頻算法等當(dāng)中。在跨平臺(tái)上，我們不僅支持了Android/iOS/Win/Mac多端，還支持了Web端，可以輸出成Web Assembly代碼，這樣一些Native客戶(hù)端的能力可以快速無(wú)縫轉(zhuǎn)到Web平臺(tái)，實(shí)現(xiàn)多端體驗(yàn)的一致性。 比如美顏特效SDK，可以通過(guò)ACPM編譯成Web Assembly代碼來(lái)供Web平臺(tái)使用，由于底層代碼是同一套，在體驗(yàn)上也最大程度地保證了一致性。

接下來(lái)以一個(gè)高性能算法特效執(zhí)行引擎在Web端的實(shí)踐為例，介紹如何用一體化的框架落地。 如圖中的特效引擎，有其pipeline以及數(shù)據(jù)輸入組件和圖像處理組件，它可以打包成Android/iOS/Win/Mac以及服務(wù)端的版本，在Web端通過(guò)WASM的方式支撐相關(guān)業(yè)務(wù)。 Web上會(huì)有性能差和功能受限的問(wèn)題，我們通過(guò)Profile工具生成火焰圖，分析耗時(shí)函數(shù)，并將其進(jìn)行SIMD替換。另外，通過(guò)在Web上開(kāi)啟多線(xiàn)程，可以提升整體運(yùn)行效率。

云端一體可以實(shí)現(xiàn)更極致的優(yōu)化，是競(jìng)爭(zhēng)力的體現(xiàn)。 我們實(shí)現(xiàn)了一張網(wǎng)一個(gè)SDK，并覆蓋常見(jiàn)的音視頻相關(guān)場(chǎng)景。一體化SDK和一體化網(wǎng)絡(luò)MediaUni的配合，可以實(shí)現(xiàn)端云一體化的體驗(yàn)，通過(guò)對(duì)接客戶(hù)端SDK，即可便捷地使用云上的服務(wù)。 比如端云協(xié)同，可以實(shí)現(xiàn)智能調(diào)度，通過(guò)云端聯(lián)動(dòng)，智能控制播放緩存大小，以此降低成本。與媒體服務(wù)協(xié)同，可以實(shí)現(xiàn)智能按需轉(zhuǎn)碼，當(dāng)發(fā)現(xiàn)某個(gè)熱門(mén)視頻時(shí)，可以智能啟動(dòng)轉(zhuǎn)碼，提升播放體驗(yàn)的同時(shí)，也節(jié)約了客戶(hù)的成本。

通過(guò)前面的方案，可以說(shuō)飛機(jī)已經(jīng)造出來(lái)了，但還需要保障其穩(wěn)定性。 首先是一體化對(duì)客，所有SDK共用一份License，進(jìn)行統(tǒng)一授權(quán)認(rèn)證、統(tǒng)一入口和引導(dǎo)； 其次是高可用穩(wěn)定性體系，通過(guò)Crash的收集、問(wèn)題的智能歸因，可以快速識(shí)別出問(wèn)題的影響范圍； 然后是高可用數(shù)據(jù)體系，基于數(shù)據(jù)指標(biāo)做埋點(diǎn)優(yōu)化，針對(duì)異常指標(biāo)進(jìn)行監(jiān)控； 最后是建設(shè)完善的自動(dòng)化測(cè)試體系，來(lái)完整保障SDK的質(zhì)量和穩(wěn)定性。

MediaBox在場(chǎng)景化實(shí)踐中，同樣基于端智能技術(shù)不斷創(chuàng)新突破。 例如，在端側(cè)超分上，需要針對(duì)算法進(jìn)行調(diào)優(yōu)，并考慮端側(cè)算力的兼容性；另外，智能預(yù)加載會(huì)利用智能算法，基于當(dāng)前網(wǎng)絡(luò)狀況、用戶(hù)滑動(dòng)行為、歷史播放行為等信息，動(dòng)態(tài)控制預(yù)加載緩存。 在遠(yuǎn)程教學(xué)一對(duì)多場(chǎng)景中，學(xué)生專(zhuān)注度下降導(dǎo)致教學(xué)效果差是遠(yuǎn)程教學(xué)一直以來(lái)的痛點(diǎn)，而場(chǎng)景智能為業(yè)務(wù)賦能帶來(lái)了更多可能性。音視頻終端套件，不止是單純的開(kāi)發(fā)工具，更是行業(yè)的創(chuàng)新型端口，以最輕量的方式，賦予場(chǎng)景全新的數(shù)智化能力。

03

MediaBox音視頻低代碼開(kāi)發(fā)的

場(chǎng)景建設(shè)與實(shí)踐

我們接觸到的很多客戶(hù)都不是專(zhuān)業(yè)做音視頻開(kāi)發(fā)的，因此他們都有一個(gè)共同的訴求，即希望能提供一攬子解決方案，而自己只需要專(zhuān)注業(yè)務(wù)開(kāi)發(fā)即可。 在這里，有幾個(gè)值得探討的問(wèn)題：到底要實(shí)現(xiàn)什么樣的組件，組件要實(shí)現(xiàn)到什么樣的粒度，組件要不要開(kāi)放？ 基于這個(gè)邏輯，我們開(kāi)發(fā)了很多音視頻的低代碼基礎(chǔ)組件，這些基礎(chǔ)組件又可以組合成場(chǎng)景化組件。

AUI Kits的組件設(shè)計(jì)遵循統(tǒng)一規(guī)范、多端統(tǒng)一、簡(jiǎn)單易用這三個(gè)原則，實(shí)現(xiàn)了多端一致的UI風(fēng)格。當(dāng)然，我們也提供了一些易用的工具，方便客戶(hù)使用腳本實(shí)現(xiàn)一鍵引入，這樣可以極大提升客戶(hù)的集成效率。

AUI Kits方案不只有UI控件，也包含與服務(wù)端緊密配合的場(chǎng)景化組件，其靈活的架構(gòu)設(shè)計(jì)可以讓客戶(hù)方便地進(jìn)行組件組裝，另外核心組件的代碼也是開(kāi)源的。 以接入的某電商直播客戶(hù)為例，基于場(chǎng)景化的解決方案，客戶(hù)快速接入音視頻能力并跑通業(yè)務(wù)，同時(shí)根據(jù)需求自定義開(kāi)發(fā)，定制化修改了其UI。

以下將以圖中的例子說(shuō)明，場(chǎng)景化方案是如何來(lái)設(shè)計(jì)的。 場(chǎng)景化方案一般由App、AUI Kits以及App Server配合云服務(wù)來(lái)完成。為了方便客戶(hù)一站式集成，App Server當(dāng)前已經(jīng)對(duì)接了常用的直播審核、錄制等阿里云PaaS層功能，客戶(hù)可以基于源碼進(jìn)行二次開(kāi)發(fā)部署，或者直接使用容器化的方式完成服務(wù)部署。客戶(hù)端的組件會(huì)與服務(wù)端進(jìn)行交互，完成場(chǎng)景化的業(yè)務(wù)功能。

面向娛樂(lè)直播、電商直播、企業(yè)直播，我們開(kāi)發(fā)了互動(dòng)直播AUI Kit場(chǎng)景解決方案，將常見(jiàn)的功能抽成組件實(shí)現(xiàn)。 在集團(tuán)內(nèi)部客戶(hù)的某App電商直播場(chǎng)景，通過(guò)使用AUI Kit的直播播放、彈幕和櫥窗等組件，實(shí)現(xiàn)了業(yè)務(wù)的快速落地。此外，某新能源汽車(chē)公司快速集成了AUI Kit方案，完成新車(chē)發(fā)布會(huì)的企業(yè)直播。

面向公開(kāi)課、大班課、企業(yè)內(nèi)訓(xùn)等場(chǎng)景，我們開(kāi)發(fā)了互動(dòng)課堂AUI Kit場(chǎng)景化方案，并在此場(chǎng)景下，完善了互動(dòng)白板、智能專(zhuān)注度監(jiān)測(cè)等功能。 針對(duì)遠(yuǎn)程監(jiān)考場(chǎng)景，音視頻技術(shù)可以很好地賦能教育行業(yè)。 中國(guó)每年有很多藝術(shù)考試，在傳統(tǒng)的方式中，藝術(shù)生都需要去現(xiàn)場(chǎng)考試。而遠(yuǎn)程監(jiān)考場(chǎng)景具有很多難點(diǎn)，首先傳統(tǒng)的RTC會(huì)議方式是所有考生都在一個(gè)會(huì)議里，某位考生和老師之間要實(shí)現(xiàn)單獨(dú)通話(huà)，且其他考生聽(tīng)不到的需求是難以滿(mǎn)足的；除此之外，藝考模式是大量學(xué)生同時(shí)在線(xiàn)，高并發(fā)的流量對(duì)于RTC系統(tǒng)也是非常大的挑戰(zhàn)。 針對(duì)痛點(diǎn)，遠(yuǎn)程監(jiān)考AUI Kit方案憑借MediaUni網(wǎng)絡(luò)，實(shí)現(xiàn)一對(duì)一通信，并支持萬(wàn)人場(chǎng)景下的高并發(fā)推流。 基于低代碼方案，企業(yè)可以快速完成方案集成，大大降低開(kāi)發(fā)門(mén)檻。另外，遠(yuǎn)程監(jiān)考方案覆蓋了Android/iOS原生應(yīng)用，微信/釘釘小程序以及Web等多端，保障了考試場(chǎng)景下的“高易用”。 同時(shí)，基于全球3200+節(jié)點(diǎn)的底層網(wǎng)絡(luò)，遠(yuǎn)程監(jiān)考AUI Kit方案能承載10萬(wàn)+考生同時(shí)在線(xiàn)，實(shí)現(xiàn)監(jiān)考端視頻延時(shí)1秒內(nèi)、1對(duì)1通話(huà)延時(shí)300ms內(nèi)，全方位滿(mǎn)足高可靠、高并發(fā)、低延時(shí)、高清晰度的“極致好用”。

04

MediaBox生態(tài)合作及未來(lái)展望

MediaBox的場(chǎng)景化解決方案，可以降低開(kāi)發(fā)門(mén)檻、提升集成效率，因此我們將不斷開(kāi)發(fā)出更多場(chǎng)景化方案，為行業(yè)音視頻數(shù)字化助力。

此外，云端一體可以實(shí)現(xiàn)更極致的優(yōu)化和更好的體驗(yàn)，這里面可挖掘的空間巨大，我們還將結(jié)合場(chǎng)景深耕技術(shù)，讓端云結(jié)合發(fā)揮更大價(jià)值。

在端智能方面，我們已經(jīng)實(shí)現(xiàn)了智能的預(yù)加載，能根據(jù)當(dāng)前的網(wǎng)絡(luò)情況、當(dāng)前用戶(hù)的行為等信息進(jìn)行模型計(jì)算，給出決策。在行業(yè)音視頻數(shù)字化過(guò)程中，場(chǎng)景方案中還會(huì)對(duì)端側(cè)智能提出更多需求。端云結(jié)合的智能化、大模型加持下的智能化，都是非常有想象空間的方向。

最后，我們?cè)诮趩?dòng)了MediaBox生態(tài)合作伙伴計(jì)劃，招募戰(zhàn)略伙伴以及重點(diǎn)伙伴，并在銷(xiāo)售、營(yíng)銷(xiāo)、技術(shù)、賦能等方面給予支持，為伙伴提供更廣闊的發(fā)展平臺(tái)。期待與合作伙伴一起，強(qiáng)強(qiáng)聯(lián)合，為行業(yè)客戶(hù)提供簡(jiǎn)單、易用、高質(zhì)量的視頻云服務(wù)。