VisualAudio設(shè)計(jì)和開(kāi)發(fā)環(huán)境是用于設(shè)計(jì)和開(kāi)發(fā)音頻系統(tǒng)的新軟件工具。其實(shí)時(shí)架構(gòu)特別適合音頻產(chǎn)品開(kāi)發(fā)的挑戰(zhàn)。本文簡(jiǎn)要介紹VisualAudio，然后介紹其框架，音頻模塊和音頻產(chǎn)品開(kāi)發(fā)應(yīng)用。

音頻產(chǎn)品開(kāi)發(fā)挑戰(zhàn)

今天，音頻系統(tǒng)開(kāi)發(fā)人員面臨著越來(lái)越需要設(shè)計(jì)復(fù)雜的音頻系統(tǒng) - 特別是家庭音頻/視頻接收器（AVR）和汽車(chē)信息娛樂(lè)系統(tǒng) - 既快速又經(jīng)濟(jì)。為什么？

正常使用的離散音頻通道數(shù)量從2增加到4到5.1，最近到 7.1 。

不同的，有時(shí)甚至是競(jìng)爭(zhēng)的多聲道音頻格式的數(shù)量一直在迅速增加 - 包括杜比? Pro Logic ?，杜比數(shù)字，DTS ? 5.1，Dolby Digital Surround EX?和DTS-ES ?。

產(chǎn)品必須與數(shù)字網(wǎng)絡(luò)連接，例如 Media

消費(fèi)者擁有定向系統(tǒng)傳輸（MOST ?）總線(xiàn)，需要網(wǎng)絡(luò)堆棧，內(nèi)容加密和解密以及采樣率轉(zhuǎn)換。在頂級(jí)和主流產(chǎn)品中，我們期待復(fù)雜的后期處理功能，例如空間化，自動(dòng)均衡和低音管理。

為了應(yīng)對(duì)這些因素，開(kāi)發(fā)人員正在轉(zhuǎn)向數(shù)字信號(hào)處理器（DSP），因?yàn)樗麄兊目?a href="http://www.socialnewsupdate.com/v/tag/1315/" target="_blank">編程性允許系統(tǒng)針對(duì)特定市場(chǎng)領(lǐng)域和應(yīng)用進(jìn)行定制。 ADI公司的SHARC ?處理器系列特別適合這項(xiàng)任務(wù)，因?yàn)樗峁┝舜髢?nèi)部存儲(chǔ)器，浮點(diǎn)精度和高性能計(jì)算單元等功能。最近發(fā)布的第三代 SHARC處理器通過(guò)集成專(zhuān)門(mén)為促進(jìn)音頻產(chǎn)品設(shè)計(jì)而引入的其他功能，更進(jìn)了一步。這些功能包括硬件采樣率轉(zhuǎn)換器，加密和解密，復(fù)雜的數(shù)字音頻接口以及包含多個(gè)音頻解碼器的片上ROM。

DSP用戶(hù)面臨的歷史挑戰(zhàn)是開(kāi)發(fā)能夠最佳利用處理器時(shí)鐘周期和有效利用內(nèi)存的軟件。在匯編語(yǔ)言中手動(dòng)編碼音頻信號(hào)處理算法的長(zhǎng)期使用和費(fèi)力的方法變得越來(lái)越不可行。當(dāng)大部分所需工作用于創(chuàng)建標(biāo)準(zhǔn)“清單”和“我也是”功能而不是專(zhuān)注于區(qū)分具有增值功能的產(chǎn)品時(shí)，尤其如此。需要一種更好的方法來(lái)開(kāi)發(fā)音頻產(chǎn)品軟件。

為了滿(mǎn)足這一需求，ADI開(kāi)發(fā)了一個(gè)圖形環(huán)境-VisualAudio，以幫助設(shè)計(jì)和開(kāi)發(fā)使用SHARC處理器系列的音頻系統(tǒng)。 VisualAudio為音頻系統(tǒng)開(kāi)發(fā)人員提供了大部分軟件構(gòu)建模塊，以及圖1所示的直觀圖形界面，用于設(shè)計(jì)，開(kāi)發(fā)，調(diào)整和測(cè)試音頻系統(tǒng)。

VisualAudio包括基于PC的圖形用戶(hù)界面（GUI，圖形工具），DSP 內(nèi)核（框架），以及可擴(kuò)展的音頻算法庫(kù)（音頻模塊）。結(jié)合ADI的VisualDSP ++ ? 集成開(kāi)發(fā)和調(diào)試環(huán)境（IDDE），VisualAudio生成產(chǎn)品就緒代碼，該代碼針對(duì)速度，每秒數(shù)百萬(wàn)條指令（MIPS）和內(nèi)存使用情況。通過(guò)簡(jiǎn)化開(kāi)發(fā)復(fù)雜數(shù)字信號(hào)處理軟件的過(guò)程，VisualAudio降低了開(kāi)發(fā)成本，風(fēng)險(xiǎn)和時(shí)間。因此，音頻系統(tǒng)開(kāi)發(fā)人員能夠通過(guò)將其音頻產(chǎn)品與競(jìng)爭(zhēng)對(duì)手區(qū)分開(kāi)來(lái)，專(zhuān)注于增加價(jià)值。

VisualAudio的核心是一個(gè)處理音頻I / O和后處理的實(shí)時(shí)軟件架構(gòu)。為了可行，生成的DSP代碼必須在MIPS和內(nèi)存方面高效，并且足夠靈活以處理各種音頻產(chǎn)品類(lèi)別。 VisualAudio實(shí)時(shí)架構(gòu)如下所述，首先是框架，然后是音頻處理模塊。

框架

框架是部分處理系統(tǒng)初始化，音頻I / O，比特流檢測(cè) 1 ，實(shí)例化和調(diào)用音頻解碼器以及與主機(jī)通信的DSP代碼。 VisualAudio為其用戶(hù)提供了AVR和汽車(chē)音響系統(tǒng)框架的示例。通過(guò)編寫(xiě)特定于平臺(tái)的驅(qū)動(dòng)程序，VisualAudio用戶(hù)可以自定義框架的許多方面，以滿(mǎn)足特定的產(chǎn)品需求。在某些情況下，如果需要進(jìn)行內(nèi)部更改以獲得最佳性能，ADI還將為VisualAudio用戶(hù)提供框架源代碼。

音頻產(chǎn)品具有管理框架設(shè)計(jì)的特定要求。每個(gè)音頻產(chǎn)品有兩個(gè)主要功能：（1）實(shí)時(shí)音頻處理，以及（2）控制此處理。這兩個(gè)功能的時(shí)間尺度差別很大。實(shí)時(shí)處理（所有內(nèi)部操作都已完成）必須以采樣率進(jìn)行，否則輸出音頻中會(huì)出現(xiàn)不可接受的彈出和咔嗒聲。控制功能可以以更慢的速率（10 Hz至100 Hz）發(fā)生，并且仍然可以接受。因此，大部分 MIPS使用在實(shí)時(shí)處理中發(fā)生，而軟件復(fù)雜性的大部分在控制功能內(nèi)。為了簡(jiǎn)化產(chǎn)品設(shè)計(jì)和開(kāi)發(fā)，VisualAudio將實(shí)時(shí)和控制功能分離為單獨(dú)的線(xiàn)程。通過(guò)手動(dòng)優(yōu)化的實(shí)時(shí)音頻處理模塊實(shí)現(xiàn)效率，同時(shí)通過(guò)允許開(kāi)發(fā)人員在C中編寫(xiě)并在單獨(dú)的線(xiàn)程中運(yùn)行來(lái)管理控制代碼的復(fù)雜性。

傳統(tǒng)上，采用了兩種不同的音頻處理方法。在流處理中，音頻樣本在到達(dá)時(shí)一次處理一個(gè)，而在塊處理中，緩沖幾個(gè)音頻樣本，然后作為一組進(jìn)行處理。每種方法都有明顯的優(yōu)點(diǎn)和缺點(diǎn)。流處理在數(shù)據(jù)存儲(chǔ)器方面是有效的，因?yàn)椴恍枰彌_音頻數(shù)據(jù)。流處理的主要限制是不能容忍多個(gè)函數(shù)調(diào)用的開(kāi)銷(xiāo)。這迫使音頻處理代碼通常以匯編語(yǔ)言在線(xiàn)寫(xiě)入。這樣的代碼很難模塊化和維護(hù)。

塊處理需要額外的緩沖內(nèi)存用于I / O和暫存內(nèi)存。典型的塊大小在32到256個(gè)樣本的范圍內(nèi)。由于一次處理許多樣本，因此函數(shù)調(diào)用的開(kāi)銷(xiāo)在大量樣本上分?jǐn)?。這導(dǎo)致MIPS高效的實(shí)現(xiàn) - 以額外的存儲(chǔ)器為代價(jià) - 但是是優(yōu)選的，因?yàn)榭梢圆捎媒Y(jié)構(gòu)化編程方法。塊處理也非常適合生成音頻塊的音頻解碼器。例如，Dolby Digital和DTS解碼器都以256個(gè)樣本塊生成音頻。

塊處理是VisualAudio使用的方法，還有幾個(gè)額外的優(yōu)點(diǎn)。 VisualAudio中的所有音頻I / O都是雙緩沖的，并使用直接內(nèi)存訪問(wèn)（DMA）進(jìn)行管理。處理器每個(gè)塊接收一次中斷 - 每個(gè)樣本不接收一次 - 導(dǎo)致比流處理少得多的中斷開(kāi)銷(xiāo)。此外，通過(guò)利用SHARC處理器的鏈?zhǔn)紻MA功能，雙緩沖由DMA控制器管理，顯著增加了服務(wù)音頻輸入/輸出（I / O）中斷時(shí)的允許延遲。

VisualAudio框架以塊為單位向后處理網(wǎng)絡(luò)傳送音頻。塊大小有一些限制。首先，由于某些音頻模塊的單指令，多數(shù)據(jù)（SIMD）行為，它必須是偶數(shù)。其次，最小塊大小為8個(gè)樣本 - 由于某些音頻模塊中的流水線(xiàn)操作。最后，在具有音頻解碼器的系統(tǒng)中，后處理塊大小必須是解碼器塊大小的因子。例如，對(duì)于Dolby Digital，可能的塊大小為8，16，32，64，128和256個(gè)樣本。

在VisualAudio汽車(chē)框架的示例中可以看到音頻I / O和緩沖，如圖2所示，音頻從MOST網(wǎng)絡(luò)或A / D轉(zhuǎn)換器到達(dá)，并分成多個(gè)流。主要娛樂(lè)流由DVD播放器生成，并且遠(yuǎn)程信息處理系統(tǒng)或通過(guò)鐘聲產(chǎn)生額外的單聲道流。 DVD數(shù)據(jù)首先經(jīng)歷數(shù)字傳輸復(fù)制檢測(cè)（DTCP）解密，然后被饋送到比特流檢測(cè)器。比特流檢測(cè)器的輸出被打包成塊;當(dāng)完整的數(shù)據(jù)幀可用時(shí)，執(zhí)行音頻解碼器。 DVD播放器生成自己的采樣率，這與后處理使用的采樣率不同。因此，音頻解碼器的輸出必須通過(guò)異步采樣率轉(zhuǎn)換器。該塊將所有輸入數(shù)據(jù)流轉(zhuǎn)換為固定的輸出采樣率。此時(shí)，音頻后處理以32個(gè)樣本的固定塊大小執(zhí)行。最后一步，音頻通道被饋送到D / A轉(zhuǎn)換器或返回到MOST網(wǎng)絡(luò)。

汽車(chē)框架包含多個(gè)音頻解碼器，其中只有一個(gè)是有效的。為了降低解碼器內(nèi)存要求，VisualAudio管理一個(gè)在所有可能的解碼器之間共享的解碼器內(nèi)存池。解碼器的輸出被饋送到后處理網(wǎng)絡(luò);這就驅(qū)動(dòng)了D / A轉(zhuǎn)換器。

VisualAudio使用簡(jiǎn)單的中斷驅(qū)動(dòng)內(nèi)核來(lái)管理多個(gè)線(xiàn)程。例如，樣本汽車(chē)框架包含總共六個(gè)線(xiàn)程。從最高優(yōu)先級(jí)到最低優(yōu)先級(jí)，它們是：

主機(jī)通信- 通過(guò)SPI與主機(jī)交換消息。消息在DSP 用戶(hù)控制代碼中進(jìn)行緩沖和解釋?zhuān)ㄈ缦滤觯?/p>

音頻發(fā)送中斷- 由串行端口中斷觸發(fā)。將輸出DMA管理到DAC，并格式化要返回MOST網(wǎng)絡(luò)的數(shù)據(jù)。在用戶(hù)中斷0中觸發(fā)音頻處理。

音頻接收中斷- 將音頻分隔為不同的流。執(zhí)行DTCP解密并將編碼數(shù)據(jù)打包到幀中。適當(dāng)時(shí)，在用戶(hù)中斷1內(nèi)觸發(fā)音頻解碼器。

音頻處理（用戶(hù)中斷0）- 對(duì)32個(gè)樣本塊執(zhí)行后處理。大部分處理都發(fā)生在這個(gè)線(xiàn)程中。

音頻解碼器（用戶(hù)中斷1）- 執(zhí)行音頻解碼功能。

DSP用戶(hù)控制代碼（UCC）- 在沒(méi)有中斷活動(dòng)時(shí)運(yùn)行并充當(dāng)應(yīng)用程序的主循環(huán)。用戶(hù)產(chǎn)品的控制功能發(fā)生在該線(xiàn)程中。

示例AVR框架中的典型線(xiàn)程活動(dòng)如圖3所示。每個(gè)水平切片代表一個(gè)不同的線(xiàn)程。音頻I / O，解碼器和后處理定期運(yùn)行，UCC以最低優(yōu)先級(jí)運(yùn)行。請(qǐng)注意，當(dāng)處理器忙于音頻處理時(shí)，UCC可能無(wú)法運(yùn)行幾毫秒。

VisualAudio分配主機(jī)微控制器和DSP之間的控制功能。這種劃分是任意的，甚至可以支持沒(méi)有專(zhuān)用主機(jī)微控制器的系統(tǒng)。如上所述，UCC以最低優(yōu)先級(jí)執(zhí)行 - 使用中斷處理程序未消耗的任何空閑周期。框架使用消息和通知定期調(diào)用UCC。

消息是從主機(jī)微控制器發(fā)送到DSP的命令。這些命令用于控制音頻處理（例如，“將音量設(shè)置為-20 dB”，“將低音音調(diào)控制設(shè)置為+3 dB”）或查詢(xún)音頻處理的狀態(tài)（例如，“系統(tǒng)是否”限制？”）。 VisualAudio框架在內(nèi)部處理一些命令，而其余命令則傳遞給UCC。在每個(gè)時(shí)間點(diǎn)，主機(jī)和DSP之間只能有一條待處理消息 - 并且DSP必須在處理完每個(gè)命令后發(fā)送確認(rèn)。

通知是由框架異步生成并在幾種條件下發(fā)生。在啟用任何實(shí)時(shí)處理之前，在系統(tǒng)初始化期間發(fā)生第一個(gè)通知。此時(shí)可以完成系統(tǒng)或應(yīng)用程序特定的初始化。以大約200Hz的速率周期性地生成的第二通知用于控制實(shí)時(shí)音頻處理，例如，自動(dòng)增益控制（AGC）計(jì)算和更新。響應(yīng)于編碼比特流的變化，音頻解碼器生成最后一類(lèi)通知。當(dāng)采樣率改變，輸入通道數(shù)改變，或者在輸入比特流中檢測(cè)到循環(huán)冗余校驗(yàn)（CRC）錯(cuò)誤時(shí)，會(huì)發(fā)生此類(lèi)通知。這些通知允許UCC對(duì)音頻處理進(jìn)行適當(dāng)?shù)母摹?/p>

由于UCC被實(shí)時(shí)音頻處理?yè)屨迹赡苤钡綆缀撩氩疟粓?zhí)行 - 如圖所示圖3. VisualAudio包含幾個(gè)簡(jiǎn)化寫(xiě)入U(xiǎn)CC的功能，這些UCC將不斷受到中斷。首先，由于主機(jī)通信接口僅允許單個(gè)主機(jī)消息在主機(jī)和DSP之間掛起，因此不存在消息緩沖區(qū)溢出或主機(jī)消息相互覆蓋的危險(xiǎn)。另一個(gè)功能是通知隊(duì)列，其中相同類(lèi)型的通知互相覆蓋。例如，如果在執(zhí)行UCC之前在時(shí)間上緊密間隔地生成兩個(gè)采樣率通知，則UCC將僅接收第二通知 - 最終采樣率。此外，由于通知數(shù)量有限，通知隊(duì)列必須具有有限的長(zhǎng)度。

還必須仔細(xì)編寫(xiě)UCC以更新某些音頻模塊參數(shù)。某些模塊參數(shù)（例如無(wú)限脈沖響應(yīng)（IIR）濾波器系數(shù)）必須自動(dòng)更新，而不會(huì)被音頻處理中斷。

每個(gè)VisualAudio框架都有一個(gè)關(guān)聯(lián)的XML平臺(tái)描述目標(biāo)平臺(tái)到VisualAudio應(yīng)用程序的功能的文件，還包含構(gòu)建可執(zhí)行文件所需的源，對(duì)象和庫(kù)文件的列表。軟件設(shè)計(jì)和開(kāi)發(fā)通常從現(xiàn)成的評(píng)估或開(kāi)發(fā)平臺(tái)開(kāi)始，例如ADI的EZ-KIT Lite評(píng)估套件，然后在完成后遷移到實(shí)際的目標(biāo)硬件。 VisualAudio的變更平臺(tái)向?qū)ё詣?dòng)化在硬件平臺(tái)之間遷移軟件的過(guò)程。

音頻模塊

VisualAudio包含大約100個(gè)音頻處理模塊庫(kù)，這些模塊已針對(duì)SHARC處理器進(jìn)行了優(yōu)化。按功能分類(lèi)的模塊包括音量控制，音調(diào)控制，濾波器，混音器等 - 足以開(kāi)發(fā)各種音頻產(chǎn)品的功能類(lèi)型。這些標(biāo)準(zhǔn)音頻模塊可以通過(guò)實(shí)現(xiàn)專(zhuān)有后處理功能的自定義模塊進(jìn)行擴(kuò)充。

圖4展示了10階IIR濾波器的塊處理效率 - 實(shí)現(xiàn)為五個(gè)雙二階濾波器的級(jí)聯(lián)。將每個(gè)樣本的操作數(shù)繪制為塊大小的函數(shù)。 64個(gè)樣本塊實(shí)現(xiàn)了大多數(shù)效率增益，大塊的回報(bào)遞減。對(duì)于這個(gè)濾波器，核心內(nèi)環(huán)每個(gè)樣本包含21個(gè)乘法累加（MAC）;但是通過(guò)使用同時(shí)對(duì)兩個(gè)數(shù)據(jù)進(jìn)行操作的SIMD指令，循環(huán)減少到大約15個(gè)周期。

每個(gè)音頻模塊都由相關(guān)的XML文件描述給VisualAudio應(yīng)用程序。該文件包含模塊內(nèi)存數(shù)據(jù)結(jié)構(gòu)，內(nèi)存分配規(guī)則，輸入和輸出音頻通道列表，高級(jí)接口變量（顯示在模塊的圖形表示或檢查器）的描述，和設(shè)計(jì)方程。 XML語(yǔ)言由標(biāo)記結(jié)構(gòu)化數(shù)據(jù)的標(biāo)記組成。例如，考慮一個(gè)簡(jiǎn)單的音頻模塊，通過(guò)固定增益來(lái)縮放單聲道信號(hào)。該模塊將包含一個(gè)渲染變量放大器 - 指定要應(yīng)用的增益。在模塊的XML文件中，變量 amp 由下面顯示的XML代碼描述：

幅度應(yīng)用于輸入

amp

- 1.0

1.0

1.0

《用法type =“string”》參數(shù)

true

true

description標(biāo)簽提供變量的簡(jiǎn)短摘要。 name標(biāo)記表示數(shù)據(jù)結(jié)構(gòu)中的變量名稱(chēng)。該變量被描述為浮點(diǎn)數(shù)，具有可修改的默認(rèn)范圍［-1 + 1］，默認(rèn)值為1.0。 VisualAudio將此變量視為設(shè)計(jì)可設(shè)置和可調(diào)參數(shù)，允許在設(shè)計(jì)時(shí)進(jìn)行修改，之后在實(shí)時(shí)調(diào)整期間進(jìn)行修改。這個(gè)單聲道固定增益示例說(shuō)明了可由VisualAudio XML格式描述的眾多變量類(lèi)型之一。

VisualAudio為后處理布局中的每個(gè)音頻模塊實(shí)例創(chuàng)建單獨(dú)的數(shù)據(jù)結(jié)構(gòu)。所有數(shù)據(jù)結(jié)構(gòu)共享一個(gè)共同的5字頭，描述模塊與框架的運(yùn)行時(shí)接口。接下來(lái)是模塊特定的參數(shù)和-state變量。例如，上述縮放器模塊的數(shù)據(jù)結(jié)構(gòu)的類(lèi)型聲明是：

typedef struct

{

AMF_Module b; //通用5字頭

float amp; //特定于實(shí)例的變量

} AMF_Scaler;

VisualAudio中的音頻處理功能遵循統(tǒng)一的調(diào)用序列。使用三個(gè)參數(shù)調(diào)用每個(gè)函數(shù)：指向?qū)嵗龜?shù)據(jù)結(jié)構(gòu)的指針，指向輸入和輸出緩沖區(qū)指針數(shù)組的指針（首先是輸入緩沖區(qū)，然后是輸出緩沖區(qū)），以及指定塊大小的整數(shù)。繼續(xù)縮放器的示例，其實(shí)時(shí)處理函數(shù)定義如下。

void AMF_Scaler_Render（AMF_Scaler * instance，float ** buffers，int blockSize）{

int i;

float * in = buffers ［0］;

float * out = buffers ［1］;

float amp = instance-》 amp;

for（i = 0; i

out ［i］ = in ［i］ * amp;

}

}

請(qǐng)注意，此示例用C語(yǔ)言來(lái)澄清其描述。 VisualAudio中包含的實(shí)際 render 函數(shù)是用優(yōu)化的匯編語(yǔ)言編寫(xiě)的，以提高執(zhí)行速度。