低延時(shí)時(shí),、實(shí)時(shí)聲學(xué)處理是許多嵌入式處理應(yīng)用的關(guān)鍵因素,，其中包括語音預(yù)處理、語音識別和主動降噪（ANC）,。隨著這些應(yīng)用領(lǐng)域?qū)?shí)時(shí)性能的要求穩(wěn)步提高,，開發(fā)人員需要以戰(zhàn)略思維來妥善應(yīng)對這些要求。由于許多大型系統(tǒng)都由芯片提供可觀的性能,，因此我們往往會將出現(xiàn)的任何額外任務(wù)都加載到這些設(shè)備上,，但我們需要知道，延時(shí)時(shí)和其確定性是非常關(guān)鍵的因素,，如果未仔細(xì)考慮,，很容易引發(fā)重大的實(shí)時(shí)系統(tǒng)問題。本文將探討設(shè)計(jì)人員在選擇SoC和專用音頻DSP時(shí)應(yīng)考慮的問題,，以避免實(shí)時(shí)聲學(xué)系統(tǒng)出現(xiàn)令人不快的意外,。

　　低延時(shí)聲學(xué)系統(tǒng)的應(yīng)用非常廣泛。例如,，單單是在汽車領(lǐng)域,，低延時(shí)對于個(gè)人音頻區(qū)域、路噪降噪和車內(nèi)通訊系統(tǒng)等都至關(guān)重要,。

　　隨著汽車電氣化趨勢涌現(xiàn),，路噪降噪變得更加重要，因?yàn)闆]有內(nèi)燃機(jī)產(chǎn)生明顯噪音,。所以,，與汽車道路接觸相關(guān)的噪音會變得更明顯、更擾人,。減少這種噪音不僅能帶來更舒適的駕駛體驗(yàn),，還能減少駕駛員疲勞感。與在專用音頻DSP上部署低延時(shí)時(shí)聲學(xué)系統(tǒng)相比,，在SoC上部署會面臨諸多挑戰(zhàn),。這些問題包括延時(shí)時(shí),、可擴(kuò)展性、可升級性,、算法考量,、硬件加速和客戶支持。我們來逐一進(jìn)行介紹,。

　　延時(shí)

　　在實(shí)時(shí)聲學(xué)處理系統(tǒng)中,，延時(shí)問題非常重要。如果處理器跟不上系統(tǒng)的實(shí)時(shí)數(shù)據(jù)搬運(yùn)和計(jì)算需求,，會導(dǎo)致不可接受的音頻斷續(xù),。

　　一般來說，SoC會配備小型片內(nèi)SRAM,，因此,，大部分本地存儲器訪問必須依賴緩存。這導(dǎo)致代碼和數(shù)據(jù)的使用具有不確定性,，還會增大處理延時(shí),。對于ANC這樣的實(shí)時(shí)應(yīng)用來說，單是這一點(diǎn)就無法接受,。但是,，事實(shí)上，SoC也會運(yùn)行管理繁重的多任務(wù)非實(shí)時(shí)操作系統(tǒng),。這會放大系統(tǒng)的不確定性操作特性，使其很難在多任務(wù)環(huán)境中支持相對復(fù)雜的聲學(xué)處理,。

　　圖1顯示了一個(gè)運(yùn)行實(shí)時(shí)音頻處理負(fù)載的SoC的具體示例,，在處理更高優(yōu)先級的SoC任務(wù)時(shí)，CPU負(fù)載出現(xiàn)峰值,。例如,，在執(zhí)行以SoC為中心的任務(wù)時(shí)，包括在系統(tǒng)上進(jìn)行媒體渲染,、瀏覽或執(zhí)行應(yīng)用,，可能會出現(xiàn)這些峰值。當(dāng)峰值超過100% CPU負(fù)載時(shí),，SoC將不再實(shí)時(shí)運(yùn)行,，這會導(dǎo)致音頻丟失。

　　圖1.除了運(yùn)行其他任務(wù)外,，運(yùn)行高音頻負(fù)載處理的典型SoC的瞬時(shí)CPU負(fù)載,。1

　　另一方面，音頻DSP的架構(gòu)是為了在整個(gè)信號處理路徑（從采樣音頻輸入到處理（例如,，音效+噪聲抑制）到揚(yáng)聲器輸出）中實(shí)現(xiàn)低延時(shí),。L1指令和數(shù)據(jù)SRAM是最接近處理器內(nèi)核的單周期存儲器,，足以支持多個(gè)處理算法，無需將中間數(shù)據(jù)轉(zhuǎn)存到片外存儲器,。此外,，片內(nèi)L2存儲器（離內(nèi)核較遠(yuǎn)，但訪問速度仍然比片外DRAM快得多）可以在L1 SRAM的存儲容量不夠時(shí),，提供中間數(shù)據(jù)操作緩存,。最后，音頻DSP通常運(yùn)行實(shí)時(shí)操作系統(tǒng)（RTOS）,，確?？梢栽谛螺斎霐?shù)據(jù)到達(dá)之前完成輸入數(shù)據(jù)處理并將其搬移到目標(biāo)位置，從而確保數(shù)據(jù)緩沖區(qū)在實(shí)時(shí)操作期間不會上溢,。

　　系統(tǒng)啟動時(shí)的實(shí)際延時(shí)時(shí)（通常通過啟動發(fā)聲來表征）也是重要指標(biāo),，尤其是對于汽車系統(tǒng)，它要求在啟動后的某個(gè)窗口內(nèi)播報(bào)提示音,。在SoC領(lǐng)域,，通常采用很長的啟動時(shí)序，其中包括啟動整個(gè)設(shè)備的操作系統(tǒng),，所以很難或無法滿足這個(gè)啟動要求,。另一方面，可以對運(yùn)行自己的RTOS,、不受其他無關(guān)的系統(tǒng)優(yōu)先級影響的獨(dú)立式音頻DSP實(shí)施優(yōu)化,，以加快其啟動速度，從而滿足啟動發(fā)聲要求,。

　　可擴(kuò)展性

　　雖然在諸如噪聲控制等應(yīng)用中,，對于SoC來說，延時(shí)是個(gè)問題,，但對于想要執(zhí)行聲學(xué)處理的SoC來說,，可擴(kuò)展性是另一個(gè)缺點(diǎn)。換句話說,，控制具有許多不同子系統(tǒng)的大型系統(tǒng)（例如汽車多媒體主機(jī)和儀表盤）的SoC無法輕易從低端擴(kuò)展到滿足高端音頻需求,，這是因?yàn)槊總€(gè)子系統(tǒng)組件的可擴(kuò)展性需求之間始終存在沖突，需要在整體SoC利用率方面進(jìn)行權(quán)衡,。例如,，如果前端SoC連接到遠(yuǎn)端收音模組，并且適配多種車型,，那么該收音模組需要從幾個(gè)通道擴(kuò)展到多個(gè)通道,，而每個(gè)通道都會加劇之前提到的實(shí)時(shí)問題。這是因?yàn)镾oC控制下的每個(gè)附加特性都會改變SoC的實(shí)時(shí)行為,，以及多個(gè)功能所使用的關(guān)鍵架構(gòu)組件的資源可用性,。這些資源包括存儲器帶寬,、處理器內(nèi)核周期和系統(tǒng)總線結(jié)構(gòu)仲裁槽等方面,。

　　除了有關(guān)連接到多任務(wù)SoC的其他子系統(tǒng)的問題外,，聲學(xué)系統(tǒng)本身也存在擴(kuò)展性問題,。其中涉及低端到高端的擴(kuò)展（例如,，增加ANC應(yīng)用中麥克風(fēng)和揚(yáng)聲器通道的數(shù)量），也涉及音頻體驗(yàn)擴(kuò)展,，從基本的音頻解碼和立體聲播放一直到3D虛擬化和其他高級功能,。雖然這些要求不具有ANC系統(tǒng)的實(shí)時(shí)限制,，但它們與系統(tǒng)音頻處理器的選擇直接相關(guān),。

　　使用一個(gè)單獨(dú)的音頻DSP作為SoC的協(xié)處理器是解決音頻可擴(kuò)展性問題的極佳解決方案,，可以實(shí)現(xiàn)模塊化的系統(tǒng)設(shè)計(jì)和成本優(yōu)化的解決方案。SoC可以減少對大型系統(tǒng)實(shí)時(shí)聲學(xué)處理需求的關(guān)注,，將這種處理需求轉(zhuǎn)移到低延時(shí)音頻DSP上進(jìn)行,。此外，音頻DSP提供代碼兼容和引腳兼容選項(xiàng),，涵蓋幾種不同的價(jià)格/性能/存儲容量等級,，讓系統(tǒng)設(shè)計(jì)人員能夠最大限度地靈活選擇適合給定產(chǎn)品層級的音頻性能產(chǎn)品。

　　\

　　圖2.ADSP-2156x DSP,，高度可擴(kuò)展的音頻處理器

　　可升級性

　　隨著如今的汽車越來越普遍地采用OTA,，通過發(fā)布關(guān)鍵補(bǔ)丁或提供新功能進(jìn)行升級變得越來越重要。由于其各個(gè)子系統(tǒng)之間的依賴性增加,，這可能會導(dǎo)致SoC的關(guān)鍵問題,。首先，多個(gè)處理和數(shù)據(jù)移動線程會在SoC上爭奪資源,。在添加新功能時(shí),，尤其是在處于活動高峰期間時(shí)，這會加劇處理器MIPS和存儲空間的競爭,。從音頻的角度來看，其他SoC控制域中的新增特性可能會對實(shí)時(shí)聲學(xué)性能產(chǎn)生無法預(yù)測的影響,。這種情況帶來的一個(gè)負(fù)面影響是：新功能必須在所有操作平面上進(jìn)行交叉測試,，導(dǎo)致彼此競爭的子系統(tǒng)的各種操作模式之間出現(xiàn)無數(shù)排列組合。所以,，每個(gè)升級包的軟件驗(yàn)證次數(shù)都會成倍增加,。

　　從另一個(gè)角度來看，可以說除了受SoC控制的其他子系統(tǒng)的功能圖譜外,，SoC音頻性能的改善還取決于可用的SoC MIPS,。

　　算法開發(fā)與性能

　　顯然，在開發(fā)實(shí)時(shí)聲學(xué)算法時(shí),，音頻DSP旨在達(dá)成任務(wù)目標(biāo),。與SoC的顯著區(qū)別在于,，獨(dú)立音頻DSP可以提供圖形化開發(fā)環(huán)境，讓缺乏DSP編碼經(jīng)驗(yàn)的工程師能夠在其設(shè)計(jì)中集成高質(zhì)量的聲學(xué)處理,。這種類型的工具可以在不犧牲質(zhì)量和性能的情況下通過縮短開發(fā)時(shí)間來降低開發(fā)成本,。

　　例如，ADI的SigmaStudio?圖形音頻開發(fā)環(huán)境提供多種集成至直觀的圖形用戶界面（GUI）的信號處理算法,，從而能夠創(chuàng)建復(fù)雜的音頻信號流,。它還支持采用圖形A2B配置進(jìn)行音頻傳輸，非常有助于加快實(shí)時(shí)聲學(xué)系統(tǒng)開發(fā),。

　　音頻輔助硬件特性

　　除了專為高效并行浮點(diǎn)計(jì)算和數(shù)據(jù)訪問而設(shè)計(jì)的處理器內(nèi)核架構(gòu)外,，音頻DSP通常還采用專用的多通道加速器來運(yùn)行通用算法，例如快速傅立葉變換（FFT）,、有限和無限脈沖響應(yīng)（FIR和IIR）濾波,，以及異步采樣速率轉(zhuǎn)換（ASRC）。這樣允許在內(nèi)核CPU之外進(jìn)行實(shí)時(shí)音頻濾波,、采樣和頻域轉(zhuǎn)換,，從而提高內(nèi)核的有效性能。此外,，由于它們采用優(yōu)化的架構(gòu),，提供數(shù)據(jù)流管理功能，所以有助于構(gòu)建靈活且方便用戶使用的編程模型,。

　　由于音頻通道數(shù)量,、濾波器流、采樣速率等增加,，我們需要使用配置程度最高的引腳接口,，以支持在線采樣速率轉(zhuǎn)換、精密時(shí)鐘和同步高速串行端口來高效的路由數(shù)據(jù),，避免導(dǎo)致延時(shí)或外部接口邏輯增加,。ADI公司的SHARC?系列處理器的數(shù)字音頻互連口（DAI）就展現(xiàn)了這種能力，如圖4所示,。

　　圖3.ADI公司的SigmaStudio圖形開發(fā)環(huán)境

　　圖4.數(shù)字音頻互連（DAI）框圖

　　客戶支持

　　在使用嵌入式處理器進(jìn)行開發(fā)時(shí),，我們常常會忽略一點(diǎn)，即客戶對設(shè)備的支持,。

　　盡管SoC供應(yīng)商提倡在他們的內(nèi)置DSP產(chǎn)品上運(yùn)行聲學(xué)算法,，但在實(shí)際使用時(shí)這會帶來一些負(fù)擔(dān)。一方面,，供應(yīng)商的支持通常更復(fù)雜,，因?yàn)镾oC應(yīng)用開發(fā)領(lǐng)域一般不涉及聲學(xué)專業(yè)知識。因此,，往往很難為想要基于SoC的片內(nèi)DSP技術(shù)開發(fā)自己的聲學(xué)算法的客戶提供支持,。而是由供應(yīng)商提供標(biāo)準(zhǔn)算法,，并收取可觀的NRE費(fèi)用，然后將聲學(xué)算法移植到SoC的一個(gè)或多個(gè)內(nèi)核中,。即使如此,，也無法保證一定能成功，在供應(yīng)商無法提供成熟,、低延時(shí)的框架軟件時(shí)更是如此,。最后，適合基于SoC的聲學(xué)處理的第三方生態(tài)系統(tǒng)往往相當(dāng)脆弱,，因?yàn)檫@個(gè)領(lǐng)域不是SoC關(guān)注的重點(diǎn),。

　　顯然，專用音頻DSP可為開發(fā)復(fù)雜的聲學(xué)系統(tǒng)提供更強(qiáng)大的生態(tài)系統(tǒng),，從優(yōu)化的算法庫和設(shè)備驅(qū)動程序到實(shí)時(shí)操作系統(tǒng)和易于使用的開發(fā)工具,。此外，有助于加快產(chǎn)品上市的以音頻為主的參考平臺（例如ADI的SHARC音頻模塊平臺,，如圖5所示）對于SoC來說比較少見,，但在獨(dú)立音頻DSP領(lǐng)域卻很常見。

　　圖5.SHARC音頻模塊（SAM）開發(fā)平臺

　　總之,，很明顯,，設(shè)計(jì)實(shí)時(shí)聲學(xué)系統(tǒng)需要細(xì)致、戰(zhàn)略性的規(guī)劃系統(tǒng)資源,，不能單單通過在多任務(wù)SoC上分配處理裕量來進(jìn)行管理,。相反，針對低延時(shí)處理而優(yōu)化獨(dú)立的音頻DSP有望提高其耐用性,，縮短開發(fā)時(shí)間,，實(shí)現(xiàn)出色的可擴(kuò)展性，以適應(yīng)未來的系統(tǒng)需求和性能等級,。

　　參考資料

　　1 Paul Beckmann,。“多核SOC處理器：性能,、分析和優(yōu)化,。”2017年度AES國際汽車音頻大會,，2017年8月。

　　作者簡介

　　David Katz在模擬,、數(shù)字和嵌入式系統(tǒng)設(shè)計(jì)方面擁有30年的經(jīng)驗(yàn),。他是ADI公司汽車信息娛樂系統(tǒng)架構(gòu)總監(jiān)。他在國際上已發(fā)表了將近100篇關(guān)于嵌入式處理的文章,，并在該領(lǐng)域提交了數(shù)篇會議論文,。加入ADI公司之前,，他在摩托羅拉公司工作，擔(dān)任電纜調(diào)制解調(diào)器和工廠自動化部門的高級設(shè)計(jì)工程師,。David擁有康奈爾大學(xué)電氣工程學(xué)士學(xué)位和工程碩士學(xué)位,。