嵌入式開發(fā)的轉(zhuǎn)變將如何影響未來計(jì)算
2024-01-02
作者:Arm 高級(jí)副總裁兼物聯(lián)網(wǎng)事業(yè)部總經(jīng)理 Paul Williamson
來源: Arm
當(dāng)前,,開發(fā)者正在利用安全且性能增強(qiáng)的技術(shù)實(shí)現(xiàn)小型低功耗嵌入式系統(tǒng)的開發(fā),,賦能過往無法想象的語音、視覺和振動(dòng)等 AI 應(yīng)用,,而這些應(yīng)用正在改變著世界,。
嵌入式領(lǐng)域正經(jīng)歷一場(chǎng)深刻的變革。連接設(shè)備正逐漸演變?yōu)榭筛鶕?jù)所收集的數(shù)據(jù)自行做出決策的系統(tǒng),。相較于在物聯(lián)網(wǎng)網(wǎng)關(guān)或云端進(jìn)行數(shù)據(jù)處理而言,,在更接近采集源之處完成數(shù)據(jù)處理的方式,將有望加快決策速度,、減少延遲,、解決數(shù)據(jù)隱私問題、降低成本并提高能效,。
很多應(yīng)用領(lǐng)域都在推升邊緣計(jì)算在性能和功能方面的需求,,諸如工業(yè)自動(dòng)化、機(jī)器人,、智慧城市和家居自動(dòng)化等,。在過去,這類系統(tǒng)中的傳感器要簡(jiǎn)單得多且互不相連,,然而,,現(xiàn)在人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 提升了本地智能化水平,在端側(cè)即可完成決策的制定,,這在過去使用的簡(jiǎn)單控制算法是無法實(shí)現(xiàn)的,。
AI 時(shí)代通用處理器的演進(jìn)
多年以前,開發(fā)者專注于把邏輯和控制算法作為軟件開發(fā)的核心,,然而,,隨著數(shù)字信號(hào)處理 (DSP) 算法的出現(xiàn),為諸多功能增強(qiáng)的語音,、視覺和音頻應(yīng)用提供了支持,。
這種應(yīng)用開發(fā)的轉(zhuǎn)變進(jìn)入到了全新時(shí)代,且正在影響計(jì)算架構(gòu)的設(shè)計(jì),。我們現(xiàn)已發(fā)展到以推理作為算法開發(fā)的主要核心,,這一階段帶來了對(duì)計(jì)算性能、能效,、延遲,、實(shí)時(shí)處理和可擴(kuò)展性等方面新的或更高的要求。
行業(yè)的需求不僅在新處理器加速器方面,,也包括通用處理能力的提升,,以便能為開發(fā)者提供必要的平衡,并支持直播視頻中的特征檢查或人物檢測(cè)等應(yīng)用,。
幾年前,,開發(fā)者在創(chuàng)建噪聲消除應(yīng)用時(shí)還只能依賴基于頻率的濾波器,。而如今,開發(fā)者可以通過將濾波與 ML/AI 模型和推理相結(jié)合來提高應(yīng)用的性能和功能,。為了使這些開發(fā)任務(wù)更加高效,,并盡可能無縫地為用戶服務(wù),對(duì)處理器和工具的需求也與日俱增,。
促進(jìn)邊緣側(cè)和端側(cè)設(shè)備的智能化
這項(xiàng)演進(jìn)與革新是由 ML 所驅(qū)動(dòng),,但同時(shí)也面臨著諸多技術(shù)的挑戰(zhàn)。經(jīng)過多年的嘗試,,試圖打造一套普適于物聯(lián)網(wǎng)及嵌入式設(shè)備的開發(fā)方法,,已促使著行業(yè)轉(zhuǎn)變物聯(lián)網(wǎng)開發(fā)的方式,以釋放規(guī)?;瘮U(kuò)展的無限可能性,。
當(dāng)前,開發(fā)者正在利用安全且性能增強(qiáng)的技術(shù)實(shí)現(xiàn)小型低功耗嵌入式系統(tǒng)的開發(fā),,賦能過往無法想象的語音,、視覺和振動(dòng)等應(yīng)用,,而這些應(yīng)用正在改變著世界,。各種版本的編程語言和 Transformer 模型將很快在具有全新計(jì)算功能的物聯(lián)網(wǎng)邊緣設(shè)備中占據(jù)一席之地。這無疑為開發(fā)者帶來夢(mèng)寐以求的更多可能性,。
在開發(fā)演進(jìn)與革新的過程中,,為了滿足開發(fā)者對(duì)硬件的需求,幾年前 Arm 在 Armv8.1-M 架構(gòu)中引入了Arm? Helium? 矢量處理技術(shù),。Helium 為小型低功耗嵌入式設(shè)備的 ML 和 DSP 應(yīng)用帶來了顯著的性能提升,。此外,它還提供單指令多數(shù)據(jù) (SIMD) 功能,,由此將 Arm Cortex?-M 設(shè)備的性能提升到全新水平,,并支持預(yù)測(cè)性維護(hù)和環(huán)境監(jiān)控等應(yīng)用。
Helium 提高了 DSP 和 ML 性能,,加快了信號(hào)調(diào)節(jié)(例如濾波,、噪聲消除和回聲消除)和特征提取(音頻或像素?cái)?shù)據(jù))的速度,,繼而能將之傳輸?shù)讲捎蒙窠?jīng)網(wǎng)絡(luò)處理器的分類中,。
實(shí)現(xiàn)智能邊緣側(cè)的功能
我們可以看到,很多 Arm 的合作伙伴都在他們最新的產(chǎn)品中引入了 Helium 技術(shù),,由此助力開發(fā)者在網(wǎng)絡(luò)最遠(yuǎn)端的受限設(shè)備上發(fā)揮 ML 功能的優(yōu)勢(shì),。2020 年二月,Arm 推出了采用 Helium 技術(shù)的 Cortex-M55 處理器,,Alif Semiconductor 于 2021 年九月推出了首款基于 Cortex-M55 的芯片,,并在其 Ensemble 和 Crescendo 產(chǎn)品系列中部署了搭載 Helium 的 Cortex-M55 處理器,。此外,奇景光電 (Himax) 也采用了配備 Helium 的 Cortex-M55 于其下一代 WE2 AI 處理器,,并以由電池供電的物聯(lián)網(wǎng)設(shè)備中的計(jì)算機(jī)視覺系統(tǒng)為目標(biāo)應(yīng)用領(lǐng)域,。
2022 年四月, Arm 推出了第二款支持 Helium 的 CPU——Arm Cortex-M85,。瑞薩電子在 embedded world 2022 和 embedded world 2023 上曾就 Cortex-M85 進(jìn)行過技術(shù)演示,。演示中,Plumerai 通過瑞薩電子 RA MCU 技術(shù)大大加快了其推理引擎速度,。作為一家開發(fā)基于攝像頭實(shí)現(xiàn)人物檢測(cè)的完整軟件解決方案的公司,,Plumerai 相信,性能的提升將確保該公司的客戶可充分利用更龐大,、更準(zhǔn)確的 Plumerai 人物檢測(cè) AI 版本,,同時(shí)提供更多的產(chǎn)品功能并延長(zhǎng)電池續(xù)航時(shí)間。2023 年十一月,,Arm 推出了第三款采用 Helium 技術(shù)的 CPU——Cortex-M52,,這是一款專為人工智能物聯(lián)網(wǎng) (AIoT) 應(yīng)用而設(shè)計(jì)的處理器,可為小型低功耗嵌入式設(shè)備的 DSP 和 ML 應(yīng)用帶來顯著的性能提升,,無需專用 NPU 即可在端點(diǎn)中部署更多計(jì)算密集型ML 推理算法,。
隨著硬件的發(fā)展,開發(fā)者所面臨的軟件復(fù)雜性也日益增加,,因而需要新的開發(fā)流程來創(chuàng)建結(jié)合高效設(shè)備驅(qū)動(dòng)程序的優(yōu)化ML 模型,。為生態(tài)系統(tǒng)提供的軟件開發(fā)平臺(tái)和工具也必須緊跟硬件而演進(jìn),這一點(diǎn)至關(guān)重要,。
如今由 Arm 和第三方提供的多種工具可用于支持終端用戶創(chuàng)建 AI 算法,。數(shù)據(jù)科學(xué)家在離線環(huán)境中創(chuàng)建好模型后,即可使用相應(yīng)的工具來優(yōu)化模型,,以便在基于Arm Ethos?-U 的 NPU 上運(yùn)行模型,,或在基于 Cortex-M 的處理器上使用 Helium 指令。
Qeexo 是第一家為邊緣設(shè)備實(shí)現(xiàn)端到端 ML 自動(dòng)化的公司,,其 AutoML 平臺(tái)提供了直觀的用戶界面 (UI),,允許用戶對(duì)傳感器數(shù)據(jù)進(jìn)行收集、清理和可視化呈現(xiàn),,并使用不同的算法來自動(dòng)構(gòu)建 ML 模型,。Keil 微控制器開發(fā)套件 (Keil MDK) 等傳統(tǒng)嵌入式工具是對(duì) MLOps 工具的有益補(bǔ)充,并有助于建立用于驗(yàn)證復(fù)雜軟件工作負(fù)載的 DevOps 流程,。由此,,嵌入式、物聯(lián)網(wǎng)和 AI 應(yīng)用程序最終匯聚于軟件開發(fā)者都熟知的單一開發(fā)流程中。
邊緣的潛能正在逐步被發(fā)掘,。當(dāng)前對(duì)提升微控制器性能的需求還在不斷增長(zhǎng),,特別是諸如聲控門鎖、人物檢測(cè)識(shí)別,、帶有預(yù)測(cè)性維護(hù)的聯(lián)網(wǎng)電機(jī)控制,,以及數(shù)不勝數(shù)的其他高端 AI 和 ML 應(yīng)用等任務(wù)。
我們相信,,在正確技術(shù)的加持下,,開發(fā)者可以重新構(gòu)想邊緣和端側(cè)設(shè)備,并在性能,、成本,、能效與隱私等這些受限設(shè)備中的關(guān)鍵要素之間取得適當(dāng)平衡,讓未來的嵌入式開發(fā)實(shí)現(xiàn) AI 計(jì)算的應(yīng)用,。