[導(dǎo)讀]時(shí)間來到2023年，ST在中國(guó)召開了其首屆傳感器大會(huì),，支持本地端的AI計(jì)算的智能傳感器成為了本次大會(huì)的焦點(diǎn),。在開幕演講上，意法半導(dǎo)體副總裁·中國(guó)區(qū)總經(jīng)理曹志平表示，我們的生活經(jīng)歷了從off-line到on-line的變革,，以及從on-line到on-life發(fā)展,，目前邁入Sustainable Onlife階段，具備AI能力的傳感器將會(huì)是構(gòu)建永久在線的,、虛擬交融的可持續(xù)生活的關(guān)鍵,。

　　2019年ST就推出了集成自家ML內(nèi)核的傳感器，這在當(dāng)時(shí)確實(shí)是業(yè)界首款,。而這款產(chǎn)品并不是ST的淺嘗輒止,，而是開啟了其在AI傳感器上的完整生態(tài)布局。

　　時(shí)間來到2023年,，ST在中國(guó)召開了其首屆傳感器大會(huì),，支持本地端的AI計(jì)算的智能傳感器成為了本次大會(huì)的焦點(diǎn)。在開幕演講上,，意法半導(dǎo)體副總裁·中國(guó)區(qū)總經(jīng)理曹志平表示,，我們的生活經(jīng)歷了從off-line到on-line的變革，以及從on-line到on-life發(fā)展,，目前邁入Sustainable Onlife階段,，具備AI能力的傳感器將會(huì)是構(gòu)建永久在線的、虛擬交融的可持續(xù)生活的關(guān)鍵,。

　　智能傳感器要具備多強(qiáng)的計(jì)算能力,，才能實(shí)現(xiàn)端側(cè)AI應(yīng)用？傳感器和MCU/SoC之間又該如何分配數(shù)據(jù)的處理任務(wù),？帶著這些問題我們有幸采訪到了ST的諸多高層,。

　　智能傳感器布局：從MLC進(jìn)化到ISPU

　　“智能傳感器必須要能夠?qū)崿F(xiàn)獨(dú)立的決策——通過它收集到的一些數(shù)據(jù)，能夠不依賴微控制器（不管是節(jié)點(diǎn)級(jí)別的次微控制器,，還是主SOC）獨(dú)立做出決策,。”意法半導(dǎo)體亞太區(qū)模擬器件,、MEMS和傳感器產(chǎn)品部 （AMS） MEMS及影像傳感器子產(chǎn)品部市場(chǎng)及應(yīng)用副總裁,、智能手機(jī)創(chuàng)新中心負(fù)責(zé)人Davide BRUNO表示，“所以就ST本身而言,，現(xiàn)在正在努力讓傳感器（不管是運(yùn)動(dòng)傳感器,、加速記儀，還是影像傳感器方面）最終能夠根據(jù)自己收集和感知到的數(shù)據(jù)做出獨(dú)立的決策,，并自動(dòng)采取干預(yù)行為,，從而得到預(yù)期的效果?！?/p>

　　通常在一個(gè)端側(cè)系統(tǒng)中,，會(huì)需要用到傳感器,、MCU和其他一些連接的功能。傳感器負(fù)責(zé)采集真實(shí)物理世界的信號(hào)以及人體的相關(guān)信息,，然后負(fù)責(zé)將數(shù)據(jù)傳遞到MCU中進(jìn)行計(jì)算,。MCU通過對(duì)于數(shù)據(jù)的計(jì)算分析，然后產(chǎn)出控制信號(hào)給到執(zhí)行機(jī)構(gòu),。在這其中,，復(fù)雜的數(shù)據(jù)運(yùn)算可能需要上傳到云端進(jìn)行處理和記錄。

　　而ST在2019年推出的MLC（Machine Learning Core）,，則是在傳感器內(nèi)增加一個(gè)可重新配置的單元,，被稱為rPU。該rPU可以通過寄存器重新配置,，能夠運(yùn)行一些簡(jiǎn)單的AI模型,。其中FSM是用于設(shè)計(jì)邏輯連接的數(shù)學(xué)抽象。它是由有限數(shù)量的狀態(tài)和狀態(tài)之間的轉(zhuǎn)換組成的行為模型,，類似于流程圖,，可以在流程圖中檢查滿足某些條件時(shí)邏輯的運(yùn)行方式。FSM允許可以將一些算法從應(yīng)用處理器轉(zhuǎn)移到傳感器中運(yùn)行,，從而持續(xù)降低功耗,。

　　而在傳感器峰會(huì)上，我們聽到了一個(gè)更新的產(chǎn)品類型叫做——ISPU,，即Intelligent Sensor Processing Unit,。據(jù)了解，ISPU其實(shí)是早在2022年初就已經(jīng)發(fā)布,，這是一款內(nèi)置了DSP的IMU產(chǎn)品，ISPU是集成在傳感器的ASIC中的一個(gè)專門用于機(jī)器學(xué)習(xí)和處理器的DSP,，可采用專用指令集進(jìn)行編程,，能夠運(yùn)行1位NN精度的AI算法。Davide表示,，ISPU能夠在邊緣自動(dòng)分析處理數(shù)據(jù),，并根據(jù)特定應(yīng)用的需求，采取干預(yù)行為,，并確保所需的精確度,，從而讓終端應(yīng)用變得更為豐富。而這一理念可以從IMU延伸到ST所有類型的MEMS和imaging傳感器當(dāng)中,。

　　意法半導(dǎo)體MEMS傳感器產(chǎn)品市場(chǎng)經(jīng)理Francesco BIANCHI表示,，ISPU是意法半導(dǎo)體跨向人工智能領(lǐng)域的最大一步。目前,，可以通過ISPU來幫助客戶實(shí)現(xiàn)在他們自己的神經(jīng)網(wǎng)絡(luò)端,，以及包括在他們自己的人工智能算法上的解決方案的打造,。

　　數(shù)據(jù)分區(qū)處理，帶來系統(tǒng)能效提升

　　通過在傳感器中集成NN單元,，像ISPU這樣的產(chǎn)品,，可以讓用戶的數(shù)據(jù)做到分區(qū)處理：在傳感器上運(yùn)行特定級(jí)別的一些數(shù)據(jù)的處理，比如說一些比較簡(jiǎn)單的或者是中等難度的數(shù)據(jù)處理,；并將比較復(fù)雜的算法和比較密集強(qiáng)度的一些問題,，留給MCU進(jìn)行處理。

　　因?yàn)閭鞲衅魃系腁I算力增強(qiáng)而實(shí)現(xiàn)的這種數(shù)據(jù)分區(qū)處理,，能夠大大提升整個(gè)端側(cè)系統(tǒng)的能效,。

　　Francesco表示，如果從傳統(tǒng)的系統(tǒng)優(yōu)化的角度來說,，大家都認(rèn)為傳感器本身就是一個(gè)低功耗的產(chǎn)品,，是整體技術(shù)架構(gòu)里面低功耗的一個(gè)部分。而對(duì)于MCU微控制器來說,，因?yàn)樗M(jìn)行大量數(shù)據(jù)的處理,，所以它處理數(shù)據(jù)數(shù)量的高低，直接決定了它的功耗的多少,。如果我們能夠讓一些原始數(shù)據(jù)實(shí)現(xiàn)本地（傳感器側(cè)）的處理,，就可以幫助為微控制器留出更多的空間來進(jìn)行復(fù)雜任務(wù)的處理。這是可以幫助進(jìn)一步地優(yōu)化系統(tǒng)及整體的功耗的,?！案嘣紨?shù)據(jù)的處理，都可以在ISPU實(shí)現(xiàn)本地完成,。這樣就能夠提供更多的信息,，提供更多的原數(shù)據(jù)，幫助我們和客戶通過數(shù)據(jù)的方式執(zhí)行更多的任務(wù),。通過這樣的方法,，可以幫助客戶實(shí)現(xiàn)其解決方案極大的系統(tǒng)化的升級(jí)和優(yōu)化?！?/p>

　　此外,，數(shù)據(jù)分區(qū)處理還可以提高安全等級(jí)。因?yàn)橥ㄟ^傳感器所收集到的大部分?jǐn)?shù)據(jù)都是原始數(shù)據(jù),，如果采用傳統(tǒng)意義的傳感器,，這些數(shù)據(jù)可能會(huì)放到云端，或者是放到應(yīng)用端去進(jìn)行處理,。因此,，這些數(shù)據(jù)如果保護(hù)不好，就會(huì)出現(xiàn)外泄并為第三方所獲取,。但如果傳感器本身就能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)的一些處理的話,，它就幫助降低了數(shù)據(jù)外泄的可能性,。

　　正如Davide所講到的，智能傳感器的概念并不僅僅局限在MEMS傳感器,、IMU類型的傳感器上,，而是也貫穿到了Imagining的傳感器產(chǎn)品布局中。意法半導(dǎo)體影像傳感器總監(jiān)Marc VASSEUR就強(qiáng)調(diào)到,，ST的Imagine傳感器可以在計(jì)算數(shù)據(jù)之間實(shí)現(xiàn)有效的平衡,。

　　影像傳感器的原始數(shù)據(jù)量非常龐大，要基于其進(jìn)行算法開發(fā)需要花費(fèi)巨大的時(shí)間——很多可供終端用戶使用的算法需要花2年以上的開發(fā)時(shí)間,?！八裕覀兲峁┑乃惴ㄖ阅軌?yàn)榭蛻羲褂?，是要確保當(dāng)我們?cè)跀?shù)據(jù)處理的分區(qū)的過程當(dāng)中,，特別是在圖像處理的過程當(dāng)中，我們非常接近這個(gè)層級(jí)數(shù)據(jù)的采集,，確保我們的傳感器能實(shí)現(xiàn)有效的數(shù)據(jù)的收集,，數(shù)據(jù)的處理和數(shù)據(jù)的存儲(chǔ)?！盡arc分享到,。

　　超級(jí)傳感器的融合之力，賦能未來應(yīng)用

　　傳感器除了智能化外,，也存在著融合的趨勢(shì),，通過多種傳感器融合，一方面可以實(shí)現(xiàn)系統(tǒng)中更好的BOM和面積優(yōu)化,，另一方面還可以帶來安全冗余的特性,。Francesco將這種融合的傳感器稱為超級(jí)傳感器：“對(duì)于任何的應(yīng)用來說，如果想進(jìn)一步提升它的性能,，都可以考慮使用這樣的多傳感器融合之后的超級(jí)傳感器,。我們之所以稱之為超級(jí)傳感器?！?/p>

　　除了ISPU外，ST在此次傳感器峰會(huì)上還介紹了一個(gè)獨(dú)具特色的模塊——vAFE,。該類器件是在MEMS傳感器上增加了一個(gè)模擬前端,，從而實(shí)現(xiàn)了機(jī)電感知+模擬感知技術(shù)的融合。Francesco表示,，通過vAFE,，客戶就能夠有效地連接到MEMS傳感器，從而能夠更好地使用其內(nèi)部的處理邏輯,，能夠更好地嫁接和外部任何的模擬器件之間的聯(lián)系,。

　　據(jù)了解,，vAFE提供的信號(hào)和運(yùn)動(dòng)傳感器的信號(hào)本質(zhì)上是同步的，所以可以在傳感器的邊緣完成獨(dú)特的上下文感知分析,，從而實(shí)現(xiàn)低功耗和最小可能的延遲,。這也同樣契合ST的智能傳感器的概念。集成了vAFE的產(chǎn)品,，在體積上更具優(yōu)勢(shì),，非常適用于TWS耳機(jī)等可穿戴設(shè)備的應(yīng)用。

　　傳感器融合的技術(shù)和強(qiáng)大的AI算力結(jié)合,，能夠賦能諸多的新興終端產(chǎn)品形態(tài),。例如針對(duì)折疊屏手機(jī)，ST就將陀螺儀和加速度計(jì)的數(shù)據(jù)相結(jié)合,，然后在傳感器的算法中進(jìn)行融合,，進(jìn)而可以持續(xù)跟蹤精確的屏幕開合角度、速度和位移等信息的判斷,。這一專利技術(shù)基于LID系列的產(chǎn)品,，因此被稱為L(zhǎng)ID角度解決方案。

　　Francesco表示,，ST在三年前就已經(jīng)開始投入在這一專利技術(shù)的研發(fā)中,，目前已經(jīng)進(jìn)一步推出了新的傳感器產(chǎn)品，可以支持多屏和折疊屏上的數(shù)據(jù)的傳感收集和處理,。

　　同時(shí)Francesco也表示,，多傳感器融合的超級(jí)傳感器可以適用于多種新興的應(yīng)用，這不僅包括折疊屏手機(jī),，也包括新一代筆記本電腦等,。而在XR設(shè)備上，超級(jí)傳感器可以為用戶呈現(xiàn)出一些混合現(xiàn)實(shí)的影像和效果,；而在汽車應(yīng)用上,，這一技術(shù)也早就廣泛使用，通過多個(gè)高精度傳感器的數(shù)據(jù)進(jìn)行融合,，從而形成超級(jí)傳感器來進(jìn)一步賦能ADAS的性能,。

結(jié)語(yǔ)

　　此次在北京召開的ST傳感器峰會(huì)，是ST首次在中國(guó)召開的,、以傳感器為主題的大型峰會(huì)活動(dòng),。而我們透過ST的分享，觀察到了傳感器技術(shù)的趨勢(shì)變化,。傳感器已經(jīng)不再是單純的一個(gè)感知器件,，而是在追求精準(zhǔn)感知的基礎(chǔ)上，延展出更多的和AI相關(guān)的計(jì)算,、融合的功能,。在端側(cè)AI的浪潮中,，傳感器在系統(tǒng)優(yōu)化層面上，可以提供更多的數(shù)據(jù)處理的價(jià)值,，助力未來真正的“可持續(xù)的,、虛實(shí)交融的生活”。

更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<