《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 新品快遞 > 嵌入式人工智能應(yīng)用廣泛興起但門檻正在提高

嵌入式人工智能應(yīng)用廣泛興起但門檻正在提高

2018-07-30

  現(xiàn)在,,我們每天使用的很多設(shè)備都利用了神經(jīng)網(wǎng)絡(luò)技術(shù):在智能手機(jī)中它們?yōu)檎掌阉鞴δ芴峁┲С?,還用于人臉識別幫助大家使用人臉解鎖手機(jī),;它們可以通過識別車牌了解你駕車駛?cè)牖螂x開擁堵區(qū),。它們足夠的“聰明”,,能夠檢測一個人的肢體語言——這對監(jiān)控系統(tǒng)非常的有用,,它們也被應(yīng)用到帶攝像頭的AV系統(tǒng)中,,可以識別每個人并讓系統(tǒng)提供個性化的內(nèi)容服務(wù),,在汽車上涉及的應(yīng)用包括車道偏離預(yù)警,、司機(jī)狀態(tài)監(jiān)控等,,此外,通過大量實(shí)驗(yàn)和應(yīng)用證明神經(jīng)網(wǎng)絡(luò)比人類更擅長檢測皮膚癌——可見神經(jīng)網(wǎng)絡(luò)的應(yīng)用既廣泛又多樣,。

  區(qū)別于“傳統(tǒng)”一切都基于云的人工智能(AI),,這些基于現(xiàn)場應(yīng)用設(shè)備的神經(jīng)網(wǎng)絡(luò)計算,可以被稱為嵌入式AI,;這是一個快速發(fā)展但也渴求技術(shù)創(chuàng)新的市場,,也是眾多SoC設(shè)計公司正在以創(chuàng)新產(chǎn)品去開拓的市場。隨著Imagination在去年9月推出Series2NX神經(jīng)網(wǎng)絡(luò)加速器(NNA),,嵌入式AI加速領(lǐng)域內(nèi)的游戲規(guī)則正在被改變?,F(xiàn)在,我們以Imagination新發(fā)布的兩款內(nèi)核產(chǎn)品為例,,來分析不同應(yīng)用市場對嵌入式AI的綜合性能指標(biāo),。這兩款產(chǎn)品是面向高端市場的PowerVR AX2185,以及面向中檔市場的AX2145,。下面我們將詳細(xì)地向大家介紹,。

  神經(jīng)網(wǎng)絡(luò)作為解決問題以及驅(qū)動多領(lǐng)域新型應(yīng)用的工具正變得越來越流行,下圖分別說明了在移動設(shè)備和智能監(jiān)控攝像機(jī)等領(lǐng)域內(nèi)快速發(fā)展的嵌入式AI應(yīng)用,。

1.jpg

2.jpg

  雖然神經(jīng)網(wǎng)絡(luò)可以進(jìn)行離線訓(xùn)練,,但是在進(jìn)行推斷處理時——運(yùn)行神經(jīng)網(wǎng)絡(luò)實(shí)時識別和處理對象——有必要將這些技術(shù)轉(zhuǎn)移到終端設(shè)備中,而不是將這些任務(wù)放在云端進(jìn)行處理,。舉一個例子:無人機(jī),,它們的飛行速度可以超過150mph(英里每小時),,神經(jīng)網(wǎng)絡(luò)可以驅(qū)動碰撞檢測系統(tǒng),,然而如果沒有專門的硬件來進(jìn)行圖像處理,無人機(jī)將需要看到前方10-15米的物體才能避開障礙物,。由于發(fā)送和接收信息所需的延遲和帶寬,,云服務(wù)器并不是合適的解決方案。搭建專用PowerVR NNA的無人機(jī)能夠以每小時150英里的速度飛行,,并且避開1米以內(nèi)的障礙物,,這大大提高了響應(yīng)能力和安全性,,并增強(qiáng)這類應(yīng)用的創(chuàng)造性。

3.jpg

  專用神經(jīng)網(wǎng)絡(luò)硬件往往被視為SoC集成中的下一步,,在20世紀(jì)80年代除了早期的桌面CPU之外還集成了數(shù)字協(xié)同處理器,,而且很快就成為了這類設(shè)計的標(biāo)準(zhǔn)。雖然很多計算任務(wù)已經(jīng)從CPU轉(zhuǎn)移到GPU上來,,但這對于工作來說仍然不是最有效的設(shè)計工具,,將它們轉(zhuǎn)移到專用的本地硬件才是符合邏輯的解決方案,性能優(yōu)勢是顯而易見的,,采用高端GPU檢索1000張圖片需要60秒,,但是使用我們的NNA只需要2秒,之前的方案對這些圖片進(jìn)行分類要消耗1%的電量,,但是NNA消耗1%的電量可以處理42萬8千張圖片,,這是非常具有說服力的。

4.jpg

  去年9月,,Imagination推出的Series2NX加速器是基于神經(jīng)網(wǎng)絡(luò)推理而構(gòu)建的,,是目前業(yè)界性能最好的解決方案,同時這些加速器還對所有的主要卷積神經(jīng)網(wǎng)絡(luò)層提供支持,,比如Inception,、ResNet,框架包括Tensorflow,、Caffe2和PyTorch等,。

  該解決方案一個關(guān)鍵的差異化因素在于它提供了靈活的精度,使用由16位數(shù)據(jù)組成的經(jīng)過訓(xùn)練的網(wǎng)絡(luò)可以達(dá)到非常高的準(zhǔn)確度,,然而使用較低的精度訓(xùn)練網(wǎng)絡(luò)意味著仍然可以保持較高的精度,,而且其優(yōu)勢是可以顯著降低功耗和帶寬。在實(shí)際情況中這使得將NNA集成到智能相機(jī),、智能手機(jī)等嵌入式設(shè)備中可以花費(fèi)較低的成本同時保持較高的實(shí)用性,。針對這些已經(jīng)被驗(yàn)證過的創(chuàng)新,查看Imagination網(wǎng)站上相關(guān)博客,,可以了解更多關(guān)于采用高效推理訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理過程和好處,。

  下表展示了精度靈活性的好處,簡而言之采用4位精度你可以大幅度降低功耗和帶寬(內(nèi)存)需求,,精確度僅下降1%,,這在大多數(shù)實(shí)際情況下對于設(shè)備的效率沒有明顯的影響。下面,,我們以Imagination的兩款神經(jīng)網(wǎng)絡(luò)加速器為例,,來說明不同市場對性能指標(biāo)和其他因素的考量:

5.jpg

  PowerVR AX2185

  Imagination的Series2NX已經(jīng)在市場上取得了成功并且已經(jīng)授權(quán)給多家廠商,今天它們正在不斷擴(kuò)大市場的選擇范圍。首先,,通過增強(qiáng)原始內(nèi)核推出了PowerVR AX2185,,其次發(fā)布另一個版本即PowerVR AX2145。一個關(guān)鍵的新特性是這兩款核心都增加了對Android NN API的硬件支持,,使得開發(fā)人員能夠開發(fā)更多基于深度學(xué)習(xí)的應(yīng)用,,大大豐富了安卓市場應(yīng)用。

6.jpg

  從性能角度來看,,PowerVR AX2185面向的是高端嵌入式市場,,它集成了8個全位寬計算引擎,能夠提供每秒最多可達(dá)4.1兆赫的運(yùn)算,,在目前市場上其每平方毫米性能參數(shù)是最高的,。實(shí)際上這個水平是最新的桌面GPU性能的3.5倍。對于那些正在使用功耗較高的GPU進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的公司來說,,這是非常具有吸引力的,,尤其是汽車領(lǐng)域。與友商提供的硬件解決方案相比,,基于4位數(shù)據(jù)的網(wǎng)絡(luò)AX2185僅需要50%的帶寬,,而與基于DSP的競爭廠商的方案相比則降低了75%。

7.jpg

  雖然高端設(shè)備已經(jīng)具備了人臉解鎖等諸多功能,,但是這些功能正在迅速地更新迭代,,設(shè)備制造商希望以更低的價格提供這些功能,當(dāng)然消費(fèi)者也想為他們的手機(jī)支付更少的錢但同時還能擁有相同甚至更好的功能,,比如智能相機(jī)確保家庭安全,、智能手機(jī)的人臉解鎖等。是的,,消費(fèi)者也想分享這個蛋糕,。

  PowerVR AX2145

  如何在內(nèi)存有限的設(shè)備上保持這種用戶體驗(yàn)?zāi)兀看鸢甘荘owerVR AX2145,。它為性能效率而調(diào)整了整體性能,,此外它高度調(diào)優(yōu)了矢量計算,卷積引擎結(jié)合了優(yōu)化的內(nèi)核存儲結(jié)構(gòu),,能夠提供明顯的最大性能參數(shù),,而且與AX2185相比每平方毫米面積的推理性能提升了50%,同時降低了系統(tǒng)峰值內(nèi)存帶寬(以GB/s計算),。我們?yōu)槠鋵?shí)現(xiàn)的性能和效率之間的平衡而感到驕傲,,我們認(rèn)為這對于成本敏感的設(shè)備是非常理想的選擇。

8.jpg

  開發(fā)工具包也是值得去考量的另一個因素,,這是因?yàn)橛布旧聿⒉荒芩闶墙鉀Q方案,。Imagination這樣的領(lǐng)先廠商提供了PowerVR AI工具包,這大大簡化了用戶的部署流程,,調(diào)試和網(wǎng)絡(luò)分析都非常的簡單,,此外,它還支持對訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行優(yōu)化,,其中的API支持包括IMG DNN和Android DNN,,提供GPU和NNA之間無縫的互操作性。

9.jpg

  總結(jié)

  面對快速發(fā)展的嵌入式AI市場,,隨著諸如Imagination這兩款全新內(nèi)核產(chǎn)品的新引擎不斷推出,,業(yè)界將能夠在終端設(shè)備上實(shí)現(xiàn)低成本的AI功能,為消費(fèi)者提供更多新型的AI應(yīng)用程序,。通過這些核心將能夠滿足開發(fā)人員創(chuàng)建應(yīng)用程序所需的性能要求,,真正實(shí)現(xiàn)人工智能帶來的變革,而且這些這些提升將很快會變成現(xiàn)實(shí),,它將涉及多個應(yīng)用市場比如智能手機(jī),、智能相機(jī)和汽車等。未來的可能性是無限的,,唯一需要的就是一點(diǎn)兒想象力(Imagination),。

  原文鏈接:

  https://www.imgtec.com/blog/powervr-series2nx-raising-the-bar-for-embedded-ai/


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。