《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 通信與網(wǎng)絡(luò) > 業(yè)界動(dòng)態(tài) > 如何將視覺(jué)處理、AI和邊緣計(jì)算有機(jī)整合?這一思路值得借鑒

如何將視覺(jué)處理,、AI和邊緣計(jì)算有機(jī)整合?這一思路值得借鑒

2018-08-01

隨著itle="物聯(lián)網(wǎng)" target="_blank">物聯(lián)網(wǎng)和人工智能的發(fā)展,,邊緣計(jì)算逐步走入了人們的視野,,且其應(yīng)用正在普及當(dāng)中。當(dāng)下,,在IT和物聯(lián)網(wǎng)行業(yè)里,,都在討論邊緣計(jì)算的概念。在中國(guó),,邊緣計(jì)算這個(gè)概念是在兩年半之前正式推出來(lái)的,。


邊緣計(jì)算是發(fā)展趨勢(shì)。具體原因,,第一是數(shù)據(jù)量的增長(zhǎng),,因?yàn)閿?shù)據(jù)量的增長(zhǎng)不可能把所有數(shù)據(jù)都通過(guò)網(wǎng)絡(luò)傳到后端,代表帶寬增長(zhǎng)的速度小于,、慢于數(shù)據(jù)增長(zhǎng)的速度,。另外一方面,對(duì)于一些實(shí)時(shí)性要求比較高的應(yīng)用場(chǎng)景,,他們需要在邊緣對(duì)數(shù)據(jù)進(jìn)行處理和判斷,,尤其像工業(yè)類(lèi),或者自動(dòng)駕駛,、無(wú)人駕駛這樣一些領(lǐng)域,。


第三,使用場(chǎng)景是在一些對(duì)于隱私保護(hù)要求比較高的場(chǎng)景,,比如人的醫(yī)療信息,,也是不允許、或者用戶(hù)不愿意把這些數(shù)據(jù)進(jìn)行云端的分享,,需要在本地進(jìn)行存儲(chǔ),,所以,這些因素造成在物聯(lián)網(wǎng)應(yīng)用里,,邊緣計(jì)算是發(fā)展趨勢(shì),。


邊緣計(jì)算面臨挑戰(zhàn)


不管是消費(fèi)端數(shù)據(jù),還是行業(yè)數(shù)字化產(chǎn)生的數(shù)據(jù),,有越來(lái)越多的數(shù)據(jù)在邊緣產(chǎn)生,,這直接擠壓到了存儲(chǔ)和帶寬的要求,隨之而來(lái)的邊緣大數(shù)據(jù)概念在過(guò)去兩年也提出來(lái)了,。

微信圖片_20180801155538.jpg


傳統(tǒng)的物聯(lián)網(wǎng),,更多的是線(xiàn)性思維,即物體產(chǎn)生數(shù)據(jù),,通過(guò)互聯(lián)網(wǎng)傳到云端,,分析產(chǎn)生價(jià)值,而今天的物聯(lián)網(wǎng)完全是三維立體的概念,。而關(guān)于邊緣計(jì)算,,業(yè)界已經(jīng)有共識(shí)。首先是實(shí)時(shí)的運(yùn)用,,二是成本,,三是分析和預(yù)測(cè),過(guò)去的能力只能是分析已經(jīng)發(fā)生的事件,,怎么樣通過(guò)對(duì)發(fā)生事件的了解預(yù)測(cè)將來(lái),;四是精準(zhǔn)性問(wèn)題,甚至是信息安全,、信息保密的問(wèn)題,。


要把人工智能真正推向邊緣并不是一個(gè)很簡(jiǎn)單的事情,在今天來(lái)看也沒(méi)有一個(gè)一勞永逸的方案,。對(duì)此,,英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國(guó)區(qū)總經(jīng)理陳偉博士表示:“我過(guò)去總是講,,一個(gè)是量大,一個(gè)是碎片化,,碎片化叫Fragmentization,,很難解決,英特爾作為一個(gè)平臺(tái)化的公司,,在這些方面,,我們過(guò)去幾年確實(shí)做了持之以恒的努力。關(guān)于視頻技術(shù)方面,,今天很簡(jiǎn)單,,就是從英特爾產(chǎn)的帶有顯核的GPU,加上我們最近的幾個(gè)加速器,,像Movidius,,還有Novana這些技術(shù),還有FPGA,,至少?gòu)挠布慕嵌葋?lái)講,,我們是可以根據(jù)應(yīng)用去勾勒出一個(gè)功耗、成本最大化的優(yōu)化解決方案的,,這些應(yīng)用是和合作伙伴一起去優(yōu)化,、研發(fā)的?!?/p>

微信圖片_20180801155604.jpg

陳偉博士,,英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國(guó)區(qū)總經(jīng)理


邊緣計(jì)算對(duì)IC設(shè)計(jì)的要求


邊緣計(jì)算有一些關(guān)鍵的技術(shù)點(diǎn),這些關(guān)鍵的技術(shù)點(diǎn)對(duì)于芯片的發(fā)展路線(xiàn)圖設(shè)計(jì)至關(guān)重要,。一個(gè)技術(shù)點(diǎn)是計(jì)算,,尤其是AI的計(jì)算,在整個(gè)邊緣會(huì)越來(lái)越突出,,而邊緣的設(shè)備和云端的設(shè)備是不一樣的,,因?yàn)檫吘壴O(shè)備能夠承載的功耗,能夠支持的操作系統(tǒng),,能夠提供的內(nèi)存容量都是不一樣的,,所以在邊緣這一側(cè),算法要做一些特定的優(yōu)化,,對(duì)工具也有特定要求,。


對(duì)此,英特爾中國(guó)區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術(shù)官兼首席工程師張宇博士表示:“像我們的Movidius,、FPGA設(shè)計(jì),,引入到這里面,也有這樣的考量,,因?yàn)樗麄兊男阅芄谋缺韧ㄓ锰幚砥鲿?huì)有一個(gè)更好的體現(xiàn),?!?/p>


此外,邊緣計(jì)算還有一些其他關(guān)鍵的技術(shù)要素,,比如在工業(yè)領(lǐng)域,,要在確定的時(shí)間里得到一個(gè)確定的響應(yīng),我不可能給它很長(zhǎng)的延時(shí),,所以需要一個(gè)TCC支持,這在我們的芯片設(shè)計(jì)時(shí)也會(huì)考慮進(jìn)去,。

微信圖片_20180801155622.jpg

張宇博士,,英特爾中國(guó)區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術(shù)官兼首席工程師


還有一些關(guān)鍵技術(shù)點(diǎn),比如公共安全的使用場(chǎng)景,,在工業(yè)機(jī)器人的使用環(huán)境里面,,怎么保證機(jī)械手、機(jī)械臂不會(huì)對(duì)人身安全造成傷害,,這些在我們的芯片設(shè)計(jì)里,,也會(huì)把這些因素考慮進(jìn)去。


總之,,我們?cè)谧鲂酒O(shè)計(jì),,尤其是在邊緣芯片類(lèi)設(shè)計(jì)的時(shí)候,會(huì)考慮它的計(jì)算要求,,也會(huì)考慮它的數(shù)據(jù)連接的要求,,也會(huì)考慮它的功能安全和信息安全等方面的要求。


陳偉表示,,從宏觀的產(chǎn)品目標(biāo)規(guī)劃來(lái)講,,有幾位業(yè)界標(biāo)桿人物加入了英特爾,我相信在視覺(jué)芯片方面,,一定會(huì)加速我們的進(jìn)展,。


英特爾有幾個(gè)對(duì)外的事業(yè)部,有數(shù)據(jù)中心,、物聯(lián)網(wǎng),,還有存儲(chǔ),他們不見(jiàn)得有自己的單獨(dú)產(chǎn)品目標(biāo),,我們有些技術(shù)是分享的,。就物聯(lián)網(wǎng)事業(yè)部來(lái)講,早期是一個(gè)嵌入式的事業(yè)部,,當(dāng)時(shí)的出發(fā)點(diǎn)是PC的芯片可以用到很多非PC的應(yīng)用當(dāng)中,,比如取款機(jī),我們有一個(gè)非常成熟的生態(tài)鏈,,就是板卡上硬件的生態(tài)鏈,。物聯(lián)網(wǎng)事業(yè)部將來(lái)的發(fā)展方向,,會(huì)更加強(qiáng)調(diào)視覺(jué),強(qiáng)調(diào)負(fù)載整合,,但是這兩點(diǎn)都需要芯片技術(shù)的支撐,。所以,第一,,在CPU和GPU方面,,一定是研發(fā)更適合于這兩個(gè)應(yīng)用場(chǎng)景的芯片。


第二,,我們會(huì)整合一些加速器,,Movidius就被整合到英特爾IoT事業(yè)部里面來(lái)了,當(dāng)然,,不僅僅用于IoT應(yīng)用場(chǎng)景,,別的應(yīng)用場(chǎng)景也可以用,但是主流,,從產(chǎn)品的規(guī)劃是在IoT里面走的,。根據(jù)這個(gè)戰(zhàn)略,我們會(huì)更自主地研發(fā)一些更適合于物聯(lián)網(wǎng)應(yīng)用場(chǎng)景的芯片,。


計(jì)算機(jī)視覺(jué)和

深度學(xué)習(xí)開(kāi)發(fā)工具OpenVINO


靈活,、多元、高質(zhì)量的硬件是必要條件,,今天,,要用這些硬件直接應(yīng)用到人工智能上,還有很多的壁壘,,主要是怎樣能深度挖掘并充分利用硬件的能力,,如計(jì)算、圖像分析和加速能力,。


對(duì)于各種應(yīng)用和挑戰(zhàn),,英特爾推出了軟件SDK平臺(tái)——OpenVINO,OpenVINO于今年5月16號(hào)在全球發(fā)布,,7月27號(hào),,推出了OpenVINO的視覺(jué)推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化工具套件。它包括模型的完善,、模型的充實(shí)和插件的優(yōu)化,,其目的是提供從邊緣到云的計(jì)算,基于視覺(jué)和深度學(xué)習(xí),,提升整體開(kāi)發(fā)能力,。


據(jù)張宇博士介紹,OpenVINO是英特爾給進(jìn)行計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)應(yīng)用開(kāi)發(fā)的開(kāi)發(fā)者提供的工具,。人工智能,、深度學(xué)習(xí)是當(dāng)下的一個(gè)風(fēng)口,,AlphaGO的出現(xiàn)使大家感覺(jué)到人工智能新一輪的春天已經(jīng)到來(lái)了,其實(shí)不僅僅是AlphaGO,,如果我們看一下周?chē)鷷?huì)發(fā)現(xiàn),,現(xiàn)在有很多基于機(jī)器學(xué)習(xí)、人工智能的應(yīng)用正在服務(wù)于我們的生活,。比如說(shuō)大家比較熟悉的安防領(lǐng)域,,通過(guò)對(duì)一些經(jīng)過(guò)標(biāo)注的視頻數(shù)據(jù)的訓(xùn)練,我們已經(jīng)可以從視頻里面分析出人,、車(chē),、物等特征,我們能夠知道這個(gè)車(chē)的車(chē)型是什么,,是哪款,,它的顏色以及車(chē)標(biāo),。


對(duì)于人,,我們已經(jīng)可以用刷臉的方式進(jìn)行支付,準(zhǔn)確度已經(jīng)很高,,除了對(duì)于視頻的分析,,其實(shí)在自然語(yǔ)言處理等領(lǐng)域,人工智能已經(jīng)得到很好的應(yīng)用,,現(xiàn)在市場(chǎng)上有非常多的智能音箱產(chǎn)品,,比如谷歌推出了Google Home、亞馬遜推出了Alexa,,百度推出了小度,,小米也推出了小愛(ài),這些都是人工智能的典型應(yīng)用,。


但是,,從人工智能演進(jìn)過(guò)程可以看到,從最早的人工智能的計(jì)算,,不管是訓(xùn)練還是推理,,實(shí)際上都是發(fā)生在數(shù)據(jù)中心,這是因?yàn)樯疃葘W(xué)習(xí)需要大量的運(yùn)算量,,只有在數(shù)據(jù)中心運(yùn)用一些通用處理器,,才能提供如此巨大的計(jì)算并提供這些計(jì)算所需要的電力消耗。但是,,近年來(lái)隨著人工智能技術(shù)的發(fā)展,,無(wú)論算法還是芯片,人工智能都達(dá)到了一個(gè)很高的水平,。


在算法方面,,很多網(wǎng)絡(luò)壓縮的算法已經(jīng)在被廣泛使用,,從而使得人工智能的計(jì)算量在降低。同時(shí)還有很多用于人工智能的專(zhuān)用芯片以及FPGA使用,,使得一些深度學(xué)習(xí)的運(yùn)算可以從云端推送到邊緣,,所以,像智能攝像機(jī),、智能網(wǎng)絡(luò)視頻存儲(chǔ)器,、NVR等產(chǎn)品在市面上都涌現(xiàn)出來(lái)了。


同時(shí)可以看到,,在整個(gè)系統(tǒng)端到端的網(wǎng)元里面,,不同的網(wǎng)元所能提供的計(jì)算量是不一樣的,它能夠支撐的操作系統(tǒng)也各不相同,,因此,,有各自不同適用的芯片架構(gòu)。比如在攝像機(jī)里,,一個(gè)攝像機(jī)的功耗大概15瓦,,從15瓦里能夠提供給做智能運(yùn)算的能量有2~3瓦,對(duì)于這樣的使用場(chǎng)景,,ASIC架構(gòu)是最適宜的,。


數(shù)據(jù)中心需要一定的靈活度,對(duì)于一些通用的處理器可能又是最適宜的,,因此不同的網(wǎng)元有不同適宜的架構(gòu),,不同的芯片往往有各自不同的開(kāi)發(fā)方法,這樣對(duì)開(kāi)發(fā)者而言就帶來(lái)一定的困擾,,也就是說(shuō)如果我為某一種芯片所開(kāi)發(fā)的軟件換了一個(gè)架構(gòu)以后,,它可能是不適用的,這樣無(wú)形中就增加了開(kāi)發(fā)的門(mén)檻,。


張宇表示:“我跟很多從事人工智能應(yīng)用開(kāi)發(fā)的開(kāi)發(fā)者交流,,我們發(fā)現(xiàn),目前在進(jìn)行人工智能開(kāi)發(fā)的時(shí)候,,還有很多的問(wèn)題沒(méi)有解決,,比如,我作為一個(gè)開(kāi)發(fā)者,,已經(jīng)有了一個(gè)經(jīng)過(guò)訓(xùn)練完以后的網(wǎng)絡(luò)模型,,但是由于我的推理平臺(tái)相對(duì)來(lái)說(shuō)能力有限,我需要把現(xiàn)在網(wǎng)絡(luò)模型的一部分,,而不是全部能夠下載到我的推理平臺(tái)之上,,這是我的一個(gè)困擾。另外一個(gè)困擾是我現(xiàn)在一個(gè)訓(xùn)練的模型,如果把它推送到一個(gè)推理平臺(tái)之上,,我發(fā)現(xiàn)它的性能不高,,我如何來(lái)提升這個(gè)性能?再或者,,我在做深度學(xué)習(xí),、人工智能應(yīng)用開(kāi)發(fā)的時(shí)候,我所用到的框架并不被現(xiàn)在英特爾的一些架構(gòu)所支持,,比如Movidius或者是FPGA,,我現(xiàn)在不能把它用起來(lái),那么如何進(jìn)行使用,?這是我們發(fā)現(xiàn)開(kāi)發(fā)者的一些困擾,。”


我們推出的OpenVINO,,實(shí)際上就是解決以上這些問(wèn)題的,,OpenVINO是一個(gè)可以加快高性能計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)視覺(jué)應(yīng)用開(kāi)發(fā)的一個(gè)工具套件,它能夠支持英特爾平臺(tái)的各種加速器,,包括CPU,、GPU、FPGA以及Movidius的VPU,,來(lái)進(jìn)行深度學(xué)習(xí),,同時(shí)它能夠直接支持異構(gòu)的執(zhí)行,。它使用的對(duì)象是軟件開(kāi)發(fā)人員以及開(kāi)發(fā),、監(jiān)控、零售,、醫(yī)療,、辦公自動(dòng)化以及自動(dòng)駕駛等領(lǐng)域的數(shù)據(jù)科學(xué)家。


OpenVINO工具套件的優(yōu)勢(shì)主要體現(xiàn)在:


首先,,性能方面的提升,,通過(guò)OpenVINO,可以很方便地使用英特爾的各種硬件加速資源,,包括CPU,、GPU、VPU,、FPGA,,這些資源能夠幫助大家提升你的深度學(xué)習(xí)算法在做推理時(shí)的性能,而且執(zhí)行的過(guò)程中是支持異構(gòu)處理和異步執(zhí)行的,,這樣能夠減少由于系統(tǒng)資源等待所占用的時(shí)間,。

微信圖片_20180801155645.jpg


另外,OpenVINO使用了經(jīng)過(guò)優(yōu)化的OpenCV和OpenVX,同時(shí)提供了很多應(yīng)用示例,,可以縮短開(kāi)發(fā)時(shí)間,。這些庫(kù)都支持異構(gòu)執(zhí)行,如果編程的話(huà),,編寫(xiě)一次,,以后我可以通過(guò)異構(gòu)接口支撐跑在其他的硬件平臺(tái)之上。


在深度學(xué)習(xí)方面,,OpenVINO帶有模型優(yōu)化器,、推理引擎以及超過(guò)20個(gè)預(yù)先訓(xùn)練的模型,大家可以利用這些工具,,快速實(shí)現(xiàn)自己基于深度學(xué)習(xí)的應(yīng)用,,而且OpenVINO使用了OpenCV、OpeenVX的基礎(chǔ)庫(kù),,大家可以利用這些基礎(chǔ)庫(kù)去開(kāi)發(fā)自己特定的算法,,實(shí)現(xiàn)自己的定制和創(chuàng)新。


用戶(hù)體驗(yàn)


圖像處理的算法是非常多樣化的,,除了人臉識(shí)別以外,,還有車(chē)輛分析、結(jié)構(gòu)化分析,、行為分析等等,。


宇視研發(fā)副總裁AI產(chǎn)品線(xiàn)總監(jiān)湯立波表示:“我看到這個(gè)領(lǐng)域里已經(jīng)很難有一個(gè)場(chǎng)景只需要一種算法,絕大部分都是要多種算法融合,。OpenVINO可用于不同的硬件平臺(tái),,可以加載不同的神經(jīng)網(wǎng)絡(luò),實(shí)際上就是可以加載不同的算法,?!?/p>

據(jù)湯立波介紹,在與英特爾合作的過(guò)程中,,在整個(gè)開(kāi)發(fā)過(guò)程中,,相互之間可以共享經(jīng)驗(yàn)、一同解決問(wèn)題,。在整個(gè)產(chǎn)品開(kāi)發(fā)過(guò)程中,,其實(shí)大量的過(guò)程并不是開(kāi)發(fā)本身,而是解決問(wèn)題的本身,,所以,,只有非常有經(jīng)驗(yàn)的企業(yè)才能夠做出一款穩(wěn)定、能夠快速解決問(wèn)題的,、用于產(chǎn)品化的芯片,。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,,請(qǐng)及時(shí)通過(guò)電子郵件或電話(huà)通知我們,,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話(huà):010-82306118,;郵箱:[email protected]