編者按： Xilinx公司宣布推出Xilinx reVISION? 堆棧，將賽靈思技術(shù)擴(kuò)展至廣泛的視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域，進(jìn)一步補(bǔ)充和完善了其近期發(fā)布的可重配置加速堆棧,，將大幅擴(kuò)展Xilinx公司相關(guān)技術(shù)在機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域從端到云的部署。日前,，筆者專訪了Xilinx公司戰(zhàn)略與市場(chǎng)營(yíng)銷部高級(jí)副總裁Steve Glaser先生，他詳細(xì)闡述了reVISION堆棧在視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)方面的強(qiáng)大推動(dòng)力,。

隨著物聯(lián)網(wǎng)設(shè)備與技術(shù)的快速部署,，從終端采集的數(shù)量呈現(xiàn)大爆炸，其中視頻數(shù)據(jù)流更是其中的主流,，因此針對(duì)視頻采集與智能分析成為熱點(diǎn),。此前，物體識(shí)別、圖像分類,，都是在云上通過(guò)機(jī)器學(xué)習(xí)來(lái)完成的基于視頻的機(jī)器學(xué)習(xí),，然而由于受到信息傳輸技術(shù)的速率和帶寬限制，視覺(jué)導(dǎo)向的機(jī)器學(xué)習(xí)任務(wù)不可能完全在云端完成,，于是在終端開(kāi)展機(jī)器學(xué)習(xí)成為新的方向,，把視頻一幀一幀地轉(zhuǎn)變?yōu)橐曈X(jué)，通過(guò)機(jī)器學(xué)習(xí)可以來(lái)識(shí)別其中具體的內(nèi)容,。

據(jù)統(tǒng)計(jì),，在以攝像頭為代表的嵌入式終端里，大約80%最初的機(jī)器學(xué)習(xí)的應(yīng)用都是以視覺(jué)系統(tǒng)為基礎(chǔ)的,，其他20%的應(yīng)用涉及控制系統(tǒng)和安全性,，因此以視覺(jué)為導(dǎo)向的機(jī)器學(xué)習(xí)技術(shù)，成為當(dāng)前主流市場(chǎng)熱點(diǎn),。

加速?gòu)亩说皆频木邆錂C(jī)器學(xué)習(xí)能力設(shè)備部署

“以視覺(jué)為導(dǎo)向的機(jī)器學(xué)習(xí)正在各類市場(chǎng)中實(shí)現(xiàn)一系列快速增長(zhǎng)的應(yīng)用,，其中包括傳統(tǒng)的高端消費(fèi)市場(chǎng)、汽車,、工業(yè),、醫(yī)療和航空航天與國(guó)防等， 還包括新一代應(yīng)用如協(xié)作機(jī)器人,、具有“感應(yīng)和躲避”功能的無(wú)人機(jī),、增強(qiáng)現(xiàn)實(shí)、自動(dòng)駕駛汽車,、自動(dòng)化監(jiān)視和醫(yī)療診斷等”,。Steve Glaser先生介紹，“在這些市場(chǎng)中,，差異化至關(guān)重要,，系統(tǒng)必須具備最高響應(yīng)速度、最新算法和快速的傳感器部署,，大約三分之二的視覺(jué)導(dǎo)向半導(dǎo)體應(yīng)用屬于這類市場(chǎng)?！?/p>

　　 目前,，相當(dāng)數(shù)量的客戶選擇了xilinx器件來(lái)開(kāi)發(fā)視覺(jué)系統(tǒng)，但是客戶并沒(méi)有使用傳統(tǒng)的FPGA器件,，而是使用了全可編程的Zynq技術(shù),。

　　Steve Glaser表示，上述公司之前都做出了很大的投入,，也開(kāi)發(fā)了很多關(guān)于硬件和軟件的專業(yè)資源,，在競(jìng)爭(zhēng)過(guò)程當(dāng)中獲得優(yōu)勢(shì)。現(xiàn)在這些客戶已經(jīng)開(kāi)始尋找下一代的技術(shù)，他們不僅僅是開(kāi)發(fā)以計(jì)算機(jī)視覺(jué)為基礎(chǔ)的解決方案,，他們還在加入更多的機(jī)器學(xué)習(xí),、傳感器方面的元素。

雖然不知道具體的客戶在做什么項(xiàng)目,，但是Steve Glaser知道已經(jīng)有超過(guò)40家客戶現(xiàn)在是在用Xilinx的Zynq技術(shù)進(jìn)行機(jī)器學(xué)習(xí)的技術(shù)開(kāi)發(fā),。

　　在這一過(guò)程中，如何解決客戶在新的開(kāi)發(fā)項(xiàng)目過(guò)程中遇到的痛點(diǎn),，成為加速推終端視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)設(shè)備部署的關(guān)鍵,。

　　Steve Glaser表示，從客戶那里了解到三個(gè)主要的需求點(diǎn),。第一,，客戶希望機(jī)器學(xué)習(xí)的智能性有所提高，同時(shí)系統(tǒng)能夠?qū)崿F(xiàn)及時(shí)的快速響應(yīng)來(lái)應(yīng)對(duì)一切外部事件,。第二,，，客戶希望能夠以非常高的效率使用非常先進(jìn)的算法來(lái)運(yùn)行應(yīng)用,，比如成本要低,，功耗要低。第三,，客戶希望獲得靈活性,，神經(jīng)網(wǎng)絡(luò)算法都在不停的變化，傳感器的類型配置和組合也在不斷的變化,，因此客戶希望能夠非常便捷的來(lái)升級(jí)他們的系統(tǒng),，使得他們能夠以最好的解決方案為客戶服務(wù)。

全新的reVISION堆?？杉铀贆C(jī)器視覺(jué)開(kāi)發(fā)

面對(duì)以視覺(jué)導(dǎo)向進(jìn)行機(jī)器學(xué)習(xí)功能開(kāi)發(fā)客戶遇到的痛點(diǎn),，Xilinx公司推出了全新的reVISION堆棧，在當(dāng)前很好地解決了工程師在開(kāi)發(fā)過(guò)程中遇到的困難,。

Steve Glaser表示,，Xilinx緊緊地抓住了這一市場(chǎng)機(jī)遇，有能力幫助提高這些客戶的生產(chǎn)率,，尤其是幫助他們能夠更好的應(yīng)用機(jī)器學(xué)習(xí)來(lái)開(kāi)發(fā)新的自主系統(tǒng),。

據(jù)Steve Glaser介紹， reVISION 堆棧包括平臺(tái),、算法和應(yīng)用開(kāi)發(fā)所需的豐富的開(kāi)發(fā)資源,，可支持最流行的神經(jīng)網(wǎng)絡(luò)， 包括 AlexNet,、GoogLeNet,、SqueezeNet,、SSD 和 FCN。此外,，該堆棧還提供了庫(kù)元素,， 包括 CNN 網(wǎng)絡(luò)層的預(yù)定義的優(yōu)化型實(shí)現(xiàn)方案，這也是構(gòu)建定制神經(jīng)網(wǎng)（DNN/CNN）所必需的,。機(jī)器學(xué)習(xí)元素配合豐富的滿足加速要求的 OpenCV 系列功能用于計(jì)算機(jī)視覺(jué)處理,。對(duì)應(yīng)用層開(kāi)發(fā)來(lái)說(shuō)，賽靈思支持業(yè)界標(biāo)準(zhǔn)的框架,，包括用于機(jī)器學(xué)習(xí)的 Caffe 和用于計(jì)算機(jī)視覺(jué)的 OpenVX,。reVISION 堆棧還包括賽靈思及第三方提供的開(kāi)發(fā)平臺(tái)，諸如各種類型的傳感器,。

　　全新的reVISION堆棧能夠支持更廣泛的沒(méi)有或者很少硬件設(shè)計(jì)專業(yè)知識(shí)的嵌入式軟件和系統(tǒng)工程師,，使其也可以使用賽靈思技術(shù)更輕松、更快速地開(kāi)發(fā)視覺(jué)導(dǎo)向的智能系統(tǒng),。一旦將機(jī)器學(xué)習(xí),、計(jì)算機(jī)視覺(jué)、傳感器融合和連接的優(yōu)勢(shì)融為一體,，這些工程師將從中大受裨益,。

　　 支持以最快速度打造響應(yīng)最快的視覺(jué)系統(tǒng)，相比最具競(jìng)爭(zhēng)力的計(jì)算嵌入式 GPU 和典型 SoC,，將機(jī)器學(xué)習(xí)推斷的單位功耗圖像捕獲速度提升了 6 倍,，將計(jì)算機(jī)視覺(jué)處理的單位功耗幀速度提升了 42倍，時(shí)延降低為 1/5,。即便是沒(méi)有硬件專業(yè)知識(shí)的開(kāi)發(fā)人員也能通過(guò)結(jié)合使用 C/C++/OpenCL 開(kāi)發(fā)流程,、業(yè)界標(biāo)準(zhǔn)的框架，以及 Caffe 和 OpenCV 等庫(kù),，用單個(gè) Zynq SoC 或 MPSoC 芯片開(kāi)發(fā)出嵌入式視覺(jué)應(yīng)用,。

借助reVISION堆棧所獨(dú)具的可重配置性和任意連接優(yōu)勢(shì)，開(kāi)發(fā)人員可以利用堆?？焖匍_(kāi)發(fā)和部署升級(jí),。隨著神經(jīng)網(wǎng)絡(luò)、算法和傳感器技術(shù)和接口標(biāo)準(zhǔn)的不斷加速發(fā)展,，可重配置性對(duì)“適應(yīng)未來(lái)”的智能視覺(jué)系統(tǒng)至關(guān)重要,。

Steve Glaser強(qiáng)調(diào)，reVISION堆棧能夠幫助Xilinx擴(kuò)展廣泛的視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域,，再加上之前推出的可重配置加速堆棧,，就能夠?qū)崿F(xiàn)從終端到云的一個(gè)全面的覆蓋和布局,，推動(dòng)下一代的機(jī)器學(xué)習(xí),。

reVISION可以完成80%開(kāi)發(fā)任務(wù)

可以說(shuō),，reVISION堆棧這一產(chǎn)品的出現(xiàn)是基于一系列技術(shù)的延革。

　　據(jù)Steve Glaser介紹,，大約在六年以前,，Xilinx推出了新的提高產(chǎn)率的工具，也就是基于RTL的硬件設(shè)計(jì)的工作流程,，使得整個(gè)過(guò)程能夠大大的加速,，一直以來(lái)客戶都在使用這樣的工作流程來(lái)處理計(jì)算機(jī)視覺(jué)。但同時(shí)也有很多客戶開(kāi)始利用Xilinx的最新器件進(jìn)行機(jī)器學(xué)習(xí)方面的開(kāi)發(fā),，采用傳統(tǒng)的RTL流程設(shè)計(jì),，花費(fèi)了客戶大量的精力與資源。所以大約在一年半之前,，Xilinx推出首個(gè)軟件定義的編程環(huán)境,，也就是SDSoC，也就是Zynq SoC芯片,，主要是嵌入式的應(yīng)用,。

現(xiàn)在Xilinx已經(jīng)有1100多名付費(fèi)的Zynq用戶，其中有半數(shù)都是專注于視覺(jué)方面的應(yīng)用,。Zynq雖然可以幫助客戶提高了生產(chǎn)率,，但是并沒(méi)有達(dá)到客戶的最高目標(biāo)。實(shí)際上,，客戶希望能夠有符合行業(yè)標(biāo)準(zhǔn)的庫(kù)和框架,，幫助他們繼續(xù)壓縮開(kāi)發(fā)時(shí)間。

Steve Glaser表示,，通過(guò)reVISION的堆棧,，開(kāi)發(fā)時(shí)間可以大大壓縮，而且reVISION的堆棧還能夠服務(wù)于那些并沒(méi)有掌握硬件方面專業(yè)知識(shí)的工程師,。傳統(tǒng)的模式就是賽靈思提供芯片以及開(kāi)發(fā)環(huán)境當(dāng)中20%的解決方案,，剩下的80%要由客戶來(lái)完成。但是有了這個(gè)reVISION堆棧以后,，Xilinx能夠完成解決方案當(dāng)中80%的工作,，剩下的客戶只要完成20%就可以實(shí)現(xiàn)自己的應(yīng)用。

　　正如Steve Glaser剛才提到的,，這樣的發(fā)展能夠大大的拓展無(wú)論是工程師還是客戶以及其他的應(yīng)用對(duì)我們的器件和技術(shù)的應(yīng)用,，也使得這些新的客戶能夠獲得至少比較大的之前專家級(jí)的客戶能夠獲得的優(yōu)勢(shì)。所以以軟件為基礎(chǔ)的自主的reVISION,，能夠提供一些我這里提出的性能方面的優(yōu)勢(shì),。

后記：作為一家一直站在FPGA領(lǐng)導(dǎo)廠商位置的企業(yè)，Xilinx一直引領(lǐng)著這一領(lǐng)域的發(fā)展方向,。 此次reVISION堆棧的發(fā)布,，對(duì)于機(jī)器視覺(jué)領(lǐng)域來(lái)說(shuō)是一個(gè)很大的福音,。一方面消除了向廣泛視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用擴(kuò)展的障礙，另一方面加速了了機(jī)器學(xué)習(xí)應(yīng)用從端到云的開(kāi)發(fā)和部署,。