全球新冠疫情肆虐以及對(duì)提高安全性和效率的需求正促使各行業(yè)企業(yè)在其系統(tǒng)中集成智能嵌入式視覺(jué)技術(shù),，以支持人員偵測(cè),、非接觸式人機(jī)交互和更強(qiáng)大的AR/VR功能，同時(shí)使用智能機(jī)器視覺(jué)技術(shù)來(lái)提高制造水平和產(chǎn)量,。Allied Market Research的數(shù)據(jù)顯示,，2019年全球機(jī)器視覺(jué)系統(tǒng)市場(chǎng)規(guī)模為297億美元,，到2027年預(yù)計(jì)將達(dá)到749億美元,，2020年到2027年的復(fù)合年增長(zhǎng)率約為11.3％,。
作為Lattice低功耗嵌入式視覺(jué)系統(tǒng)解決方案集合，mVision使用了模塊化硬件平臺(tái),、IP構(gòu)建模塊,、易于使用的FPGA設(shè)計(jì)工具、參考設(shè)計(jì)和演示以及定制設(shè)計(jì)服務(wù)網(wǎng)絡(luò),，提供定制化的性能和靈活的接口互連（MIPI CSI-2,、LVDS,、PCIe、GigE）,，并專(zhuān)為智能工廠,、機(jī)器視覺(jué)、智慧城市和智能家居應(yīng)用中的低功耗（150mW-1W）,、小尺寸封裝（2.5 x2.5mm-10x10mm）設(shè)計(jì)進(jìn)行了優(yōu)化，能應(yīng)對(duì)傳感器互連,、橋接,、聚合和圖像信號(hào)處理等各類(lèi)設(shè)計(jì)挑戰(zhàn)。
牛刀小試
2020年3月,，mVision 1.0解決方案面世,，為需要快速構(gòu)建原型系統(tǒng)的消費(fèi)類(lèi)嵌入式視覺(jué)設(shè)計(jì)人員提供了高度靈活、小型模塊化的解決方案,。其核心特點(diǎn)包括：
視頻接口平臺(tái)（VIP）-模塊化硬件開(kāi)發(fā)板,，支持嵌入式視覺(jué)應(yīng)用中常用的各種視頻和I/O接口（包括MIPI、LVDS,、DisplayPort,、HDMI、USB等）,。VIP開(kāi)發(fā)板支持包括CrossLink?,、ECP5?和基于萊迪思Nexus技術(shù)平臺(tái)的CrossLink-NX FPGA。VIP通過(guò)簡(jiǎn)單的插拔即可輕松地實(shí)現(xiàn)輸入和輸出板互連,，兩個(gè)60引腳的高速板對(duì)板連接器用以減少物理連線,，確保設(shè)計(jì)工程師可以復(fù)用現(xiàn)有經(jīng)過(guò)驗(yàn)證的軟硬件構(gòu)建模塊。
完善的IP庫(kù)—mVision解決方案集合包括各類(lèi)即時(shí)可用的IP核,，可用于連接MIPI和LVDS圖像傳感器,、ISP、通用連接標(biāo)準(zhǔn)(例如USB,、千兆以太網(wǎng))和HDMI,、DisplayPort、GigE Vision等顯示標(biāo)準(zhǔn),。
FPGA設(shè)計(jì)工具—可使用Lattice Diamond?和Lattice Radiant?這兩款易于使用的FPGA設(shè)計(jì)工具,。這些工具可以自動(dòng)處理許多常見(jiàn)的設(shè)計(jì)任務(wù)，從而加速和簡(jiǎn)化萊迪思FPGA的編程,。
端到端的參考設(shè)計(jì)—為進(jìn)一步加速系統(tǒng)開(kāi)發(fā),，萊迪思mVision為常見(jiàn)的嵌入式視覺(jué)應(yīng)用提供了完整的參考設(shè)計(jì)，包括傳感器橋接,、傳感器聚合和圖像處理,。
定制化設(shè)計(jì)服務(wù)—針對(duì)需要協(xié)助將其嵌入式視覺(jué)系統(tǒng)推向市場(chǎng)的客戶,，萊迪思建立了設(shè)計(jì)服務(wù)合作伙伴網(wǎng)絡(luò)，可以滿足從開(kāi)發(fā)單獨(dú)的功能設(shè)計(jì)模塊到提供一站式交鑰匙解決方案等一系列客戶需求,。
mVision 2.0：從消費(fèi)級(jí)到工業(yè)級(jí)
一年后的2021年3月,，在mVision 1.0版本的基礎(chǔ)上,，Lattice推出了mVision 2.0,。該方案新增了一些重要更新，包括對(duì)工業(yè)和汽車(chē)系統(tǒng)中使用的主流新型圖像傳感器的支持,，以及全新圖像信號(hào)處理IP核和參考設(shè)計(jì),，幫助開(kāi)發(fā)人員設(shè)計(jì)網(wǎng)絡(luò)邊緣智能視覺(jué)應(yīng)用。該解決方案集合現(xiàn)還支持Lattice Propel設(shè)計(jì)環(huán)境,，可簡(jiǎn)化使用嵌入式RISC-V處理器的視覺(jué)系統(tǒng)的開(kāi)發(fā),。
此外，mVision 2.0 ISP Pieces Library（Drop 1.0）還具備完整的ISP管道功能,，支持高達(dá)150MHz的像素時(shí)鐘（720p120/1080p60等）和高達(dá)96dB（16位）的場(chǎng)景動(dòng)態(tài)范圍,，提供定制ISP解決方案的靈活互連，用以平衡性能和成本,。調(diào)試工具包則具備外部DDR存儲(chǔ)器實(shí)時(shí)圖像捕獲功能,，支持Lattice SSP注冊(cè)訪問(wèn)工具包，能夠針對(duì)特定環(huán)境進(jìn)行調(diào)整,。
mVision 2.0解決方案集合的主要更新包括：
·擴(kuò)展了對(duì)汽車(chē),、工業(yè)和醫(yī)療領(lǐng)域嵌入式視覺(jué)應(yīng)用的支持
與消費(fèi)級(jí)嵌入式視覺(jué)方案不同，應(yīng)用于工業(yè),、汽車(chē)和醫(yī)療領(lǐng)域的嵌入式視覺(jué)方案既要求低功耗,、小尺寸，還對(duì)幀率準(zhǔn)確度要求極為嚴(yán)苛,，不允許丟幀現(xiàn)象發(fā)生,。因此，萊迪思在mVision 2.0增加了全新的開(kāi)發(fā)板,，除了原有的CrossLink,、CrossLink-NX、ECP5之外,，還包括支持工業(yè)和醫(yī)療應(yīng)用的主流圖像傳感器Sony IMX464/IMX568和安森美半導(dǎo)體的AR0234CS,，開(kāi)發(fā)人員可通過(guò)I2C、SPI或其他接口對(duì)攝像機(jī)傳感器進(jìn)行配置和操作,。
·支持萊迪思Propel設(shè)計(jì)環(huán)境與RISC-V架構(gòu)
Propel是一款用于在低功耗,、小尺寸萊迪思FPGA上加速基于嵌入式處理器開(kāi)發(fā)的設(shè)計(jì)環(huán)境。該工具包括一套完整的圖形和命令行工具,，可創(chuàng)建,、分析,、編譯和調(diào)試基于FPGA的處理器系統(tǒng)的硬件和軟件設(shè)計(jì)。
而之所以新增對(duì)RISC-V架構(gòu)的支持,，其主要目的,，一是希望通過(guò)使用C代碼而非RTL語(yǔ)言的方式簡(jiǎn)便整個(gè)方案的配置；二是RISC-V作為開(kāi)源方案,，得到了大多數(shù)用戶的支持,。未來(lái)，Lattice將計(jì)劃在其他器件上逐步提供RISC-V軟核支持,。
·全新萊迪思圖像信號(hào)處理器（ISP）參考設(shè)計(jì)
以往的傳感器產(chǎn)品都自帶ISP驅(qū)動(dòng),，但隨著傳感器復(fù)雜度的增加、分辨率的提升,，傳感器廠商很難調(diào)動(dòng)一款受眾面很廣的驅(qū)動(dòng)，因此往往不再提供ISP驅(qū)動(dòng),，多數(shù)只提供傳感或者原始數(shù)據(jù)，這部分工作就被漸漸轉(zhuǎn)移給了方案開(kāi)發(fā)者,。Lattice此次增加了專(zhuān)門(mén)的ISP,，為客戶拓展了mVision解決方案的選擇，可以幫助用戶在產(chǎn)品設(shè)計(jì)中快速部署嵌入式視覺(jué)等應(yīng)用提供便利,。
·新增圖像信號(hào)處理與橋接聚合IP
mVision 2.0所包含的IP核主要分為四類(lèi)：顯示處理,、圖像信號(hào)處理,、橋接和聚合,、互連。其中,，圖像信號(hào)處理、橋接和聚合IP為新增項(xiàng)目,，用戶可以直接引入這些模塊,，減少?gòu)牧汩_(kāi)發(fā)的流程投入,。同時(shí),，所有這些可用的IP模塊都支持CrossLink-NX。
應(yīng)用案例
從M2M應(yīng)用中的工業(yè)顯示系統(tǒng),、工業(yè)4.0解決方案,，到高級(jí)駕駛輔助系統(tǒng)（ADAS）和車(chē)載信息娛樂(lè)系統(tǒng)，再到數(shù)碼單反相機(jī),、無(wú)人機(jī),、機(jī)器人,、虛擬現(xiàn)實(shí)（VR）系統(tǒng)和醫(yī)療設(shè)備，在當(dāng)今所有行業(yè)中攝像頭應(yīng)用的數(shù)量都在不斷增長(zhǎng),，目標(biāo)識(shí)別、深度感知,、碰撞規(guī)避和決策制定等更加智能的應(yīng)用也正在變?yōu)楝F(xiàn)實(shí),。
為了構(gòu)建靈活、智能學(xué)習(xí)的環(huán)境,，將理想變?yōu)楝F(xiàn)實(shí)，萊迪思攜手Softnautlcs,、LogicFruit,、Bitec、TATA,、Helion等合作伙伴開(kāi)發(fā)出了數(shù)十種靈活的解決方案以滿足當(dāng)今嵌入式視覺(jué)設(shè)計(jì)工程師的需求,，如不斷變化的接口、低功耗圖像信號(hào)處理和硬件加速,。
·使用Helion IONOS ISP加速產(chǎn)品上市進(jìn)程
萊迪思與Helion Vision合作提供全面的解決方案,，包括一系列圖像信號(hào)處理產(chǎn)品系列，從基本的（ECO HD-ISP）到支持高級(jí)高動(dòng)態(tài)范圍圖像處理（HDR HD-ISP）的產(chǎn)品,。其中,，Helion Vision的IONOS IP系列通過(guò)IP庫(kù)提供100多款獨(dú)立IP，實(shí)現(xiàn)即插即用的處理解決方案,，并在此前專(zhuān)為ECP3?和ECP5架構(gòu)進(jìn)行了優(yōu)化的基礎(chǔ)上,，新增對(duì)CrossLink-NX的支持，可顯著減少所需的FPGA資源和延遲,。
·基于流水線架構(gòu)的mVision ISP參考設(shè)計(jì)
下圖展示的是一個(gè)基于流水線架構(gòu)的完整的萊迪思mVision ISP參考設(shè)計(jì),，支持Sony IMX464/IMX568和安森美半導(dǎo)體的AR0234CS圖像傳感器，2020年11月交付早期客戶使用,。最早使用的硬件平臺(tái)為ECP5,，預(yù)計(jì)將于2021年第一季度內(nèi)支持CrossLink。根據(jù)規(guī)劃,，Lattice最初的ISP參考設(shè)計(jì)將專(zhuān)注于工業(yè),、醫(yī)療和汽車(chē)應(yīng)用，萊迪思會(huì)提供包含非常適合醫(yī)療,、工業(yè),、航空航天、汽車(chē)和消費(fèi)者應(yīng)用的流行傳感器在內(nèi)的多種EVDK模塊。
·Sony IMX464 VIP傳感器輸入板
全新Sony IMX464 VIP傳感器輸入板包括Sony 1/1.8“ 4MP MIPI NIR增強(qiáng)型卷簾快門(mén)傳感器模塊,，以及連接EVDK的適配器數(shù)據(jù)線,。與嵌入式視覺(jué)開(kāi)發(fā)套件（EVDK）無(wú)縫連接,，支持2688（H） x 1520（V）分辨率,、4 M像素、最高90 FPS,、HDR等性能指標(biāo),，適用于監(jiān)控、工廠自動(dòng)化,、工業(yè)攝像頭應(yīng)用,。
左圖：未經(jīng)ISP處理的圖片；右圖：經(jīng)過(guò)ISP處理后的RGB圖像
嵌入式視覺(jué)系統(tǒng)設(shè)計(jì)工程師面臨著許多挑戰(zhàn),，圖像信號(hào)處理問(wèn)題只是其中一項(xiàng),，上述案例也只是眾多應(yīng)用中的代表。圖像傳感器形式和尺寸各異,，并且在像素粒度,、信噪比、光敏度和色深方面的性能等級(jí)也不同,。此外，照明和物體的色彩對(duì)比度等環(huán)境因素進(jìn)一步讓系統(tǒng)設(shè)計(jì)變得更加復(fù)雜,。這些情況往往會(huì)對(duì)系統(tǒng)設(shè)計(jì)工程師帶來(lái)嚴(yán)重的問(wèn)題,，因?yàn)樗麄円獙?shí)時(shí)地進(jìn)行圖像預(yù)處理。要解決產(chǎn)品設(shè)計(jì)周期延長(zhǎng)和風(fēng)險(xiǎn)上升的問(wèn)題,，萊迪思在圖像處理領(lǐng)域具備的專(zhuān)業(yè)經(jīng)驗(yàn)將能夠很好的幫助他們應(yīng)對(duì)上述挑戰(zhàn),。