FPGA 向來是高大上的形象，即便在人工智能火熱的今天,，圍繞 FPGA 討論的焦點也集中在云端的加速,，與之相提并論的，更多是以高性能計算見長的 GPU,、CPU、DSP,。
但是,，有家公司，卻專注在“網(wǎng)絡邊緣端”,，將產(chǎn)品布局在適于低功耗運行的低密度 FPGA 上,，其全新的毫瓦級功耗 FPGA 解決方案 ——LatTIcesenAI ,為機器學習推理在大眾市場物聯(lián)網(wǎng)應用中實現(xiàn)快速部署創(chuàng)造機遇， 且聽萊迪思半導體亞太區(qū)資深事業(yè)發(fā)展經(jīng)理陳英仁娓娓道來,。
萊迪思半導體亞太區(qū)資深事業(yè)發(fā)展經(jīng)理陳英仁
快速興起的網(wǎng)絡邊緣計算
提及 AI 或智能計算,，我們更多會想到“云端的加速”。但并非所有應用都將在云端運行,。萊迪思《加速實現(xiàn)網(wǎng)絡邊緣低功耗人工智能應用》白皮書中表明,，另一輪從集中式到分布式的系統(tǒng)架構(gòu)轉(zhuǎn)變的征兆已經(jīng)顯而易見了，無論到來與否,，有一點確信無疑,，那就是低延遲要求、不斷加劇的隱私問題和通信帶寬限制,，將驅(qū)動網(wǎng)絡邊緣對智能化的需求,。陳英仁以智能音響為例，集合了語音控制,、攝像頭檢測功能的智能音響,，可以為生活帶來更多的便利性，但也正由于存在攝像頭,、麥克風,，隱私暴露就成為大家擔心的問題。如果這時在終端加入數(shù)據(jù)處理和分析功能,，就可以很好地對隱私進行保護,。此外,，終端的很多應用是需要低延遲的，甚至有時在沒有網(wǎng)絡的情況下,，也需要保證在線下進行及時的反饋,，這時也需要終端數(shù)據(jù)處理的加入。
這樣的需求有多大,？Gartner 分析表示：“目前企業(yè)產(chǎn)品的數(shù)據(jù)約有 10% 都在傳統(tǒng)的集中式數(shù)據(jù)中心或云端以外的地方處理,，到 2022年，這一數(shù)據(jù)將會達到 50% ,?！?/p>
正如在消費物聯(lián)網(wǎng)領域所見，隨著傳感器數(shù)量和種類的激增,，需要部署更多的計算資源用于實時數(shù)據(jù)處理,，能夠?qū)崿F(xiàn)這種本地傳感器數(shù)據(jù)處理的毫瓦級功耗、小體積,、低成本,、靈活支持各類傳統(tǒng)接口以及性能/精度可調(diào)節(jié)的半導體解決方案就顯得至關重要。
低功耗對物聯(lián)網(wǎng)邊緣應用的重要性不言而喻,。陳英仁介紹,，不同的應用場景、不同種類的傳感器,，動輒成千上萬的傳感器部署,，24小時無休，如果每兩三天充電或更換一次電池,，增加了太多的維護成本,，因而智能終端應用的半導體功耗需要達到幾瓦甚至毫瓦級。
成本也是一個關鍵要素,，隨著物聯(lián)網(wǎng)的發(fā)展,，越來越多的地方都需要用到傳感器，因而任何一個解決方案都必須能與其他批量生產(chǎn)的網(wǎng)絡邊緣解決方案一決高下,。
電路板面積小至幾平方毫米,，也更有利于方便集成到邊緣終端應用中。
考慮到邊緣應用終端的多樣性,，處理芯片需要具備最大化的設計靈活性,，能夠提供廣泛的 I/O 接口以支持不同的傳感器。
最后設計人員還需要能通過自定義量化平衡精度,、功耗和成本的解決方案,，從而實現(xiàn)更有效地邊緣計算。
應運而生 sensAI
顧名思義，sensAI 為優(yōu)化 AI 應用而生,，那么我們就有必要先了解 AI的概念,。1956 年夏，人工智能先驅(qū)們的夢想是借由新興計算機構(gòu)建具有人類智力特征的復雜機器,。這就是所謂的“通用人工智能（General AI）”的概念——擁有人類的所有感覺（甚至可能更多）,、所有理智，像人類一樣思考的神奇機器,。而機器學習是用來實現(xiàn)人工智能的一種方式,。“通常,，機器學習要求兩種類型的計算工作量——訓練和推理” 陳英仁介紹,，訓練系統(tǒng)通過現(xiàn)有的數(shù)據(jù)習得新能力，例如人臉檢測功能通過采集和分析成千上萬張圖片來學習識別人臉,，這種高度密集的計算,，往往需要使用高性能硬件如 GPU或高性能 FPGA 等進行快速處理。而推理環(huán)節(jié)主要過識別圖案和執(zhí)行任務將系統(tǒng)能力用于處理新數(shù)據(jù),，邊運行邊學習,，隨著時間的推移變得愈加智能。一般分為兩個場景：在云端數(shù)據(jù)中心響應用戶需求和在終端智能設備響應用戶需求,。在云端數(shù)據(jù)中心，各家公有云服務廠商都紛紛部署了高性能云計算服務器,。而在而在終端設備,，由于前面所述說隱私性、低延遲的需求,，很多應用都會在終端部署以提升智能度,， 設計人員可以使用經(jīng)過優(yōu)化的、低功耗,、低密度的FPGA,，滿足日益嚴苛的性能和功耗要求。
對此,，萊迪思推出基于 iCE40 UltraPlus 和 ECP5 FPGA 系列的新型全套開發(fā)生態(tài)系統(tǒng)——LatTIce senAI,，旨在實現(xiàn)機器學習推理在大眾物聯(lián)網(wǎng)應用中實現(xiàn)快速部署。LatTIce senAI 提供經(jīng)過優(yōu)化的解決方案,，具有超低功耗(低于 1mW-1W),、封裝尺寸小(5.5-100 mm2)、接口靈活(MIPI? CSI-2,、LVDS,、GigE 等)和批量價格低(約 1-10 美元)等優(yōu)勢。
之所以推出 sensAI , 陳英仁解釋道,，F(xiàn)PGA 天生適合做計算,，但更多時候,，計算是客戶的核心技術，甚至有部分客戶還沒有這項技術,，那么如何能夠幫助他們快速地利用 FPGA 的低功耗,、低成本、小體積實現(xiàn)計算,，就成了 FPGA 推廣最大難題,。因此，sensAI就是為了讓客戶能夠在傳感器的橋接和數(shù)據(jù)聚合中,，增加更多智能以實現(xiàn)低延時,、低功耗的計算，即客戶手中有數(shù)據(jù)和樣本,，就可以在 FPGA 中做計算,，尤其在網(wǎng)絡編程里。
sensAI 以模塊化硬件平臺為基礎,，包括基于低功耗 iCE40 UltraPlus FPGA的移動開發(fā)平臺(MDP)
和基于 ECP5 FPGA 器件的視頻接口平臺( VIP ),， MDP 包括一系列板載傳感器，如圖像傳感器,、麥克風,、羅盤、壓力傳感器和陀螺儀等,，可用于毫瓦級功耗的應用,。VIP 的功耗稍高但總體低于 1 W，可實現(xiàn) MIPI CSI-2,、嵌入式DisplayPort (eDP),、HDMI、GigE Vision和USB3在內(nèi)的接口互連,。
為配合硬件平臺,，萊迪思提供了新的神經(jīng)網(wǎng)絡加速器 IP 核。該軟 IP 包括針對iCE40 UltraPlus FPGA 優(yōu)化后的 BNN（二值神經(jīng)網(wǎng)絡）1加速器,，支持 1 bit 權重量化和 1 bit 激活量化,，可以實現(xiàn)低功耗的偵測和推理。還包括針對ECP5 FPGA 優(yōu)化的 CNN （卷積神經(jīng)網(wǎng)絡）加速器,，該核可支持不同權重和激活的量化（1bit,、8bit和16bit），實現(xiàn)功耗和精度的平衡,，設置的位寬越高,，準確度通常會越高。
為了更方便的應用上述 IP ，萊迪思提供從 Caffe/TensorFlow 到 FPGA 的神經(jīng)網(wǎng)絡編譯器工具,、LatTIce Radiant
和 Lattice Diamond 設計軟件,。通過開源的深度學習框架 Caffe/TensorFlow 實現(xiàn)網(wǎng)絡訓練，然后經(jīng)過萊迪思獨立開發(fā)的神經(jīng)網(wǎng)絡編譯器將經(jīng)過訓練的網(wǎng)絡模型映射成定點數(shù)值表示以匹配其 FPGA ,，可在沒有 RTL 設計經(jīng)驗的情況下,，將網(wǎng)絡應用移植到其 FPGA 中。此外,，神經(jīng)網(wǎng)絡編譯器能夠快速分析,、模擬和編譯 CNN/BNN， 在sensAI IP 核上實現(xiàn),。這樣補足了 FPGA 在計算應用中的高門檻,。
陳英仁介紹，為了更好地簡化邊緣應用的 AI 開發(fā),，萊迪思也提供了專門針對超低功耗優(yōu)化的參考設計及演示,。比如低功耗人臉檢測、關鍵詞檢測,、對象計數(shù),、面部跟蹤以及速度標志牌檢測等。
基于萊迪思 MDP 移動開發(fā)平臺實現(xiàn)的人臉檢測 Demo,，其功耗約為 800-850 微瓦,，搭配低功耗影響傳感器，可實現(xiàn)精準的,、毫瓦以下人臉偵測,，如智能門鈴、智能鎖,、智能化妝鏡、超市結(jié)賬等
此外,，萊迪思也構(gòu)建了經(jīng)認證的合作伙伴生態(tài)系統(tǒng),，旨在聯(lián)合國內(nèi)外不同領域的 AI 應用合作伙伴（在某些領域有專長的服務商），為智能家居,、智慧城市,、智能工廠等領域的客戶快速、有效地提供定制化的解決方案,。
“sensAI神經(jīng)網(wǎng)絡加速器和神經(jīng)網(wǎng)絡編譯器是我們最核心的部分,，” 陳英仁表示，因為萊迪思為客戶實現(xiàn)簡潔的低功耗推理,。對已經(jīng)在使用 FPGA 進行橋接和連接技術的客戶,，可以有更多的選擇優(yōu)化設計。對于即將在邊緣應用終端加入智能的新用戶，有sensAI 和天生的接口特性的加持,，萊迪思 FPGA 也是一個性能,、功耗、成本,、開發(fā)難度相當有競爭力的選擇,。
未來可期
談到 AI 的應用， “其實大家還在思考,，怎么樣應用 AI 讓生活更簡單,，” sensAI 簡化了算法的開發(fā)門檻，讓設計人員更多地去思考如何更好地實現(xiàn)應用,，陳英仁舉了幾個例子,，尖叫聲檢測、槍聲檢測,、玻璃打碎聲音檢測,、智能穿衣鏡、面部跟蹤等等,，似乎更多的應用在等著人們放飛想象力得以實現(xiàn),。但是，可以預見到的一個趨勢是,，隨著用戶尋求更高級別的智能,，對于靠近 IoT 數(shù)據(jù)源的低功耗推理的需求將與日俱增。