Microchip與韓國智能硬件公司IHWK合作開發(fā)模擬計算平臺,,加速邊緣AI/ML推理
2023-09-14
來源:Microchip
為了適應網絡邊緣人工智能(AI)計算及相關推理算法的快速發(fā)展,,韓國智能硬件公司(IHWK)正在為神經技術設備和現場可編程神經形態(tài)設備開發(fā)神經形態(tài)計算平臺,。Microchip Technology Inc.(美國微芯科技公司)通過子公司冠捷半導體(SST)參與協(xié)助開發(fā),為該平臺SuperFlash? memBrain?神經形態(tài)存儲器解決方案提供評估系統(tǒng)。該解決方案基于Microchip經行業(yè)驗證的非易失性存儲器(NVM)SuperFlash技術并加以優(yōu)化,,可通過模擬內存計算方法為神經網絡執(zhí)行矢量矩陣乘法(VMM),。
memBrain技術評估工具包旨在讓IHWK展示其神經形態(tài)計算平臺在邊緣運行推理算法的絕對能效。最終目標是為生成式人工智能模型,、自動駕駛汽車,、醫(yī)療診斷、語音處理,、安全/監(jiān)控和商用無人機等應用創(chuàng)建超低功耗模擬處理單元(APU),。
由于目前用于邊緣推理的神經網絡模型可能需要5000萬或更多突觸(權重)進行處理,因此純數字解決方案需要足夠帶寬來使用片外DRAM,,這對神經網絡計算造成了瓶頸,,降低了整體計算能力,。相比之下,,memBrain解決方案在超低功耗亞閾值模式下將突觸權重存儲在片上浮動柵中,并使用相同存儲單元進行計算,,從而顯著提高了能效和降低了系統(tǒng)延遲,。與傳統(tǒng)數字DSP和基于SRAM/DRAM的方法相比,該方案可將每次推理決策的功耗降低到原來的1/20到1/10,,并能顯著降低總體物料清單,。
為了開發(fā)APU,IHWK 還與位于大田的韓國科學技術院(KAIST)合作進行設備開發(fā),,并與位于首爾的延世大學(Yonsei University)合作提供設備設計協(xié)助,。最終的 APU 預計將優(yōu)化推理的系統(tǒng)級算法,并在每瓦 20-80 TeraOPS 之間運行,,實現了為電池供電設備設計的內存計算解決方案的最佳性能,。
Microchip技術許可業(yè)務部門SST副總裁Mark Reiten表示:“通過使用成熟的NVM而非替代性片外內存解決方案來執(zhí)行神經網絡計算和存儲權重,Microchip的memBrain內存計算技術有望消除在網絡邊緣執(zhí)行人工智能處理所面臨的大規(guī)模數據通信瓶頸,。與韓國領先的研發(fā)公司IHWK,、相關高校和早期用戶開展合作,進一步證明了Microchip神經處理技術的先進性,,也將推動Microchip在人工智能領域的發(fā)展,。”
IHWK 分公司經理Sanghoon Yoon 表示:“韓國是人工智能半導體發(fā)展的重要熱點地區(qū),。我們的非易失性存儲器和新興存儲器專家已經證實,,Microchip基于成熟非易失性存儲器技術的memBrain產品是創(chuàng)建內存計算系統(tǒng)的最佳選擇?!?br/>
將神經模型永久存儲在memBrain解決方案的處理元件中,,還可支持用于實時神經網絡處理的即時開啟功能。IHWK正尋求利用SuperFlash存儲器浮動柵單元的非易失性,,支持低功耗邊緣計算設備使用高級ML模型,,建立機器學習推理的新基準,。