荷蘭埃因霍溫--2020年8月5日--恩智浦半導(dǎo)體NXP Semiconductors N.V.（納斯達(dá)克代碼：NXPI）今日發(fā)布了eIQ機(jī)器學(xué)習(xí)（ML）軟件對Glow神經(jīng)網(wǎng)絡(luò)（NN）編譯器的支持功能 ，針對恩智浦的i.MX RT跨界MCU,，帶來業(yè)界首個實現(xiàn)以較低存儲器占用提供更高性能的神經(jīng)網(wǎng)絡(luò)編譯器應(yīng)用。Glow編譯器由Facebook開發(fā),，能夠集成特定于目標(biāo)的優(yōu)化,，恩智浦利用這種能力，使用適用于Arm Cortex-M內(nèi)核和Cadence Tensilica HiFi 4 DSP的神經(jīng)網(wǎng)絡(luò)算子庫,，最大程度地提升i.MX RT685以及i.MX RT1050和RT1060的推理性能,。此外，此功能已集成到恩智浦的eIQ機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境中,，在恩智浦的MCUXpresso SDK中免費提供,。
使用Glow充分發(fā)揮MCU架構(gòu)特性的優(yōu)勢
2018年5月,，率先開發(fā)PyTorch的Facebook推出了開源社區(qū)項目Glow（Graph Lowering神經(jīng)網(wǎng)絡(luò)編譯器），其目的是提供優(yōu)化,，提高一系列硬件平臺上的神經(jīng)網(wǎng)絡(luò)性能,。作為一種神經(jīng)網(wǎng)絡(luò)編譯器，Glow基于未優(yōu)化的神經(jīng)網(wǎng)絡(luò)生成高度優(yōu)化的代碼,。這個特點有別于典型的神經(jīng)網(wǎng)絡(luò)模型處理,，后者采用即時編譯，因而需要更高的性能,，還會增加存儲器開銷,。像Glow這樣直接運行優(yōu)化代碼可以顯著降低處理和存儲器要求。恩智浦也在Glow開源社區(qū)中扮演著積極角色,，幫助推廣和普及Glow的新功能,。
Facebook軟件工程經(jīng)理Dwarak Rajagopal表示：“GitHub中提供的標(biāo)準(zhǔn)版Glow可以直接在任何設(shè)備上運行，讓用戶能夠靈活地針對感興趣的基礎(chǔ)架構(gòu)編譯神經(jīng)網(wǎng)絡(luò)模型,，包括Arm Cortex-A和Cortex-M內(nèi)核以及RISC-V架構(gòu),。恩智浦使用充分利用MCU計算元件的專用軟件庫，實現(xiàn)了2-3倍的性能提升,，展示了從基于云的高端機(jī)器到低成本的嵌入式平臺的廣泛范圍內(nèi),，將Glow神經(jīng)網(wǎng)絡(luò)編譯器用于機(jī)器學(xué)習(xí)應(yīng)用的諸多優(yōu)勢?！?/p>
優(yōu)化機(jī)器學(xué)習(xí)框架以增強(qiáng)競爭優(yōu)勢
未來幾年內(nèi),，對機(jī)器學(xué)習(xí)應(yīng)用的需求預(yù)期將會大幅增加。據(jù)TIRIAS Research預(yù)測，到2025年,，98%的邊緣設(shè)備將使用某種形式的機(jī)器學(xué)習(xí)/人工智能,。根據(jù)市場預(yù)測，到2025年,，預(yù)計將有180億至250億部設(shè)備包含機(jī)器學(xué)習(xí)功能,，盡管它們可能并沒有專用的機(jī)器學(xué)習(xí)加速器。消費型設(shè)備制造商和嵌入式物聯(lián)網(wǎng)開發(fā)人員將需要優(yōu)化機(jī)器學(xué)習(xí)框架,，以便實現(xiàn)使用MCU的低功耗邊緣嵌入式應(yīng)用,。
恩智浦半導(dǎo)體資深副總裁兼邊緣處理業(yè)務(wù)總經(jīng)理Ron Martino表示：“借助eIQ機(jī)器學(xué)習(xí)軟件框架，利用高度集成的i.MX應(yīng)用處理器和高性能i.MX RT跨界MCU的強(qiáng)大功能,，恩智浦正在推動機(jī)器學(xué)習(xí)功能在邊緣設(shè)備上的實現(xiàn),。隨著i.MX RT系列跨界MCU增加對Glow的支持，我們的客戶能夠編譯深度神經(jīng)網(wǎng)絡(luò)模型,，為他們的應(yīng)用帶來競爭優(yōu)勢,。”
恩智浦的面向機(jī)器學(xué)習(xí)的邊緣智能環(huán)境解決方案是一個全面的工具包,，提供開發(fā)人員需要的構(gòu)建模塊,，幫助他們高效地在邊緣設(shè)備中實施機(jī)器學(xué)習(xí)。Glow整合到eIQ軟件后,，機(jī)器學(xué)習(xí)開發(fā)人員將擁有全面的高性能框架,，可在包括i.MX RT跨界MCU和i.MX 8應(yīng)用處理器的恩智浦邊緣處理解決方案上進(jìn)行擴(kuò)展?？蛻魮碛辛烁鼜?qiáng)大的工具,，能夠在i.MX RT MCU和i.MX應(yīng)用處理器上開發(fā)機(jī)器學(xué)習(xí)語音應(yīng)用、對象識別,、人臉識別等應(yīng)用,。
利用恩智浦的Glow神經(jīng)網(wǎng)絡(luò)實施來提高性能
eIQ現(xiàn)在包含對Glow和TensorFlow Lite的推理支持，對于這些實施,，恩智浦通常會執(zhí)行基準(zhǔn)測試以衡量其性能,。MCU基準(zhǔn)測試包括標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)模型，例如CIFAR-10,。以CIFAR-10模型為例,，恩智浦采集的基準(zhǔn)測試數(shù)據(jù)表明了如何利用i.MX RT1060器件（采用600MHz Arm Cortex-M7）、i.MX RT1170器件（采用1GHz Arm Cortex-M7）和i.MX RT685器件（采用600 MHz Cadence Tensilica HiFi 4 DSP）的性能優(yōu)勢,。
恩智浦對Glow的支持離不開Cadence為Tensilica HiFi 4 DSP提供的神經(jīng)網(wǎng)絡(luò)庫（NNLib）,，該DSP提供了4.8GMAC性能。同樣以CIFAR-10為例,，恩智浦的Glow實施使用這一DSP來加快神經(jīng)網(wǎng)絡(luò)運算,，實現(xiàn)了25倍的性能提升。
Cadence Tensilica IP企業(yè)副總裁Sanjive Agarwala表示：“Tensilica HiFi 4 DSP最初集成在i.MX RT600跨界MCU中,，目的是提高各種不同的音頻和語音處理應(yīng)用的速度,。但是，當(dāng)有越來越多機(jī)器學(xué)習(xí)推理應(yīng)用瞄準(zhǔn)了低成本,、低功耗的MCU級應(yīng)用時,，HiFi 4 DSP憑借固有的DSP計算性能，成為加快這些神經(jīng)網(wǎng)絡(luò)模型的理想選擇,。隨著恩智浦在eIQ機(jī)器學(xué)習(xí)軟件中實施Glow,，i.MX RT600 MCU的客戶能夠利用該DSP來滿足多種機(jī)器學(xué)習(xí)應(yīng)用的需求，包括關(guān)鍵詞檢索（KWS）,、語音識別,、降噪和異常檢測?！?/p>
Arm公司機(jī)器學(xué)習(xí)營銷副總裁Dennis Laudick表示：“恩智浦將Arm CMSIS-NN軟件庫包括在elQ中,，目的是最大程度地提升性能，減少Arm Cortex-M內(nèi)核上的神經(jīng)網(wǎng)絡(luò)存儲器占用,。以CIFAR-10神經(jīng)網(wǎng)絡(luò)模型為例,，恩智浦能夠利用CMSIS-NN實現(xiàn)1.8倍的性能提升。其他神經(jīng)網(wǎng)絡(luò)模型應(yīng)該能夠產(chǎn)生相似的結(jié)果,，這清晰地展示了這款高級編譯器和我們的優(yōu)化神經(jīng)網(wǎng)絡(luò)算子庫的優(yōu)勢,。”
上市時間
恩智浦的集成Glow神經(jīng)網(wǎng)絡(luò)編譯器的eIQ軟件現(xiàn)已上市,，通過i.MX RT600跨界MCU,、i.MX RT1050和i.MX RT1060跨界MCU的MCUXpresso SDK提供。未來將會推出適用于恩智浦其他MCU的集成Glow神經(jīng)網(wǎng)絡(luò)編譯器的eIQ軟件,。
關(guān)于i.MX RT系列跨界MCU
i.MX RT系列是業(yè)內(nèi)首個跨界MCU產(chǎn)品組合,，以經(jīng)濟(jì)的價格，提供高性能的Arm Cortex-M內(nèi)核,、實時功能和MCU可用性,。該系列代表了低功耗應(yīng)用處理器與高性能微控制器的融合。i.MX RT系列填補(bǔ)了傳統(tǒng)MCU和i.MX應(yīng)用處理器之間的空白,，為MCU客戶提供了顯著提高性能和改進(jìn)集成的方法,，一如既往地簡單易用。