隨著人工智能 （AI） 的演進(jìn)，利用小語言模型 （SLM） 在嵌入式設(shè)備上執(zhí)行 AI 工作負(fù)載成為業(yè)界關(guān)注的焦點,。Llama,、Gemma 和 Phi3 等小語言模型，憑借其出色的成本效益,、高效率以及在算力受限設(shè)備上的易部署性,，贏得了廣泛認(rèn)可。Arm 預(yù)計這類模型的數(shù)量將在 2025 年繼續(xù)增長,。

　　Arm 技術(shù)以其高性能與低功耗的顯著優(yōu)勢,，為小語言模型提供了理想的運行環(huán)境，能夠有效提升運行效率,，并進(jìn)一步優(yōu)化用戶體驗,。為了直觀展示端點 AI 在物聯(lián)網(wǎng)和邊緣計算領(lǐng)域的巨大潛力，Arm技術(shù)團隊近期打造了一場技術(shù)演示,。在演示中,，當(dāng)用戶輸入一個句子后，系統(tǒng)將基于該句擴展生成一個兒童故事,。這項演示受到了微軟 “Tiny Stories” 論文和 Andrej Karpathy 的 TinyLlama2 項目的啟發(fā),，TinyLlama2 項目使用了 2,100 萬個故事來訓(xùn)練小語言模型生成文本。

　　該演示搭載了 Arm Ethos-U85 NPU,，并在嵌入式硬件上運行小語言模型,。盡管大語言模型 （LLM） 更加廣為人知，但由于小語言模型能夠以更少的資源和較低的成本提供出色的性能，而且訓(xùn)練起來也更為簡易且成本更低,，因此越來越受到關(guān)注,。

　　在嵌入式硬件上實現(xiàn)基于 Transformer 的小語言模型

　　Arm 的演示展示了 Ethos-U85 作為一個小型低功耗平臺，具備運行生成式 AI 的能力,，并凸顯了小語言模型在特定領(lǐng)域中的出色表現(xiàn),。TinyLlama2 模型相較 Meta 等公司的大模型更為簡化，很適合用于展示 Ethos-U85 的 AI 性能,，可作為端點 AI 工作負(fù)載的理想之選,。

　　為開發(fā)此演示，Arm 進(jìn)行了大量建模工作,，包括創(chuàng)建一個全整數(shù)的 INT8（和 INT8x16）TinyLlama2 模型,，并將其轉(zhuǎn)換為適合 Ethos-U85 限制的固定形狀 TensorFlow Lite 格式。

　　Arm 的量化方法表明,，全整數(shù)語言模型在取得高準(zhǔn)確度和輸出質(zhì)量之間實現(xiàn)了良好平衡,。通過量化激活、歸一化函數(shù)和矩陣乘法,，Arm 無需進(jìn)行浮點運算,。由于浮點運算在芯片面積和能耗方面成本較高，這對于資源受限的嵌入式設(shè)備來說是一個關(guān)鍵考量,。

　　Ethos-U85 在 FPGA 平臺上以 32 MHz 的頻率運行語言模型,，其文本生成速度可達(dá)到每秒 7.5 到 8 個詞元 （token），與人類的閱讀速度相當(dāng),，同時僅消耗四分之一的計算資源,。在實際應(yīng)用的系統(tǒng)級芯片 （SoC） 上，該性能最多可提高十倍,，從而顯著提升了邊緣側(cè) AI 的處理速度和能效,。

　　兒童故事生成特性采用了 Llama2 的開源版本，并結(jié)合了 Ethos NPU 后端,，在 TFLite Micro 上運行演示,。大部分推理邏輯以 C++ 語言在應(yīng)用層編寫，并通過優(yōu)化上下文窗口內(nèi)容,，提高了故事的連貫性,，確保 AI 能夠流暢地講述故事。

　　由于硬件限制,，團隊需要對 Llama2 模型進(jìn)行適配,，以確保其在 Ethos-U85 NPU 上高效運行，這要求對性能和準(zhǔn)確性進(jìn)行仔細(xì)考量,。INT8 和 INT16 混合量化技術(shù)展示了全整數(shù)模型的潛力,，這有利于 AI 社區(qū)更積極地針對邊緣側(cè)設(shè)備優(yōu)化生成式模型,，并推動神經(jīng)網(wǎng)絡(luò)在如 Ethos-U85 等高能效平臺上的廣泛應(yīng)用。

　　Arm Ethos-U85 彰顯卓越性能

　　Ethos-U85 的乘法累加 （MAC） 單元可以從 128 個擴展至 2,048 個,，與前一代產(chǎn)品 Ethos-U65 相比,，其能效提高了 20%。另外相較上一代產(chǎn)品,，Ethos-U85 的一個顯著特點是能夠原生支持 Transformer 網(wǎng)絡(luò),。

　　Ethos-U85 支持使用前代 Ethos-U NPU 的合作伙伴能夠?qū)崿F(xiàn)無縫遷移，并充分利用其在基于 Arm 架構(gòu)的機器學(xué)習(xí) （ML） 工具上的既有投資,。憑借其卓越能效和出色性能,，Ethos-U85 正愈發(fā)受到開發(fā)者青睞。

　　如果在芯片上采用 2,048 個 MAC 配置,，Ethos-U85 可以實現(xiàn) 4 TOPS 的性能。在演示中,，Arm 使用了較小的配置,，即在 FPGA 平臺上采用 512 個 MAC，并以 32 MHz 的頻率運行具有 1,500 萬個參數(shù)的 TinyLlama2 小語言模型,。

　　這一能力凸顯了將 AI 直接嵌入設(shè)備的可能性,。盡管內(nèi)存有限（320 KB SRAM 用于緩存，32 MB 用于存儲）,，Ethos-U85 仍能高效處理此類工作負(fù)載,，為小語言模型和其他 AI 應(yīng)用在深度嵌入式系統(tǒng)中的廣泛應(yīng)用奠定了基礎(chǔ)。

　　將生成式 AI 引入嵌入式設(shè)備

　　開發(fā)者需要更加先進(jìn)的工具來應(yīng)對邊緣側(cè) AI 的復(fù)雜性,。Arm 通過推出 Ethos-U85,，并支持基于 Transformer 的模型，致力于滿足這一需求,。隨著邊緣側(cè) AI 在嵌入式應(yīng)用中的重要性日益增加,，Ethos-U85 正在推動從語言模型到高級視覺任務(wù)等各種新用例的實現(xiàn)。

　　Ethos-U85 NPU 提供了創(chuàng)新前沿解決方案所需的卓越性能和出色能效,。Arm 的演示顯示了將生成式 AI 引入嵌入式設(shè)備的重要進(jìn)展,，并凸顯了在 Arm 平臺上部署小語言模型便捷可行。

　　Arm 正為邊緣側(cè) AI 在廣泛應(yīng)用領(lǐng)域帶來新機遇,，Ethos-U85 也因此成為推動新一代智能,、低功耗設(shè)備發(fā)展的關(guān)鍵動力。

更多精彩內(nèi)容歡迎點擊==>>電子技術(shù)應(yīng)用-AET<<