生成式AI的變革,，對(duì)于基礎(chǔ)硬件設(shè)計(jì)、軟件生態(tài)開發(fā)都提出了新的,、更高的要求,，尤其是底層硬件和算力必須跟上新的形勢(shì)，并面向未來發(fā)展做好準(zhǔn)備,。
近日,，高通特別發(fā)布了《通過NPU和異構(gòu)計(jì)算開啟終端側(cè)生成式AI》白皮書，對(duì)于終端側(cè)生成式AI的發(fā)展趨勢(shì),，以及高通驍龍?zhí)幚砥鞯亩嗄K異構(gòu)計(jì)算引擎,，尤其是NPU的設(shè)計(jì)及優(yōu)勢(shì)，都進(jìn)行了詳細(xì)解讀,。
生成式AI雖然這兩年才火熱起來,，但是AI的發(fā)展歷史悠久，高通也早在2007年就打造了Hexagon DSP,，其控制和標(biāo)量架構(gòu)正是后續(xù)NPU的基礎(chǔ),。
2015年發(fā)布的驍龍820處理器集成了首個(gè)高通AI引擎，支持成像,、音頻和傳感器運(yùn)算,。
之后，2018年的驍龍855又增加了Hexagon張量加速器。
2020年驍龍888里的全新架構(gòu)Hexagon NPU堪稱里程碑轉(zhuǎn)折,，并在之后的三代驍龍8中持續(xù)迭代演進(jìn),，AI性能、效能和范圍不斷拓展,。
比如第三代驍龍8的張量運(yùn)算核心的峰值性能就大幅提升了98％,，同時(shí)依然保持高超的能效。
高通在AI方面采用的是異構(gòu)計(jì)算引擎思路,，由Kryo CPU,、Adreno GPU、Hexagon NPU,、傳感器中樞四大核心模塊共同組成,，彼此協(xié)作。
根據(jù)終端類型,、終端層級(jí),、關(guān)鍵性能指標(biāo)、時(shí)延等因素的不同,，這種架構(gòu)可以使用不同的組件進(jìn)行AI處理,，以達(dá)到最佳效率。
比如說,，CPU計(jì)算量一般,，但擅長(zhǎng)順序控制和即時(shí)性，非常合對(duì)延遲要求非常高的場(chǎng)景,，比如時(shí)序敏感性小模型,，比如卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)或者特定大語(yǔ)言模型(LLM)。
GPU擅長(zhǎng)高精度格式的并行處理,，比如對(duì)畫質(zhì)要求非常高的圖像,、視頻處理，同時(shí)算力非常強(qiáng),，可運(yùn)行大規(guī)模的模型,。
NPU擅長(zhǎng)標(biāo)量、向量和張量數(shù)學(xué)運(yùn)算,，而且能效非常高,，能夠以極低功耗實(shí)現(xiàn)持續(xù)穩(wěn)定的高峰值性能，在基于LLM和LVM(大視覺模型)的不同用例中,，比如說Stable Diffusion或其他擴(kuò)散模型，每瓦特性能十分出色,。
高通傳感器中樞則能以極低功耗運(yùn)行始終開啟的用例,，可獲取大量端側(cè)情境信息，讓生成式AI體驗(yàn)更加個(gè)性化，這也是終端側(cè)AI的獨(dú)特優(yōu)勢(shì)之一,，并且信息保留在終端上,，不會(huì)聯(lián)網(wǎng)上傳到云端，隱私更安全,。
如此設(shè)計(jì)的異構(gòu)計(jì)算,，能夠?qū)崿F(xiàn)最佳的應(yīng)用性能、能效和電池續(xù)航,，以最大化提升生成式AI終端的用戶體驗(yàn),。
這里重點(diǎn)說說NPU。
NPU全程為神經(jīng)網(wǎng)絡(luò)處理器,，是專為低功耗加速AI推理而打造的硬件模塊,，架構(gòu)上隨著新AI算法、模型和用例的發(fā)展而不斷演進(jìn),。
Al工作負(fù)載主要包括由標(biāo)量,、向量和張量數(shù)學(xué)組成的神經(jīng)網(wǎng)絡(luò)層計(jì)算以及非線性激活函數(shù)。
優(yōu)秀的NPU設(shè)計(jì),，能正確選擇如何處理AI工作負(fù)載,，同時(shí)與CPU、GPU等其他模塊協(xié)同執(zhí)行,，并與AI行業(yè)發(fā)展方向保持高度一致,。
高通Hexagon NPU就是為了以低功耗實(shí)現(xiàn)持續(xù)穩(wěn)定的高性能AI推理而設(shè)計(jì)，其差異化優(yōu)勢(shì)在于系統(tǒng)級(jí)解決方案,、定制設(shè)計(jì)和快速創(chuàng)新,。
通過定制設(shè)計(jì)NPU并控制指令集架構(gòu)(ISA)，高通可以讓NPU快速演進(jìn)和擴(kuò)展,，以解決遇到的任何瓶頸問題,，并優(yōu)化性能。
高通透露,，最初開始研究NPU的時(shí)候,，關(guān)注的是一些簡(jiǎn)單用例，比如用于音頻和語(yǔ)音處理的卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)模型(LSTM),，2015年第一代高通AI引擎的Hexagon NPU就集成了標(biāo)量和向量運(yùn)算擴(kuò)展,。
2016-2022年間，高通將研究方向拓展至AI影像和視頻處理,，比如暗光拍照,、降噪、多幀處理等,，同時(shí)引入了Transforme層處理,，因此增加了張量運(yùn)算核心(Tensor Core),。
2023年，Hexagon NPU開始支持LLM和LVM,，并支持Transformer,，可以更好地處理基于Transformer的模型。
如今第三代驍龍8集成的Hexagon NPU已經(jīng)能夠在終端側(cè)運(yùn)行高達(dá)100億參數(shù)的模型,，無論是首個(gè)token的生成速度,，還是每秒生成token的速率，都處在業(yè)界領(lǐng)先水平,。
值得一提的是,，Hexagon NPU還引入了用于圖像處理的微切片推理技術(shù)，增加了能夠支持所有引擎組件的大共享內(nèi)存,，最高支持到4.8GHz頻率的LPDDR5X,，LLM處理能力更上一層樓，可快速處理百川,、Llama2等等,。
說了半天原理，看看實(shí)際性能表現(xiàn),，首先是第三代驍龍8和三款安卓,、iOS平臺(tái)競(jìng)品的對(duì)比。
魯大師AIMark V4.3測(cè)試中,，第三代驍龍8的總分達(dá)到了競(jìng)品B的5.7倍,、競(jìng)品C的7.9倍。
安兔兔測(cè)試中,，第三代驍龍8的總分是競(jìng)品B的6.3倍,。
MLCommon MLPerf推理的不同子項(xiàng)中，比如圖像分類,、語(yǔ)言理解,、超級(jí)分辨率等，第三代驍龍8也都保持領(lǐng)先,。
PC端對(duì)比驍龍X Elite和其他x86架構(gòu)競(jìng)品,。
Windows系統(tǒng)下的UL Procyon AI推理測(cè)試中，驍龍X Elite在ResNet-50,、DeeplabV3等測(cè)試項(xiàng)目中都大幅領(lǐng)先,，總分是競(jìng)品A的3.4倍、競(jìng)品B的8.6倍,。
近日在巴塞羅那舉辦的MWC 2024大會(huì)上,，高通還展示了在終端上運(yùn)行的多模態(tài)生成式AI模型。
在第三代驍龍8上運(yùn)行的首個(gè)大語(yǔ)言和視覺助理大模型(LLaVA),，能基于圖像輸入,，回答用戶提出的問題,。
比如為視障人士在城市內(nèi)進(jìn)行導(dǎo)航，就可以將圖像信息轉(zhuǎn)換成語(yǔ)音,，幫助他們了解周圍的事物。
順帶一提,，高通還展示了基于驍龍X Elite筆記本,，首個(gè)在終端側(cè)運(yùn)行的超過70億參數(shù)的大型多模態(tài)語(yǔ)言模型(LMM)，可接受文本和音頻輸入(如音樂,、交通環(huán)境音頻等),，再生成多輪對(duì)話。
硬件AI能力之上,，高通還打造了AI軟件棧(AI Stack),。
它可以支持目前所有的主流AI框架，包括TensorFlow,、PyTorch,、ONNX、Keras,；支持所有主流的AI運(yùn)行時(shí),，包括DirectML、TFLite,、ONNX Runtime,、ExecuTorch；還支持不同的編譯器,、數(shù)學(xué)庫(kù)等AI工具,。
此外，高通還有AI Studio,，可為開發(fā)者提供開發(fā)過程中需要用到的各種相關(guān)工具,，包括支持模型量化和壓縮的高通AI模型增效工具包(AIMET)，能夠大幅提高模型運(yùn)行的效率,。
高通認(rèn)為,，AI終端市場(chǎng)的發(fā)展還在初期階段，但已經(jīng)為高通的不同產(chǎn)品和解決方案帶來了顯著的改進(jìn),，對(duì)消費(fèi)者的重要性也在不斷增加,，無論教育、醫(yī)學(xué)還是養(yǎng)老等各個(gè)領(lǐng)域,，AI的作用將愈發(fā)凸顯,。
互聯(lián)網(wǎng)出現(xiàn)的時(shí)候，只有少數(shù)人能夠利用PC上網(wǎng),，而智能手機(jī)的出現(xiàn)讓數(shù)十億人都能夠連接網(wǎng)絡(luò),。
相信終端側(cè)生成式AI的發(fā)展也是如此,，它將讓所有人都能充分利用生成式AI，改變工作,、娛樂和生活中的切身體驗(yàn),，變革各行各業(yè)。
