近來,，ChatGPT成為社會(huì)各界關(guān)注的焦點(diǎn),。從技術(shù)領(lǐng)域看,，ChatGPT的爆發(fā)是深度學(xué)習(xí)領(lǐng)域演進(jìn),、發(fā)展和突破的結(jié)果,，其背后代表著Transformer結(jié)構(gòu)下的大模型技術(shù)的飛速進(jìn)展,。因此,，如何在端側(cè),、邊緣側(cè)高效部署Transformer也成為用戶選擇平臺(tái)的核心考量。
2023年3月,，愛芯元智推出了第三代高算力,、高能效比的SoC芯片--AX650N，依托其在高性能,、高精度,、易部署、低功耗等方面的優(yōu)異表現(xiàn),，AX650N受到越來越多有大模型部署需求用戶的青睞,，并且先人一步成為Transformer端側(cè)、邊緣側(cè)落地平臺(tái),。
Transformer是當(dāng)前各種大模型所采用的主要結(jié)構(gòu),，而ChatGPT的火爆讓人們逐漸意識(shí)到人工智能有著更高的上限，并可以在計(jì)算機(jī)視覺領(lǐng)域發(fā)揮出巨大潛能,。相比于在云端用GPU部署Transformer大模型,，在邊緣側(cè)、端側(cè)部署Transformer最大的挑戰(zhàn)則來自功耗,，這也使得愛芯元智兼具高性能和低功耗特質(zhì)的混合精度NPU,，成為端側(cè)和邊緣側(cè)部署Transformer的首選平臺(tái)，而其優(yōu)越性能則決定了Transformer的運(yùn)行效果,。
作為人工智能視覺感知芯片研發(fā)及基礎(chǔ)算力平臺(tái)公司,，愛芯元智始終致力于讓更多的實(shí)際應(yīng)用落地。目前大眾普遍采用的Transformer網(wǎng)絡(luò)SwinT,，在愛芯元智AX650N平臺(tái)表現(xiàn)出色：361 FPS的高性能,、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的極易部署能力,，都讓AX650N在Transformer的落地中有著領(lǐng)先的優(yōu)勢地位,。
具體來看，361幀的高性能,，可媲美汽車自動(dòng)駕駛領(lǐng)域基于GPU的高端域控SoC,；而80.45%的高精度成績同樣高于市面平均水平；199 FPS/W的速度則充分體現(xiàn)出低功耗的特點(diǎn),，對(duì)比于目前基于GPU的高端域控SoC,，有著數(shù)倍的優(yōu)勢；更為重要的，AX650N部署方便,，GitHub上的原版模型可以在愛芯元智的平臺(tái)上高效運(yùn)行,，不需要對(duì)模型做修改，亦無需QAT重新訓(xùn)練,。與此同時(shí),，AX650N支持低比特混合精度，用戶如果采用INT4,，可以極大地減少內(nèi)存和帶寬占用率,，達(dá)到有效控制端側(cè)、邊緣側(cè)部署成本的目的,。這些特性都保證了AX650N作為人工智能算力平臺(tái),，最終落地效果更好用、更易用,，且大幅提升了用戶效率,。
目前，AX650N已適配包括ViT/DeiT,、Swin/SwinV2,、DETR在內(nèi)的Transformer模型，在DINOv2也已達(dá)到30幀以上的運(yùn)行結(jié)果,，這也更便于用戶在下游進(jìn)行檢測,、分類、分割等操作,?；贏X650N的產(chǎn)品目前已在智慧城市、智慧教育,、智能制造等計(jì)算機(jī)視覺核心領(lǐng)域發(fā)揮出重要作用,。
接下來，愛芯元智AX650N將會(huì)針對(duì)Transformer結(jié)構(gòu)進(jìn)行持續(xù)優(yōu)化,，并且探索更多的Transformer大模型,，例如多模態(tài)大模型，不斷讓Transformer在愛芯元智平臺(tái)上得到更好的落地效果,。值得一提的是,，愛芯元智還將推出相應(yīng)開發(fā)板，滿足開發(fā)者對(duì)Transformer深度研究的需求,，探尋更豐富的產(chǎn)品應(yīng)用,。
“愛芯元智將繼續(xù)努力打造基于芯片+軟件的端側(cè)、邊緣側(cè)人工智能算力平臺(tái),，讓智能落實(shí)到生活的真實(shí)場景,，最終實(shí)現(xiàn)普惠AI造就美好生活的企業(yè)愿景”，愛芯元智創(chuàng)始人、CEO仇肖莘女士表示,。未來,，愛芯元智將在成為人工智能算力平臺(tái)型公司的道路上繼續(xù)探索，加速基于Transformer的大模型在端側(cè),、邊緣側(cè)落地的節(jié)奏,，讓普惠智能真正落地生根，開花結(jié)果,。
更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<
