近日，搭載安謀科技最新一代“周易”NPU處理器的硬件平臺(tái)成功運(yùn)行DeepSeek-R1系列模型,，性能卓越,、成本優(yōu)異，為用戶帶來了更高效,、便捷的AI應(yīng)用體驗(yàn),。這款創(chuàng)新性NPU處理器采用專為大模型特性優(yōu)化的架構(gòu)設(shè)計(jì)，其beta版本在2024年底已面向早期用戶開放評(píng)估測(cè)試,，并獲得了廣泛認(rèn)可與積極反饋,。預(yù)計(jì)今年上半年，這款備受期待的NPU產(chǎn)品將正式亮相市場(chǎng),，屆時(shí)將為更多用戶帶來突破性的端側(cè)算力體驗(yàn),。
DeepSeek自發(fā)布以來，憑借其出色的性能表現(xiàn)和低成本訓(xùn)練模式,，迅速成為AI領(lǐng)域的焦點(diǎn),。在DeepSeek-R1的1.5B和7B蒸餾版本推出后，安謀科技新一代“周易”NPU處理器短時(shí)間內(nèi)在Emulation平臺(tái)上完成了部署與優(yōu)化,，并在FPGA平臺(tái)上成功實(shí)現(xiàn)了端到端應(yīng)用的演示,。
經(jīng)過嚴(yán)苛的測(cè)試驗(yàn)證，新一代“周易”NPU處理器在運(yùn)行DeepSeek-R1的1.5B和7B蒸餾版本時(shí)表現(xiàn)優(yōu)異,。在標(biāo)準(zhǔn)單批次輸入,、上下文長度為1024的測(cè)試環(huán)境中，其在首字計(jì)算階段的算力利用率突破40%,，解碼階段的有效帶寬利用率高達(dá)80%以上,。其帶寬利用率呈現(xiàn)高線性特性，能夠靈活適配16GB/s至256GB/s的系統(tǒng)帶寬需求,。在7B版本,、1024上下文長度的場(chǎng)景下，該處理器在充分保障模型應(yīng)用精度的同時(shí),，最高處理速度可達(dá)40 tokens/s,，并支持動(dòng)態(tài)長度的模型推理輸入。面對(duì)復(fù)雜AI任務(wù)時(shí),，“周易”NPU處理器憑借其卓越的計(jì)算性能,、高帶寬利用率和能效比，展現(xiàn)出顯著的技術(shù)優(yōu)勢(shì),，為終端設(shè)備的智能化升級(jí)提供了強(qiáng)勁“芯”動(dòng)力,。
新一代“周易”NPU處理器運(yùn)行DeepSeek-R1模型效果演示
新一代“周易”NPU處理器對(duì)DeepSeek等最新大模型的高效適配和調(diào)優(yōu)，得益于其軟件棧對(duì)大模型的成熟支持,。軟件棧提供高效的量化編譯工具,，能夠在顯著壓縮模型體積的同時(shí)，保持高性能推理能力,，并通過靈活的編譯選項(xiàng)滿足多樣化需求,。此外,，軟件棧針對(duì)大模型進(jìn)行了深度優(yōu)化，包括動(dòng)態(tài)推理優(yōu)化和硬件算力潛力的挖掘,，從而顯著提升推理速度和吞吐量,。目前，軟件棧已支持Llama,、Qwen,、DeepSeek、ChatGLM和MiniCPM等多種主流大模型,，并提供了與Hugging Face模型庫的對(duì)接工具鏈,，方便用戶直接部署主流模型。
在硬件層面,，新一代“周易”NPU處理器突破了傳統(tǒng)設(shè)計(jì)限制,，將對(duì)外帶寬提高至256GB/s，有效解決了大模型計(jì)算的帶寬瓶頸問題,。為滿足端側(cè)大模型對(duì)高精度的需求,，該NPU處理器全面支持FP16計(jì)算，并提供完整的int4軟硬量化加速方案,，確保模型高效穩(wěn)定運(yùn)行,。針對(duì)端側(cè)模型的低首字延遲需求，“周易”NPU處理器通過軟硬協(xié)同優(yōu)化,，實(shí)現(xiàn)了多核算力的高效擴(kuò)展,。在7nm制程工藝下，單Cluster算力最高可達(dá)80 TOPS,，能夠輕松應(yīng)對(duì)超過16K上下文長度的大模型部署需求,，同時(shí)滿足多模態(tài)場(chǎng)景及思維鏈計(jì)算的高算力要求。此外,，該NPU處理器還具備強(qiáng)大的多任務(wù)并行處理能力,，通過細(xì)粒度的任務(wù)調(diào)度和優(yōu)先級(jí)資源分配，實(shí)現(xiàn)多任務(wù)靈活切換,，確保傳統(tǒng)語音,、視覺業(yè)務(wù)與大模型應(yīng)用高效協(xié)同，為用戶帶來更加流暢的使用體驗(yàn),。
目前,，安謀科技正在積極拓展DeepSeek系列模型在端側(cè)加速卡的應(yīng)用場(chǎng)景，通過提升模型推理性能,，加速端側(cè)AI應(yīng)用的商業(yè)化落地進(jìn)程,。依托雄厚的技術(shù)積累、生態(tài)系統(tǒng)優(yōu)勢(shì)以及前瞻性布局，安謀科技將持續(xù)推動(dòng)AI大模型技術(shù)在PC,、手機(jī),、智能汽車、機(jī)器人,、可穿戴設(shè)備等多終端領(lǐng)域的深度應(yīng)用與創(chuàng)新，全面加速端側(cè)AI生態(tài)的構(gòu)建與完善,。