中國 2024年04月28日——人工智能芯片研發(fā)及基礎算力平臺公司愛芯元智宣布,，近日，Meta,、Microsoft相繼發(fā)布具有里程碑意義的Llama 3系列和Phi-3系列模型,。為了進一步給開發(fā)者提供更多嘗鮮,，愛芯元智的NPU工具鏈團隊迅速響應，已基于AX650N平臺完成 Llama 3 8B和Phi-3-mini模型適配,。

　　Llama 3

　　上周五,，Meta發(fā)布了Meta Llama 3系列語言模型（LLM），具體包括一個8B模型和一個70B模型在測試基準中,，Llama 3模型的表現(xiàn)相當出色,，在實用性和安全性評估中，與那些市面上流行的閉源模型不相上下,。

　　在架構層面,，Llama 3選擇了標準的僅解碼（decoder-only）式Transformer架構，采用包含128K token詞匯表的分詞器,。Llama 3使用了超過15T的公開數(shù)據(jù)進行訓練,，其中5%為非英文數(shù)據(jù)，涵蓋30多種語言,，訓練數(shù)據(jù)量是前代Llama 2的七倍,。

　　根據(jù)Meta的測試結果，Llama 3 8B模型在MMLU,、GPQA,、HumanEval等多項性能基準上均超過了Gemma 7B和Mistral 7B Instruct，70B模型則超越了名聲在外的閉源模型Claude 3的中間版本Sonnet,，和谷歌的Gemini Pro 1.5相比三勝兩負,。

　　實際上板結果：目前AX650N已經(jīng)完成了Llama 3 8B Int8版本的適配，若采用Int4量化,，每秒token數(shù)還能再翻一倍,，能滿足正常的人機交流。

　　Phi-3

　　Llama 3剛發(fā)布沒多久,，競爭對手就來了,，而且是可以在手機上運行的小體量模型。

　　本周二,，微軟發(fā)布了自研小尺寸模型Phi-3,。盡管Phi-3-mini被優(yōu)化至可部署在手機上，但它的性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美,。微軟表示,，該創(chuàng)新主要在于用了質(zhì)量更好的訓練數(shù)據(jù)集。

　　實際上板結果：目前AX650N已經(jīng)完成了Phi-3-mini Int8版本的適配,，已能滿足正常的人機交流,。

　　其他成果

　　AX650N能第一時間完成Llama 3和Phi-3的適配，源于今年以來相關團隊悄悄完成了現(xiàn)有NPU工具鏈針對大語言模型的支持和調(diào)優(yōu)。目前除了Llama 3之外,，已經(jīng)完成了Llama 2,、TinyLlama、Phi-2,、Qwen1.5,、ChatGLM3等國內(nèi)外主流的開源大語言模型適配。

　　后續(xù)計劃

　　今年是AIPC的元年,，愛芯元智將針對AIPC的常見應用提供更多的解決方案,。充分發(fā)揮愛芯通元NPU高能效比的技術優(yōu)勢，讓各種有趣的大模型實現(xiàn)高性價本地化部署,，做到“人人都用得起大模型”,，深入實踐“普惠AI，造就美好生活”,。

更多精彩內(nèi)容歡迎點擊==>>電子技術應用-AET<<