中國(guó) 2024年04月28日——人工智能芯片研發(fā)及基礎(chǔ)算力平臺(tái)公司愛(ài)芯元智宣布,，近日,，Meta,、Microsoft相繼發(fā)布具有里程碑意義的Llama 3系列和Phi-3系列模型,。為了進(jìn)一步給開(kāi)發(fā)者提供更多嘗鮮，愛(ài)芯元智的NPU工具鏈團(tuán)隊(duì)迅速響應(yīng),，已基于AX650N平臺(tái)完成 Llama 3 8B和Phi-3-mini模型適配,。

　　Llama 3

　　上周五，Meta發(fā)布了Meta Llama 3系列語(yǔ)言模型（LLM）,，具體包括一個(gè)8B模型和一個(gè)70B模型在測(cè)試基準(zhǔn)中,，Llama 3模型的表現(xiàn)相當(dāng)出色，在實(shí)用性和安全性評(píng)估中,，與那些市面上流行的閉源模型不相上下,。

　　在架構(gòu)層面，Llama 3選擇了標(biāo)準(zhǔn)的僅解碼（decoder-only）式Transformer架構(gòu),，采用包含128K token詞匯表的分詞器,。Llama 3使用了超過(guò)15T的公開(kāi)數(shù)據(jù)進(jìn)行訓(xùn)練，其中5%為非英文數(shù)據(jù),，涵蓋30多種語(yǔ)言,，訓(xùn)練數(shù)據(jù)量是前代Llama 2的七倍。

　　根據(jù)Meta的測(cè)試結(jié)果,，Llama 3 8B模型在MMLU,、GPQA、HumanEval等多項(xiàng)性能基準(zhǔn)上均超過(guò)了Gemma 7B和Mistral 7B Instruct,，70B模型則超越了名聲在外的閉源模型Claude 3的中間版本Sonnet,，和谷歌的Gemini Pro 1.5相比三勝兩負(fù)。

　　實(shí)際上板結(jié)果：目前AX650N已經(jīng)完成了Llama 3 8B Int8版本的適配,，若采用Int4量化,，每秒token數(shù)還能再翻一倍，能滿足正常的人機(jī)交流,。

　　Phi-3

　　Llama 3剛發(fā)布沒(méi)多久，競(jìng)爭(zhēng)對(duì)手就來(lái)了,，而且是可以在手機(jī)上運(yùn)行的小體量模型,。

　　本周二,，微軟發(fā)布了自研小尺寸模型Phi-3。盡管Phi-3-mini被優(yōu)化至可部署在手機(jī)上,，但它的性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美,。微軟表示，該創(chuàng)新主要在于用了質(zhì)量更好的訓(xùn)練數(shù)據(jù)集,。

　　實(shí)際上板結(jié)果：目前AX650N已經(jīng)完成了Phi-3-mini Int8版本的適配,，已能滿足正常的人機(jī)交流。

　　其他成果

　　AX650N能第一時(shí)間完成Llama 3和Phi-3的適配,，源于今年以來(lái)相關(guān)團(tuán)隊(duì)悄悄完成了現(xiàn)有NPU工具鏈針對(duì)大語(yǔ)言模型的支持和調(diào)優(yōu),。目前除了Llama 3之外，已經(jīng)完成了Llama 2,、TinyLlama,、Phi-2、Qwen1.5,、ChatGLM3等國(guó)內(nèi)外主流的開(kāi)源大語(yǔ)言模型適配,。

　　后續(xù)計(jì)劃

　　今年是AIPC的元年，愛(ài)芯元智將針對(duì)AIPC的常見(jiàn)應(yīng)用提供更多的解決方案,。充分發(fā)揮愛(ài)芯通元NPU高能效比的技術(shù)優(yōu)勢(shì),，讓各種有趣的大模型實(shí)現(xiàn)高性價(jià)本地化部署，做到“人人都用得起大模型”,，深入實(shí)踐“普惠AI,，造就美好生活”。

更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<