《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動(dòng)態(tài) > 聯(lián)發(fā)科天璣AI開發(fā)套件:加速生成式AI大模型終端部署

聯(lián)發(fā)科天璣AI開發(fā)套件:加速生成式AI大模型終端部署

2024-05-07
來源:聯(lián)發(fā)科技

近日,,主題為“AI予萬物”的聯(lián)發(fā)科天璣開發(fā)者大會(huì)2024(MDDC)在深圳成功舉辦,。眾多移動(dòng)生態(tài)領(lǐng)域的領(lǐng)先廠商與開發(fā)者匯聚一堂,,共同探討端側(cè)生成式AI技術(shù)及生成式AI手機(jī)的未來發(fā)展,,并分享了天璣AI生態(tài)戰(zhàn)略與終端生成式AI應(yīng)用開發(fā)一站式解決方案——“天璣AI開發(fā)套件”。此外,,聯(lián)發(fā)科攜手業(yè)界生態(tài)伙伴共同發(fā)布《生成式AI手機(jī)產(chǎn)業(yè)白皮書》,,并針對全球開發(fā)者推出“天璣AI先鋒計(jì)劃”。這一舉措既為生成式AI手機(jī)的定義與發(fā)展提供了新的思考與期待,,也整合了產(chǎn)業(yè)各方資源,,為全球開發(fā)者提供優(yōu)質(zhì)平臺(tái)與資源,助力全場景生成式AI應(yīng)用的普及與發(fā)展,。

1.jpg

當(dāng)前生成式AI應(yīng)用的體驗(yàn)升級(jí)已成為行業(yè)和用戶的共同期待,,智能終端是生成式AI普及的關(guān)鍵載體。智能手機(jī)憑借移動(dòng)便攜性,、個(gè)人專屬化,、多模態(tài)感知以及強(qiáng)勁的AI算力和通信功能,毫無疑問將成為端側(cè)生成式AI應(yīng)用落地的最佳選擇,。伴隨生成式AI與智能手機(jī)融合加速,,智能手機(jī)迎來了繼觸控屏幕之后的又一個(gè)革新機(jī)遇,在聯(lián)發(fā)科等行業(yè)先行者的推動(dòng)下,,屬于“生成式AI手機(jī)”的時(shí)代已經(jīng)到來,。


天璣AI先鋒計(jì)劃啟動(dòng),助力開發(fā)者打造創(chuàng)新用戶體驗(yàn)

目前,,由于生成式AI模型積累不足,、硬件多樣移植難度大、開發(fā)界面不統(tǒng)一等問題,,生成式AI普及仍面臨由點(diǎn)向面發(fā)展的巨大挑戰(zhàn),。為促進(jìn)產(chǎn)業(yè)共創(chuàng)實(shí)現(xiàn)生態(tài)共贏,聯(lián)發(fā)科在天璣開發(fā)者大會(huì)上聯(lián)合阿里云,、百川智能,、傳音,、零一萬物、OPPO,、榮耀,、vivo、小米面向全球開發(fā)者啟動(dòng)“天璣AI先鋒計(jì)劃”,,提供基于模型化,、算力化和軟硬件等方面的開發(fā)資源和支持,并提供廣泛的商業(yè)機(jī)遇,。通過天璣AI先鋒計(jì)劃,,開發(fā)者可以充分發(fā)揮天璣移動(dòng)平臺(tái)的優(yōu)勢,加速端側(cè)生成式AI應(yīng)用的開發(fā)與落地,,為用戶打造獨(dú)具創(chuàng)新的AI體驗(yàn),。

2.jpg


為實(shí)現(xiàn)這一長期計(jì)劃和全場景生成式AI愿景,聯(lián)發(fā)科在大會(huì)上提出了天璣生態(tài)戰(zhàn)略,,從芯片,、模型、應(yīng)用三個(gè)層面,,聯(lián)合產(chǎn)業(yè)伙伴和開發(fā)者共同探索端側(cè)AI技術(shù)路線,,推進(jìn)顛覆性的端側(cè)AI應(yīng)用和服務(wù)創(chuàng)新。


聯(lián)合產(chǎn)業(yè)伙伴發(fā)布《生成式AI手機(jī)產(chǎn)業(yè)白皮書》,,共同定義“生成式AI手機(jī)”

在天璣開發(fā)者大會(huì)上,,聯(lián)發(fā)科聯(lián)合Counterpoint并攜手阿里云通義千問、百川大模型,、虎牙,、酷狗音樂、零一萬物,、OPPO,、Soul、騰訊AI Lab,、騰訊混元、vivo行業(yè)頭部伙伴聯(lián)合發(fā)布《生成式AI手機(jī)產(chǎn)業(yè)白皮書》,,共同定義了“生成式AI手機(jī)”的概念和典型特征,。《白皮書》提到:生成式AI手機(jī)是利用大規(guī)模,、預(yù)訓(xùn)練的生成式AI模型,,實(shí)現(xiàn)多模態(tài)內(nèi)容生成、情境感知,,并具備不斷增強(qiáng)的類人能力,。生成式AI手機(jī)開啟了智能手機(jī)發(fā)展的新周期,,長遠(yuǎn)看,智能手機(jī)將會(huì)發(fā)展為移動(dòng)智能體,。

3.jpg

4.jpg

同時(shí),,《白皮書》這樣定義了生成式AI手機(jī)的典型特征:在未來,生成式AI手機(jī)將具備強(qiáng)大的AI算力,,支持大模型的本地部署,,或是通過云端協(xié)同的方式執(zhí)行復(fù)雜的生成式AI任務(wù),無需完全依賴云端服務(wù)器,。同時(shí)將具備多模態(tài)能力,,處理文本、圖像,、語音等多種形式的內(nèi)容輸入,,以生成各種形式的輸出,確保流暢,、無縫的用戶體驗(yàn),,設(shè)備能夠以自然而直觀的交互方式,快速響應(yīng)用戶的請求,。而為了實(shí)現(xiàn)這一目標(biāo),,生成式AI手機(jī)將需要強(qiáng)大的硬件支持,包括但不限于基于領(lǐng)先工藝和先進(jìn)架構(gòu)設(shè)計(jì)的移動(dòng)計(jì)算平臺(tái),,集成或者獨(dú)立的神經(jīng)網(wǎng)絡(luò)運(yùn)算單元(如APU/NPU/TPU),,大容量和高帶寬的內(nèi)存,以及穩(wěn)定和高速的連接,,硬件級(jí)和系統(tǒng)級(jí)的安全防御,。

5.jpg

從《白皮書》中可以預(yù)見,未來的手機(jī)將成為一個(gè)能夠理解并預(yù)測用戶需求,、提供創(chuàng)造性解決方案的智能伙伴,,搭載多個(gè)AI智能體的生成式AI手機(jī)將成為用戶訪問數(shù)字生態(tài)的超級(jí)入口,端側(cè)的AI應(yīng)用將進(jìn)入人們?nèi)粘I畹馁徫?、旅游,、游戲等場景,扮演購物達(dá)人,、私人顧問,、互動(dòng)NPC等專屬角色,實(shí)現(xiàn)用戶體驗(yàn)的優(yōu)化與飛躍,。


天璣AI開發(fā)套件,,為廣大開發(fā)者提供“快、全,、強(qiáng),、易”的專業(yè)開發(fā)體驗(yàn)

很多開發(fā)者都面臨著終端生成式AI應(yīng)用開發(fā)起步期的多元挑戰(zhàn),,聯(lián)發(fā)科不僅研發(fā)出領(lǐng)先的天璣芯片,更重要的是,,幫助開發(fā)者在搭載天璣芯片的終端上打造出更具創(chuàng)新性的生成式AI用戶體驗(yàn),,從而推動(dòng)整個(gè)AI新生態(tài)的繁榮與發(fā)展。會(huì)上,,聯(lián)發(fā)科隆重推出了“天璣AI開發(fā)套件”,,為廣大開發(fā)者提供終端生成式AI應(yīng)用開發(fā)的一站式解決方案。天璣AI開發(fā)套件包含四大模塊,,包括快速高效的GenAI最佳實(shí)踐,、覆蓋全球主流大模型的GenAI Model Hub、高效提升性能的GenAI優(yōu)化技術(shù)和Neuron Studio一站式視覺化開發(fā)環(huán)境等四大模塊,,為廣大開發(fā)者提供“快,、全、強(qiáng),、易”的專業(yè)開發(fā)體驗(yàn),,賦能終端生成式AI應(yīng)用開發(fā)全流程。

6.jpg

其中,,GenAI 最佳實(shí)踐,,它可以提升大模型的終端部署速度,從原先的數(shù)周加速到一天即可完成部署,。在模型的量化,、編譯、推理方面,,為開發(fā)者提供先進(jìn)的INT4量化技術(shù),、內(nèi)存壓縮技術(shù)、Token加速技術(shù),、最優(yōu)緩存配置,,還可以開放端側(cè)部署源碼。讓開發(fā)者在與時(shí)間賽跑的創(chuàng)新競賽中,,搶得先機(jī),,更好地把握創(chuàng)新機(jī)遇。

7.jpg

全面的GenAI Model Hub ,,是聯(lián)發(fā)科為開發(fā)者打造的模型庫,,目前已適配包括:Meta Llama、百川大模型,、阿里云通義千問在內(nèi)的全球主流大模型。開發(fā)者可以輕松獲取并使用這些不斷新增的大模型,,進(jìn)而大幅降低模型部署的難度和復(fù)雜性,。

8.jpg

強(qiáng)大的GenAI優(yōu)化技術(shù),,是生成式AI應(yīng)用體驗(yàn)的關(guān)鍵。目前已導(dǎo)入了多項(xiàng)業(yè)界最新,、最快的軟件優(yōu)化技術(shù),,包括“推測解碼加速”和“LoRA Fusion”等等,可顯著提升AI應(yīng)用的生成速度,,功能包所占用的存儲(chǔ)空間也可以大幅減少,。

9.jpg

易用的Neuron Studio 集成開發(fā)環(huán)境,跳出傳統(tǒng)的代碼開發(fā)環(huán)境,,可為開發(fā)者提供高度集成的,,一站式、可視化開發(fā)環(huán)境 ,,帶來“所見即所得”般更易用的開發(fā)體驗(yàn),,讓開發(fā)過程變得更加直觀、易用,。

10.jpg

目前天璣AI開發(fā)套件,,已覆蓋包括智能手機(jī)、智能汽車,、物聯(lián)網(wǎng),、個(gè)人電腦等智能終端設(shè)備,推動(dòng)這些領(lǐng)域的AI應(yīng)用快速創(chuàng)新和落地,。

從應(yīng)用落地成果來看,,聯(lián)發(fā)科憑借其優(yōu)秀的AI平臺(tái)能力,已攜手阿里云通義千問,、Cocos,、Honor of Kings、虎牙直播,、酷狗音樂,、美圖、全民K歌,、RWKV,、Soul、騰訊AI Lab,、小紅書等數(shù)十家生態(tài)伙伴共創(chuàng)體驗(yàn)更精彩的生成式AI應(yīng)用,。

11.jpg


天璣9300+全大核旗艦亮相,AI芯更強(qiáng)

本屆MDDC2024上,,聯(lián)發(fā)科還重磅發(fā)布旗艦5G生成式AI移動(dòng)平臺(tái)天璣9300+,,以先進(jìn)架構(gòu)和強(qiáng)勁算力為生成式AI手機(jī)提供硬件支持。天璣9300+率先支持AI推測解碼加速技術(shù),同時(shí)支持天璣AI LoRA Fusion 2.0技術(shù),,為用戶帶來高速和個(gè)性化的生成式AI體驗(yàn),。天璣9300+還支持AI框架ExecuTorch,可加速端側(cè)生成式AI應(yīng)用的開發(fā)進(jìn)程,。此外,,這款旗艦芯支持多種前沿主流AI大模型,包括阿里云通義千問大模型,、百川大模型,、文心大模型、谷歌Gemini Nano,、零一萬物終端大模型,、Meta Llama 2 & Llama 3等。用一句話概括天璣9300+就是,,不僅擁有卓越的全大核性能和低功耗設(shè)計(jì),,還具備多項(xiàng)業(yè)界領(lǐng)先的生成式AI技術(shù),以及聯(lián)發(fā)科與生態(tài)伙伴共創(chuàng)的優(yōu)質(zhì)游戲體驗(yàn),,無疑是當(dāng)下生成式AI手機(jī)的最優(yōu)選擇,。

12.jpg

顯然,聯(lián)發(fā)科的天璣生態(tài)戰(zhàn)略凸顯出卓越的前瞻性,、技術(shù)領(lǐng)先地位以及顯著的產(chǎn)品優(yōu)勢,。通過參與天璣開發(fā)者大會(huì),聯(lián)發(fā)科從生成式AI產(chǎn)業(yè)的先驅(qū)及參與者,,躍升為該領(lǐng)域發(fā)展的引領(lǐng)者,。全方位推動(dòng)生成式AI在終端側(cè)的廣泛普及和持續(xù)發(fā)展,攜手產(chǎn)業(yè)合作伙伴共同開創(chuàng)生成式AI的新生態(tài),。

訂閱網(wǎng)站文章尾圖1.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問題,,請及時(shí)通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected],。