《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計 > 業(yè)界動態(tài) > 隨著數(shù)據(jù)規(guī)模的指數(shù)級增長,,大模型已經(jīng)逐漸成深度學(xué)習(xí)認(rèn)知智能的橋梁

隨著數(shù)據(jù)規(guī)模的指數(shù)級增長,,大模型已經(jīng)逐漸成深度學(xué)習(xí)認(rèn)知智能的橋梁

2022-09-15
來源:潛力變實力

算法、算力和數(shù)據(jù)是人工智能三大核心要素,,也是人工智能的三大基石,。AI 算法持續(xù)突破創(chuàng)新,,模型復(fù)雜度指數(shù)級提升的同時,準(zhǔn)確率和效率也在不斷提高,,在各個細(xì)分領(lǐng)域應(yīng)用加速落地,。隨著芯片處理能力提升、硬件價格下降,、神經(jīng)網(wǎng)絡(luò)模型優(yōu)化,,AI 算力也在大幅提升。與此同時,,AI 產(chǎn)業(yè)級應(yīng)用已經(jīng)進入大數(shù)據(jù),、大模型時代。

當(dāng)前,,全球主流 AI 框架和模型的技術(shù)演進及創(chuàng)新進展如何?如何提升算法模型的準(zhǔn)確率和效率?如何將 AI 框架和模型應(yīng)用于實際場景中,,實現(xiàn)產(chǎn)業(yè)創(chuàng)新?在 AICON 2022 “AI 框架與模型” 分論壇上,眾多 AI 領(lǐng)域?qū)<覍⒐餐接戇@些問題,。

AICON 2022 由 LF AI & DATA 基金會主辦,,將于 9 月 8 日在杭州舉行。大會由一個主論壇以及 “AI 框架與模型”“AI + 數(shù)據(jù)”“AI 工程化”“昇思生態(tài)論壇” 四個分論壇組成,,聚焦 AI 前沿技術(shù),、產(chǎn)業(yè)化和商業(yè)化的動態(tài)。

屆時,,來自全球的人工智能領(lǐng)域頂尖科學(xué)家,、行業(yè)專家及著名企業(yè)家將齊聚一堂,重點關(guān)注人工智能技術(shù)領(lǐng)域的行業(yè)變革與技術(shù)創(chuàng)新,,共同圍繞核心技術(shù),、行業(yè)落地、產(chǎn)業(yè)賦能,、發(fā)展要素,、治理機制等熱門話題進行深入探討和交流,分享全球人工智能行業(yè)新趨勢,、新動向,,探索人工智能發(fā)展新模式新路徑。

近年來,,大模型已經(jīng)成為整個 AI (人工智能)產(chǎn)學(xué)界追逐的技術(shù)“寵兒”,,“煉大模型”如火如荼,包括OpenAI、Google,、微軟,、英偉達(dá)、百度,、華為,、阿里巴巴等企業(yè)巨頭紛紛參與其中,各式各樣參數(shù)不一,、任務(wù)導(dǎo)向不同的“大模型”也陸續(xù)面市,。一時間,“煉大模型”成為了當(dāng)下AI產(chǎn)業(yè)發(fā)展的一個主旋律,。

方融科技高級工程師,、科技部國家科技專家周迪在接受《中國經(jīng)營報》記者采訪時表示,Al大模型歷經(jīng)了前幾年的探索期,、突破期,,部分技術(shù)已經(jīng)逐漸成熟,現(xiàn)在在一定程度上達(dá)到推廣期了,。各大企業(yè)紛紛發(fā)布AI大模型,,就是搶抓這個時間節(jié)點,在這方面先取得入場門票,。大模型具有效果好,、泛化性強、研發(fā)流程標(biāo)準(zhǔn)化程度高等特點,,正在成為人工智能技術(shù)及應(yīng)用的新基座,。

據(jù)中國信息通信研究院測算,2021年,,算力核心產(chǎn)業(yè)規(guī)模超過1.5萬億元,,關(guān)聯(lián)產(chǎn)業(yè)規(guī)模超過8萬億元。其中,,云計算市場規(guī)模超過3000億元,,IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)服務(wù)市場規(guī)模超過1500億元,人工智能核心產(chǎn)業(yè)規(guī)模超過4000億元,。

在過去,,絕大部分人工智能企業(yè)和研究機構(gòu)遵循算法、算力和數(shù)據(jù)三位一體的研究范式,,即以一定的算力和數(shù)據(jù)為基礎(chǔ),,使用開源算法框架訓(xùn)練智能模型。而這也導(dǎo)致了當(dāng)前大部分人工智能處于“手工作坊式”階段,,面對各類行業(yè)的下游應(yīng)用,,AI 逐漸展現(xiàn)出碎片化,、多樣化的特點,,也出現(xiàn)了模型通用性不高的缺陷,。這不僅是AI技術(shù)面臨的挑戰(zhàn),也限制了AI的產(chǎn)業(yè)化進程,。

“從各類電商平臺的智能推薦到日常生活中的刷臉支付,,現(xiàn)在我們生活的方方面面都離不開AI。為了滿足這些需求,,我們需要為每種特定場景收集大量的數(shù)據(jù),,再從中設(shè)計出專用于特定任務(wù)的模型,”周迪對記者說道,,“AI大模型希望做到的就是能夠基于這個模型整合各類需求,,從而適應(yīng)多種差異化的業(yè)務(wù)場景,解決AI在賦能千行百業(yè)中面臨的碎片化,、多樣化問題,。”

AI大模型提供了一種通用化的解決方案,,通過“預(yù)訓(xùn)練大模型+下游任務(wù)微調(diào)”的方式,,可以有效地從大量標(biāo)記和未標(biāo)記的數(shù)據(jù)中捕獲知識,極大地擴展了模型的泛化能力,。

華為昇騰計算業(yè)務(wù)總裁張迪煊對記者表示,,過去在一個單一的AI應(yīng)用場景里面,其實是由很多模型組成的,,通過多模型支撐一個場景來完成多個任務(wù),。而大模型是AI發(fā)展的趨勢,也就是通過大模型能解決人工智能很多的問題,,因為大模型具備很好的泛化性,,可以通過大模型實現(xiàn)多個任務(wù),原來場景需要多個小模型,,現(xiàn)在大模型可以服務(wù)多個場景,,這是生產(chǎn)效率的提升。現(xiàn)在國家相關(guān)部門也在牽頭制定大模型的沙盤,,避免科研機構(gòu),、企業(yè)重復(fù)研發(fā),通過各個領(lǐng)域的大模型與行業(yè)場景結(jié)合,,可以更好地加速人工智能技術(shù)產(chǎn)業(yè)落地,。

阿里巴巴資深副總裁、達(dá)摩院副院長周靖人則認(rèn)為:“大模型模仿了人類構(gòu)建認(rèn)知的過程,,這是當(dāng)下我們面臨的重要機遇,。通過融合AI在語言,、語音、視覺等不同模態(tài)和領(lǐng)域的知識體系,,我們期望多模態(tài)大模型能成為下一代人工智能算法的基石,,讓AI從只能使用‘單一感官’到‘五官全開’,且能調(diào)用儲備豐富知識的大腦來理解世界和進行思考,,最終實現(xiàn)接近人類水平的認(rèn)知智能,。”

從2020年開始,,國際最頂尖的AI技術(shù)發(fā)展,,愈來愈像一場比拼資金與人才的軍備競賽。

2020年,,OpenAI發(fā)布NLP預(yù)訓(xùn)練模型GPT-3,,光論文就有72頁,作者多達(dá)31人,,該模型參數(shù)1750億,,耗資1200萬美元;

2021年1月,谷歌發(fā)布首個萬億級模型Switch Transformer,,宣布突破了GPT-3參數(shù)記錄;

4月,,華為盤古大模型參數(shù)規(guī)模達(dá)到千億級別,定位于中文語言預(yù)訓(xùn)練模型;

11月,,微軟和英偉達(dá)在燒壞了4480塊CPU后,,完成了5300億參數(shù)的自然語言生成模型(MT-NLG),一舉拿下單體Transformer語言模型界“最大”和“最強”兩個稱號;

今年1月,,Meta宣布要與英偉達(dá)打造AI超級計算機RSC,,RSC每秒運算可達(dá)50億次,算力可以排到全球前四的水平,。

除此之外,,阿里、浪潮,、北京智源研究院等,,均發(fā)布了最新產(chǎn)品,平均參數(shù)過百億,。

看起來,,這些預(yù)訓(xùn)練模型的參數(shù)規(guī)模沒有最大,只有更大,,且正以遠(yuǎn)超摩爾定律的速度增長,。其在對話、語義識別方面的表現(xiàn),,一次次刷新人們的認(rèn)知,。

這一年,,由OpenAI公司開發(fā)的GPT-3橫空出世,獲得了“互聯(lián)網(wǎng)原子彈”,,“人工智能界的卡麗熙”,,“算力吞噬者”,“下崗工人制造機”,,“幼年期的天網(wǎng)”等一系列外號,。它的驚艷表現(xiàn)包括但不限于:

有開發(fā)者給GPT-3 做了圖靈測試,發(fā)現(xiàn)GPT-3對答如流,,正常得不像個機器?!叭绻谑昵坝猛瑯拥膯栴}做測試,,我會認(rèn)為答題者一定是人。現(xiàn)在,,我們不能再以為AI回答不了常識性的問題了,。”

深度學(xué)習(xí)發(fā)展至今,,語言,、視覺、推薦,、代碼生成等多個領(lǐng)域相繼出現(xiàn)一些“大模型”成果,,不斷刷新著人們對 AI 的認(rèn)知與想象。深度學(xué)習(xí)依賴對大量數(shù)據(jù)的訓(xùn)練,,而“大模型”的參數(shù)更多,、函數(shù)更復(fù)雜,這樣的特征使得模型所演算出來的結(jié)果更精準(zhǔn),。隨著萬物互聯(lián)世界的進一步發(fā)展,,數(shù)據(jù)量的擴展與數(shù)據(jù)收集已不再是難題,隨之而來的新命題是如何處理海量數(shù)據(jù),,并且做出更好地訓(xùn)練,。

早在 2017 年,Transformer 結(jié)構(gòu)被提出,,使得深度學(xué)習(xí)模型參數(shù)突破了1億;2018 年,,BERT 網(wǎng)絡(luò)模型的提出,使得參數(shù)量首次超過 3 億規(guī)模;2020 年,,擁有 1750 億個參數(shù)的 GPT-3 橫空出世;2021 年推出的 ZionEX 系統(tǒng),,其所支持的推薦模型大小已超過 10 萬億規(guī)模……

隨著數(shù)據(jù)規(guī)模的指數(shù)級增長,,大模型已經(jīng)逐漸被認(rèn)為是通過深度學(xué)習(xí)認(rèn)知智能的橋梁,。

然而,,數(shù)據(jù)量的暴增提出了新的命題——如何跨越通信等瓶頸,提升大模型的訓(xùn)練效率?為了支持大模型的訓(xùn)練,,往往需要一套大規(guī)模分布式訓(xùn)練框架來訓(xùn)練大模型,。

對此,華為交出的答卷便是昇思 MindSpore AI 框架,,原生支持大模型訓(xùn)練,。昇思 MindSpore 擁有業(yè)界領(lǐng)先的全自動并行能力,提供 6 維混合并行算法,,即數(shù)據(jù)并行,、模型并行、流水并行,、優(yōu)化器并行等能力;極致的全局內(nèi)存復(fù)用能力,,在開發(fā)者無感知的情況下,自動實現(xiàn) NPU 內(nèi)存 / CPU 內(nèi)存 / NVMe 硬盤存儲的多級存儲優(yōu)化,,極大降低模型訓(xùn)練成本;極簡的斷點續(xù)訓(xùn)能力,,可解決大集群訓(xùn)練故障導(dǎo)致的任務(wù)中斷問題……通過這些特性,可以很好地解決大模型開發(fā)時遇到的內(nèi)存占用,、通信瓶頸,、調(diào)試復(fù)雜、部署難等問題,。

近年來,,大模型表現(xiàn)出前所未有的理解與創(chuàng)造能力,且打破了傳統(tǒng)AI(人工智能)只能處理單一任務(wù)的限制,,讓人類離通用人工智能的目標(biāo)近了一步,。但大模型仍存在許多技術(shù)難點,同時受算力資源限制,,其訓(xùn)練與落地應(yīng)用頗具挑戰(zhàn),。

據(jù)周靖人介紹,為了讓大模型更加“融會貫通”,,達(dá)摩院在中國國內(nèi)率先構(gòu)建了AI統(tǒng)一底座,,在業(yè)界首次實現(xiàn)模態(tài)表示、任務(wù)表示,、模型結(jié)構(gòu)的統(tǒng)一,。

在不引入新增結(jié)構(gòu)的情況下,通義統(tǒng)一底座中M6-OFA模型,,可同時處理圖像描述,、視覺定位、文生圖,、視覺蘊含,、文檔摘要等10余項單模態(tài)和跨模態(tài)任務(wù),,且效果達(dá)到國際領(lǐng)先水平。

“大模型模仿了人類構(gòu)建認(rèn)知的過程,,這是當(dāng)下我們面臨的重要機遇,。通過融合AI在語言、語音,、視覺等不同模態(tài)和領(lǐng)域的知識體系,,我們期望多模態(tài)大模型能成為下一代人工智能算法的基石,讓AI從只能使用‘單一感官’到‘五官全開’,,且能調(diào)用儲備豐富知識的大腦來理解世界和思考,,最終實現(xiàn)接近人類水平的認(rèn)知智能?!敝芫溉吮硎?。

同時,達(dá)摩院構(gòu)建了層次化的模型體系,,其中通用模型層覆蓋自然語言處理、多模態(tài),、計算機視覺,,專業(yè)模型層深入電商、醫(yī)療,、法律,、金融、娛樂等行業(yè),。

通過部署超大模型及輕量化版本,,阿里巴巴“”通義”大模型系列已在超過200個場景中提供服務(wù),實現(xiàn)了2%-10%的應(yīng)用效果提升,。典型使用場景包括電商跨模態(tài)搜索,、AI輔助設(shè)計、開放域人機對話,、法律文書學(xué)習(xí),、醫(yī)療文本理解等。



更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。