《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > 華為云中文預(yù)訓(xùn)練模型發(fā)布:全球最大,、千億參數(shù),逼近人類神經(jīng)元

華為云中文預(yù)訓(xùn)練模型發(fā)布:全球最大,、千億參數(shù),,逼近人類神經(jīng)元

2021-04-28
來源:量子位
關(guān)鍵詞: 余承東 華為云 開發(fā)者 AI

  還是熟悉的華為開發(fā)者大會 (HDC),還是熟悉的余承東,。

  也還是一貫地擅長宣布“世界第一”:

  業(yè)界首個千億級生成與理解中文NLP大模型,。

  業(yè)界最大的CV大模型。

forward (15).jpg

  這就是余承東剛剛發(fā)布的大模型,,名曰華為云盤古大模型,。

  要知道,,千億級的參數(shù)規(guī)模,可是已經(jīng)逼近人類神經(jīng)元的數(shù)量了,!

  余承東激動地介紹道,,“這是今天最重磅的產(chǎn)品”!

 ?。S即,,現(xiàn)場掌聲如雷)

  這屆華為開發(fā)者大會在熟悉之余,也有所不同:

  ? 不一樣的身份:這一次,,余承東新增了一個身份,,華為云CEO。

  ? 不再“硬”的產(chǎn)品:這一次,,沒有手機(jī),、電腦和芯片,而是偏“軟”的開發(fā)者產(chǎn)品,。

  余承東在現(xiàn)場也表示:

  云是ICT產(chǎn)業(yè)的未來,,開發(fā)者是產(chǎn)業(yè)發(fā)展的靈魂。華為將繼續(xù)開放技術(shù)創(chuàng)新能力,,攜手開發(fā)者,、伙伴共同加速行業(yè)全面云化和智能升級。

  云化,,是不可阻擋的潮流,;云,是21世紀(jì)的未來,。

  拿下“第一”的最大AI大模型,,有多強(qiáng)?

  如其名,,盤古,,煞有開天辟地之勢。

  怎么說,?

  先觀其貌,,橫攬AI領(lǐng)域四大熱門方向:

  自然語言處理(NLP)大模型

  計算機(jī)視覺(CV)大模型

  多模態(tài)大模型

  科學(xué)計算大模型

  很明顯,相比于現(xiàn)有的大模型,,盤古并不是“單項”選手,,而是全能型的那種。

  再聞其詳,,縱達(dá)業(yè)界能力之最:

  華為云盤古NLP大模型:是業(yè)界首個千億參數(shù)中文語言預(yù)訓(xùn)練模型,,預(yù)訓(xùn)練階段學(xué)習(xí)了40TB中文文本數(shù)據(jù),是最接近人類中文理解能力的AI大模型,。

  華為云盤古CV大模型:是目前業(yè)界最大的視覺預(yù)訓(xùn)練模型,,包含超過30億參數(shù),。

  具體而言,盤古NLP大模型在權(quán)威的中文語言理解評測基準(zhǔn)CLUE榜單中,,總成績及分類,、閱讀理解單項均排名第一,刷新三項榜單世界歷史紀(jì)錄,,總成績得分83.046,。

forward (14).jpg

  而盤古CV大模型,則在ImageNet 1%,、10%數(shù)據(jù)集上的小樣本分類精度上,,達(dá)到了業(yè)界最高水平。

  但最重要的,,華為云盤古大模型的真·奧義,,還真不是拿下各種“第一”秀肌肉。

  一言蔽之,,實則直擊痛點,,畢竟天下苦AI開發(fā)久矣。

  即便到了現(xiàn)在,,AI開發(fā)的過程,,較為貼切的比喻應(yīng)該是“作坊模式”,換言之,,就是需要手動的工作太多,、太頻繁。

  具體而言,,常常困擾AI開發(fā)者的問題包括,,從零開始、獨立調(diào)優(yōu),、艱難迭代、推倒重來……

  若是再聚焦到“千億參數(shù)”的規(guī)模,,要訓(xùn)練這樣的模型,,還需要開發(fā)者手工編寫大量的并行、切分和通訊代碼,。

 ?。ò多么痛的領(lǐng)悟)

  講真,明明從事AI的開發(fā),,但這樣真的很不AI,。

  此局又該如何破解?

  工廠模式,,了解一下,。

  華為云盤古大模型的開發(fā)模式,,是“預(yù)訓(xùn)練+下游微調(diào)”,這也是與目前全球主流大模型(如Bert)所匹配的一種模式,。

  簡單來說,,這種模式的一大優(yōu)點,就是擁有極強(qiáng)的泛化能力,。

  也就是說這個模型可以做到“舉一反三”:

  同樣的一個模型,,可以在多個場景中適用,而且還是非常復(fù)雜的那種,。

  不僅如此,,數(shù)據(jù)量少、小樣本,,也是困擾AI開發(fā)者的一大難題,。

  而華為云盤古大模型,卻可以做到在少量樣本的情況達(dá)到高精度,,在這方面超越了GPT系列,。

  “功夫”已經(jīng)展露,接下來的一個問題就是:

  華為云盤古大模型,,是如何煉成的,?

  左手CANN算子,右手MindSpore框架,,主要依托的便是這兩大“基本功”,。

  CANN是華為推出的異構(gòu)計算架構(gòu),2018年推出1.0版本至今,,已經(jīng)迭代到了3.0版本,。

  目前不僅使用于推理、訓(xùn)練場景,,還能夠?qū)崿F(xiàn)“端邊云協(xié)同”,。這就意味著不必在不同的終端,再去開發(fā)不同的算子,,大大提高了效率,。

  例如基于CANN,就能讓ResNet-50模型的訓(xùn)練時間降低到28s,。

  MindSpore則是華為于2019年推出的全場景AI計算框架,,其中的一大特色,就是具有全自動混合并行方案,。

  而華為云盤古大模型,,基于二者之外,還融合了三種并行技術(shù):模型并行、數(shù)據(jù)并行和流水線并行,。

  如此一來,,開發(fā)者就只需要編寫單機(jī)算法代碼、添加少量并行標(biāo)簽,,就可以實現(xiàn)模型訓(xùn)練的自動切分,。

  舉個實戰(zhàn)例子,用盤古訓(xùn)練超大模型靜態(tài)圖,,性能直接提升了40%之多,!

  以為余承東站臺的活動,僅僅就“重磅推出”了個盤古,?

  No,,No,No,,事情定然沒有這么簡單,。

  同級別!同分量,!還有五大產(chǎn)品和服務(wù):

  華為云CCE Turbo容器集群:從計算,、網(wǎng)絡(luò)和調(diào)度三方面,讓容器更加強(qiáng)大,。這也是業(yè)界唯一支持100%容器虛擬化的集群,。

  華為云GaussDB(for openGauss)數(shù)據(jù)庫:讓核心數(shù)據(jù)庫上云,與傳統(tǒng)分布式數(shù)據(jù)庫相比,,在性能,、彈性、可用性方面更強(qiáng),,是金融領(lǐng)域安全級別的那種,。

  可信智能計算服務(wù)(TICS):在安全保障的前提下,解決數(shù)據(jù)難開放,、共享流通的問題,,而且無須轉(zhuǎn)換就能適配業(yè)界主流的大數(shù)據(jù)應(yīng)用場景。

  華為云CloudIDE智能編程助手:可以實現(xiàn)“讓程序自己寫程序”,,還能隨時隨地,、使用任何終端在線編程。

  多樣性計算基礎(chǔ)軟件:云的創(chuàng)新離不開操作系統(tǒng),、數(shù)據(jù)庫、中間件等基礎(chǔ)軟件根技術(shù)的支撐,。如果說處理器是計算產(chǎn)業(yè)的“芯”,,基礎(chǔ)軟件就是計算產(chǎn)業(yè)的“魂”。華為將圍繞鯤鵬,、昇騰構(gòu)建多樣性計算產(chǎn)業(yè),,尤其是在計算基礎(chǔ)軟件上持續(xù)投入,,構(gòu)建了包括操作系統(tǒng)、數(shù)據(jù)庫,、AI計算框架等全套計算基礎(chǔ)軟件棧,,使能多樣性算力,支撐華為云的產(chǎn)品和服務(wù)創(chuàng)新,。

forward (13).jpg

  而從華為云此次發(fā)布的新品中不難看出,,所圍繞的一個核心人群,就是開發(fā)者,。

  這也是華為云明確做智能世界“黑土地”定位以來,,為開發(fā)者增添的又一筆寶貴的資源。

  正如華為云所述:

  為開發(fā)者提供技術(shù)支持,,并提升開發(fā)效率和質(zhì)量,。

  這是華為給開發(fā)者所帶去的,反之,,站在開發(fā)者角度,,一個問題便由此浮現(xiàn)。

  開發(fā)者們能從這塊“黑土地”得到些什么,?

  要回答這個問題,,首先要知道的是在華為云的“黑土地”中,有什么,?

  華為云最早在2015年提出了“沃土計劃”,,并在2019年發(fā)布了“沃土計劃2.0”,目標(biāo)非常明確且簡潔:

  堅持“硬件開放,、軟件開源,、使能伙伴、發(fā)展人才”,,推動產(chǎn)業(yè)繁榮發(fā)展,,5年發(fā)展500萬開發(fā)者。

  2020年,,華為在沃土計劃2.0計劃上,,總投入已經(jīng)達(dá)到了2億美元 (約13億人民幣)的規(guī)模。

  長久以來所堅持,,也讓華為云的這片“黑土地”養(yǎng)分更足,。

  就在4天前(4月21日),在國際知名研究機(jī)構(gòu)Gartner的報告中,,便對當(dāng)前的云市場做了最新解讀:

  云計算IaaS市場保持高速增長,,全球市場規(guī)模達(dá)到643.9億美元。

  而針對華為云這一塊,Gartner也給出了肯定的評價:

  2020年,,華為云全球IaaS市場排名上升至中國前二,、全球前五,主流廠商增速最快,,成為全球五朵云之一,。

  再具體一些的數(shù)據(jù)顯示,華為云所保持的增速高達(dá)168%,,而且已經(jīng)連續(xù)四個季度位居中國公有云服務(wù)市場第二,。

  在現(xiàn)場,余承東介紹完如此成績,,激動地感謝道:

  感謝有你,,一路向前!

  這些是華為云在市場的表現(xiàn),,那么回到開發(fā)者,,目前又吸引了多少人呢?

  超過240萬,。

  其中,,華為云開發(fā)者累計已達(dá)180萬;鯤鵬和昇騰開發(fā)者累計超過60萬,。

  而能夠吸引如此龐大開發(fā)人群,,原因還是在于華為云黑土地給他們提供的價值:

  堅持云優(yōu)先,優(yōu)先選擇用云方式為客戶提供IT基礎(chǔ)平臺服務(wù),,具體來說就是云解決方案優(yōu)先,、云服務(wù)商業(yè)模式優(yōu)先、云伙伴優(yōu)先,。

  持續(xù)聚焦系統(tǒng)和架構(gòu)創(chuàng)新,,強(qiáng)化軟件,讓黑土地更肥沃,。

  全力支持開發(fā)者基于“黑土地”構(gòu)建面向千行百業(yè)的應(yīng)用,。

  而華為開發(fā)者大會也正是“黑土地”的具體展現(xiàn)形式之一:

  在這場面向開發(fā)者的技術(shù)盛宴中,開發(fā)者不僅可以體驗和分享最新的ICT技術(shù)在行業(yè)的深度創(chuàng)新和應(yīng)用,,還能與業(yè)界大咖,、華為科學(xué)家、頂級技術(shù)專家,、天才少年和眾多開發(fā)者直接交流,,切磋技術(shù)。

  深度參與openEuler,、openGauss,、MindSpore,、KubeEdge、Volcano等熱門開源項目,;與Linux、Apache,、CNCF,、Rust等社區(qū)大牛探討最新開源技術(shù),了解異構(gòu)計算,、光計算,、超現(xiàn)實與全息等前沿理論和未來技術(shù)。

  值得一提的是,,今年這屆的華為開發(fā)者大會有一個非常鮮明的特色:第一次與全國各大高校聯(lián)辦,。

  不僅一改以往辦會地址,將主會場放到了深圳大學(xué)城之中與此同時,,還設(shè)置了超過20所中國985/211高校分會場,。

  這也不難從側(cè)面反映出華為云對開發(fā)者(尤其高校)的重視。

  而且從此次大會的議程設(shè)置方面,,也能體現(xiàn)這一點:

  1場Keynote,、10場峰會、70+場掃地僧見面會,、100+場專題演講,、40+場開發(fā)者訓(xùn)練營……

  完完全全就是圍繞“開發(fā)者”而展開。

  畢竟,,華為云認(rèn)為“每一個開發(fā)者都了不起”:

  在數(shù)字時代,開發(fā)者就是時代的弄潮兒,,是改變世界的力量,更是企業(yè)創(chuàng)新的動力和產(chǎn)業(yè)的靈魂,。

  如何評價,?

  軟,,著實夠軟,。

  這或許是此次HDC最直觀的感受之一。

  華為云要做的是一塊“智能世界的黑土地”,,而眾所周知,對于一塊土地來說,,越肥沃就會越軟,。

  這也與華為云所要聚焦的點不謀而合:

  聚焦系統(tǒng)創(chuàng)新,、架構(gòu)創(chuàng)新,,強(qiáng)化軟件,。

  然而細(xì)數(shù)過往經(jīng)歷,,這不是華為第一次體現(xiàn)出“軟”的一面,。

  早在去年的華為HAI大會上,,作為與華為云能力密不可分的昇騰,便脫去了硬件實力的光環(huán),。

  軟件平臺全面鋪開,,站上了C位,。

forward (12).jpg

  當(dāng)時,,華為表示:

  極致性能,讓AI計算觸手可及,,極簡易用,讓AI計算無處不在,。而這個過程中軟件是必需品,也是發(fā)揮硬件性能的核心,。

  而更早的,,在2018年10月的全聯(lián)接大會上,,華為在發(fā)布AI戰(zhàn)略時便推出了異構(gòu)計算架構(gòu)CANN 1.0和一站式AI集成開發(fā)套件MindStudio,,為現(xiàn)今的軟件生態(tài)發(fā)展奠定了重要的基礎(chǔ)。

  今天華為云發(fā)布的六大產(chǎn)品,,可謂是給這片黑土地注入了更加肥沃的“軟實力”,。

  除了“軟”的感官之外,,這屆華為開發(fā)者大會讓人印象深刻的第二點,便是華為對云的重視,。

  一方面體現(xiàn)在了“云優(yōu)先”的戰(zhàn)略,,以及在會中強(qiáng)調(diào)的華為云市場表現(xiàn),。

  另一方面,,華為云的組織架構(gòu)有重大調(diào)整。

  重視程度,,可見一斑。

  但如此布局背后的原因,,細(xì)分析下來可以大致分為三點。

  首先,,從趨勢角度來看,云是ICT產(chǎn)業(yè)的未來,。

  據(jù)Gartner預(yù)測,到2025年,,企業(yè)傳統(tǒng)數(shù)據(jù)中心將關(guān)閉90%,;而與此相對的另一個預(yù)測則表示,,屆時全球企業(yè)云技術(shù)使用率將達(dá)100%,。

  如此可見,全面云化已經(jīng)是一種未來趨勢,。

  其次,,數(shù)字化和智能化,,需要云原生的能力。

  據(jù)預(yù)測,,到2023年,云原生應(yīng)用占比將達(dá)80%,。以華為為例,,基于云原生的能力,,研發(fā)系統(tǒng)部署和資源使用率提升10倍以上,。生產(chǎn)系統(tǒng)部署從過去2小時縮短到10分鐘,,一次變更成功率提升10%。

  最后,,AI已經(jīng)成為生產(chǎn)力,企業(yè)AI的開發(fā)也需要“工場模式”,。

  依舊是以華為為例,,將AI引入到工程交付的各個環(huán)節(jié)后,,一年節(jié)約成本超過60億元,!

  這也就非常好的解釋了,華為在云,、軟件生態(tài)和開發(fā)者上大力付諸行動的緣由。

  最后的最后,,基于此的下一步,,又該怎么走,?

  對此,,華為在此次開發(fā)者大會中也有所透露:

  華為沃土計劃2.0在2021年將圍繞鯤鵬展翅,、沃土云創(chuàng),、昇騰萬里子計劃持續(xù)投入,,累計將投入2.2億美金,。

  發(fā)布“沃土云創(chuàng)計劃”:2021年將投入1億美金資金扶持,,聚焦6大技術(shù)領(lǐng)域(容器/微服務(wù)、SaaS化,、大數(shù)據(jù),、AI、視頻,、智能邊緣),,與ISV和SaaS開發(fā)者伙伴,,構(gòu)建1000+創(chuàng)新應(yīng)用,。

  整體來看,,從過去,,到現(xiàn)在,,再未來,,華為云所重視的,,也正應(yīng)了這屆開發(fā)者大會主題:

  每一個開發(fā)者都了不起。

  更如余承東最后的總結(jié):

  最強(qiáng)的智,,是眾智,;最大的力,是合力,;每一個開發(fā)者,,都在創(chuàng)造一往無前的奔騰時代,。

  世界有你,了不起,!


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118,;郵箱:[email protected],。