拿下機(jī)器學(xué)習(xí)公有云服務(wù)中國(guó)市場(chǎng)份額第一的AI開(kāi)發(fā)平臺(tái),到底做對(duì)了什么?
2021-01-13
來(lái)源:機(jī)器之心
近日,,國(guó)際權(quán)威研究機(jī)構(gòu) IDC(國(guó)際數(shù)據(jù)公司)最新發(fā)布的《中國(guó) AI 云服務(wù)市場(chǎng)(2020 上半年)跟蹤》報(bào)告顯示,華為云一站式 AI 開(kāi)發(fā)平臺(tái) ModelArts 位居機(jī)器學(xué)習(xí)公有云服務(wù)中國(guó)市場(chǎng)份額第一位,,高達(dá) 29%,。
報(bào)告指出:華為在國(guó)內(nèi)市場(chǎng)具有先天的認(rèn)知優(yōu)勢(shì),開(kāi)發(fā)者對(duì)于華為的技術(shù),、產(chǎn)品,、品牌有著天然的認(rèn)知和信賴。其中,,華為云一站式 AI 開(kāi)發(fā)平臺(tái) ModelArts 在行業(yè)用戶中的主動(dòng)提及率非常高,。可以見(jiàn)得,,在 ModelArts 平臺(tái)學(xué)習(xí) AI 技術(shù)已經(jīng)成為越來(lái)越多開(kāi)發(fā)者的偏愛(ài),,ModelArts 也正逐漸成為行業(yè) AI 落地的首選。
數(shù)據(jù)來(lái)源:IDC《中國(guó) AI 云服務(wù)市場(chǎng)半年度研究報(bào)告,,2020H1》
眾所周知,,市場(chǎng)份額是產(chǎn)品是否好用的一個(gè)忠實(shí)反應(yīng)。對(duì)于用戶來(lái)說(shuō),,「好用」的標(biāo)準(zhǔn)非常簡(jiǎn)單,,即你的產(chǎn)品到底有沒(méi)有解決我的問(wèn)題?比如能否實(shí)現(xiàn)降本增效,,產(chǎn)品是否安全可控等等,。
作為一站式 AI 開(kāi)發(fā)平臺(tái),華為云 ModelArts 的用戶所關(guān)注的問(wèn)題也在這一范疇之內(nèi),。具體來(lái)說(shuō),,他們會(huì)關(guān)心:這個(gè)平臺(tái)上手門(mén)檻高不高?成本,、效率高不高,?我的數(shù)據(jù)隱私能得到保護(hù)嗎?我的模型我自己能把關(guān)嗎,?
接下來(lái),,我們就從這些問(wèn)題入手,,看看市場(chǎng)份額第一的華為云 ModelArts 有沒(méi)有解決這些問(wèn)題。
開(kāi)發(fā)者和企業(yè)所看中的,,
華為云 ModelArts 都滿足了嗎,?
1. 門(mén)檻、成本和效率
一位從傳統(tǒng) IT 轉(zhuǎn)向 AI 軟件研發(fā)的技術(shù)總監(jiān)曾表示,,在早期的研發(fā)階段,,他們遇到了不少棘手的問(wèn)題,比如從數(shù)據(jù)收集,、處理,,模型訓(xùn)練、管理到發(fā)布,,AI 開(kāi)發(fā)基本都處于一種「鄉(xiāng)間作坊」的工作模式,。這種工作方式不僅效率低下,而且不利于新人的培養(yǎng),,讓人才培訓(xùn)成本居高不下,。同時(shí),模型上線后的工作性能受物理硬件的限制,,橫向擴(kuò)展耗時(shí)耗力,,資源利用率也無(wú)法有效保障。
這位技術(shù)總監(jiān)提到的問(wèn)題主要體現(xiàn)在門(mén)檻,、成本和效率幾個(gè)方面,。在門(mén)檻方面,推動(dòng) AI 發(fā)展的核心四要素——算法,、算力,、數(shù)據(jù)和知識(shí),每一個(gè)都存在門(mén)檻,。在成本方面,,傳統(tǒng)的「鄉(xiāng)間作坊」工作模式開(kāi)發(fā)流程冗長(zhǎng),,涉及的人員較多,,人力,、物力成本居高不下;在效率方面,,這種工作模式容易重復(fù)造輪子,資源復(fù)用率低,。
在種種困境下,,華為云 ModelArts 走進(jìn)了這些開(kāi)發(fā)團(tuán)隊(duì)的視野。
為什么是 ModelArts,?
在自然語(yǔ)言處理領(lǐng)域,,BERT 的問(wèn)世是一個(gè)里程碑事件,。它讓整個(gè)社區(qū)嘗到了「預(yù)訓(xùn)練」的甜頭:只需要簡(jiǎn)單的遷移策略,就能讓模型在下游任務(wù)中獲得良好的性能,,使該領(lǐng)域由原來(lái)的手工調(diào)參,、依靠機(jī)器學(xué)習(xí)專家的階段,進(jìn)入到大規(guī)模,、可復(fù)制的大工業(yè)生產(chǎn)的階段,。這一經(jīng)驗(yàn)同樣可以復(fù)制到其他領(lǐng)域,華為云 ModelArts 的通用預(yù)訓(xùn)練模型架構(gòu)——EI-Backbone 就是這一路徑的開(kāi)拓者之一,。
EI-Backbone 通過(guò)整合算法模型,、算力、數(shù)據(jù)和知識(shí),,可以進(jìn)行模型選擇自動(dòng)設(shè)計(jì),、參數(shù)配置自動(dòng)調(diào)優(yōu),在分鐘級(jí)內(nèi)完成模型訓(xùn)練,,無(wú)需依仗專家經(jīng)驗(yàn)就能大幅提升模型精度,,顯著降低 AI 使用門(mén)檻,縮短開(kāi)發(fā)流程,,提升開(kāi)發(fā)性能,。該架構(gòu)提供了一種「預(yù)訓(xùn)練模型 + 小樣本微調(diào)」的高效訓(xùn)練模式,能夠讓開(kāi)發(fā)者基于行業(yè)小樣本數(shù)據(jù)訓(xùn)練高精度模型,。這在醫(yī)療等優(yōu)質(zhì)數(shù)據(jù)稀缺的場(chǎng)景中尤其有用,。以醫(yī)療影像分割為例,過(guò)去需要成百上千例標(biāo)注數(shù)據(jù)才能進(jìn)行的訓(xùn)練,,在 EI-Backbone 的加持下,,只需要幾十例甚至十幾例標(biāo)注數(shù)據(jù)即可完成,節(jié)省標(biāo)注成本高達(dá) 90% 以上,。
效率的提升和成本的節(jié)約還體現(xiàn)在算力方面,。華為全聯(lián)接大會(huì) 2020 發(fā)布的最新版華為云 ModelArts 3.0 在集群規(guī)模、任務(wù)數(shù)量以及分布式訓(xùn)練各個(gè)環(huán)節(jié)做了針對(duì)性優(yōu)化,,并支持彈性訓(xùn)練,。彈性訓(xùn)練指的是華為云 ModelArts 提供的兩種模式:一是 Turbo 模式,可以充分利用空閑資源加速已有訓(xùn)練作業(yè),,訓(xùn)練速度可提升 10 倍以上,,并且不影響模型的收斂精度;二是經(jīng)濟(jì)模式,,可以通過(guò)最大化資源利用率給開(kāi)發(fā)者提供極致的性價(jià)比,,在大多數(shù)典型場(chǎng)景下可以提升性價(jià)比 30% 以上。這種降本增效的成果在實(shí)際的業(yè)務(wù)場(chǎng)景中是非??捎^的,,無(wú)論是對(duì) AI 開(kāi)發(fā)者的低成本快速上手的需求,,還是對(duì)行業(yè) AI 智能轉(zhuǎn)型升級(jí)來(lái)說(shuō),無(wú)疑都是最合適的選擇,。
2. 對(duì)數(shù)據(jù)的掌控
AI 模型性能的提升離不開(kāi)大量的多源數(shù)據(jù),。如果企業(yè)只用自己有限、單一來(lái)源的數(shù)據(jù)進(jìn)行訓(xùn)練,,得到的模型可能不夠準(zhǔn)確,,或泛化性較差。在此背景下,,各個(gè)數(shù)據(jù)擁有方不可避免地要進(jìn)行合作,。
但與之矛盾的是,很多行業(yè)的數(shù)據(jù)涉及用戶隱私,、行業(yè)機(jī)密等問(wèn)題,,數(shù)據(jù)擁有者不愿或不能將數(shù)據(jù)上傳至一個(gè)數(shù)據(jù)中心進(jìn)行模型訓(xùn)練,從而形成了一個(gè)個(gè)的「煙囪」或「孤島」,。
華為云 ModelArts 的用戶大多是這種類型,,他們身處醫(yī)療、政務(wù),、金融等安全,、隱私性要求極高的領(lǐng)域,因此必須對(duì)自己數(shù)據(jù)的流向進(jìn)行嚴(yán)格把控,,做到數(shù)據(jù)不出庫(kù),。
數(shù)據(jù)不能出庫(kù),但模型的參數(shù)可以,,這就是華為云 ModelArts 提供的聯(lián)邦學(xué)習(xí)解決思路,。在華為云 ModelArts 3.0 下,用戶可以各自利用本地?cái)?shù)據(jù)訓(xùn)練模型,,不交換數(shù)據(jù)本身,,只用加密方式交換更新的模型參數(shù),實(shí)現(xiàn)云邊協(xié)同訓(xùn)練,。此外,,華為云 ModelArts 3.0 不僅支持橫向聯(lián)邦學(xué)習(xí),處理對(duì)齊的數(shù)據(jù),,還支持縱向聯(lián)邦學(xué)習(xí),,可以輕松處理訓(xùn)練樣本 ID 重疊多的數(shù)據(jù)。
對(duì)于使用華為云 ModelArts 實(shí)現(xiàn)行業(yè) AI 落地的用戶來(lái)說(shuō),,引入聯(lián)邦學(xué)習(xí)不僅解決了數(shù)據(jù)隱私問(wèn)題,,還節(jié)約了數(shù)據(jù)方面的成本。眾所周知,,醫(yī)療,、制藥等領(lǐng)域的數(shù)據(jù)標(biāo)注難度非常大,需要領(lǐng)域?qū)<业慕槿?,因此成本非常高,。通過(guò)聯(lián)邦學(xué)習(xí),各個(gè)數(shù)據(jù)擁有方都可以在這一技術(shù)的保護(hù)下實(shí)現(xiàn)數(shù)據(jù)價(jià)值的交換,,顯著降低成本,。
3. 對(duì)模型的掌控
模型從實(shí)驗(yàn)室走向生產(chǎn)環(huán)境是一個(gè)令人揪心的過(guò)程。開(kāi)發(fā)者和企業(yè)會(huì)擔(dān)心這個(gè)模型精度不夠高,、性能不夠好,、可解釋性差、可信度低等問(wèn)題,。在這些都沒(méi)弄清楚之前,,沒(méi)有人敢大規(guī)模部署這款模型。
華為云 ModelArts 的成功之處在于,,它在一定程度上緩解了這種「不透明」所帶來(lái)的顧慮,,將自動(dòng)評(píng)估、診斷之后得到的模型精度,、性能,、可解釋性、可信度等信息展示在一塊「面板」上,,讓用戶直觀地看到自己模型的基本情況,。
而且,這種評(píng)估是非常精細(xì)的,,僅精度方面就有準(zhǔn)確率,、精確率、召回率,、F1 值,、混淆矩陣、ROC 曲線,、數(shù)據(jù)敏感度分析等多項(xiàng)指標(biāo),。這些指標(biāo)可以幫助用戶進(jìn)行有針對(duì)性的調(diào)優(yōu),讓用戶做到「心中有數(shù)」,,放心部署,。
哪些行業(yè)已經(jīng)用上了華為云 ModelArts?
當(dāng)前,,華為云 ModelArts 已經(jīng)在金融,、醫(yī)療、藥物研發(fā),、自動(dòng)駕駛等多個(gè)領(lǐng)域得到了廣泛應(yīng)用,。
在金融領(lǐng)域,,華為云 ModelArts 已經(jīng)用于金融票據(jù) OCR 識(shí)別。由于金融票據(jù)格式多樣,,差別細(xì)微,,需要 AI 專家進(jìn)行長(zhǎng)時(shí)間的票據(jù) AI 訓(xùn)練,因此業(yè)界識(shí)別準(zhǔn)確率普遍不夠精準(zhǔn),。針對(duì)票據(jù)模型開(kāi)發(fā)訓(xùn)練數(shù)據(jù)標(biāo)注,、模型訓(xùn)練、調(diào)優(yōu)和部署上的諸多難點(diǎn),,華為云 ModelArts 通過(guò)數(shù)據(jù)集分類,、自動(dòng)學(xué)習(xí)、遷移學(xué)習(xí)等方法,,讓初級(jí) AI 開(kāi)發(fā)者無(wú)需調(diào)參等操作,,輕松操作數(shù)據(jù)標(biāo)注工具,完成部署,。
在醫(yī)療領(lǐng)域,,去年 11 月份,放射學(xué)領(lǐng)域國(guó)際頂級(jí)期刊《Radiology》發(fā)表了華為云 EI 創(chuàng)新孵化 lab,、華中科技大學(xué)電信學(xué)院,、華中科技大學(xué)同濟(jì)醫(yī)學(xué)院附屬協(xié)和醫(yī)院放射科聯(lián)合團(tuán)隊(duì)的最新研究成果:運(yùn)用華為云 ModelArts 開(kāi)發(fā)的一套基于 CTA 影像的腦動(dòng)脈瘤檢測(cè)算法。該算法靈敏度高達(dá) 97.5%,,幫助醫(yī)生臨床診斷靈敏度提升約 10 個(gè)百分點(diǎn),,漏診率降低了 5 個(gè)百分點(diǎn),同時(shí)有效縮短了醫(yī)生的診斷時(shí)間,。
在藥物研發(fā)領(lǐng)域,,2020 年,華為云 EI 與中國(guó)科學(xué)院上海藥物研究所簽署聯(lián)合創(chuàng)新合作協(xié)議,,將華為自研的 FedAMP 算法和 AutoGenome 算法應(yīng)用到藥物研發(fā)的 AI 任務(wù)中,,精準(zhǔn)預(yù)測(cè)藥物水溶解性、心臟毒性和激酶活性,。中國(guó)科學(xué)院院士,、中國(guó)科學(xué)院上海藥物研究所研究員蔣華良聯(lián)合華為云發(fā)布基于 ModelArts 平臺(tái)的藥物聯(lián)邦學(xué)習(xí)服務(wù),以解決研發(fā)數(shù)據(jù)高壁壘,、高成本以及高機(jī)密的問(wèn)題,。實(shí)踐證明,通過(guò)華為云 EI 聯(lián)邦學(xué)習(xí)訓(xùn)練后的模型,,準(zhǔn)確度遠(yuǎn)超傳統(tǒng)的聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)算法,。
回顧過(guò)去的一年,華為云 ModelArts 在抗擊疫情方面也發(fā)揮了重要作用,其參與的聯(lián)合科研團(tuán)隊(duì)在 2020 年 2 月份就篩選出了五種可能有效的新冠抗病毒藥物,。此外,,華為云還依托 AI 昇騰集群服務(wù)和 ModelArts 推出了 AI+CT 醫(yī)學(xué)影像分析服務(wù),運(yùn)用計(jì)算機(jī)視覺(jué)與醫(yī)學(xué)影像分析技術(shù)對(duì)患者肺部 CT 多發(fā)磨玻璃密度影(GGO)以及肺實(shí)變進(jìn)行分割以及量化評(píng)價(jià),,并結(jié)合臨床信息和實(shí)驗(yàn)室結(jié)果,,輔助醫(yī)生更高效、精準(zhǔn)地區(qū)分早期,、進(jìn)展期與重癥期,助力疫情防控工作,。
技術(shù)賦能行業(yè)離不開(kāi)一個(gè)低門(mén)檻,、高效率同時(shí)又安全、可靠的工具,。華為云 ModelArts 這類 AI 開(kāi)發(fā)新工具的出現(xiàn)是實(shí)現(xiàn)技術(shù)普惠的重要條件,,讓「學(xué) AI,用 ModelArts」成為開(kāi)發(fā)者群體的新風(fēng)尚,,亦將讓行業(yè) AI 落地開(kāi)拓者們親手觸碰到未來(lái),。