企業(yè)數(shù)字化轉(zhuǎn)型與大數(shù)據(jù)+AI的技術趨勢

　　企業(yè)數(shù)字化轉(zhuǎn)型主要經(jīng)歷了兩個階段,，從信息化階段到數(shù)智化階段,。

　　第一階段，上世紀80,，90年代,，在西方已經(jīng)發(fā)展了數(shù)十年的信息化革命開始在中國展露其影響。計算機技術,、網(wǎng)絡通信等核心技術的發(fā)展,，使得信息化真正成為取代過去農(nóng)業(yè)和工業(yè)兩個時代的新時代。

　　慢慢的,，企業(yè)開始將其原本停留在紙上,，以及專家腦中的過程沉淀到信息化系統(tǒng)中，“數(shù)字化轉(zhuǎn)型”成為企業(yè)近幾十年一直在談論的話題,。這個過程中,，一批優(yōu)秀的軟件企業(yè)開始涌現(xiàn)，尤其是ERP軟件,，輔助各個企業(yè)進行數(shù)字化的改造,。

　　不過隨著信息化的發(fā)展，企業(yè)積累和沉淀了非常多的數(shù)據(jù),，需要發(fā)揮數(shù)據(jù)的業(yè)務價值,，大數(shù)據(jù)和AI技術被應用到很多的業(yè)務場景當中，因此催生了數(shù)據(jù)驅(qū)動業(yè)務創(chuàng)新的市場需求,。

　　第二階段,，越來越多的企業(yè)不滿足簡單數(shù)字化轉(zhuǎn)型效果，而尋求數(shù)智化升級,，數(shù)智融合平臺驅(qū)動的場景化智能成為企業(yè)實現(xiàn)轉(zhuǎn)型的必經(jīng)之路,。

　　這個階段，技術平臺的能力開始凸顯,。它既能融合大數(shù)據(jù)和AI的技術能力,，又能快速產(chǎn)生豐富的場景化智能，并應用到具體業(yè)務場景中,，因而成為很多大型企業(yè)尋求變革的一種方式,。

　　不過，企業(yè)數(shù)智化升級面臨了新的核心挑戰(zhàn),，主要體現(xiàn)在五點：①企業(yè)數(shù)據(jù)越積累越多,，但是對數(shù)據(jù)價值的挖掘速度并沒有等速提升，單位數(shù)據(jù)價值密度越來越少,；②企業(yè)業(yè)務智能化升級需求以及決策實時性需求與自身IT水平無法支撐的矛盾,；③大數(shù)據(jù)和AI相關人才短缺；④業(yè)務智能化的投入產(chǎn)出比不高,；⑤很難快速迭代,，規(guī)模化進行業(yè)務智能化升級,。

　　與此同時,，大數(shù)據(jù)技術發(fā)展的趨勢也有了新的變化：①數(shù)據(jù)和算力的增長已經(jīng)超過了業(yè)務和硬件的發(fā)展,；②大數(shù)據(jù)和AI應用更多結合在了一起；③大數(shù)據(jù)平臺技術支持多模態(tài)計算,；④越來越多的軟硬件開始共建發(fā)展 ,；⑤大數(shù)據(jù)分析走向?qū)崟r化和智能化；⑥基于隱私安全的數(shù)據(jù)共享變得重要,；⑦以湖倉一體為基礎的技術和業(yè)務成為新的演進趨勢,。

　　也就是說，由客戶遇到挑戰(zhàn)而形成的市場需求,，催生了技術的發(fā)展,，而技術發(fā)展也不斷地回饋市場和客戶，優(yōu)化市場需求,。阿里云在大數(shù)據(jù)AI平臺以及場景化智能打造方面已經(jīng)一直積極探索,，并且在面向技術發(fā)展趨勢與客戶需求結合方面做了五大核心能力升級。

　　阿里云大數(shù)據(jù)+AI一體化平臺五大核心能力升級

　　能力1：敏捷數(shù)據(jù)治理,，自底而上與自頂向下雙管齊下

　　大部分企業(yè)經(jīng)歷了數(shù)十年的信息化后,，沉淀了非常多的業(yè)務數(shù)據(jù)，企業(yè)想要構筑智能應用壁壘,，就要想辦法把這些數(shù)據(jù)使用起來,。但是當企業(yè)構建智能應用的時候才發(fā)現(xiàn)，把這些數(shù)據(jù)使用起來是件很困難的事情：

　　比如,，不同業(yè)務部門數(shù)據(jù)在自己平臺上形成了數(shù)據(jù)孤島,，不僅數(shù)據(jù)之間不互通，甚至數(shù)據(jù)命名規(guī)則,、表現(xiàn)形式,、限制條件等都不同；熟悉所有數(shù)據(jù)邏輯的專業(yè)人才匱乏,；數(shù)據(jù)沒有任何區(qū)分的存儲……

　　大家開始意識到針對企業(yè)的數(shù)據(jù)治理是門必修課,。

　　互聯(lián)網(wǎng)公司對數(shù)據(jù)治理通常采用非常有效的“精益生產(chǎn)”方式：由數(shù)據(jù)開發(fā)人員自底向上建立模型，先將數(shù)據(jù)從數(shù)據(jù)源集成到數(shù)據(jù)平臺中,，然后再對數(shù)據(jù)進行加工處理,、再存儲，以及通過數(shù)據(jù)服務提供給上層應用,，遇到問題之后隨時對數(shù)據(jù)進行治理,。

　　這種自底而上方式可以非常快速地從點的角度進行大規(guī)模數(shù)據(jù)處理,，快速響應業(yè)務的需求，同時通過中間的數(shù)據(jù)治理環(huán)節(jié),，對數(shù)據(jù)的存儲,，加工成本進行管控,。大數(shù)據(jù)開發(fā)治理平臺DataWorks就在這方面給企業(yè)提供了靈活的服務支撐。

　　逐漸地,，企業(yè)對統(tǒng)一數(shù)據(jù)標準,、統(tǒng)一數(shù)據(jù)管理與治理又提出了新要求，自頂向下的模式開始被廣泛需求與應用：從業(yè)務入手進行數(shù)倉的體系規(guī)劃,，梳理現(xiàn)有數(shù)據(jù),，定義標準，進行數(shù)倉建模,，事先定義好各類業(yè)務應用的數(shù)據(jù)指標,。

　　值得一提的是，這種需求已經(jīng)從金融行業(yè)蔓延到各行各業(yè),，甚至是習慣于自底向上,、小步快跑的互聯(lián)網(wǎng)企業(yè)。DataWorks采用雙管齊下的方式滿足企業(yè)在數(shù)據(jù)治理方面的全方位平臺性需求,，將傳統(tǒng)的自頂向下建模體系能力與適應靈活“精益生產(chǎn)”自底向上構建數(shù)倉體系的能力相結合,，提供了逆向建模的能力。

　　與此同時,，為了讓企業(yè)非常容易地看到自己的數(shù)據(jù)到底是否健康,，DataWorks 還推出了數(shù)據(jù)治理健康度五維評估模型，從研發(fā)規(guī)范,、數(shù)據(jù)質(zhì)量,、數(shù)據(jù)安全、計算資源,、存儲資源五個層面評估企業(yè)的數(shù)據(jù)健康情況,，更有效為企業(yè)的數(shù)據(jù)治理提供有力的數(shù)字依據(jù)。

　　能力2：湖倉一體新升級2.0,，真正做到一份數(shù)據(jù),，統(tǒng)一管控，多樣分析

　　最近,，數(shù)據(jù)湖的形態(tài)被眾多企業(yè)所使用,，這種技術形態(tài)決定了企業(yè)很容易管理數(shù)據(jù)，并在其之上使用豐富的開源引擎做各種形態(tài)的計算,。同時,，在傳統(tǒng)報表等BI應用催生下，企業(yè)已經(jīng)構建的數(shù)據(jù)倉庫形成了“數(shù)據(jù)孤島”,，數(shù)據(jù)間協(xié)同分析很難被執(zhí)行,，而且大部分企業(yè)沒有將所有數(shù)據(jù)進行大集中處理的能力。

　　在應用需求催生下,，面向不同的倉和湖形態(tài)的數(shù)據(jù)存儲和分析,，企業(yè)有了非常強的數(shù)據(jù)互通需求,。這也是“湖倉一體”的產(chǎn)生的背景。去年,，阿里云“湖倉一體”打通云上數(shù)倉產(chǎn)品“MaxCompute”與數(shù)據(jù)湖產(chǎn)品“EMR”,，經(jīng)過一年的客戶磨練與沉淀，“湖倉一體”有了2.0的新能力,。

　　從購買體驗上,，用戶可以在線上分鐘級打通云上Severless數(shù)據(jù)倉庫（ MaxCompute）和云原生數(shù)據(jù)湖（EMR+OSS），實現(xiàn)統(tǒng)一元數(shù)據(jù),、存儲方面的安全互通,。不僅更好的支持標準HDFS的數(shù)據(jù)訪問，而且持續(xù)優(yōu)化對OSS對象存儲高速訪問性能,， 擴展支持Hudi,、Delta Lake等開源數(shù)據(jù)湖格式。MaxCompute計算服務通過對智能緩存能力的升級,，使訪問EMR數(shù)據(jù)湖中的數(shù)據(jù)有10+倍性能的提升,。

　　換句話說，湖倉一體2.0可以幫助企業(yè)消除數(shù)據(jù)孤島,，通過DataWorks將不同形態(tài)的數(shù)據(jù)統(tǒng)一管理與治理起來,，并對特定應用加速分析。同時也可以幫助企業(yè)在新建數(shù)倉或者數(shù)據(jù)湖的同時,，對既有系統(tǒng)進行充分利舊,，在應用需求日趨迫切的時候，為企業(yè)規(guī)避了進行數(shù)據(jù)大集中的決策性風險,。

　　能力3: 云上數(shù)倉離在線一體化,，實現(xiàn)分析性能提升

　　實時化和智能化成為云上數(shù)倉服務的發(fā)展方向。越來越多的企業(yè)無法忍受數(shù)據(jù)經(jīng)過T+1的離線處理之后,，再產(chǎn)生指導業(yè)務數(shù)據(jù)決策的漫長工作,，而是希望能在不斷產(chǎn)生實時數(shù)據(jù)的同時，與既有的離線數(shù)據(jù)一起產(chǎn)生實時洞察,，從而立即產(chǎn)生業(yè)務所需的策略,。

　　比如游戲玩家，在游戲體驗過程中,，按照玩家的即時需求給他推送對當前游戲體驗有很大幫助的禮包,，在滿足玩家體驗的同時，也會增加付費轉(zhuǎn)化率,；比如在證券交易實時數(shù)據(jù)產(chǎn)生時,，通過離在線一體化的數(shù)據(jù)分析實現(xiàn)交易，滿足監(jiān)管機構的管理要求，更好的幫助機構控制風險,。

　　云上數(shù)倉離在線一體化方案,，針對用戶在分析領域各種時效性的需求,，按需提供服務,。離線大數(shù)據(jù)分析MaxCompute與實時數(shù)倉Hologres實現(xiàn)深度集成，對離線數(shù)據(jù)的實時化分析可以實現(xiàn)10倍性能的提升,。

　　在實時數(shù)倉的內(nèi)部構件當中,，可以通過實時計算Flink版的能力實現(xiàn)事件驅(qū)動的實時數(shù)倉的構建。向外可以對數(shù)據(jù)湖中的數(shù)據(jù)進行高效的分析,，實現(xiàn)數(shù)據(jù)高速入倉,，通過對標準開放的 SQL協(xié)議的支持，實現(xiàn)對19款主流BI工具的原生支持,，幫助客戶快速構建從數(shù)據(jù)集成到數(shù)據(jù)分析界面的數(shù)倉應用,。

　　數(shù)據(jù)規(guī)模越來越大，集群規(guī)模越來越大,，一定會對大數(shù)據(jù)平臺的運維能力產(chǎn)生很大的挑戰(zhàn),，在海量數(shù)據(jù)可管，可控下,，通過查詢優(yōu)化技術和文件存儲優(yōu)化技術將大規(guī)模集群的優(yōu)勢發(fā)揮到極致,，并通過冷熱冰存儲的自動分層，為用戶降低存儲增長帶來的成本的提升,。智能數(shù)倉解決了大部分企業(yè)運維難的問題,，真正做到企業(yè)大數(shù)據(jù)平臺的智能駕駛。

　　能力4：大數(shù)據(jù)AI場景化智能,，為業(yè)務提速

　　大數(shù)據(jù)和AI的融合,，不僅是通常說的可以給企業(yè)IT運營降本增效，還可以直接帶來業(yè)務的價值,。

　　下面舉幾個例子來看,，阿里云怎么利用大數(shù)據(jù)和AI的力量為企業(yè)帶來用戶增長，業(yè)務運營效率的提升,，業(yè)務運營成本的下降,，抑或是改進風控的效果。

　　首先是音視頻媒體的端上超分,?；诎⒗镆呀?jīng)開源多年的MNN端上推理框架，結合在算法推理上沉淀多年的優(yōu)化經(jīng)驗,，構建了端上超分的算法應用在幫助用戶提升體驗的同時,，最大可能的節(jié)省了計算、存儲、網(wǎng)絡資源,。

　　音視頻媒體的觀看體驗和流暢度帶來的用戶留存以及CDN和GPU的計算,、存儲資源成本是任何一家互聯(lián)網(wǎng)內(nèi)容提供商在業(yè)務運營的時候都需要考慮的非常重要的兩個指標。

　　經(jīng)過實際客戶的驗證數(shù)據(jù)顯示,，我們可以幫助客戶節(jié)省44%到75%的CDN內(nèi)容分發(fā)成本,，同時帶來1%的觀看時長的提升。

　　這兩個指標隨著用戶數(shù)的增加,，給企業(yè)帶來不斷提升的業(yè)務運營效率,。同時把很多云端的大規(guī)模推理計算分散到了端側，大大節(jié)省了企業(yè)的運營成本,。

　　其次是大數(shù)據(jù)與AI的軟硬件協(xié)同優(yōu)化,。PAI - Eflops 很好的解決了客戶在深度學習訓練或者推理加速中的痛點，通過軟硬件協(xié)同優(yōu)化,，幫助客戶把AI算力的投資轉(zhuǎn)化為更加高效的生產(chǎn)力,。

　　通過多項專利保護的集群網(wǎng)絡優(yōu)化技術，大規(guī)模分布式模型訓練中的內(nèi)存管理技術,，自研的vGPU技術,，多年沉淀的大規(guī)模分布式模型訓練和優(yōu)化框架，以及端到端的模型管理,，監(jiān)控和運維技術,，PAI-Eflops幫助很多客戶在特定的場景下將軟硬協(xié)同的優(yōu)勢發(fā)揮到極致，在金融量化模型,，互聯(lián)網(wǎng)智能搜索等AI密集型應用的場景下,，我們可以通過將復雜神經(jīng)網(wǎng)絡的參數(shù)傳遞性能提升3到7倍，提升GPU算力的應用效率,，進而實現(xiàn)整體性能近百倍的提升,。

　　模型訓練和推理的體驗與云上PAI的體驗完全一致，使得未來用戶可以享受到便捷的云上和線下聯(lián)邦建模等云邊一體化的AI體驗,，節(jié)省自身IT更大規(guī)模的AI訓練集群的投入,。

　　大部分互聯(lián)網(wǎng)企業(yè)最核心的問題就是保持用戶增長，從廣告營銷,，到新用戶的LTV提升轉(zhuǎn)化,，再到流失用戶的召回，這些都是業(yè)務管理上最為關注的關鍵性指標,。

　　通過大數(shù)據(jù)平臺與AI建模能力的結合,，我們可以通過智能算法的優(yōu)勢，幫助企業(yè)提升超過20%的廣告投放 RoI,，提升5%以上的短信用戶召回的效率,，精確的老客LTV評估可以助理精細化運營效率提升近30%。這些都直接為互聯(lián)網(wǎng)的企業(yè)帶來了業(yè)務上的明顯收益。

　　能力5：數(shù)據(jù)安全與隱私計算,，為數(shù)據(jù)協(xié)同與共享保駕護航

　　數(shù)據(jù)協(xié)同成為技術發(fā)展的趨勢,，數(shù)據(jù)安全與隱私計算成為大數(shù)據(jù)平臺必不可少的能力。

　　阿里云在大數(shù)據(jù)計算和分析的引擎中預置了多種安全計算的方式以及集團業(yè)務沉淀的常用的聯(lián)邦學習的算法,，在端到端的數(shù)據(jù)鏈路上實現(xiàn)了數(shù)據(jù)訪問的可管,，可控，可追溯,。同時將超大規(guī)模分布式云原生架構與內(nèi)置的 MPC,，TEE,，F(xiàn)L等技術緊密結合,，利用DataWorks強大的數(shù)據(jù)開發(fā)和治理平臺的能力，將隱私計算的任務與所有其他的數(shù)據(jù)類任務進行聯(lián)合編排和管理,，實現(xiàn)完整的企業(yè)級數(shù)據(jù)應用,。

　　大數(shù)據(jù)+AI平臺的4S標準和3大特性

　　大數(shù)據(jù)與AI融合技術催生的場景化智能可以幫助客戶帶來業(yè)務價值，但是如何將這樣的價值低成本的在企業(yè)進行復制,，就需要發(fā)揮云原生以及平臺層的力量,。

　　通過平臺能力和場景化智能服務，企業(yè)可以方便改造業(yè)務工作流,，在用戶增長,，運營成本降低，運營效率改進,，風控安全等等界面最終實現(xiàn)業(yè)務價值的提升,。而平臺能力正是通過“深”，“通”,，“透”三大特性來構建,。

　　“深”意味著在很多的場景下，需要通過軟硬件協(xié)同的深度優(yōu)化來追求極致的場景性能,。對雜亂無章,，無源可循的數(shù)據(jù)進行深度的治理。在AI計算資源緊張的情況下,，通過對算法框架的深度優(yōu)化,，實現(xiàn)大模型訓練和推理的降本與提效。

　　“通”意味著大數(shù)據(jù)與AI分析聯(lián)通在一起,，大數(shù)據(jù)更多的為AI應用所服務,，而AI更多的依賴大數(shù)據(jù)系統(tǒng)。用戶自有的湖與倉可以很好的從存儲,，元數(shù)據(jù)和計算層面進行聯(lián)通,，真正做到一份數(shù)據(jù)，多樣化計算。通過聯(lián)邦學習和多方安全計算,，實現(xiàn)數(shù)據(jù)確權情況下的安全互通,。

　　“透”意味著很多可以開箱即用的場景化的智能，可以根據(jù)客戶的特定用戶場景,，從數(shù)據(jù),，行業(yè)模型，行業(yè)分析模版,，典型算法框架等層面沉淀具備行業(yè)屬性的場景化智能,，從而實現(xiàn)從數(shù)據(jù)到業(yè)務的閉環(huán)。

　　與此同時,，我們通過 “4S” 的標準來定義大數(shù)據(jù)與AI平臺,。“4S”分別是：Scale,，代表平臺必須可以承載大數(shù)據(jù),，大應用和大模型；Speed,，平臺必須具備極致的運行,，開發(fā)和運維的效率；Simplicity,，平臺對外的程序接口或者是服務接口一定是標準,，簡單，易懂,，可以像函數(shù)般被調(diào)用,；Scenario，最后一點也是最重要的一點,，平臺能力向場景而生,。

　　阿里云智能計算平臺幫助客戶打造的就是這樣的大數(shù)據(jù)與AI平臺，亦或是通過這樣的平臺為成千上萬的云上客戶提供便捷的云上服務,。

　　目前為止,，圍繞數(shù)據(jù)的全鏈路生命周期，經(jīng)過多年阿里集團應用以及數(shù)十萬云上客戶打磨,，阿里靈杰形成了一系列拳頭產(chǎn)品,，包括大數(shù)據(jù)+AI平臺類產(chǎn)品（云原生大數(shù)據(jù)計算服務MaxCompute，開源大數(shù)據(jù)平臺EMR,，數(shù)據(jù)湖構建DLF,，大數(shù)據(jù)開發(fā)治理平臺DataWorks，實時數(shù)倉 Hologres,，實時計算Flink版,，機器學習平臺 PAI,，智能搜索OpenSearch等），以及豐富的生態(tài)產(chǎn)品（DDI,，Elasticsearch,，Cloudera，Confluent,，Starburst等）,。

　　并且，阿里靈杰基于場景化需求,，為用戶提供更多的開箱即用的標準化智能服務接口和場景化智能解決方案,，幫助企業(yè)提升業(yè)務價值。目前,，平臺已經(jīng)深入到各行各業(yè),，為互聯(lián)網(wǎng)、金融,、制造,、電信、教育等不同行業(yè)的客戶帶來平臺催生的智能化變革,。