阿里巴巴11月7日宣布，其大數(shù)據(jù)團(tuán)隊(duì)自研的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺(tái)Galaxy,，目前每秒可運(yùn)算數(shù)據(jù)超過500萬條，預(yù)計(jì)雙十一當(dāng)天每秒運(yùn)算量將超過1000萬條,，日處理消息數(shù)將超過1萬億條,。針對(duì)每一筆交易數(shù)據(jù)，系統(tǒng)將實(shí)時(shí)反復(fù)檢測(cè)70余次以保證數(shù)據(jù)質(zhì)量,。
一分鐘成交破億,，一千多萬人涌入天貓。這是2013雙十一購物狂歡節(jié)第一分鐘的戰(zhàn)況。這些數(shù)據(jù)在杭州淘寶城內(nèi)的數(shù)據(jù)大屏實(shí)時(shí)播報(bào),。大屏上跳動(dòng)的每個(gè)數(shù)字,，來自于阿里內(nèi)部60多個(gè)系統(tǒng)間的緊密合作：當(dāng)你在以最快速度秒殺到雙十一熱賣商品的同時(shí)，這些系統(tǒng)已經(jīng)完成了無數(shù)輪的數(shù)據(jù)采集,、傳輸,、加工、計(jì)算以及反饋到頁面的工作,。這正是阿里未曾公開的技術(shù)-如何在保障數(shù)據(jù)質(zhì)量的前提下實(shí)現(xiàn)實(shí)時(shí)計(jì)算,？
Galaxy是阿里巴巴自研的通用增量計(jì)算平臺(tái)，能提供從分鐘級(jí)別到秒級(jí)別,、甚至毫秒級(jí)別延遲的實(shí)時(shí)數(shù)據(jù)計(jì)算能力,。Galaxy解決了計(jì)算通用性、開發(fā)成本,、數(shù)據(jù)質(zhì)量等諸多難題,，并提供可擴(kuò)展、規(guī)?；募悍?wù)能力,。
目前，Galaxy每秒可計(jì)算數(shù)據(jù)已達(dá)500萬條,，每日處理的記錄數(shù)超過2500億,，日處理數(shù)據(jù)量近2PB。想象一下：當(dāng)你還在努力算出1024×1024等于多少時(shí),，這一秒鐘內(nèi)Galaxy已經(jīng)拿到數(shù)據(jù),、計(jì)算結(jié)束、交出結(jié)果這一整套流程500萬遍了,。今年雙十一,，用戶瀏覽、成交,、手機(jī)APP等產(chǎn)生的數(shù)據(jù)量都將大規(guī)模增長,。當(dāng)天Galaxy的運(yùn)算量預(yù)計(jì)每秒將超過1000萬，日處理消息數(shù)將超過1萬億條,。
阿里巴巴數(shù)據(jù)質(zhì)量團(tuán)隊(duì)介紹：“Galaxy不光要算得快,，還得保證不能算錯(cuò)。”除了Galaxy之外,，阿里研發(fā)了一套可以實(shí)時(shí)檢測(cè)線上數(shù)據(jù)的系統(tǒng),，能夠在1秒鐘以內(nèi)完成從數(shù)據(jù)產(chǎn)生到校驗(yàn)的過程，每筆交易可以實(shí)時(shí)建議70多次,，以保障雙十一的數(shù)據(jù)不會(huì)算錯(cuò),。
比如,，一個(gè)美國用戶在雙十一活動(dòng)下單，剛付完款,，可能由于國際間網(wǎng)絡(luò)突然閃斷,，導(dǎo)致“已付款”狀態(tài)數(shù)據(jù)沒有傳輸回來。這時(shí),，呈現(xiàn)給買家的可能就是“交易失敗”的狀態(tài),。但通過數(shù)據(jù)實(shí)時(shí)檢測(cè)系統(tǒng)，能在這個(gè)問題被消費(fèi)者發(fā)現(xiàn)之前就開始報(bào)警進(jìn)行處理,。也許,，還沒消費(fèi)者回過神來，這個(gè)問題就已經(jīng)被糾正,，絲毫感受不到“交易失敗”曾經(jīng)出現(xiàn)過,。
此外，Galaxy還設(shè)計(jì)了數(shù)據(jù)“防漏”措施,，哪怕服務(wù)器突然宕機(jī),，也能保障數(shù)據(jù)不丟失，快速恢復(fù)后繼續(xù)工作,。想象一下：如果在你跟朋友約好晚上看電影的時(shí)候,，你突然發(fā)了一場(chǎng)高燒昏厥過去，正常情況下,，要去醫(yī)院才能治好,，并且得休息好幾天。Galaxy不僅能自我修復(fù),，而且還能將時(shí)光倒回到那個(gè)晚上,，你和朋友繼續(xù)去看電影。
目前,，Galaxy已逐步支撐阿里集團(tuán)絕大部分的實(shí)時(shí)業(yè)務(wù)和應(yīng)用,，包括淘寶、天貓,、阿里云,、菜鳥、聚劃算,、無線,、搜索、廣告,、數(shù)據(jù)魔方等業(yè)務(wù)提供實(shí)時(shí)計(jì)算服務(wù),。