《電子技術應用》
您所在的位置:首頁 > 其他 > 業(yè)界動態(tài) > 阿里研發(fā)實時計算平臺 每秒運算量將超千萬

阿里研發(fā)實時計算平臺 每秒運算量將超千萬

2014-11-13

阿里巴巴11月7日宣布,其大數(shù)據(jù)團隊自研的實時數(shù)據(jù)計算平臺Galaxy,目前每秒可運算數(shù)據(jù)超過500萬條,,預計雙十一當天每秒運算量將超過1000萬條,,日處理消息數(shù)將超過1萬億條。針對每一筆交易數(shù)據(jù),,系統(tǒng)將實時反復檢測70余次以保證數(shù)據(jù)質(zhì)量。

一分鐘成交破億,一千多萬人涌入天貓,。這是2013雙十一購物狂歡節(jié)第一分鐘的戰(zhàn)況。這些數(shù)據(jù)在杭州淘寶城內(nèi)的數(shù)據(jù)大屏實時播報,。大屏上跳動的每個數(shù)字,,來自于阿里內(nèi)部60多個系統(tǒng)間的緊密合作:當你在以最快速度秒殺到雙十一熱賣商品的同時,這些系統(tǒng)已經(jīng)完成了無數(shù)輪的數(shù)據(jù)采集,、傳輸,、加工、計算以及反饋到頁面的工作,。這正是阿里未曾公開的技術-如何在保障數(shù)據(jù)質(zhì)量的前提下實現(xiàn)實時計算,?

Galaxy是阿里巴巴自研的通用增量計算平臺,,能提供從分鐘級別到秒級別、甚至毫秒級別延遲的實時數(shù)據(jù)計算能力,。Galaxy解決了計算通用性,、開發(fā)成本、數(shù)據(jù)質(zhì)量等諸多難題,,并提供可擴展,、規(guī)模化的集群服務能力,。

目前,Galaxy每秒可計算數(shù)據(jù)已達500萬條,,每日處理的記錄數(shù)超過2500億,,日處理數(shù)據(jù)量近2PB。想象一下:當你還在努力算出1024×1024等于多少時,,這一秒鐘內(nèi)Galaxy已經(jīng)拿到數(shù)據(jù),、計算結(jié)束、交出結(jié)果這一整套流程500萬遍了,。今年雙十一,,用戶瀏覽、成交,、手機APP等產(chǎn)生的數(shù)據(jù)量都將大規(guī)模增長,。當天Galaxy的運算量預計每秒將超過1000萬,日處理消息數(shù)將超過1萬億條,。

阿里巴巴數(shù)據(jù)質(zhì)量團隊介紹:“Galaxy不光要算得快,,還得保證不能算錯。”除了Galaxy之外,,阿里研發(fā)了一套可以實時檢測線上數(shù)據(jù)的系統(tǒng),,能夠在1秒鐘以內(nèi)完成從數(shù)據(jù)產(chǎn)生到校驗的過程,每筆交易可以實時建議70多次,,以保障雙十一的數(shù)據(jù)不會算錯,。

比如,一個美國用戶在雙十一活動下單,,剛付完款,,可能由于國際間網(wǎng)絡突然閃斷,導致“已付款”狀態(tài)數(shù)據(jù)沒有傳輸回來,。這時,,呈現(xiàn)給買家的可能就是“交易失敗”的狀態(tài)。但通過數(shù)據(jù)實時檢測系統(tǒng),,能在這個問題被消費者發(fā)現(xiàn)之前就開始報警進行處理,。也許,,還沒消費者回過神來,這個問題就已經(jīng)被糾正,,絲毫感受不到“交易失敗”曾經(jīng)出現(xiàn)過,。

此外,Galaxy還設計了數(shù)據(jù)“防漏”措施,,哪怕服務器突然宕機,也能保障數(shù)據(jù)不丟失,,快速恢復后繼續(xù)工作。想象一下:如果在你跟朋友約好晚上看電影的時候,,你突然發(fā)了一場高燒昏厥過去,正常情況下,,要去醫(yī)院才能治好,并且得休息好幾天,。Galaxy不僅能自我修復,,而且還能將時光倒回到那個晚上,你和朋友繼續(xù)去看電影,。

目前,,Galaxy已逐步支撐阿里集團絕大部分的實時業(yè)務和應用,,包括淘寶,、天貓,、阿里云、菜鳥,、聚劃算、無線,、搜索,、廣告、數(shù)據(jù)魔方等業(yè)務提供實時計算服務,。

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者,。如涉及作品內(nèi)容,、版權和其它問題,請及時通過電子郵件或電話通知我們,,以便迅速采取適當措施,,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。