《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 業(yè)界動(dòng)態(tài) > 微軟探索基于玻璃的歸檔存儲(chǔ)新方法

微軟探索基于玻璃的歸檔存儲(chǔ)新方法

2023-11-24
來(lái)源:至頂網(wǎng)
關(guān)鍵詞: 微軟 歸檔存儲(chǔ)

根據(jù)一份16頁(yè)文件中做出的詳細(xì)解釋,,微軟希望通過(guò)Silica項(xiàng)目探索在石英玻璃板內(nèi)存儲(chǔ)多層歸檔數(shù)據(jù)的可能性,,而且目前距離成熟產(chǎn)品已越來(lái)越近,。

微軟對(duì)其玻璃歸檔存儲(chǔ)項(xiàng)目的更新,已經(jīng)以學(xué)術(shù)論文的形式被提交至第29屆ACM操作系統(tǒng)原理大會(huì)(SOSP 2023),。

其目的是開(kāi)發(fā)一套能夠讀取和寫入數(shù)據(jù)的云規(guī)模歸檔介質(zhì)系統(tǒng),。編碼技術(shù)是在方形玻璃板內(nèi)的點(diǎn)上生成具有偏振圖案的區(qū)域,可由3D坐標(biāo)進(jìn)行定義并分為幾百層,。

這些偏振圖案點(diǎn)被稱為“立體像素”(簡(jiǎn)稱體素),,由飛秒激光脈沖所產(chǎn)生。每個(gè)體素能夠編碼3到4位數(shù)據(jù),。體素首先被并排寫入由玻璃板XY平面的2D層內(nèi),,之后再被組織成矩形扇區(qū),,由此在XY平面上形成超10萬(wàn)個(gè)體素二維組,,對(duì)應(yīng)約100 KB數(shù)據(jù)容量,。一組3D扇區(qū)則構(gòu)成一條存儲(chǔ)軌,意味著每塊玻璃板能夠容納幾個(gè)TB的數(shù)據(jù),。

整個(gè)設(shè)計(jì)與Cerebyte技術(shù)頗為相似,,后者同樣使用飛秒激光脈沖在方形玻璃板上的陶瓷涂層中激發(fā)物理變化。這些變化就是納米級(jí)的孔,,類似于高科技版本的打孔卡,。但Cerabyte的孔是作為二維碼的一部分所生成,而Silica項(xiàng)目中的體素則被放置在存儲(chǔ)軌之上,。整塊玻璃板將旋轉(zhuǎn)在平臺(tái)上,,由平臺(tái)的讀寫頭設(shè)備(即激光與偏光顯微鏡)從左到右、自上而下地移動(dòng)操作,。相比之下,,Cerabyte的玻璃載體只能向前或向后移動(dòng),且僅可容納單層介質(zhì),??傊琒ilica項(xiàng)目的玻璃真正成為一種能夠隨機(jī)訪問(wèn)的存儲(chǔ)介質(zhì),。

Cerabyte和微軟都設(shè)想用圖書庫(kù)機(jī)架的形式來(lái)容納這種數(shù)據(jù)存儲(chǔ)介質(zhì)——在Cerabyte的設(shè)計(jì)中,,這些方形玻璃數(shù)據(jù)載體將被容納在一個(gè)個(gè)盒子當(dāng)中;而在微軟這邊,,玻璃則可以獨(dú)立存在,、不必額外借助容器。庫(kù)內(nèi)有一套機(jī)器人傳輸系統(tǒng),,包含多臺(tái)由獨(dú)立電池供電的機(jī)器人拾取器(穿梭機(jī)),。它們就如同一群蜜蜂,能夠穿越書庫(kù)機(jī)架間的多乏善可陳水平導(dǎo)軌并垂直上下翻轉(zhuǎn),,輕松完成讀取和寫入任務(wù),。微軟將其比作“受最先進(jìn)倉(cāng)庫(kù)機(jī)器人系統(tǒng)啟發(fā)而來(lái)的一組用于數(shù)據(jù)操作的免費(fèi)漫游班車”。

1.png

微軟Silica項(xiàng)目的庫(kù)內(nèi),,兩臺(tái)獨(dú)立機(jī)器人拾取器正在運(yùn)行,。

微軟表示,“讀取驅(qū)動(dòng)器會(huì)以單向快速Z軸模式掃描扇區(qū),,并對(duì)生成的圖像進(jìn)行解碼處理,。不同的讀取驅(qū)動(dòng)器選項(xiàng)對(duì)應(yīng)不同的數(shù)據(jù)吞吐量以及較為均衡的成本和性能?!?/p>

也就是說(shuō),,Silica項(xiàng)目的系統(tǒng)提供多種讀寫驅(qū)動(dòng)器選項(xiàng),。

寫入機(jī)架與庫(kù)機(jī)架之間還有一個(gè)意向系統(tǒng),防止玻璃盤片被覆寫,。與Cerabyte一樣,,Silica項(xiàng)目技術(shù)本質(zhì)上也只能寫入一次,屬于物理WORM系統(tǒng),。微軟表示,,“一旦玻璃介質(zhì)被寫入,機(jī)器人就無(wú)法將玻璃盤再次插入寫入設(shè)備,?!币簿褪钦f(shuō)在庫(kù)系統(tǒng)層級(jí)上保留實(shí)體氣隙,單個(gè)玻璃盤片會(huì)被一次性寫入并用盡全部容量,。

寫入驅(qū)動(dòng)器為全機(jī)架大小,,可同時(shí)對(duì)多張盤片進(jìn)行寫入;包含多個(gè)驅(qū)動(dòng)器的讀取驅(qū)動(dòng)器機(jī)架也采用相同設(shè)計(jì),。讀寫驅(qū)動(dòng)器機(jī)架都需要配備冷卻,、電源和網(wǎng)絡(luò)連接。

寫入的盤片在放入庫(kù)中之前先要接受讀取驗(yàn)證,。也就是說(shuō),,新寫入的驅(qū)動(dòng)器將由穿梭機(jī)攜帶至讀取驅(qū)動(dòng)器。微軟在論文中指出,,“為了實(shí)現(xiàn)更高的驅(qū)動(dòng)器執(zhí)行效率,,可以在單一讀取驅(qū)動(dòng)器內(nèi)同時(shí)安裝兩塊盤片;其一接受驗(yàn)證,,其二供客戶讀取,,且客戶流量?jī)?yōu)先于驗(yàn)證流量?!?/p>

從Silica盤片中讀?。⊕呙瑁┑降捏w素圖像將通過(guò)機(jī)器學(xué)習(xí)算法被轉(zhuǎn)換為二進(jìn)制數(shù)據(jù)。讀取驅(qū)動(dòng)器在XY平面上尋找相應(yīng)的存儲(chǔ)軌,,之后在Z(深度)方向上通過(guò)單次掃描讀取整個(gè)存儲(chǔ)軌內(nèi)的扇區(qū),。讀取驅(qū)動(dòng)器的吞吐量以30 MBps為倍數(shù)進(jìn)行擴(kuò)展。

微軟研究人員還分析了Azure歸檔IO模式,,發(fā)現(xiàn)小文件IO(即256 MiB到256 GiB)在實(shí)際應(yīng)用中占主導(dǎo)地位,,而且不同規(guī)模IO在數(shù)據(jù)中心層面的性能差異極大。也就是說(shuō),,“應(yīng)當(dāng)最大限度減少庫(kù)內(nèi)機(jī)械運(yùn)動(dòng)的延遲,,從而實(shí)現(xiàn)最佳性能”,而Silica庫(kù)應(yīng)可針對(duì)不同的工作負(fù)載模式進(jìn)行定制。

Silica項(xiàng)目的庫(kù)系統(tǒng)使用兩種錯(cuò)誤編碼技術(shù)——LDPC(低密度奇偶校驗(yàn))扇區(qū)間錯(cuò)誤編碼以及網(wǎng)絡(luò)擦除編碼(NC),,包括軌內(nèi),、大規(guī)模組(多軌)及跨盤等多種NC變體。

Silica庫(kù)的讀取性能,、接收讀取請(qǐng)求與庫(kù)讀取/發(fā)送的最后一個(gè)字節(jié)間的延遲,,由第99.9百分位結(jié)果定義,即由尾部完成時(shí)間定義,。微軟假設(shè)“到最后一個(gè)字節(jié)的服務(wù)質(zhì)量目標(biāo)(SLO)為15小時(shí),,即與現(xiàn)有歸檔服務(wù)保持一致,?!?/p>

然而,這里的完成時(shí)間并不包括機(jī)器學(xué)習(xí)算法用于解碼的部分,。

微軟在論文中總結(jié)道,,“玻璃介質(zhì)的獨(dú)特屬性,以及軟件層面全新的云優(yōu)先協(xié)同設(shè)計(jì),,使Silica從根本上獲得了更好的可持續(xù)性,,且相較于磁帶存儲(chǔ)顯著降低了數(shù)據(jù)歸檔成本?!?/p>

評(píng)論

這種基于玻璃的歸檔方案,,標(biāo)志著首個(gè)有望取代磁帶歸檔的可靠技術(shù),而且比DNA存儲(chǔ)更具現(xiàn)實(shí)意義,。微軟和Cerabyte正著力推進(jìn)這項(xiàng)磁帶歸檔替代成果,,有望在未來(lái)五年內(nèi)推出可交付產(chǎn)品。磁帶廠商更應(yīng)該關(guān)注相關(guān)動(dòng)態(tài),,思考如何將其納入自家產(chǎn)品規(guī)劃路線圖,。



電子技術(shù)應(yīng)用微店二維碼.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問(wèn)題,,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118;郵箱:[email protected]