為了更清晰的認識我們所生存的環(huán)境,,提高人際溝通效率,人們收集和創(chuàng)造了大量的數(shù)據(jù),,有些是對物理世界的客觀描述,,如原子和分子的組成,,或是DNA螺旋結(jié)構(gòu);也包括煙波浩渺的宇宙中的星系和星云,;亦或是人類對自身歷史的記錄,;還有一些數(shù)據(jù)被用于人們相互溝通,如Facebook上每天新增數(shù)十億條內(nèi)容,,或每天被發(fā)送的數(shù)千億封郵件,。
隨著人們對客觀世界的逐步認知,人際溝通的效率越來越高,,人們的溝通與生活也越來越豐富,,人類收集和創(chuàng)造的數(shù)據(jù)也越來越多,這些數(shù)據(jù)飽含信息與知識,,是人類智慧與勤勞的結(jié)晶,,是人類寶貴的信息資產(chǎn)。一部《史記》,,共52萬6千500字,,約1MB數(shù)據(jù);一組用于基因研究的染色體照片數(shù)據(jù)量超過2TB,;歐洲核子研究中心(CERN)每年有超過20PB數(shù)據(jù)通過全球最大的大型強子對撞機(LHC)被收集起來用于微觀粒子研究,。根據(jù)IDC的分析,2011年全球數(shù)據(jù)產(chǎn)生量達到1.8ZB,,到2020年這個數(shù)字將增長50倍(1ZB=1,000EB=1,000,000PB),,如此大規(guī)模的數(shù)據(jù)給存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲" title="存儲">存儲系統(tǒng)帶來了巨大的挑戰(zhàn),人類將如何應(yīng)對咆哮而來的數(shù)據(jù)洪流,?
存儲方案的演進
在人類發(fā)明和使用電子計算機以前,,數(shù)據(jù)處理由人類大腦完成,,大腦中還同時存儲了大量信息用于支撐數(shù)據(jù)處理,,人類大腦存儲的信息依然相對有限,仍有大量數(shù)據(jù)被存儲在圖書館,。當有需要的時候,,人們便會到圖書館獲取更多的數(shù)據(jù)。以此我們可以總結(jié)出如下的一種數(shù)據(jù)存儲與數(shù)據(jù)處理模型:
該模型包括三個部分,,計算單元,、內(nèi)部存儲單元(低延遲,容量偏?。?、外部存儲單元(延遲增加,容量超大),。如果按照對圖書的存儲(記憶)能力來估算,,通常一個人大腦中能記憶的內(nèi)容不超過1000本書,,圖書館中收藏的書籍大約是百萬本為單位。兩種存儲的存儲容量差距大概是1000倍,,而且圖書館中的數(shù)據(jù)可以被很多人共享,。
20世紀電子與信息技術(shù)迅速發(fā)展,機器計算迅速普及,,馮·諾依曼在1945年6月30日,,提出了存儲程序邏輯架構(gòu),即現(xiàn)有的計算機都遵循的“馮·諾依曼體系架構(gòu)”,,具體如下圖:
我們可以看出,,馮諾依曼體系結(jié)構(gòu)與人腦(生物)計算模型匹配度相當準確。我們通常把運算器和控制器合并成中央處理器(CPU),,內(nèi)部小容量的存儲提供快速的訪問,,外部存儲器提供大容量的存儲空間。在不同的計算機時代,,我們可以按照不同的角度來理解馮諾依曼體系結(jié)構(gòu),。在單機計算時代(包括大型機、小型機,、微機)內(nèi)部存儲器可理解為內(nèi)存(即Memory),,外部存儲器可理解為物理硬盤(包括本地硬盤和通過網(wǎng)絡(luò)映射的邏輯卷)。在本地硬盤空間不足,,可靠性無法滿足業(yè)務(wù)需求的情況下,,SAN存儲出現(xiàn)了,通過網(wǎng)絡(luò)映射的邏輯卷(即SAN存儲提供的LUN)成為增強版的硬盤,。為了解決數(shù)據(jù)共享的問題,,NAS存儲隨之誕生。
但馮諾依曼體系架構(gòu)沒有考慮并行計算和數(shù)據(jù)共享情形,,在如今的網(wǎng)絡(luò)時代,,大量計算設(shè)備通過網(wǎng)絡(luò)形成一個龐大、相互獨立但又邏輯統(tǒng)一的計算系統(tǒng),,因此我們可以總結(jié)出一個數(shù)據(jù)存儲的通用模型,,這個模型包括兩級存儲,其存儲容量差距約1000倍:
如果將上圖中每一個計算模塊理解為一個計算內(nèi)核,,那么高速存儲單元則是CPU內(nèi)的緩存(單位為KB~MB),,海量存儲單元則是內(nèi)存(單位為GB);如果把每一個計算模塊理解為一個CPU,,那么高速存儲單元則是內(nèi)存(單位為GB~TB),,海量存儲是物理硬盤或通過網(wǎng)絡(luò)映射給服務(wù)器的邏輯卷(或網(wǎng)絡(luò)文件系統(tǒng),單位為TB~PB);如果把計算模塊理解為針對某一項任務(wù)或某一組任務(wù)提供計算能力的服務(wù)器集群,,把SAN或NAS等擁有TB~PB級存儲規(guī)模的網(wǎng)絡(luò)存儲設(shè)備理解為高速存儲單元,,那么具備PB~EB級存儲容量的海量存儲單元將基于什么技術(shù)和產(chǎn)品構(gòu)建呢?
SAN和NAS技術(shù)已經(jīng)出現(xiàn)了數(shù)十年,,目前單臺SAN或NAS設(shè)備最大容量已經(jīng)達到PB級別,,但在應(yīng)對EB級數(shù)據(jù)挑戰(zhàn)時,還是顯得有些力不從心,。這主要由于其架構(gòu)和服務(wù)接口決定的,。
SAN使用SCSI協(xié)議作為底層協(xié)議,SCSI協(xié)議管理的粒度非常小,,通常以字節(jié)(byte)或千字節(jié)(KB)為單位,;同時SCSI協(xié)議沒有提供讀寫鎖機制以確保不同應(yīng)用并發(fā)讀寫時的數(shù)據(jù)一致性,因此難以實現(xiàn)EB級存儲資源管理和多個服務(wù)器/服務(wù)器集群之間數(shù)據(jù)共享,。