2月28日消息,，在不舍與興奮中,，我們迎來了DeepSeek開源周第五天。今天DeepSeek開源的項目是：Fire-Flyer文件系統(tǒng),，即3FS,。

據(jù)了解，3FS是一個高性能并行文件系統(tǒng),，它是所有Deepseek數(shù)據(jù)訪問的助推器,，能應(yīng)對AI訓(xùn)練和推理工作負載的挑戰(zhàn)。

它利用現(xiàn)代SSD和RDMA網(wǎng)絡(luò)提供共享存儲層,，能簡化分布式應(yīng)用程序的開發(fā),，具有以下主要特性：

1、分離式架構(gòu)：結(jié)合了數(shù)千個SSD和數(shù)百個存儲節(jié)點的網(wǎng)絡(luò)帶寬,，使應(yīng)用程序可以不受位置限制地訪問存儲資源

2、強一致性：實現(xiàn)了鏈?zhǔn)綇?fù)制與分配查詢(CRAQ)協(xié)議,，確保數(shù)據(jù)的強一致性,，簡化應(yīng)用程序開發(fā)

3、文件接口：提供基于事務(wù)性鍵值存儲(如FoundationDB)支持的無狀態(tài)元數(shù)據(jù)服務(wù),，使用通用的文件接口,，無需學(xué)習(xí)新的存儲API

4、多樣化工作負載支持

4.1  數(shù)據(jù)準(zhǔn)備：高效組織數(shù)據(jù)分析管道的輸出和管理大量中間結(jié)果

4.2  數(shù)據(jù)加載：支持計算節(jié)點間的訓(xùn)練樣本隨機訪問,，消除預(yù)取或打亂數(shù)據(jù)集的需求

4.3  檢查點保存：支持大規(guī)模訓(xùn)練的高吞吐并行檢查點保存

4.4  推理KVCache：提供比基于內(nèi)存緩存更具成本效益的替代方案,，同時提供高吞吐量和更大容量

另外，3FS的核心性能指標(biāo)表現(xiàn)在聚合讀取吞吐量上,，具體體現(xiàn)就是在由180個存儲節(jié)點組成的集群中,，可實現(xiàn)  6.6 TiB/s 的聚合讀取吞吐量,。

在基準(zhǔn)測試表現(xiàn)中，在25節(jié)點集群的 GraySort 基準(zhǔn)測試中,，吞吐量可達 3.66 TiB/分鐘,；在單客戶端節(jié)點的 KVCache 查找峰值吞吐量超過40 GiB/s。

尤其值得一提的是,，3FS對于V3和R1中訓(xùn)練數(shù)據(jù)預(yù)處理,、數(shù)據(jù)集加載、嵌入向量搜索和KV Cache查找等工作,，都立下了汗馬功勞,，可謂功高蓋主！

網(wǎng)友們表示,，3FS和Smallpond為AI數(shù)據(jù)處理設(shè)定了新基準(zhǔn),，將改變數(shù)據(jù)處理的游戲規(guī)則。這對于AI演化來說,，相當(dāng)于從自行車升級到了高鐵,！大家說，3FS牛不牛,！