《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 測試測量 > 設(shè)計應(yīng)用 > 分布式測試系統(tǒng)中數(shù)據(jù)存儲管理技術(shù)研究
分布式測試系統(tǒng)中數(shù)據(jù)存儲管理技術(shù)研究
閆 鑫,,李士林,,周學(xué)
摘要: 在一些大海域進行的分布式測試系統(tǒng)實驗中,,對大量,、多種類測試數(shù)據(jù)的有效存儲管理是必要的。NANDFlash存儲器具有非易失,、大容量,、可擦除與重復(fù)性編程等優(yōu)點,并可基于其構(gòu)建文件系統(tǒng)實現(xiàn)文件的有效存儲管理,。無線實時回傳處理大量數(shù)據(jù)是系統(tǒng)的瓶頸,,因此存儲數(shù)據(jù)時可提取數(shù)據(jù)特征并存儲特征,為實現(xiàn)基于特征提取的高效數(shù)據(jù)傳輸提供可能,,提高系統(tǒng)的實時性,。
Abstract:
Key words :

引言

本課題研究的數(shù)據(jù)存儲與管理技術(shù)可應(yīng)用于在大型海域進行的水中爆炸效能參數(shù)測試的分布式測試系統(tǒng)中,整個系統(tǒng)中基站與主站通過無線傳輸,。由于在海域中的測試環(huán)境比較惡劣,,對于測試設(shè)備的布置比較困難,因此有時需要在短時間內(nèi)做多次重復(fù)性實驗,。重復(fù)性實驗就要求將每次所采集的數(shù)據(jù)實時回傳處理或存儲管理,,為下次實驗作準備。本系統(tǒng)所采用的無線傳輸方式?jīng)Q定不可能在短時間內(nèi)把大量數(shù)據(jù)回傳,。NAND Flash存儲器作為一種非易失,、大容量、可擦除與重復(fù)性編程等優(yōu)點,,在其內(nèi)部構(gòu)建文件系統(tǒng),,把多次重復(fù)性采集的多種數(shù)據(jù)以文件格式存儲,可為系統(tǒng)由無線傳輸引起的瓶頸提供另一種解決方案,。在存儲沖擊波數(shù)據(jù)時,,沖擊波信號有其典型的特征(最大值特征),可提取其最大值特征作為該文件的信息一同存儲,。事后數(shù)據(jù)快速分析處理時,,最關(guān)心的是沖擊波壓力峰值(即最大值),因此可通過傳輸特征值少量數(shù)據(jù)快速分析提高系統(tǒng)實時性,。

1 系統(tǒng)組成

本課題研究的數(shù)據(jù)存儲管理系統(tǒng)是分布式測試系統(tǒng)基站的重要組成部分,。該模塊實現(xiàn)了對沖擊波數(shù)據(jù)、水聲定位信號,、環(huán)境溫度等多種數(shù)據(jù)的存儲管理,,為事后數(shù)據(jù)分析處理提供可靠保證,,并通過與基站中的無線收發(fā)模塊通信,實現(xiàn)與主站的通信,。圖1為系統(tǒng)結(jié)構(gòu)框圖,。數(shù)據(jù)存儲管理系統(tǒng)主要由單片機與CPLD組成,本系統(tǒng)通過在CPLD內(nèi)部擴展SPI接口電路,,完成沖擊波,、水聲定位等信號的存儲;并在NAND Flash存儲器中構(gòu)建文件系統(tǒng),實現(xiàn)對多種大量數(shù)據(jù)的存儲管理,。

數(shù)據(jù)存儲管理系統(tǒng)框圖

2 數(shù)據(jù)傳輸接口電路設(shè)計

本數(shù)據(jù)存儲管理系統(tǒng)以單片機和CPLD作為核心控制器,。由于單片機的端口、內(nèi)部串口等資源數(shù)目有限,,需在CPLD內(nèi)部擴展SPI接口電路,,不僅簡化了接口和控制,提高了系統(tǒng)的整體性能及工作靈活性,,還使系統(tǒng)擴展變得可行,。CPLD擴展SPI接口框圖如圖2所示。

CPLD擴展SPI接口框圖

在CPLD內(nèi)部編寫雙向I/O總線,、譯碼電路,、時鐘發(fā)生器、移位寄存器等電路完成SPI接口電路設(shè)計,。READY為從機(沖擊波模塊)與主機(數(shù)據(jù)存儲管理系統(tǒng))通信時狀態(tài)標志位,,供主機與從機通信時查詢使用。READY為1時,,主從機可通信,。

圖3為CPLD擴展SPI接口電路讀取沖擊波模塊數(shù)據(jù)時的波形。bit8為READY信號,,從機高電平時主機讀取數(shù)據(jù);bit9為SCK時鐘信號,,主機查詢READY為高時主機產(chǎn)生8個SCK時鐘,啟動SPI傳輸;bit10為MOSI,,主機輸出端口;bit11為MISO,,主機輸入端口,SCK上升沿讀取數(shù)據(jù),。圖3連續(xù)兩個周期讀取的數(shù)據(jù)為0x07(00000111),、0xb0(10110000),兩周期時間間隔為20.400μs,,傳輸速度可達4×105bps,。

3 數(shù)據(jù)存儲管理

3.1 存儲管理數(shù)據(jù)特征

在本分布式測試系統(tǒng)實驗時,所要存儲管理的沖擊波、水聲信號等數(shù)據(jù)的大小,、存儲順序都一定,,是其典型特征。因此存儲數(shù)據(jù)時可以按順序方式存儲,,把每一類數(shù)據(jù)分別以一個文件的形式存儲,,用文件名把沖擊波與水聲信號等進行區(qū)別,并且每一文件有其唯一的編號ID,。采集參數(shù)信息(如時間,、通道、頻率,、點數(shù),、觸發(fā)延時信息等)作為每個文件的頭信息保存,事后數(shù)據(jù)分析處理時可先讀取文件存儲狀態(tài)(包括所有存儲文件的頭信息),,然后可為事后分析處理數(shù)據(jù)提供便利。

3.2 文件系統(tǒng)的設(shè)計

文件系統(tǒng)的具體設(shè)計是根據(jù)系統(tǒng)資源環(huán)境和應(yīng)用需求而定的,,因此在具體的應(yīng)用系統(tǒng)中文件系統(tǒng)會有不同的實現(xiàn)形式,。

結(jié)合本課題的存儲器特征:NAND Flash(Samsung K9F1208)是以頁為單位存儲、以塊為單位擦除,,寫入速度快(典型200μs),、擦除速度慢(典型2 ms)。存儲數(shù)據(jù)特征:文件大小是確定的,,存儲過程是順序存儲,,且存儲之后不會對數(shù)據(jù)進行再寫入和隨機讀取與修改。NAND Flash構(gòu)建一種基于塊設(shè)備存儲的文件系統(tǒng),,適合對本課題多次重復(fù)性實驗數(shù)據(jù)進行有效存儲與管理,。基于塊設(shè)備存儲的文件系統(tǒng)是磁盤存儲器常用的文件系統(tǒng),,典型的是FAT文件系統(tǒng),。FAT文件系統(tǒng)技術(shù)成熟、結(jié)構(gòu)簡單,、系統(tǒng)資源開銷小,,結(jié)合本系統(tǒng)使用的NAND Flash特性,易于在本系統(tǒng)硬件平臺(Atmel ATmega162單片機與Xilinx XC2C256-7 CPLD為核心控制)上實現(xiàn),。

由于NAND Flash不同于一般的磁盤存儲器,,在出廠時允許有一定數(shù)量的壞塊,需對通用FAT文件系統(tǒng)做相應(yīng)的修改,,方可運用于本系統(tǒng),。在NAND Flash中建立無效塊表,在該表內(nèi)把所有塊的狀態(tài)標示出來(如可用0x00表示壞塊,、0xff表示有效塊),,這樣在之后的數(shù)據(jù)存儲過程中,,可防止把數(shù)據(jù)寫到壞塊,提高數(shù)據(jù)存儲的可靠性,。本文件系統(tǒng)由以下幾部分組成:系統(tǒng)記錄區(qū),、無效塊表、文件登記表區(qū),、數(shù)據(jù)區(qū),。本系統(tǒng)所用的NAND Flash是K9F1208,生產(chǎn)廠商設(shè)定的存儲空間的第1區(qū)塊必定是有效塊,。在設(shè)計時,,將第1區(qū)塊作為存儲器的系統(tǒng)記錄區(qū),同時在此區(qū)塊中建立無效塊表,、文件分配表,、文件登記表。

①系統(tǒng)記錄區(qū):存放最重要的文件系統(tǒng)信息,,如Flash存儲器的類型,、容量、版本信息等,。

②無效塊表:標示所有塊的狀態(tài),。無效塊表存儲在第1區(qū)塊的第1頁到第8頁(共8頁,每頁512字節(jié),,512×8=4 096,,可把FLash所有塊狀態(tài)標示出來)。系統(tǒng)調(diào)試結(jié)果如圖4所示,。

③文件登記表:存儲每一個文件的文件頭信息,,存儲在無效塊表之后。K9F1208每頁有512字節(jié),,每頁存儲一個文件的文件頭信息?,F(xiàn)每一文件頭信息占30字節(jié)(其余系統(tǒng)可擴展使用),主要包括文件名,、ID號,、長度、以及該文件存儲在NAND Flash中的起始,、結(jié)束塊號物理地址,。文件登記表的建立為系統(tǒng)查看所有存儲數(shù)據(jù)提供便利,方便數(shù)據(jù)管理,。根據(jù)文件登記表中文件存儲在NAND FLash的首尾物理塊地址信息,,可隨機讀取少量文件數(shù)據(jù)分析,為系統(tǒng)因無線傳輸大量數(shù)據(jù)的瓶頸提供另一種解決方案。調(diào)試結(jié)果如圖5所示,。

 

④數(shù)據(jù)區(qū)域:用于存放數(shù)據(jù),,文件系統(tǒng)中,數(shù)據(jù)分配的最小單位是Flash存儲器的一個基本擦除單元,,即一個物理區(qū)塊(16 KB),。

3.3 基于沖擊波數(shù)據(jù)特征提取的數(shù)據(jù)存儲

由于每次實驗沖擊波數(shù)據(jù)量相對于無線傳輸而言比較大(4 MB,系統(tǒng)實驗無線傳輸需20 min),,如果回傳全部數(shù)據(jù)處理,,系統(tǒng)實時性能比較差。水中沖擊波信號有其典型的特征,,如圖6所示,。Pm為沖擊波壓力峰值信號(即最大值),事后數(shù)據(jù)分析處理時,,最關(guān)心的是沖擊波的壓力峰值附近的數(shù)據(jù),。因此在數(shù)據(jù)存儲時,可根據(jù)其特征找最大值,,并把最大值所存儲的NAND Flash的物理地址作為一個參數(shù)信息保存到文件頭信息中,,如圖5所示。沖擊波文件信息中有最大值與所存儲位置文件信息,。在文件數(shù)據(jù)回傳時,可依據(jù)最大值所在塊地址信息讀取最大值附近的數(shù)據(jù),,實現(xiàn)基于特征的高效數(shù)據(jù)傳輸,,提高系統(tǒng)實時性。圖7為根據(jù)沖擊波文件頭信息讀取最大值附近40 000個點(40 000×2/1024=78.1 25KB)數(shù)據(jù)恢復(fù)波形,,實現(xiàn)了基于特征提取的高效數(shù)據(jù)傳輸,。

 

結(jié)語

此方法提高了系統(tǒng)的擴展性,為系統(tǒng)升級管理更多數(shù)據(jù)模塊提供了可能;針對大量,、多種類實驗測試數(shù)據(jù)以及實驗的重復(fù)性,,基于NAND Flash K9F1208存儲器構(gòu)建文件系統(tǒng)對數(shù)據(jù)分類存儲管理。文件登記表的創(chuàng)建方便了數(shù)據(jù)的管理,,為實驗事后數(shù)據(jù)分析處理提供了可靠依據(jù);根據(jù)沖擊波信號的典型數(shù)據(jù)特征,,存儲沖擊波信號時提取其特征信息,作為文件頭信息保存,,可實現(xiàn)基于特征提取的高效數(shù)據(jù)傳輸,。

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載,。