國家計算機質(zhì)檢中心陽小珊：論閃存的質(zhì)量特性及測試與評價技術(shù)

目前,，對閃存產(chǎn)品的測試和評價技術(shù)指標(biāo)主要從功能,、性能,、可靠性,、易用性等方面進行多維度綜合測評,，而不同的產(chǎn)品形態(tài),，測評的技術(shù)指標(biāo)不一定相同。閃存作為行業(yè)高度認可的未來存儲介質(zhì),，其質(zhì)量如何保障,，是大家都需要考慮的問題，生產(chǎn)高質(zhì)量的國產(chǎn)閃存產(chǎn)品始終離不開嚴格的測試和標(biāo)準的制定,。

—— 國家計算機質(zhì)檢中心存儲測評實驗室主任陽小珊

本文記錄陽小珊在2018全球存儲半導(dǎo)體大會暨全球閃存技術(shù)峰會上的演講實錄,，主題：《閃存的質(zhì)量特性及測試與評價技術(shù)》。陽小珊分別從對當(dāng)前閃存市場的產(chǎn)品質(zhì)量,、產(chǎn)業(yè)發(fā)展?fàn)顩r以及有關(guān)閃存的測試與評價內(nèi)容進行了深入分析,。

以下為演講實錄：

我的演講首先涉及到閃存產(chǎn)品的質(zhì)量。作為用戶和普通第二方,、第三方怎么評價這個產(chǎn)品是非常關(guān)鍵的,，所以題目重點是閃存質(zhì)量特性及測試評價。主要從這幾個方面來講,，第一是質(zhì)量與產(chǎn)業(yè)鏈的關(guān)系,，第二是閃存及測試現(xiàn)狀，主要是國內(nèi)現(xiàn)狀,，第三是閃存的質(zhì)量特性,，從多個方面評價產(chǎn)品，第四是測試與評價,。這個題目原來是在設(shè)計的時候后面加了技術(shù),，因為涉及到我講的面比較廣，所以不需要深入講測評技術(shù),。

第一個方面是質(zhì)量內(nèi)容,，首先重點講一下質(zhì)量和國家發(fā)展的關(guān)系。質(zhì)量，進入二十一世紀以來,，行業(yè)和國家都非常關(guān)注質(zhì)量的內(nèi)容,。作為國家級戰(zhàn)略，這部分已經(jīng)寫入十九大報告,。質(zhì)量報告包括四方面的內(nèi)容,，第一是產(chǎn)品質(zhì)量是堅石的基礎(chǔ)，也就是說芯片,，包括上面的應(yīng)用產(chǎn)品是我們的重點,。然后是質(zhì)量保障、質(zhì)量提升和質(zhì)量監(jiān)管,，關(guān)于第四部分質(zhì)量監(jiān)管目前是國內(nèi)改革的重點,，行政許可基本放權(quán)，測試和評價是后面重要的監(jiān)管手段,，事前事中事后,，通過后面的質(zhì)量監(jiān)管體現(xiàn)服務(wù)質(zhì)量。

測試和質(zhì)量的關(guān)系,，談到質(zhì)量肯定離不開測試,，測試對我們的技術(shù)研究、產(chǎn)品設(shè)計,、產(chǎn)品制造和產(chǎn)品應(yīng)用都是非常關(guān)鍵的,，對我們最終的用戶來說，產(chǎn)品的應(yīng)用非常關(guān)鍵,，所以里面涉及到不同的測試方案都不一樣,，是整個產(chǎn)業(yè)生態(tài)鏈中不可缺失的重要環(huán)節(jié)。測試在我們企業(yè)產(chǎn)品生產(chǎn)過程中是重要的保障手段,，也是發(fā)現(xiàn)產(chǎn)品問題,、提升產(chǎn)品質(zhì)量的重要手段。測試需求我們都知道,，測試不僅僅說普通的用戶需要,，第一方需要，第二方需要,，第三方也需要,，第三方就是我們目前主要做的工作，做質(zhì)量鑒定,、認可,、發(fā)證這些方面的工作。

談到質(zhì)量離不開標(biāo)準,，標(biāo)準在產(chǎn)業(yè)發(fā)展中的地位不可動搖,，具體表現(xiàn)在支撐性,、戰(zhàn)略性和基礎(chǔ)性。標(biāo)準是保證產(chǎn)品質(zhì)量的重要依據(jù),，也是調(diào)整產(chǎn)業(yè)結(jié)構(gòu)的杠桿,，更是科技成果轉(zhuǎn)化的橋梁。技術(shù)形成以后怎么才能形成產(chǎn)業(yè)標(biāo)準指導(dǎo)產(chǎn)業(yè)發(fā)展是非常重要的,，只要標(biāo)準化出來引導(dǎo)標(biāo)準,。尤其是現(xiàn)在很火的5G，誰能引導(dǎo)標(biāo)準,，這在國際上的競爭是非常重要的,。

存儲產(chǎn)品對整個信息化發(fā)展具有非常重大的促進作用，是基礎(chǔ)產(chǎn)品,。目前物聯(lián)網(wǎng),、大數(shù)據(jù)需求很旺，但是我們國內(nèi)的情況不是太樂觀,，起步比較晚,，技術(shù)比較低，知識產(chǎn)權(quán)相對比較少,，缺少關(guān)鍵的核心技術(shù),。閃存作為未來發(fā)展的重要存儲設(shè)備,，它的地位不可動搖,。整個行業(yè)怎么把質(zhì)量提升上來，如何保證用戶的使用,，是大家都需要共同考慮的問題,。

下面我講一下測試的現(xiàn)狀。既然講到測試的話,，需要有標(biāo)準和方法,，要明確產(chǎn)品的類型，我這里講閃存測試是針對閃存的相關(guān)產(chǎn)品,。在行業(yè)里面目前分了幾大產(chǎn)品類型,，第一是閃存卡，我們經(jīng)常用到,，也是比較成熟的,。第二是固態(tài)盤，閃存盤也歸在里面,，產(chǎn)品不一樣,，標(biāo)準方法也不一樣。第三是閃存陣列,，這是對特殊應(yīng)用來說的,，包括混合陣列和全閃陣列等等,。第四是閃存系統(tǒng)，就是上層的應(yīng)用產(chǎn)品,，包括具有閃存的軟硬件系統(tǒng),，像固態(tài)盤、閃存介質(zhì),、閃存文件管理系統(tǒng)等方面的內(nèi)容,。

還有非常關(guān)鍵的測試跟產(chǎn)業(yè)鏈的關(guān)系，剛才簡單講了,。測試其實是廣泛和深入的學(xué)科,，里面涉及到的東西很多，第一是評測指標(biāo)體系,。剛才陳教授講可靠性的話,，可靠性其實是非常廣泛和深入的評價體系和指標(biāo)體系，對應(yīng)的方法和標(biāo)準,、服務(wù)測試都不一樣,，里面的內(nèi)容很多。測試體系大的三個方面去研究,，第一是測評指標(biāo)體系,，先要測試它，這個產(chǎn)品的質(zhì)量要做評價指標(biāo)體系,。第二是針對不同產(chǎn)品和不同指標(biāo)設(shè)計相關(guān)方面,，研制相關(guān)標(biāo)準。最后是相關(guān)的測試工具進行測評服務(wù),，所以涉及到整個產(chǎn)業(yè)鏈里面的關(guān)鍵技術(shù)研究,。在新技術(shù)研究的時候，都需要這些指標(biāo)和方法去驗證,，包括測試儀器和工具,。產(chǎn)品模型設(shè)計，產(chǎn)品生產(chǎn)制造是比較關(guān)鍵的,，會涉及到定型檢測,、出廠檢測，這是軟件間的提升,，再就是生產(chǎn)和應(yīng)用的表現(xiàn),。

接下來講閃存國內(nèi)的測評需求，針對國內(nèi)產(chǎn)品類型的分類,，我通過多年的測試情況整理了一些測試分類,。第一個是市場上的需求，目前民用測試需求很廣,，在市場上作為第三方經(jīng)常幫助用戶買存儲設(shè)備,，閃存卡,、閃存盤，容量不夠,、性能出問題,、可靠性出問題的鑒定檢測。第二是消費者協(xié)會威權(quán)檢測,，國內(nèi)有12315質(zhì)量協(xié)會,。第三是政府的采購，重點是對專業(yè)領(lǐng)域大的存儲系統(tǒng)購買,。隨著閃存產(chǎn)品的成熟,，海量級閃存產(chǎn)品替代作為政府關(guān)鍵采購設(shè)備，有些替代傳統(tǒng)滿足性能,，可靠性功能等各方面的需求,。我們中心作為國家機關(guān)政府采購指定單位，每年承擔(dān)很多方面的測評工作,。我們目前也遇到了很多瓶頸,，因為產(chǎn)品剛成熟，相關(guān)方法標(biāo)準和工具都比較缺失,。另外是部隊,，部隊是特殊行業(yè)軍用的，比如說航空閃存產(chǎn)品最多,，考慮到重量,、抗震和特殊的溫度環(huán)境，是非常關(guān)鍵的領(lǐng)域,。隨著閃存跟國內(nèi)存儲企業(yè)發(fā)展成熟,，去年我負責(zé)全軍首次自主光存儲設(shè)備測試與評價工作,，基本上國內(nèi)存儲設(shè)備企業(yè)都參與其中,。還有一些民用的測試，包括學(xué)校存儲方面科研成果的鑒定檢測,，還有863項目或者科研項目的驗收,，都是我們存儲的測評需求。

這是中央政府采購網(wǎng)的大型系統(tǒng)測試和評價,，里面有很多,，這只是簡單的舉例。這是去年首次做的自主存儲設(shè)備測試評估與規(guī)范,，包括測試與評價,。測試就是用具體的技術(shù)手段，去測性能指標(biāo)有沒有達到具體的要求,。評價就是看是什么級別,，跟別的相差多少,，這樣的話才有總體的認可。對于普通用戶或者使用者來說,，根本就不需要了解那么深入的證書,，通過這個結(jié)果就知道產(chǎn)品的質(zhì)量問題。

閃存產(chǎn)品的測試現(xiàn)狀,，測試方面國內(nèi)跟國外可能不一樣,，今天來了IOL實驗室的專家，國際上是自主型的組織,，相關(guān)企業(yè)如果通過了驗證,，兼容性或者性能可以做一些比較。國內(nèi)重點是國家認監(jiān)委和認可委管理,，標(biāo)準化和專業(yè)化比較強,，管控國內(nèi)六七千家實驗室。里面測試需要具備的東西非常關(guān)鍵,，人,、機、料,、法,、環(huán)是主要的因素，但是閃存領(lǐng)域相關(guān)產(chǎn)品測試還是不太樂觀,。首先是測試人員非常稀缺,，包括華中科技大學(xué)出來的學(xué)生做測試非常少，在企業(yè)里面做測試的也非常少,。如果在企業(yè)里面可能做得不太專業(yè),，不太全面。再就是機器,，目前的情況重點是國外開元軟件工具或者存貯設(shè)備,，對閃存的測試工具和設(shè)備不是太完善。如果有相關(guān)專業(yè)底層設(shè)備包括芯片的話,，那是非常昂貴的,。方法就是相關(guān)標(biāo)準和技術(shù)方法沒有完成，有些部分還不健全,。環(huán)境的話就是實驗室服務(wù)平臺沒有建起來,，國內(nèi)好多企業(yè)的產(chǎn)品做出來，可能還需要送到國外去測試,。

說到質(zhì)量離不開標(biāo)準化,，標(biāo)準化就是相關(guān)標(biāo)準規(guī)范。我們做了相關(guān)的跟蹤和研究,，國外有部分測試方法,，像耐久性測試,、擴展，還有性能測試規(guī)范,。國內(nèi)也做了一些成果,，我們跟著行業(yè)做了一些標(biāo)準。2010年華中科技大學(xué)聯(lián)合我們一起做了移動存儲閃存盤的通用規(guī)范,，當(dāng)時是針對USB的產(chǎn)品規(guī)范,。這兩年有兩個行標(biāo)，第一個是磁盤陣列通用規(guī)范,，還有固態(tài)盤的通用規(guī)范,。國標(biāo)的話是和存儲聯(lián)盟一起推了盤陣列通用規(guī)范，盤陣列包括閃存陣列和磁盤陣列,。另外是今年剛發(fā)布也是我主導(dǎo)編寫的固體盤測試方法,，2019年1月1日實施，涉及到性能,、功能,、可靠性、數(shù)據(jù)保持持久性等內(nèi)容,。

半導(dǎo)體相關(guān)方面的測試標(biāo)準,，快閃存儲器也是國標(biāo)，還有非易失性存儲器耐久和數(shù)據(jù)保持,，這幾個標(biāo)準都是國內(nèi)今年發(fā)布的,，半導(dǎo)體芯片產(chǎn)品一系列標(biāo)準。還有其他方面團體標(biāo)準,，國內(nèi)有中國存儲產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟,，我們是聯(lián)盟的指導(dǎo)單位，我也在主導(dǎo)做分布式全閃存存儲系統(tǒng)測試規(guī)范,，整個體系標(biāo)準規(guī)范研制過程中,。部隊里面也在做閃存盤、固態(tài)盤,、存儲設(shè)備等相關(guān)測試標(biāo)準,，這是國內(nèi)的測試現(xiàn)狀,。

第三個內(nèi)容,，講講閃存產(chǎn)品的質(zhì)量特性。閃存產(chǎn)品的質(zhì)量特性,，其他的產(chǎn)品信息是一樣的,，質(zhì)量關(guān)鍵是滿足需求，一般都要給予用戶需求去考慮,。這些要求的話,，定性的不太好評價,，一定要有相應(yīng)的考核指標(biāo)，怎么樣評價和檢驗考核需要一定的質(zhì)量特性,，質(zhì)量特性下面就轉(zhuǎn)化為我們的技術(shù)指標(biāo),。質(zhì)量特性就是指產(chǎn)品過程或者體系相關(guān)的要求，對閃存產(chǎn)品的測試評價技術(shù),，我們做了總結(jié)和分類,，第一個是功能、性能,、可靠性,、易用性方面，多維度的綜合評測,。我下面列了比較全面的測評體系,，需要注意不同產(chǎn)品測評技術(shù)和指標(biāo)是不一樣的，像閃存陣列要評價橫向和縱向的擴展性,，所以要考慮適用性的問題,。

我們整理了一下，針對產(chǎn)品級別來說測評指標(biāo)體系的需求,，第一個是功能,，根據(jù)用戶的需求，剛才第二節(jié)評測是質(zhì)量特性,，第三節(jié)叫做技術(shù)指標(biāo),。第二個是適用性，功能里面通訊協(xié)議怎么支持,，數(shù)據(jù)加解密有沒有功能,，實現(xiàn)得怎么樣，掉電保護功能有沒有實現(xiàn),，數(shù)據(jù)有沒有銷毀功能,，都是根據(jù)功能的實現(xiàn)，實現(xiàn)了功能就要考慮性能,，讀寫速率,、數(shù)據(jù)傳輸率，在產(chǎn)品測試里面重點講的是與時間特性相關(guān)表現(xiàn),，一般都是帶上時間的質(zhì)量特性,，標(biāo)準方面的東西。第三個是可靠性,，剛才有提到技術(shù)指標(biāo),，容錯性、數(shù)據(jù)保存時效、出錯率都是可靠性的子指標(biāo),。還有可用性,，產(chǎn)品展示宣傳手冊經(jīng)常看到可靠性多少9,，可用性多少個9,，其實這是沒有標(biāo)準和規(guī)范，是不統(tǒng)一的表現(xiàn),。在規(guī)范化研究里面,，多少個9是放在可用性的，多長時間里面容忍多久的宕機或者停機服務(wù),。另外還有兼容性,，第一個是硬件的兼容，第二個是軟件的兼容,。還有比較關(guān)鍵的信息安全性,，它是大的學(xué)科和領(lǐng)域，重點講的是物理安全和邏輯安全,。網(wǎng)絡(luò)通訊網(wǎng)絡(luò)信息安全,，網(wǎng)絡(luò)空間安全不算產(chǎn)品質(zhì)量的特性。環(huán)境適應(yīng)性,，氣侯適應(yīng),、機械環(huán)境這些非常關(guān)鍵，在應(yīng)用領(lǐng)域像產(chǎn)品涉及到高低溫情況,，電源適應(yīng)也是非常關(guān)鍵的指標(biāo),，還有相關(guān)功耗等，簡單帶過一下,。

具體講測試與評價,，不講技術(shù)了，非常關(guān)鍵的指標(biāo)就是容量,，我們買到的容量和企業(yè)產(chǎn)品標(biāo)注的容量可能不一樣,，有的標(biāo)注容量多少個G，實際用的沒有那么多,。對用戶來說相信哪個,，G大B、G小B,，都需要行業(yè)的標(biāo)準和規(guī)范,。還有掉電保護，掉電保護是一項功能,，對用戶是可靠性的手段,，包括單盤掉電和盤陣掉電。另外還有接口,、通訊協(xié)議,、數(shù)據(jù)加解密都是我們平常用到的。性能方面,，性能一定要注意一個問題,，所有的產(chǎn)品宣傳冊單獨只講結(jié)果的，行業(yè)里面有個笑話,，不說應(yīng)用場景的都叫耍流氓,，一定要明確測試環(huán)境，是大IO還是小IO,，這樣才有可比性和參考性,，不同產(chǎn)品性能需求不一樣。

可靠性,，剛才講過了,，容錯性需要我們重點注意，在測試當(dāng)中主要的測試方法就是故障注入測試,，通過斷電,、硬件故障、軟件故障,，通過這些綜合性的方法檢測產(chǎn)品可靠性,。

保存時效，通過測試的話,，我們設(shè)計的條件比較嚴苛,，要經(jīng)過不同環(huán)境的測試。還有MTBF,，有的產(chǎn)品標(biāo)稱幾百萬MTBF,，按說這個東西是比較難實現(xiàn)的，一般是理論和實際結(jié)合起來才可以出平均無故障間隔時間,。下面還有插拔和開關(guān)測試,。

可用性，對用戶來說能不能提供服務(wù),，這是非常關(guān)鍵的,，跟可靠性經(jīng)常是混著用。故障的修復(fù)時間,，存儲系統(tǒng)出了故障以后多久修復(fù)是用戶能接受的,，我們提了ITO技術(shù)指標(biāo)。數(shù)據(jù)重構(gòu)時間,、業(yè)務(wù)切換接管時間非常關(guān)鍵,，不同業(yè)務(wù)需求注重的指標(biāo)不一樣。另外是我們說的多少個9。

兼容性,，要考慮道不同的東西,，接口、部件,、整體,，部件涉及到內(nèi)存、硬盤和板卡,，軟件的話有驅(qū)動,、協(xié)議、操作系統(tǒng)等,。

信息安全是大家關(guān)注的重要內(nèi)容,，這里面講的信息安全要規(guī)避網(wǎng)絡(luò)安全。我們現(xiàn)在講物理安全，特殊設(shè)備講可信的物理空間,，安全環(huán)境有沒有涉秘空間,，有沒有防拆裝。另外是安全保護裝置,，盤陣可靠性提供,，有沒有非易時性緩存，是BBU實現(xiàn)的還是UPS實現(xiàn)的,，實現(xiàn)的能力有多強,，這些是具體的技術(shù)指標(biāo)。軟件包括檢錯能力,。還要講究邏輯安全,，通過軟硬件手段實現(xiàn)傳輸和存儲安全，重點是保障數(shù)據(jù)的完整性,、防篡改和機密性,。

下面是環(huán)境適應(yīng)性的技術(shù)要求，大部分標(biāo)準是國標(biāo),，還有強制性標(biāo)準,，是必須要滿足的要求，尤其是信息與設(shè)備,，包括氣侯環(huán)境和機械環(huán)境,。工作溫度和存儲溫度，機械環(huán)境也很多,，振動沖擊,、碰撞跌落,。電磁兼容涉及到人身安全的重要領(lǐng)域，重點依據(jù)標(biāo)準是國標(biāo)9254,，它是強制標(biāo)準,，生產(chǎn)相關(guān)設(shè)備的話取得3C許可證才可以銷售，無線電騷擾,、抗擾度,、防靜電等,。電源適應(yīng)性也是很重要的要求,，重點從人身安全考慮的內(nèi)容，有一般要求,、接觸電,、抗電和安全的保護功能。另外是功耗,，在我們的行標(biāo)里面提了產(chǎn)品的動態(tài)功耗和靜態(tài)功耗,，存儲器SPC也提了功耗怎么測法。

這就是我介紹的整體內(nèi)容,，希望產(chǎn)學(xué)研用各單位一起將測評體系進一步完善,。國內(nèi)對測試不是太重視，但是隨著質(zhì)量強國,，希望不要有外國月亮比中國圓的情況,，一起保證國內(nèi)生產(chǎn)出有競爭力高質(zhì)量的閃存產(chǎn)品，這是我們的希望,。謝謝各位聆聽,。