在機(jī)器學(xué)習(xí)和KDD領(lǐng)域,事物的屬性和屬性取值反映了事物的本質(zhì)和度量，為了描述一致，統(tǒng)稱為模式特征,。在傳統(tǒng)文獻(xiàn)中，模式特征一般分為物理特征,、結(jié)構(gòu)特征和數(shù)學(xué)特征^[1～2],。物理特征和結(jié)構(gòu)特征容易被人類感官所接受，便于直接識別對象,。在人工智能領(lǐng)域,，物理特征和結(jié)構(gòu)特征以數(shù)學(xué)特征的形式表現(xiàn)出來，特征提取" title="特征提取">特征提取主要指特征數(shù)據(jù)的處理方法和過程,。廣義上的特征提取按屬性數(shù)據(jù)的處理方式分為特征直接提取和間接提取,，又稱為特征選擇和特征變換。
　　(1)直接提取(特征選擇)：設(shè)原始特征集合為U_n={A₁,A₂,…,，A_n},直接提取即從U_n中挑選出有利于分類的特征子集：
　　其中,，d＜n,U_dU_n，特征空間的維數(shù)得到了壓縮,。
　　(2)間接提取(特征變換)：通過映射或變換的方法，把高維空間U_n的高維特征轉(zhuǎn)化為低維空間U_d的低維特征： T_e:U_nd
　　其中,，d≤n,，在特征空間變換過程中，特征維數(shù)得到了壓縮,，但是壓縮的前提是保證樣本的分類性質(zhì)保持不變,。T_e可以采用線性或者非線性變換模型。
　　特征選擇的主要算法包括枚舉法、分支定界搜索法,、逐個(gè)特征比較法等啟發(fā)式方法^[3],。在實(shí)際運(yùn)算時(shí)，啟發(fā)式算法" title="啟發(fā)式算法">啟發(fā)式算法無論采用深度優(yōu)先或者廣度優(yōu)先,，過程控制都非常復(fù)雜,，且對噪音的處理非常不方便。從本質(zhì)上講,，任何啟發(fā)式算法都是一種局部尋優(yōu)方法,，所獲得的解通常不是最優(yōu)解，同時(shí)難于發(fā)現(xiàn)多個(gè)最優(yōu)解或滿意解^[4～5],。另外,，啟發(fā)式算法的求解結(jié)果對噪音比較敏感，影響了特征子集的魯棒性和適應(yīng)性,。
　　在概念學(xué)習(xí)或者更為廣泛的模式識別領(lǐng)域,，特征提取是一個(gè)非常復(fù)雜的問題，所表示的模型求解基本上是NP類問題^[6～7],，一般需要綜合考慮分類錯(cuò)誤,、特征簡單性和計(jì)算時(shí)間資源等因素。
　　傳統(tǒng)的特征提取方法通常采用線性變換,使得判別準(zhǔn)則函數(shù)最大或者最小(熵函數(shù)和類內(nèi)類間距離函數(shù)是經(jīng)常采用的兩個(gè)準(zhǔn)則函數(shù),^[1]),即
　　Y=A*X
　　其中,A*為d×n維的變換矩陣,將n維特征的原始樣本空間X變換為d維特征的樣本空間,。這就是傳統(tǒng)特征提取的統(tǒng)計(jì)與代數(shù)方法,。在這兩種方法中存在著強(qiáng)烈的統(tǒng)計(jì)假設(shè)和矩陣非奇異假設(shè)，而在實(shí)際環(huán)境中,，這些要求很難得到滿足,。對于大規(guī)模的實(shí)際問題，通常采用專家干預(yù)的方法進(jìn)行調(diào)整,，使得計(jì)算過程變得非常繁瑣,，導(dǎo)致這兩類方法的實(shí)用性受到很大的限制。尤其是面對非線性可分的樣本空間時(shí),，傳統(tǒng)的統(tǒng)計(jì)與代數(shù)方法顯得更加無能為力,，難以實(shí)現(xiàn)分類模式的獲取。因此許多專家提出了各種各樣的非線性特征提取方法,，例如基于K-L展開式的KLT方法^[1],、神經(jīng)網(wǎng)絡(luò)方法^[8]、小波分析^[9]等,。KLT是最小均方誤差準(zhǔn)則下的最佳K-L變換方法,，不受樣本分布性質(zhì)的限制，但是不存在快速算法,，計(jì)算量是維數(shù)的指數(shù)函數(shù),，當(dāng)維數(shù)比較高時(shí),，計(jì)算量難以承受。在實(shí)際中經(jīng)常采用傅立葉變換(DFT)或者離散沃爾什變換(DWT)等代替,。這些變換均存在相應(yīng)的快速算法,，但僅能得到次優(yōu)的結(jié)果。小波分析與KLT方法具有相同的特點(diǎn),，也存在類似的問題,。
　　模式分類是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要應(yīng)用領(lǐng)域，在輸入存在或數(shù)據(jù)不完整的情況下,，神經(jīng)網(wǎng)絡(luò)也具有良好的分類能力^[10～12],特別是三層以上結(jié)構(gòu)的多層感知器系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型" title="網(wǎng)絡(luò)模型">網(wǎng)絡(luò)模型可以靈活地處理非線性可分問題,。但是神經(jīng)網(wǎng)絡(luò)模型的求解算法不僅效率低，而且容易陷入局部極值點(diǎn),?；诖耍疚膶⑸窠?jīng)網(wǎng)絡(luò)的表示能力與ＧＡ的全局求解能力結(jié)合,，用于非線性特征提取問題,。
1 基于GA和神經(jīng)網(wǎng)絡(luò)的非線性特征變換算法
1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置
　　根據(jù)神經(jīng)網(wǎng)絡(luò)理論，三層感知器可以形成任意復(fù)雜的決策區(qū)域^[8,，11],對于特征提取來講,，將第三層作為特征輸出層，并要求輸出二進(jìn)制類型數(shù)據(jù)作為特征數(shù)據(jù),。網(wǎng)絡(luò)模型為：隱層節(jié)點(diǎn)的激勵(lì)函數(shù)選擇連續(xù)型Sigmoid函數(shù)f(x)=,，輸出層節(jié)點(diǎn)的激勵(lì)函數(shù)選擇f(yk)=sgn()，(k=1,2…,d),輸出{-1,1},向量轉(zhuǎn)化為{0,1}作為新的特征向量,。
1.2 GA方案安排
　　把GA應(yīng)用于實(shí)際問題時(shí),，首先需要解決編碼和適應(yīng)度函數(shù)的設(shè)計(jì)，然后是三個(gè)進(jìn)化算子(選擇,、交叉和變異算子)的設(shè)計(jì),，當(dāng)然還有初始條件和收斂條件的設(shè)置，運(yùn)行GA以求得問題的準(zhǔn)最優(yōu)解,。本文的遺傳算法" title="遺傳算法">遺傳算法應(yīng)用方案設(shè)計(jì)主要為以下步驟：
　　(1)編碼
　　在遺傳算法理論中有兩種主要的編碼方式：二進(jìn)制編碼和實(shí)數(shù)編碼,。二進(jìn)制編碼進(jìn)化的層次是基因，浮點(diǎn)數(shù)進(jìn)化的層次是個(gè)體,。大量的實(shí)驗(yàn)結(jié)果表明：對同一優(yōu)化問題二進(jìn)制編碼和實(shí)數(shù)編碼GA不存在明顯的性能差異,。本文采用二進(jìn)制編碼。
　　基于二進(jìn)制的染色體位串由五部分組成：隱層節(jié)點(diǎn)數(shù)s₁:a₁a₂…a_(2n+1),；輸入節(jié)點(diǎn)到隱層節(jié)點(diǎn)的連接權(quán)重編碼s₂:b₁₁b₁₂…b_1nb₂₁b₂₂…b_2n…b_(2n+1)|b_(2n+1)2…b_(2n+1)n,；隱層節(jié)點(diǎn)到輸出節(jié)點(diǎn)的連接權(quán)重編碼s₃:c₁₁c₁₂…c_1(2n+1)c₂₁c₂₂…c_2(2n+1)…c_d1c_d2…c_d(2n+1)；隱層節(jié)點(diǎn)激勵(lì)函數(shù)的閾值編碼s₄:d₁d₂…d_(2n+1),；輸出函數(shù)的閾值編碼s₅:e₁e₂…e_d,。
　　將上述五個(gè)部分連接在一起就構(gòu)成了整個(gè)模型的編碼。其中連接權(quán)重和閾值編碼限定范圍是[－1,，1],。
　　(2)適應(yīng)值函數(shù)
　　遺傳算法在搜索進(jìn)化過程中一般不需要其他的外部信息，僅用適應(yīng)度來評價(jià)個(gè)體的優(yōu)劣,，并以此作為遺傳操作的依據(jù),。設(shè)計(jì)一個(gè)好的適應(yīng)度函數(shù)對于遺傳算法的執(zhí)行效率和結(jié)果有著至關(guān)重要的影響，本文以熵函數(shù)(見式(1))為基礎(chǔ),，并考慮網(wǎng)絡(luò)結(jié)構(gòu)的簡單性,，構(gòu)造出本算法的適應(yīng)值函數(shù)(式(2))。
　　

?

　　
　　其中α,、β為熵函數(shù)值與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之間的平衡系數(shù),，第二項(xiàng)要求網(wǎng)絡(luò)中隱層節(jié)點(diǎn)數(shù)越少越好，第三項(xiàng)要求網(wǎng)絡(luò)中連接數(shù)越少越好,，以提高網(wǎng)絡(luò)的穩(wěn)定性,。
　　(3) 選擇
　　采用適應(yīng)度比例方法，并保留每一代的最佳個(gè)體,。
　　(4) 交叉
　　交叉互換能產(chǎn)生不同于母體的后代,，交叉的概率越高，群體中新結(jié)構(gòu)引入越快,；如果交叉概率太低,，收斂速度可能降低，導(dǎo)致搜索阻滯,。在此,，采用雙點(diǎn)交叉，交叉概率設(shè)置為0.6,。
　　(5) 變異
　　變異操作是保持群體多樣性的有效手段,。變異概率太小，可能是某些基因位過早丟失的信息無法恢復(fù),；變異概率過高,，遺傳搜索將變成隨機(jī)搜索。在此,，采用基本變異算子,，變異概率設(shè)置為0.001。
　　(6) 種群規(guī)模
　　若種群規(guī)模過大,，則適應(yīng)度評估次數(shù)增加,，計(jì)算量增大；種群規(guī)模過小,，可能會引起未成熟收斂現(xiàn)象,。因此種群規(guī)模的設(shè)置應(yīng)該合理,。在此，種群規(guī)模取為6000,，最大繁殖代數(shù)(進(jìn)化代數(shù))設(shè)置為500,。
　　(7) 終止準(zhǔn)則
　　任何算法設(shè)計(jì)的最后一步都要分析其收斂條件。在本文中算法執(zhí)行滿足下列條件之一時(shí),，算法終止：
　　·最大的適應(yīng)度值在連續(xù)四代之內(nèi)變化小于0.001,算法終止,。
　　·上述條件不滿足時(shí)，算法執(zhí)行到最大進(jìn)化代數(shù)時(shí)自動終止,。
　　保證算法收斂的策略：采用杰出人才保持模型,，即用每一代內(nèi)的最優(yōu)個(gè)體替代下一代內(nèi)的最差個(gè)體，從而使得算法完全收斂,。
1.3 算法描述
　　網(wǎng)絡(luò)參數(shù)設(shè)置：輸入節(jié)點(diǎn)數(shù)n1=22,隱層節(jié)點(diǎn)數(shù)n2=45,輸出節(jié)點(diǎn)數(shù)d=13,輸入節(jié)點(diǎn)到隱層節(jié)點(diǎn)的連接數(shù)900,隱層節(jié)點(diǎn)到輸出節(jié)點(diǎn)的連接數(shù)580,。
　　GA參數(shù)設(shè)置：位串長度Ｌ=12705,群體規(guī)模ｎ=6000，交叉概率pc=0.6,變異概率pm=0.001,進(jìn)化代數(shù)為500,，每個(gè)實(shí)數(shù)參數(shù)的二進(jìn)制編碼長度設(shè)為8,。
　　算法主要流程：
　　(1) 初始化：設(shè)置群體規(guī)模N=6000,進(jìn)化代數(shù)G=500，交叉概率P_c=0.6和變異概率P_m=0.001,，染色體長度chromlength=12705,，隨機(jī)產(chǎn)生初始種群;
　　(2) 令G=1,進(jìn)入循環(huán);
　　(3) 對30個(gè)個(gè)體進(jìn)行解碼，代入神經(jīng)網(wǎng)絡(luò)模型,，根據(jù)適應(yīng)值函數(shù)(見式(2))計(jì)算個(gè)體的適應(yīng)度;
　　(4) 進(jìn)行遺傳操作：精英選擇,、雙點(diǎn)交叉、基本變異,；
　　(5) G=G+1,判斷是否滿足終止準(zhǔn)則,；
　　(6) 不滿足，轉(zhuǎn)到第(3)步,；滿足,，進(jìn)化(循環(huán))終止,輸出最佳個(gè)體。
2 應(yīng)用實(shí)例
　　將上述方法應(yīng)用到一水輪發(fā)電機(jī)的仿真機(jī)上進(jìn)行實(shí)踐,。對原始數(shù)據(jù)表中的屬性進(jìn)行特征抽取和變換,原始數(shù)據(jù)表(含12個(gè)屬性和3000行對應(yīng)的屬性值)數(shù)據(jù)量很大, 由于篇幅有限不予列出^[13], 屬性及其值域的表格如表1所示,。

　　采用文中提出的方法提取的特征結(jié)果形式如表2所示，其中提取的特征屬性為溫度t,、電流ｉ和電壓ｕ,，對應(yīng)的屬性值為概括后的特征值(假設(shè)ｔ表示發(fā)電機(jī)的線圈溫度，i表示其定子電流,，u表示定子電壓,，s表示其工作狀態(tài))，t,、i,、u對應(yīng)的1表示正常,，0表示異常；ｓ對應(yīng)的1表示正常狀態(tài),；2可表示異常狀態(tài),。為了測試本文算法，將其與傳統(tǒng)的貝葉斯方法進(jìn)行比較,，如表3、表4所示,。
　　從上表實(shí)驗(yàn)數(shù)據(jù)可以看出,，經(jīng)過GA與神經(jīng)網(wǎng)絡(luò)的結(jié)合，二者的優(yōu)越性都得以發(fā)揮,，學(xué)習(xí)誤差和預(yù)測誤差都有所下降,，且運(yùn)行時(shí)間減少；分類精度要高于傳統(tǒng)的貝葉斯統(tǒng)計(jì)方法20%左右,且學(xué)習(xí)誤差和預(yù)測誤差降低了將近50%,。通過對比,可以看出GA-NN相結(jié)合進(jìn)行的特征變換達(dá)到一般特征提取的精度要求,，在相同的評價(jià)體系下，本文提出的算法是有效且可信的,。

　　神經(jīng)網(wǎng)絡(luò)用于特征提取是一個(gè)規(guī)模非常龐大的優(yōu)化問題,，系統(tǒng)結(jié)構(gòu)中含有大量的冗余節(jié)點(diǎn)和連接，獲得可行解的速度比較快,，但是尋找最優(yōu)解需要長時(shí)間的進(jìn)化和訓(xùn)練,。為此采用了神經(jīng)網(wǎng)絡(luò)與遺傳算法相結(jié)合的混合算法進(jìn)行特征提取，通過實(shí)驗(yàn)驗(yàn)證,，效果較好,。但是存在的不足是隨著特征數(shù)量和實(shí)例樣本量的增加，神經(jīng)網(wǎng)絡(luò)的GA求解的計(jì)算量將成指數(shù)增加,，需要采用大型計(jì)算機(jī)或超級并行計(jì)算機(jī),。這對于其推廣應(yīng)用是一個(gè)嚴(yán)峻的挑戰(zhàn)。
參考文獻(xiàn)
1 傅京孫. 模式識別及其應(yīng)用. 北京：科學(xué)出版社,，1983
2 沈 清,，湯 霖.模式識別導(dǎo)論.長沙：國防科技出版社，1991
3 李金宗.模式識別導(dǎo)論.北京：高等教育出版社,，1996:127
4 陳 彬,，洪家榮，王亞東.最優(yōu)特征子集選擇問題.計(jì)算機(jī)學(xué)報(bào),，1997,；20(2):133～138
5 錢國良，舒文豪,，陳 彬.基于信息熵的特征子集選擇啟發(fā)式算法的研究.軟件學(xué),1998,；9(12):911～916
6 Michalski,R.S., Teluci,G.Machine learning：a multi-strategy approach. San Francicso. CA:Morgan Kaufmann,1994,；4
7 Jia rong. H.Inductive learning:algorithm,theory,application.Beijing: Science Publishing House of China,1997
8 鐘義信，潘新安,，楊義先.智能理論與技術(shù)-人工智能與神經(jīng)網(wǎng)絡(luò).北京:人民郵電出版社,，1992
9 Fionn Murtagh,Wedding the wavelet transformation and multivariate data analysis Journal of Classification,1998;(15):161～183
10 Brill,F.Z. Fast genetic selection of feature for neural network classififier.IEEE Transactions on Neural Networks,1992；3(2):324～328
11 Ripley,B.Pattern recognition and neural networks.New York:Cambridge Press,1996
12 Rudy Setiono,and Huan Liu.Neural Networks feature selector.Department of Information systems and Computer Science.National University of Singapore,1996
13 Zhang D G,Zhao H.Fuzzy-neural theory applied to electric fault fusion in monitoring system of hydropower plant[A].The 4th Information Fusion International Conference [C].Montreal:CM Press,2001.10