摘 要: BP網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)的重要分支,,已經(jīng)廣泛應(yīng)用于手寫數(shù)字識(shí)別。然而BP神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練時(shí)間長,、易陷入局部最小的問題,。為了克服這些問題,提出了一種改進(jìn)的遺傳算法,,并用該算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值,。最后,利用基于該算法的神經(jīng)網(wǎng)絡(luò)對(duì)大量USPS手寫數(shù)字樣本集進(jìn)行訓(xùn)練,。實(shí)驗(yàn)結(jié)果表明,,該算法比單純的BP算法具有更快的識(shí)別速率。
關(guān)鍵詞: 遺傳算法,;BP神經(jīng)網(wǎng)絡(luò),;數(shù)字識(shí)別
數(shù)字識(shí)別前景廣闊,廣泛應(yīng)用于郵政編碼的識(shí)別,、汽車牌照的識(shí)別以及個(gè)人成績(jī)單的識(shí)別,。相對(duì)于印刷體數(shù)字識(shí)別,無約束手寫體的識(shí)別是模式識(shí)別領(lǐng)域的難點(diǎn),,也是目前的一個(gè)研究熱點(diǎn),。近幾年來眾多學(xué)者對(duì)手寫體進(jìn)行了較多的研究,提出了多種算法,,不過當(dāng)前運(yùn)用較好的主流算法還是以統(tǒng)計(jì),、神經(jīng)網(wǎng)絡(luò)、聚類分析的識(shí)別算法為主,。
神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)性和自適應(yīng)性,,對(duì)于解決目標(biāo)識(shí)別和模式分類具有較大的潛力。其中BP模型被廣泛地應(yīng)用于模式分類,、模式識(shí)別等方面,,但BP算法收斂速度慢,且很容易陷入局部極小點(diǎn),。遺傳算法具有并行搜索,、效率高、不存在局部收斂問題等優(yōu)點(diǎn)而被廣泛應(yīng)用,。然而傳統(tǒng)的遺傳算法帶有一定程度的隨機(jī)性和盲從性,且有過早收斂的現(xiàn)象,。為了克服遺傳算法的這些缺點(diǎn),,本文采用正交遺傳算法,,克服了初始種群的盲目性,并對(duì)選擇過程做了改進(jìn),,不再單純地淘汰劣勢(shì)個(gè)體,,以保證種群的多樣性。最后,,本文將改進(jìn)的遺傳算法應(yīng)用到BP網(wǎng)絡(luò)中,,提出遺傳BP神經(jīng)網(wǎng)絡(luò),通過遺傳算法的全局優(yōu)化能力提高BP神經(jīng)網(wǎng)絡(luò)對(duì)手寫數(shù)字樣本訓(xùn)練的速度,。
1 BP神經(jīng)網(wǎng)絡(luò)
BP網(wǎng)絡(luò)是一種典型的前向神經(jīng)網(wǎng)絡(luò),,主要由輸入層、隱含層,、輸出層組成,,它的基本結(jié)構(gòu)如圖1所示。隱含層可以是單層或多層,。每一層由一個(gè)或者多個(gè)節(jié)點(diǎn)組成,,同一層的節(jié)點(diǎn)之間沒有連接,而層與層之間的節(jié)點(diǎn)是全連接的,,即每一層的節(jié)點(diǎn)與前面一層的所有節(jié)點(diǎn)都有連接,。
BP網(wǎng)絡(luò)的核心是BP算法,BP算法由兩部分組成:信息的正向傳遞和誤差的反向傳播,。在正向傳播中,,輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層,每一層的輸出作用于下一層神經(jīng)元(即為圖中的節(jié)點(diǎn))的輸入,。如果在輸出層沒有得到期望的輸出,,則計(jì)算輸出層的誤差變化值,然后轉(zhuǎn)向反向傳播,,通過網(wǎng)絡(luò)將誤差信號(hào)沿原來的連接通路反傳回來,,修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。
雖然BP網(wǎng)絡(luò)得到了廣泛的應(yīng)用,,但它也存在一些自身的不足和限制,,例如訓(xùn)練時(shí)間較長、容易陷入局部最小值等[1],。
2 改進(jìn)的遺傳算法
遺傳算法的操作內(nèi)容主要有種群初始化操作,、選擇操作、交叉操作,、變異操作,。
2.1 種群的初始化
對(duì)于沒有先驗(yàn)知識(shí)的優(yōu)化問題,傳統(tǒng)遺傳算法的初始種群一般采取完全隨機(jī)的方法產(chǎn)生,,這樣選出的初始群體帶有一定的盲目性,,也很難選出具有代表性的群體,。本文采用正交化設(shè)計(jì)方法來初始化種群,利用正交設(shè)計(jì)所選的樣本組合能夠很好地代表所有可能的組合并且正交設(shè)計(jì)在數(shù)值優(yōu)化方面已經(jīng)被證明具有很好的搜索能力[2],,這樣獲得的初始種群更具有魯棒性和統(tǒng)計(jì)合理性,。
表1所示為兩種算法的性能比較,從中可以明顯地看出改進(jìn)的遺傳-BP算法比單純的BP算法具有更快的訓(xùn)練速度,。而手寫數(shù)字的識(shí)別精度很大程度上取決于訓(xùn)練樣本的數(shù)量,,因此,提高大量樣本的訓(xùn)練速度對(duì)手寫數(shù)字識(shí)別具有重要的意義,。
本文針對(duì)BP網(wǎng)絡(luò)訓(xùn)練大量數(shù)據(jù)時(shí),,訓(xùn)練時(shí)間長、易陷入局部最優(yōu)等問題,,提出將BP網(wǎng)絡(luò)與遺傳算法相結(jié)合,,并用改進(jìn)的遺傳算法來克服傳統(tǒng)遺傳算法收斂速度慢的缺點(diǎn),通過計(jì)算正交設(shè)計(jì)矩陣來提高初始種群的質(zhì)量,,有效地增強(qiáng)了算法的穩(wěn)定性和全局搜索能力,,也說明了此算法具有廣泛的應(yīng)用價(jià)值。
參考文獻(xiàn)
[1] 叢爽.神經(jīng)網(wǎng)絡(luò),、模糊系統(tǒng)及其在運(yùn)動(dòng)控制中的應(yīng)用[M].合肥:中國科學(xué)技術(shù)大學(xué)出版社,,2001.
[2] LEUNG Y W,WANG Y P.An orthogonal genetic algorithm with quantization for global numerical optimization[J].IEEE Trans.on Evolutionary Computation,,2001,,5(1):41-53.
[3] 王宇平.進(jìn)化計(jì)算的理論和方法[M].北京:科學(xué)出版社,2011.
[4] 王小平,,曹立明.遺傳算法——理論,、應(yīng)用與軟件實(shí)現(xiàn)[M].西安:西安交通大學(xué)出版社,2004.