人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）又稱連接機(jī)模型,，是在現(xiàn)代神經(jīng)學(xué),、生物學(xué),、心理學(xué)等學(xué)科研究的基礎(chǔ)上產(chǎn)生的,，它反映了生物神經(jīng)系統(tǒng)處理外界事物的基本過程,，是在模擬人腦神經(jīng)組織的基礎(chǔ)上發(fā)展起來的計算系統(tǒng),，是由大量處理單元通過廣泛互聯(lián)而構(gòu)成的網(wǎng)絡(luò)體系，它具有生物神經(jīng)系統(tǒng)的基本特征,，在一定程度上反映了人腦功能的若干反映,，是對生物系統(tǒng)的某種模擬，具有大規(guī)模并行,、分布式處理,、自組織、自學(xué)習(xí)等優(yōu)點,，被廣泛應(yīng)用于語音分析,、圖像識別、數(shù)字水印,、計算機(jī)視覺等很多領(lǐng)域,，取得了許多突出的成果。由于人工神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,，它已經(jīng)成為模式識別的強(qiáng)有力的工具,。神經(jīng)網(wǎng)絡(luò)的運用展開了新的領(lǐng)域，解決其它模式識別不能解決的問題,，其分類功能特別適合于模式識別與分類的應(yīng)用,。

　　多層前向BP網(wǎng)絡(luò)是目前應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)形式，它具備神經(jīng)網(wǎng)絡(luò)的普遍優(yōu)點,，但它也不是非常完美的,，為了更好的理解應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行問題求解，這里對它的優(yōu)缺點展開一些討論,。

　　BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點：

　　1) 非線性映射能力：BP神經(jīng)網(wǎng)絡(luò)實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能,，數(shù)學(xué)理論證明三層的神經(jīng)網(wǎng)絡(luò)就能夠以任意精度逼近任何非線性連續(xù)函數(shù)。這使得其特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題,，即BP神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的非線性映射能力,。

　　2) 自學(xué)習(xí)和自適應(yīng)能力：BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能夠通過學(xué)習(xí)自動提取輸出,、輸出數(shù)據(jù)間的“合理規(guī)則”,，并自適應(yīng)的將學(xué)習(xí)內(nèi)容記憶于網(wǎng)絡(luò)的權(quán)值中。即BP神經(jīng)網(wǎng)絡(luò)具有高度自學(xué)習(xí)和自適應(yīng)的能力,。

　　3) 泛化能力：所謂泛化能力是指在設(shè)計模式分類器時,，即要考慮網(wǎng)絡(luò)在保證對所需分類對象進(jìn)行正確分類，還要關(guān)心網(wǎng)絡(luò)在經(jīng)過訓(xùn)練后,，能否對未見過的模式或有噪聲污染的模式,，進(jìn)行正確的分類,。也即BP神經(jīng)網(wǎng)絡(luò)具有將學(xué)習(xí)成果應(yīng)用于新知識的能力。

　　4) 容錯能力：BP神經(jīng)網(wǎng)絡(luò)在其局部的或者部分的神經(jīng)元受到破壞后對全局的訓(xùn)練結(jié)果不會造成很大的影響,，也就是說即使系統(tǒng)在受到局部損傷時還是可以正常工作的,。即BP神經(jīng)網(wǎng)絡(luò)具有一定的容錯能力。

　　鑒于BP神經(jīng)網(wǎng)絡(luò)的這些優(yōu)點,，國內(nèi)外不少研究學(xué)者都對其進(jìn)行了研究,，并運用網(wǎng)絡(luò)解決了不少應(yīng)用問題。但是隨著應(yīng)用范圍的逐步擴(kuò)大,，BP神經(jīng)網(wǎng)絡(luò)也暴露出了越來越多的缺點和不足,。

　　缺點和不足

　　1) 局部極小化問題：從數(shù)學(xué)角度看，傳統(tǒng)的 BP神經(jīng)網(wǎng)絡(luò)為一種局部搜索的優(yōu)化方法,，它要解決的是一個復(fù)雜非線性化問題,，網(wǎng)絡(luò)的權(quán)值是通過沿局部改善的方向逐漸進(jìn)行調(diào)整的，這樣會使算法陷入局部極值,，權(quán)值收斂到局部極小點,，從而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練失敗。加上BP神經(jīng)網(wǎng)絡(luò)對初始網(wǎng)絡(luò)權(quán)重非常敏感,，以不同的權(quán)重初始化網(wǎng)絡(luò),，其往往會收斂于不同的局部極小，這也是很多學(xué)者每次訓(xùn)練得到不同結(jié)果的根本原因,。

　　2) BP 神經(jīng)網(wǎng)絡(luò)算法的收斂速度慢：由于BP神經(jīng)網(wǎng)絡(luò)算法本質(zhì)上為梯度下降法,，它所要優(yōu)化的目標(biāo)函數(shù)是非常復(fù)雜的，因此,，必然會出現(xiàn)“鋸齒形現(xiàn)象”,，這使得BP算法低效；又由于優(yōu)化的目標(biāo)函數(shù)很復(fù)雜,，它必然會在神經(jīng)元輸出接近0或1的情況下,，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內(nèi),，權(quán)值誤差改變很小，使訓(xùn)練過程幾乎停頓,；BP神經(jīng)網(wǎng)絡(luò)模型中,，為了使網(wǎng)絡(luò)執(zhí)行BP算法，不能使用傳統(tǒng)的一維搜索法求每次迭代的步長,，而必須把步長的更新規(guī)則預(yù)先賦予網(wǎng)絡(luò),，這種方法也會引起算法低效。以上種種,，導(dǎo)致了BP神經(jīng)網(wǎng)絡(luò)算法收斂速度慢的現(xiàn)象,。

　　3) BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇不一：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇至今尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗選定。網(wǎng)絡(luò)結(jié)構(gòu)選擇過大,，訓(xùn)練中效率不高,，可能出現(xiàn)過擬合現(xiàn)象，造成網(wǎng)絡(luò)性能低,，容錯性下降,，若選擇過小，則又會造成網(wǎng)絡(luò)可能不收斂,。而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì),。因此，應(yīng)用中如何選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個重要的問題,。

　　4) 應(yīng)用實例與網(wǎng)絡(luò)規(guī)模的矛盾問題：BP神經(jīng)網(wǎng)絡(luò)難以解決應(yīng)用問題的實例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾問題,，其涉及到網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題，即學(xué)習(xí)復(fù)雜性問題,。

　　5) BP神經(jīng)網(wǎng)絡(luò)預(yù)測能力和訓(xùn)練能力的矛盾問題：預(yù)測能力也稱泛化能力或者推廣能力,，而訓(xùn)練能力也稱逼近能力或者學(xué)習(xí)能力。一般情況下,，訓(xùn)練能力差時,，預(yù)測能力也差，并且一定程度上,，隨著訓(xùn)練能力地提高,，預(yù)測能力會得到提高。但這種趨勢不是固定的,，其有一個極限,，當(dāng)達(dá)到此極限時，隨著訓(xùn)練能力的提高,，預(yù)測能力反而會下降,，也即出現(xiàn)所謂“過擬合”現(xiàn)象。出現(xiàn)該現(xiàn)象的原因是網(wǎng)絡(luò)學(xué)習(xí)了過多的樣本細(xì)節(jié)導(dǎo)致,，學(xué)習(xí)出的模型已不能反映樣本內(nèi)含的規(guī)律,，所以如何把握好學(xué)習(xí)的度，解決網(wǎng)絡(luò)預(yù)測能力和訓(xùn)練能力間矛盾問題也是BP神經(jīng)網(wǎng)絡(luò)的重要研究內(nèi)容,。

　　6） BP神經(jīng)網(wǎng)絡(luò)樣本依賴性問題：網(wǎng)絡(luò)模型的逼近和推廣能力與學(xué)習(xí)樣本的典型性密切相關(guān),，而從問題中選取典型樣本實例組成訓(xùn)練集是一個很困難的問題。