0 引言

    HUANG G B等在2006年提出極限學(xué)習(xí)機（Extreme Learning Machine,，ELM）^[1]。極限學(xué)習(xí)機是為單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feedforward Neural Networks,，SLFN)設(shè)計的學(xué)習(xí)算法,，該算法需要人為調(diào)整的參數(shù)只有隱藏層神經(jīng)元的個數(shù)，比傳統(tǒng)基于梯度下降的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法^[2-4]收斂速度快,，泛化性能好,。

    但在實際應(yīng)用中，數(shù)據(jù)往往不能一次性獲取,，當(dāng)獲取到新的數(shù)據(jù)時,，又要把新的數(shù)據(jù)和舊的數(shù)據(jù)放到一起來訓(xùn)練網(wǎng)絡(luò)，會浪費許多時間,。在線極限學(xué)習(xí)機（Online Sequential ELM,，OS-ELM）^[5]可以將數(shù)據(jù)逐個或逐塊地添加到網(wǎng)絡(luò)中，當(dāng)新的數(shù)據(jù)到來時,，并不需要把舊的數(shù)據(jù)拿出來重新訓(xùn)練,。但由于在線極限學(xué)習(xí)機的淺層網(wǎng)絡(luò)結(jié)構(gòu)，即使設(shè)置很多的隱藏層節(jié)點個數(shù),，仍然很難有效應(yīng)對復(fù)雜的實際應(yīng)用,。同時，算法雖然能夠逐個或逐塊地學(xué)習(xí)數(shù)據(jù),，在較短的時間內(nèi)達到較高的精度要求,，但該算法對學(xué)習(xí)的時效性的數(shù)據(jù)不是太好，即數(shù)據(jù)在一段時間內(nèi)是有效的,，過一段時間后數(shù)據(jù)將失效（如天氣預(yù)測或股票預(yù)測等）,。

    本文結(jié)合在線極限學(xué)習(xí)機原理和深度極限學(xué)習(xí)機自動編碼器(Deep ELM AutoEncoder，DELM-AE)^[6-7]原理,，提出無監(jiān)督的在線深度極限學(xué)習(xí)機自動編碼器(OS-DELM-AE),，使ELM-AE具備在線學(xué)習(xí)的能力；在OS-DELM-AE的基礎(chǔ)上進一步引入遺忘機制,，提出FOS-DELM-AE(Forgetting Mechanism OSDELM-AE),；并用FOS-DELM-AE做無監(jiān)督的特征學(xué)習(xí)，F(xiàn)OS-ELM^[8]做有監(jiān)督的目標(biāo)學(xué)習(xí),，使OS-ELM具備深層網(wǎng)絡(luò)結(jié)構(gòu)的同時,，能適應(yīng)很強時效性的應(yīng)用。

1 深度極限學(xué)習(xí)機自動編碼器原理簡介

    相比淺層網(wǎng)絡(luò),，深層網(wǎng)絡(luò)能更好地處理高維數(shù)據(jù),；更接近人腦,，對輸入數(shù)據(jù)的特征進行層次化提取,；能獲得更多有用信息等,。文獻[6]用極限學(xué)習(xí)機訓(xùn)練深度自動編碼器，每一層看作是一次極限學(xué)習(xí)機的訓(xùn)練,，每層訓(xùn)練結(jié)束后將不再調(diào)整參數(shù),；上一層的輸出作為下一層的輸入,，依次以極限學(xué)習(xí)機的訓(xùn)練方式訓(xùn)練自動編碼器,，從而形成深度極限學(xué)習(xí)機自動編碼器。其網(wǎng)絡(luò)模型如圖1所示,。

    其中,，自動編碼器是一種無監(jiān)督的學(xué)習(xí)方法，最初主要用于高維數(shù)據(jù)處理,，自動編碼器通過盡可能復(fù)現(xiàn)輸入信號,，學(xué)習(xí)到代表輸入數(shù)據(jù)的新的特征。自動編碼器由編碼器和解碼器組成,。編碼器在網(wǎng)絡(luò)的訓(xùn)練和部署時使用,，而解碼器只在訓(xùn)練時使用。通過隨機映射輸入信號,，自動編碼器重構(gòu)輸入信號的問題就成了極限學(xué)習(xí)機問題,。

2 FOS-DELM

2.1 OS-DELM-AE

    近年來，深度學(xué)習(xí)^[9-12]成為研究熱點,，深度學(xué)習(xí)得到了極大發(fā)展,，在深度學(xué)習(xí)發(fā)展的同時，在線深度學(xué)習(xí)的發(fā)展也得到了新的支撐^[13-15],。本文在OS-ELM原理和深度ELM-AE原理的啟發(fā)下,，提出了OS-DELM-AE，將ELM-AE在線化,，每一層OS-ELM-AE訓(xùn)練完成之后不再調(diào)整參數(shù),，上一層OS-ELM-AE的輸出作為下一層OS-ELM-AE的輸入，逐層訓(xùn)練OS-DELM-AE,，通過OS-DELM-AE,，將樣本特征分層提取，并具備在線學(xué)習(xí)的能力,。下面是OS-DELM-AE的具體算法步驟,。

2.1.1 第1層特征學(xué)習(xí)

2.1.2 第p層特征學(xué)習(xí)

2.2 FOS-DELM

    遺忘機制是逐步驅(qū)除有錯誤可能及過時信息數(shù)據(jù)的有效方法，ZHAO J等^[8]在OS-ELM算法中結(jié)合了遺忘機制,，提出遺忘機制FOS-ELM算法,。本文將遺忘機制引入到OS-DELM-AE中,，提出了FOS-DELM-AE方法，使OS-DELM-AE能有效驅(qū)除錯誤信息及過時信息數(shù)據(jù),。以FOS-DELM-AE方法做無監(jiān)督特征學(xué)習(xí),，以FOS-ELM做目標(biāo)學(xué)習(xí)，提出基于遺忘機制的在線深度極限學(xué)習(xí)機（FOS-DELM）,。

    設(shè)以前的數(shù)據(jù)塊為Ω_k-s+1,，新添的數(shù)據(jù)塊為Ω_k+1，各層OS-DELM-AE輸出權(quán)重的迭代計算公式為：

其中,，X_k+1為第k+1塊數(shù)據(jù)樣本輸入,，s是每個數(shù)據(jù)塊的有效單位時間。在OS-DELM-AE算法中,，要計算β^k+1,，需要知道從N₀～N_k+1的所有數(shù)據(jù)塊，而FOS-DELM-AE算法計算β^k+1時,，只需要第k+1次添加的數(shù)據(jù)塊Ω_k+1和第k-s+1次添加的數(shù)據(jù)塊Ω_k-s+1,。這是使FOS-DELM-AE算法具備有效去除有可能是錯誤信息的過時數(shù)據(jù)的關(guān)鍵。

3 實驗評估

    本文算法FOS-DELM選用JINAN QINGQI MTCYCL,、HUAXIN CEMENT,、HAINAN AIRLINES、JINZHOU PORT等數(shù)據(jù)集,，與OS-ELM,、FOS-ELM算法做對比實驗。評價指標(biāo)為均方根誤差(RMSE)(均方根誤差越小效果越好),、判定系數(shù)(R-square)(判斷系數(shù)越接近1代表擬合程度越高)以及訓(xùn)練時間作為評價指標(biāo),。其中FOS-DELM采用3層結(jié)構(gòu)，前兩層為FOS-DELM-AE,，最后一層為FOS-ELM,。實驗結(jié)果見表1～表6。

    由表1,、表3,、表5可知，F(xiàn)OS-DELM較OS-ELM,、FOS-ELM降低了RMSE,；由表2、表4,、表6可知,，F(xiàn)OS-DELM較OS-ELM、FOS-ELM提升了R-square,。

    對水環(huán)境中DO（水中溶氧量參數(shù)指標(biāo)）,、NH3-N（水中氨氮含量指標(biāo)）進行實驗測試,，如圖2和圖3所示，橫坐標(biāo)表示某個時刻,，縱坐標(biāo)表示某個時刻對應(yīng)值,。該結(jié)果圖選取連續(xù)52個時刻的值作為展示，其他時刻有類似效果,。從圖2,、圖3的擬合效果看，F(xiàn)OS-DELM對水質(zhì)指標(biāo)的擬合程度比FOS-ELM更高,。綜合上述實驗分析來看,，F(xiàn)OS-DELM可以作為在線學(xué)習(xí)的有效方法，并具備深度學(xué)習(xí)和實效性強等優(yōu)勢,。

4 結(jié)束語

    本文結(jié)合在線極限學(xué)習(xí)機原理和深度極限學(xué)習(xí)機自動編碼器原理,，提出無監(jiān)督的在線深度極限學(xué)習(xí)機自動編碼器,，使ELM-AE具備在線學(xué)習(xí)的能力,；在深層在線ELM-AE的基礎(chǔ)上進一步引入遺忘機制，提出FOS-DELM-AE,；并用FOS-DELM-AE做無監(jiān)督的特征學(xué)習(xí),，F(xiàn)OS-ELM做有監(jiān)督的目標(biāo)學(xué)習(xí)，使OS-ELM具備深層網(wǎng)絡(luò)結(jié)構(gòu)的同時,，具備在線學(xué)習(xí)能力,。最后通過基于指標(biāo)RMSE和R-square的實驗驗證了本文算法FOS-ELM的有效性。

參考文獻

[1] HUANG G B,，ZHU Q Y,，SIEW C K.Extreme learning machine：theoryand applications[J].Neurocomputing，2006,，70：489-501.

[2] JIAN W,，WEN Y，GOU Y,，et al.Fractional-order gradient descent learning of BP neural networks with Caputo derivative[J].Neural Networks,，2017，89：19-30.

[3] 王洪元,，史國棟.人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用[M].北京：中國石化出版社,，2003.

[4] 郁磊.MATLAB智能算法30個案例分析[M].北京：北京航空航天大學(xué)出版社，2015.

[5] LIANG N Y,，HUANG G B,，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks,，2006,，17(6)：1411-1423.

[6] Tang Jiexiong,，Deng Chenwei，Huang Guangbin.Extreme learning machine for multilayer perceptron[J].IEEE Transactions on Neural Networks and Learning Systems,，2015,，27(4)：1210-1213.

[7] 劉勘，袁蘊英.基于自動編碼器的短文本特征提取及聚類研究[C].CCF國際自然語言處理與中文計算會議,，2014：120-121.

[8] ZHAO J,，WANG Z，DONG S P.Online sequential extreme learning machine with forgetting mechanism[J].Neurocomputing,，2012,，87(15)：79-89.

[9] SCHMIDHUBER J.Deep learning in neural networks：an overview[J].Neural Networks，2015,，61：85-117.

[10] NODA K,，YAMAGUCHI Y，NAKADAI K,，et al.Audiovisual speech recognition using deep learning[J].Applied Intelligence,，2015，42(4)：722-737.

[11] READ J,，PEREZCRUZ F.Deep learning for multi-label classification[J].Machine Learning,，2014，85(3)：333-359.

[12] RAHHAL M M A,，BAZI Y,，ALHICHRI H，et al.Deep learning approach for active classification of electrocardiogram signals[J].Information Sciences,，2016,，345(1)：340-354.

[13] YAN X，JING Y,，ZHONG S.An online supervised learning method based on gradient descent for spiking neurons[J].Neural Networks,，2017，93：7-20.

[14] LEI Y,，ZHOU D X.Analysis of online composite mirror descent algorithm[J].Neural Computation,，2017，29(3)：825-860.

[15] CHENG W Y,，JUANG C F.A fuzzy model with online incremental SVM and margin-selective gradient descent learning for classification problems[J].IEEE Transactions on Fuzzy Systems,，2015，22(2)：324-337.

作者信息：

劉步中1,，2

(1.江蘇省中小企業(yè)電子產(chǎn)品工程技術(shù)研發(fā)中心,，江蘇 淮安223003；2.淮安信息職業(yè)技術(shù)學(xué)院,，江蘇 淮安223003）