0 引言

    農(nóng)業(yè)是國民經(jīng)濟組成的重要部分,，農(nóng)作物生產(chǎn)對于社會的穩(wěn)定具有重要作用,。農(nóng)作物產(chǎn)量是政府部門進行農(nóng)業(yè)決策和宏觀調(diào)控的重要依據(jù)，預(yù)估農(nóng)作物產(chǎn)量具有重要的意義,。影響農(nóng)作物產(chǎn)量的因素眾多,，農(nóng)作物產(chǎn)量的形成通常具有非線性的特點，準(zhǔn)確地預(yù)估農(nóng)作物產(chǎn)量一直是農(nóng)業(yè)發(fā)展中的一個難題,。

    現(xiàn)有的估產(chǎn)辦法主要包括統(tǒng)計方法,、遙感術(shù)^[1],、水肥測量^[2]、一元或多元回歸分析^[3]等方法,。這些方法通常存在成本高,、周期長、精確度不夠高等缺點,。同時只使用產(chǎn)量信息的預(yù)測方法無法得到更加準(zhǔn)確的預(yù)測結(jié)果,。隨著現(xiàn)代農(nóng)業(yè)和大數(shù)據(jù)時代的發(fā)展，能夠獲得大量影響農(nóng)作物生長因素的信息,，其中氣候因素對農(nóng)作物的產(chǎn)量影響重大^[4],。

    近十多年來神經(jīng)網(wǎng)絡(luò)快速發(fā)展，它模擬人腦的神經(jīng)系統(tǒng)對復(fù)雜信息的處理機制,，具有高度的非線性特點^[5],。不同于多元回歸只能對線性關(guān)系建模，神經(jīng)網(wǎng)絡(luò)對線性關(guān)系和非線性關(guān)系都能建模,，而且不需要預(yù)處理,，也不需要對輸入輸出關(guān)系做任何假設(shè)。遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,，RNN）能夠更靈活,、準(zhǔn)確地對農(nóng)作物產(chǎn)量做出預(yù)測。但是標(biāo)準(zhǔn)的遞歸神經(jīng)網(wǎng)絡(luò)由于梯度消失比較難捕獲長期依賴關(guān)系^[6],，HOCHREITER S等人^[7]提出一種特殊的RNN結(jié)構(gòu)類型——長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM),，它可以處理長期信息依賴,，所以適合于處理和預(yù)測時間序列中間隔和延遲相對較長的重要事件^[8-9]。

    然而,，僅用單一的LSTM模型無法充分考慮其他影響產(chǎn)量的因素,。在農(nóng)作物產(chǎn)量預(yù)測中，溫度,、降水量等是重要的決定因素,。針對此問題，本文提出一種基于LSTM,，同時使用影響產(chǎn)量的氣候因素的ELSTM模型,，對農(nóng)作物的產(chǎn)量進行更加準(zhǔn)確的預(yù)測。實驗表明ELSTM模型比LSTM模型具有更高的準(zhǔn)確性,。

1 相關(guān)工作

    許多學(xué)者對預(yù)測問題做了深入的研究,，特別是神經(jīng)網(wǎng)絡(luò)可以快速有效地解決復(fù)雜問題，近年來在眾多領(lǐng)域得到了廣泛的應(yīng)用,。

    MISHRA S等人^[10]提出一種新型的RNN結(jié)構(gòu)來處理短期預(yù)測問題,，時間關(guān)系由神經(jīng)元提供,，可以根據(jù)具體情況使用不同類型的激活函數(shù)和不同數(shù)量的神經(jīng)元來提高準(zhǔn)確性。該模型只適用于短期預(yù)測,，不適用于本文要解決的問題,。

    Guo Tao等人^[11]使用LSTM模型來處理預(yù)測問題，LSTM最多增加4個層來改進重復(fù)模塊,，方便實現(xiàn)和控制長期記憶,，在準(zhǔn)確性方面得到令人滿意的預(yù)測。

    Hu Haiqing等人^[12]綜合了灰色預(yù)測模型和三角模型的優(yōu)點,，建立TGM模型來預(yù)測中國糧食的產(chǎn)量,。但是該模型只使用了產(chǎn)量信息，沒有考慮其他的條件,，不符合本文要解決的問題,。

    HOSSAIN M A等人^[13]考慮氣候?qū)r(nóng)作物產(chǎn)量的影響，利用神經(jīng)網(wǎng)絡(luò)（NN）建立天氣參數(shù)預(yù)測模型,，然后將預(yù)測天氣以及當(dāng)前的農(nóng)業(yè)數(shù)據(jù)作為支持向量機(SVM)的輸入對水稻產(chǎn)量進行預(yù)測,。但是SVM適用于分類問題，產(chǎn)量預(yù)測準(zhǔn)確性不是很高,。

    綜上,，當(dāng)前用于處理預(yù)測問題的方法無法很好地解決本文所述問題，而且僅用單一的LSTM預(yù)測模型無法進行準(zhǔn)確預(yù)測,，其他方法也沒有充分利用影響產(chǎn)量的氣候因素,。基于這個問題,，本文考慮在使用LSTM預(yù)測的基礎(chǔ)上同時優(yōu)化LSTM,，在預(yù)測模型中考慮氣候因素對產(chǎn)量的影響以使預(yù)測更加準(zhǔn)確，提出了使用氣候因素進行產(chǎn)量預(yù)測的ELSTM模型,。

2 數(shù)據(jù)預(yù)處理和ELSTM模型

    隨著現(xiàn)代農(nóng)業(yè)和精準(zhǔn)農(nóng)業(yè)的發(fā)展,，對農(nóng)作物的產(chǎn)量和氣候因素有準(zhǔn)確的記錄。農(nóng)作物的產(chǎn)量預(yù)測模型主要根據(jù)歷史產(chǎn)量來建模學(xué)習(xí)和預(yù)測當(dāng)前年份的產(chǎn)量,，同時在模型中加入歷史年份的氣候因素,，以更加準(zhǔn)確地給出當(dāng)前年份的產(chǎn)量的預(yù)測。

2.1 數(shù)據(jù)預(yù)處理

    基于農(nóng)作物生長的自然規(guī)律,，氣候條件對產(chǎn)量的影響是產(chǎn)量預(yù)測中必須注意的一個要點,。氣候中最重要的兩個因素是氣溫和降水^[14]。對初始數(shù)據(jù)進行下述處理可以獲得適用于本模型的數(shù)據(jù)集：

    定義 s為預(yù)測的目標(biāo)年份,，使用前i年的信息進行預(yù)測,，則X_s={x_s-i，…,，x_s-2,，x_s-1}為預(yù)測s年產(chǎn)量的歷史產(chǎn)量數(shù)據(jù),；E_s={e_s-i，…,，e_s-2,，e_s-1}為預(yù)測s年產(chǎn)量的氣候因素數(shù)據(jù)。例如預(yù)測2010年的產(chǎn)量,，使用前3年數(shù)據(jù)進行預(yù)測,，則產(chǎn)量是數(shù)據(jù)為X₂₀₁₀={x₂₀₀₇，x₂₀₀₈,，x₂₀₀₉},，氣候因素數(shù)據(jù)為E₂₀₁₀={e₂₀₀₇，e₂₀₀₈,，e₂₀₀₉},。

    本模型主要利用前s-i年所有產(chǎn)量數(shù)據(jù)和氣候數(shù)據(jù)對接下來s年產(chǎn)量進行預(yù)測。

2.2 LSTM

    RNN是一種節(jié)點定向連接成環(huán)的人工神經(jīng)網(wǎng)絡(luò),，可以利用它內(nèi)部的記憶來處理任意時序的輸入序列,。然而BENGIO Y等人^[15]觀察到由于梯度消失問題，RNN無法處理長距離依賴的問題,。LSTM是RNN的變體,，但是單一的產(chǎn)量數(shù)據(jù)進行預(yù)測結(jié)果不夠準(zhǔn)確。因此,，本文提出了在LSTM基礎(chǔ)上增加了考慮氣候因素的ELSTM模型,。

2.3 ELSTM模型

    不同年份農(nóng)作物生長期內(nèi)溫度、降水情況對產(chǎn)量有重要影響,。結(jié)合歷史年份氣候條件和預(yù)測年份氣候條件相似性可以進一步挖掘產(chǎn)量中的內(nèi)部聯(lián)系,，這對提高預(yù)測性能是重要的。

    ELSTM模型整體架構(gòu)如圖1所示,，模型在標(biāo)準(zhǔn)LSTM架構(gòu)的結(jié)果上加入氣候因素權(quán)重，以便能夠捕捉氣候條件對農(nóng)作物產(chǎn)量的影響,。

    ELSTM模型共分為LSTM層,、權(quán)重層和預(yù)測層。模型需要兩個輸入,，即歷史產(chǎn)量X_s和氣候條件E_s,。X_s經(jīng)過LSTM層得到每年產(chǎn)量的向量表示H_s={h_s-i，…,，h_s-2,，h_s-1}，E_s經(jīng)過權(quán)重層得到每年生長條件對應(yīng)的A_s={_s-i,，…,，_s-2,，_s-1}。H_s和A_s經(jīng)過預(yù)測層得到預(yù)測產(chǎn)量,。

    首先是LSTM層,，如圖2所示歷史產(chǎn)量X_s經(jīng)過LSTM層得到對應(yīng)的產(chǎn)量向量表示H_s。

    LSTM在普通RNN基礎(chǔ)上,，在隱藏層各神經(jīng)單元中增加記憶單元,，從而使時間序列上的記憶信息可控。一個LSTM單元有3個門：遺忘門,、輸入門,、輸出門。LSTM單元結(jié)構(gòu)如圖3所示,。

    (1)遺忘門：遺忘門是以上一單元的輸出h_t-1和本單元的輸入x_t為輸入的sigmoid函數(shù),，{W_f，U_f,，b_f}是遺忘門的參數(shù),。

    由于一個年份對應(yīng)一個LSTM單元，因此取每個單元的輸出向量表示當(dāng)前年份的產(chǎn)量信息,。離被預(yù)測年份越近的年份受之前年份的產(chǎn)量影響越大,。

    在權(quán)重層得到s-i年氣候因素所對應(yīng)的權(quán)重。

    首先將s-i年與s年的氣候因素做差,，氣候條件與s年越相似的年份,，差值越小。將每年的差值歸一化并組合成一條信息,，具體計算如下：

    訓(xùn)練過程如下：

    (1)LSTM層,。產(chǎn)量信息X_s作為LSTM層的輸入。按年份順序?qū)a(chǎn)量信息輸入不同LSTM單元中,，在每個LSTM單元得到包含所有歷史產(chǎn)量信息H_s,。

    (2)權(quán)重層。將生長條件信息作為權(quán)重層的輸入,經(jīng)過計算得到每個年份的權(quán)重A_s,。

    (3)預(yù)測層,。將H_s和A_s作為最終預(yù)測層的輸入，經(jīng)過預(yù)測層的運算即可得到歷史產(chǎn)量向量,，然后得到預(yù)測值,。

    (4)通過有監(jiān)督的訓(xùn)練調(diào)整模型。按照損失函數(shù)計算預(yù)測值與真實值之間的差別,，使用BP算法調(diào)整模型每層的參數(shù),。

    參數(shù)調(diào)整后重復(fù)這一過程，直到得到一組最優(yōu)的參數(shù)并保留下來。

3 實驗

    用于建模分析的數(shù)據(jù)是2000年～2016年山東省17個市農(nóng)作物產(chǎn)量和氣候情況,。其中農(nóng)作物選擇的是小麥,、玉米這兩種代表性的農(nóng)作物。為了避免因為種植面積變化帶來的產(chǎn)量變化,，本文使用每公頃產(chǎn)量作為農(nóng)作物的產(chǎn)量的單位,。氣候因素是兩種農(nóng)作物對應(yīng)生長期每天的降水量和溫度，小麥的氣候因素數(shù)據(jù)是每年9月份到下年5月份每天的降水量和溫度,，玉米的氣候因素數(shù)據(jù)是每年6月份～9月份每天的降水量和溫度,。

3.1 實驗設(shè)置說明

    本節(jié)將通過實驗評估所提出的ELSTM模型。實驗環(huán)境為：INTELCorei5 CPU,，3.20 GHz,；8 GB內(nèi)存。每個對比實驗情況均運行10遍,，取平均值,。主要設(shè)置3個對比模型：

    (1)ELSTM模型：本文提出的ELSTM模型，利用產(chǎn)量和生長條件信息進行預(yù)測,。

    (2)LSTM模型：標(biāo)準(zhǔn)的LSTM模型,，只使用歷年產(chǎn)量信息進行預(yù)測。

    (3)SVM模型：使用支持向量機（SVM）對歷年產(chǎn)量信息進行預(yù)測,。

3.2 模擬比較實驗

    本節(jié)使用ELSTM,、LSTM和SVM 3種模型進行實驗。將過去2～6年的歷史產(chǎn)量和氣候條件作為模型輸入,。

    使用偏差率(Deviation rate)來計算預(yù)測值同真實值之間的偏差占真實值的百分比,，偏差率值越小，模型的準(zhǔn)確率越高,。使用以下公式計算：

    使用決定系數(shù)(R²)來判斷模型擬合的程度,，擬合程度越高，R²越接近1,。使用如下公式計算：

    小麥誤差率實驗結(jié)果如表1所示,。玉米誤差率實驗結(jié)果如表2所示。

    從實驗結(jié)果中可以看出,，在3個模型中,，ELSTM模型預(yù)測結(jié)果最好。同時根據(jù)誤差率的分布,，可以得出使用過去4年的產(chǎn)量預(yù)測下一年產(chǎn)量預(yù)測結(jié)果更準(zhǔn)確。

    將過去4年小麥的產(chǎn)量和氣候條件作為輸入進行計算,，得到實驗結(jié)果如表3所示,。

    從實驗結(jié)果中可以看出，ELSTM模型的決定系數(shù)最大,，擬合程度優(yōu)于其他模型,。

    通過以上實驗可以看出,，ELSTM模型的預(yù)測結(jié)果準(zhǔn)確率更高，擬合程度更好,。針對此問題,，ELSTM是一個很好的預(yù)測模型。

4 結(jié)論

    預(yù)測農(nóng)作物產(chǎn)量是農(nóng)業(yè)生產(chǎn)中的一個重要問題,。由于農(nóng)作物生長受多方面因素影響,，準(zhǔn)確預(yù)測農(nóng)作物產(chǎn)量非常重要。

    本文針對農(nóng)作物產(chǎn)量預(yù)測問題設(shè)計了一個基于LSTM的改進模型進行求解,。在求解過程中,，將農(nóng)作物歷史產(chǎn)量數(shù)據(jù)與生長條件數(shù)據(jù)相結(jié)合，作為輸入對模型進行訓(xùn)練,，可對當(dāng)年農(nóng)作物產(chǎn)量進行精準(zhǔn)預(yù)測,。實驗表明，與其他預(yù)測方法相比,，本模型有更理想的預(yù)測結(jié)果,。

    在未來的工作中，計劃將所提出的方法應(yīng)用于其他具有相同特征的預(yù)測問題,，以觀察該模型在不同問題上的預(yù)測精確度和通用性,。

參考文獻

[1] GUERIF M，LAUNAY M,，DUKE C.Remote sensing as a tool enabling the spatial use of crop models for crop diagnosis and yield prediction[C].IEEE International Geoscience and Remote Sensing Symposium,，2000：1477-1479.

[2] Jin Chuan，Qin Qiming,，Zhu Lin,，et al.TVDI basedcrop yield prediction model for stressed surfaces[C].IEEE International Geoscience and Remote Sensing Symposium，2007：4656-4658.

[3] KERDILES H,，REMBOLD F,，LEO O，et al.CST,，a freeware for predicting crop yield from remote sensing orcrop model indicators：illustration with RSA and Ethiopia[C].International Conference on Agro-Geoinformatic,，2017：1-6.

[4] Zhuo Zhihong，Gao Chaochao,，Liu Yonghong.Regional grain yield response to climate change in China: a statistic modeling approach[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,，2014，7(11)：4472-4479.

[5] Wang Anhong,，Zhang Xueying,，Sun Zhiyi，et al.A nonlinear prediction speech coding ADPCM algorithm based on RNN[C].International Conference on Machine Learning and Cybernetics，2002：1353-1357.

[6] PASCANU R,，MIKOLOV T,，BENGIO Y.On the difficulty of training recurrent neural networks[J].Computer Science，2013,，28(1)：337-345.

[7] HOCHREITER S,，SCHMIDHUBER J.Long short-term memory[J].Neural Computation，1997,，9(8)：1735-1780.

[8] 涂小萌,，陳強國.基于ARIMA-LSSVM混合模型的犯罪時間序列預(yù)測[J].電子技術(shù)應(yīng)用，2015,，41(2)：160-162,，166.

[9] 楊爍，孫欽斐,，朱潔,，等.基于大數(shù)據(jù)平臺的電采暖用電量預(yù)測分析[J].電子技術(shù)應(yīng)用，2018,，44(11)：67-69.

[10] MISHRA S,，PATRA S K.Short term load forecasting using a novel recurrent neural network[C].IEEE Region 10 Conference，2008：1-6.

[11] Guo Tao,，Liu Rui,，Yang Heng，et al.Predict atmosphere electric field value with the LSTM neural network[C].International Conference on Computer Systems,，Electronics and Control,，2017：263-266.

[12] Hu Haiqing，Zhang Dan,，Qiu Ping.Application of trigonometric grey prediction approach to forecasting China grain yield[C].IEEE International Conference on Grey Systems and Intelligent Services,，2009：538-542.

[13] HOSSAIN M A，UDDIN M N,，HOSSAIN M A,，et al.Predicting rice yield for Bangladesh by exploiting weather conditions[C].International Conference on Information and Communication Technology Convergence，2017：589-594.

[14] Huang Youxin,，Liu Xiuguo,，Shen Yonglin，et al.Assessment of agricultural drought indicators impact on soybean crop yield：a case study in Iowa,，USA[C].The Third International Conference on Agro-Geoinformatics,，2014：1-6.

[15] BENGIO Y，F(xiàn)RASCONI P,，SIMARD P.The problem of learning long-term dependencies in recurrent networks[C].IEEE International Conference on Neural Networks.San Francisco,，USA,，1993(3)：1183-1188.

作者信息:

劉  鵬1，鄭  勇2,，楊紅軍3

(1.山東麥港數(shù)據(jù)系統(tǒng)有限公司，山東 濟南250100,；

2.山東省農(nóng)業(yè)信息中心,，山東 濟南250100；3.濟南市農(nóng)業(yè)信息中心,，山東 濟南250002)