本文闡述了一種人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)的實(shí)現(xiàn)方法,。該系統(tǒng)可以對駕駛員的疲勞狀態(tài)（打呵欠,、頻繁閉眼等）,、不良駕駛行為（長時(shí)間不目視前方、接打手持電話,、抽煙,、雙手同時(shí)脫離方向盤,、跟車過近等）進(jìn)行實(shí)時(shí)監(jiān)測與報(bào)警,。其特點(diǎn)在于：駕駛員面部視覺感知、駕駛員身體姿態(tài)視覺感知與車輛運(yùn)行狀態(tài)信息,、道路信息融合,，并利用人機(jī)協(xié)作認(rèn)知的演進(jìn)模型實(shí)現(xiàn)智能增強(qiáng)的駕駛員狀態(tài)預(yù)測,，彌補(bǔ)了僅利用駕駛員面部特征進(jìn)行駕駛員狀態(tài)判別方法的不足。

　　據(jù)世界衛(wèi)生組織統(tǒng)計(jì)在眾多交通事故中由于駕駛員的疲勞駕駛造成的事故占 20%左右,。為了減少由于駕駛員疲勞駕駛帶來的事故隱患,，2018 年 8 月，交通運(yùn)輸部辦公廳發(fā)布了《關(guān)于推廣應(yīng)用智能視頻監(jiān)控報(bào)警技術(shù)》的文件,。

　　鼓勵道路運(yùn)輸車輛安裝智能視頻監(jiān)控報(bào)警裝置,，實(shí)現(xiàn)對駕駛員不安全駕駛行為的自動識別和實(shí)時(shí)報(bào)警。其中就包含了對駕駛員的疲勞狀態(tài)及不良駕駛行為的監(jiān)控要求,。本文要闡述的是一種人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)的組成與實(shí)現(xiàn),。

　　引起疲勞駕駛的原因是多方面的。其中主要有兩個(gè)方面的原因,， 一方面是缺乏足夠的睡眠質(zhì)量或者睡眠數(shù)量,， 一方面是在平時(shí)睡覺的時(shí)間駕駛車輛。

　　駕駛員疲勞駕駛的原因還有許多因素如：已經(jīng)清醒的時(shí)間 （ 特別是超過 17 小時(shí) ）,、 身體和大腦清醒和困倦時(shí)間的生物鐘,、 上一次睡眠的數(shù)量和質(zhì)量、 體力和腦力活動的水平,， 沒有人能夠免于駕駛疲勞的影響,。

　　01、國內(nèi)駕駛員駕駛檢測方法

　?。ㄒ唬?基于生理信號的方法

　　山東大學(xué)的代世勛提出了用組織血氧參數(shù)來檢測駕駛員疲勞狀態(tài),， 通過實(shí)驗(yàn)分析了駕駛員精神疲勞與腦部組織含氧情況的關(guān)系， 分析了駕駛員腰部肌肉疲勞與肌肉組織含氧情況的關(guān)系,， 分析結(jié)果表明可以用腦部組織和肌肉組織的含氧水平來檢測駕駛員的精神疲勞和肌肉疲勞,。

　　浙江大學(xué)的吳群通過展開實(shí)驗(yàn)， 研究了人在逐漸疲勞時(shí)心電信號線性特征及非線性特征的規(guī)律,， 發(fā)現(xiàn)一些與人體疲勞有關(guān)的心電信號特征,， 以此為基礎(chǔ)建立了疲勞檢測模型來監(jiān)測人體的疲勞狀態(tài)。

　　東北農(nóng)業(yè)大學(xué)的祝榮欣對駕駛聯(lián)合收割機(jī)過程中駕駛員的肌電信號和心電信號進(jìn)行采集研究,， 篩選出能夠表征駕駛員疲勞狀態(tài)的最優(yōu)特征參數(shù),， 基于信息融合的方法，構(gòu)建了聯(lián)合收獲機(jī)的疲勞駕駛等級客觀評價(jià)模型,， 為農(nóng)業(yè)機(jī)械駕駛疲勞的實(shí)時(shí)檢測技術(shù)的研究提供了有效的參考,。

　　長春理工大學(xué)的祝亞兵等人通過疲勞駕駛模擬實(shí)驗(yàn)， 結(jié)合對象辨別實(shí)驗(yàn)和對受試者面部表情的變化分析,， 研究了腦電信號特征與疲勞駕駛狀態(tài)之間的相關(guān)性,， 研究結(jié)果表明疲勞指數(shù)與受試者疲勞程度呈正相關(guān)性， 證明了利用腦電信號進(jìn)行疲勞檢測的合理性。

　?。ǘ?基于駕駛員行為的方法

　　吉林大學(xué)的鄒聽彤等人通過人臉分類器從視頻中提取人臉區(qū)域,， 并根據(jù)人臉器官的分布規(guī)則來檢測嘴巴和眼睛區(qū)域 ; 采用灰度直方圖統(tǒng)計(jì)特征值的方法判斷眼睛區(qū)域狀態(tài)， 采用似圓度判斷嘴巴打哈欠的情況,；

　　利用 PERCLOS（ 單位時(shí)間內(nèi)眼睛閉合時(shí)間所占比例 ） 值識別眼睛的疲勞狀態(tài),， 利用打哈欠的頻率識別嘴巴的疲勞狀態(tài)， 用此種方法檢測駕駛員的疲勞狀態(tài)并進(jìn)行預(yù)警,。

　　重慶大學(xué)的吳小燕采用數(shù)字圖像處理技術(shù),， 利用對駕駛員眼睛睜閉的實(shí)時(shí)監(jiān)測來檢測駕駛員的精神狀態(tài)， 并以 FPGA（Field-Programmable Gate Array） 集成設(shè)計(jì)相應(yīng)的控制與處理模塊,， 開發(fā)出一套可以實(shí)時(shí)檢測駕駛員疲勞狀態(tài)的系統(tǒng)并進(jìn)行實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的可靠性,。

　　江蘇大學(xué)的賈海江等人以方向盤轉(zhuǎn)角、單位時(shí)間內(nèi)眼睛閉合時(shí)間所占比例,、 眨眼頻率和眨眼深度為特征參數(shù),， 建立支持向量機(jī)的疲勞駕駛檢測模型， 并確定了各個(gè)特征參數(shù)的最優(yōu)時(shí)間窗,， 提高了疲勞駕駛模型的檢測效果,。

　　長春理工大學(xué)的毛須偉等人利用車載 CCD 攝像機(jī)實(shí)時(shí)獲取駕駛員的面部圖像，并采用直方圖均衡化的方法增強(qiáng)圖像的對比度 ; 通過閡值分割技術(shù)和形態(tài)學(xué)運(yùn)算方法提取眼睛區(qū)域,， 根據(jù)眼睛寬度和高度的比例判斷眼睛的閉合程度 ; 根據(jù)眨眼頻率和 PERCLOS-P80 原理判別駕駛員的疲勞狀態(tài),，實(shí)驗(yàn)結(jié)果證明該方法具有很高的實(shí)時(shí)性。

　?。ㄈ?基于車輛信息的方法

　　江蘇大學(xué)的張明明通過實(shí)驗(yàn)同步采集正常駕駛和疲勞駕駛時(shí)的方向盤握力信號和腦電信號,， 利用 BP 神經(jīng)網(wǎng)絡(luò)方法建立基于方向盤握力信號的疲勞特征參數(shù)與基于腦電信號的疲勞程度值之間的關(guān)系， 以方向盤握力信號的特征參數(shù)作為輸入層,， 以腦電信號的特征值作為輸出層,， 對 BP 神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練并驗(yàn)證了模型的準(zhǔn)確性。

　　上海交通大學(xué)的李偉等人通過駕駛模擬器進(jìn)行實(shí)驗(yàn),， 采集 10 名駕駛員在正常駕駛和疲勞駕駛時(shí)的方向盤轉(zhuǎn)角信息和道路偏移信息,， 并對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析， 把離散化和歸一化后的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)模型的輸入,，對模型進(jìn)行訓(xùn)練,， 直至誤差滿足要求， 結(jié)果表明該方法檢測駕駛員疲勞狀態(tài)具有較高的準(zhǔn)確率和較強(qiáng)的實(shí)用性,。

　　江蘇大學(xué)的劉軍等人提出了一種利用方向盤轉(zhuǎn)角檢測駕駛員疲勞狀態(tài)的方法,， 該方法使用 MLX90316 角度傳感器采集方向盤轉(zhuǎn)角數(shù)據(jù)， 然后計(jì)算方向盤轉(zhuǎn)角的標(biāo)準(zhǔn)差和靜止百分比,， 根據(jù)方向盤轉(zhuǎn)角標(biāo)準(zhǔn)差和靜止百分比建立駕駛員狀態(tài)識別模型監(jiān)測疲勞駕駛,， 車試驗(yàn)表明該方法可以有效地識別駕駛員的狀態(tài),。

　　廣東安行智能陣技有限公司自主研發(fā)的專利產(chǎn)品疲勞駕駛預(yù)警系統(tǒng) MR688 運(yùn)用汽車級圖像傳感器捕捉人臉的紅外線圖像， 運(yùn)用獨(dú)特的瞳孔識別檢測技術(shù),， 通過分析瞳孔的變化特征。

　　通過奔騰 2 高速數(shù)字信號處理器來分析駕駛員的狀態(tài),， 當(dāng)檢測到司機(jī)疲勞駕駛時(shí),， 系統(tǒng)會發(fā)出報(bào)警聲音。該系統(tǒng)采用先進(jìn)的非接觸模式和尖端算法,， 使系統(tǒng)能夠檢測出駕駛員的疲勞狀態(tài),， 并發(fā)出報(bào)警提醒駕駛員， 保證駕駛員的生命和財(cái)產(chǎn)安全,。

　　02,、人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的組成與實(shí)現(xiàn)

　　人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)是一個(gè)將人的作用或人的認(rèn)知模型引入的人工智能系統(tǒng)，具備混合智能增強(qiáng)范式,。由信息感知,、融合預(yù)測、協(xié)作增強(qiáng),、反饋預(yù)警等子系統(tǒng)組成,。

　　2.1 信息感知子系統(tǒng)

　　信息感知子系統(tǒng)由三個(gè)視覺感知攝像頭、一個(gè)車輛 CAN 總線采集模塊組成：

　?、僖粋€(gè)位于駕駛員前方儀表臺上的朝向駕駛員的 940 納米紅外攝像頭（適用于各種光照條件,，可大幅降低強(qiáng)光及弱光環(huán)境對攝像畫面成像質(zhì)量的影響）。

　　用于采集駕駛員面部特征及上半身部分視覺圖像信息,，通過深度神經(jīng)網(wǎng)絡(luò)模型推理圖像中存在打呵欠,、閉眼、接打手持電話,、抽煙,、不系安全帶、長時(shí)間不目視前方等駕駛員疲勞以及不良駕駛行為畫面的置信度,；

　?、谝粋€(gè)位于駕駛員上方朝向駕駛員的廣角短焦攝像頭，用于采集駕駛員姿態(tài)與動作和方向盤轉(zhuǎn)動信息,，通過深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合傳統(tǒng)計(jì)算機(jī)視覺算法推理畫面中存在駕駛員異常坐姿,、較長時(shí)間不轉(zhuǎn)動方向盤、異常速度轉(zhuǎn)動方向盤,、駕駛員雙手脫離方向盤等疲勞和不良駕駛行為現(xiàn)象的置信度,；

　　③一個(gè)貼于擋風(fēng)玻璃內(nèi)側(cè)中央,，朝向道路方向天際線的攝像頭,，用于采集前方車輛,、行人、車道線等目標(biāo)信息,，通過深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合傳統(tǒng)計(jì)算機(jī)視覺算法檢測前方車輛,、行人、車道線等目標(biāo),，并計(jì)算本車與前方的車輛,、行人的距離以及本車與兩側(cè)車道線的距離；

　?、芤粋€(gè)車輛 CAN 總線信息采集模塊,，通過車輛自身的 CAN 總線采集車輛的車速、轉(zhuǎn)速,、油門開度,、剎車狀態(tài)、橫擺角速度等信息,，用于輔助判斷駕駛員是否處于正常駕駛狀態(tài),。

　　2.2 融合預(yù)測子系統(tǒng)

　　融合預(yù)測子系統(tǒng)，將來自信息感知子系統(tǒng)的多種感知信息進(jìn)行融合,，而后對駕駛員是否存在疲勞駕駛行為或者不良駕駛行為進(jìn)行預(yù)測,。

　　如預(yù)測結(jié)果置信度低于指定的閾值，則將通過信息感知子系統(tǒng)采集到的當(dāng)前時(shí)間點(diǎn)前的指定時(shí)間段內(nèi)的視頻及車輛總線數(shù)據(jù)和預(yù)測結(jié)果一并提交到協(xié)作增強(qiáng)子系統(tǒng),，并由協(xié)作增強(qiáng)子系統(tǒng)作進(jìn)一步處理,。

　　融合預(yù)測的主要步驟為：

　　①以 100 毫秒為單位時(shí)間對各感知信息進(jìn)行配準(zhǔn)后組成特征向量,；②以 1000 毫秒為周期,，100 毫秒為間隔進(jìn)行滑窗操作將采集到的 5 組特征向量組成特征矩陣；③將特征矩陣連續(xù)的送入基于 LSTM（Long short-term memory）結(jié)合 CNN 構(gòu)建的神經(jīng)網(wǎng)絡(luò)得到切片預(yù)測結(jié)果向量,；

　?、軐?1000 毫秒內(nèi)的 10 個(gè)切片預(yù)測結(jié)果向量組成預(yù)測結(jié)果矩陣，利用可演進(jìn)評分模型對結(jié)果矩陣進(jìn)行評分得到最終預(yù)測結(jié)果向量及其置信度,；⑤如置信度小于指定閾值則將預(yù)測結(jié)果及相關(guān)感知信息提交至協(xié)作增強(qiáng)子系統(tǒng)進(jìn)一步處理,，如置信度大于指定閾值則將預(yù)測結(jié)果提交至反饋預(yù)警子系統(tǒng)做進(jìn)一步處理。

　　2.3 協(xié)作增強(qiáng)子系統(tǒng)

　　協(xié)作增強(qiáng)子系統(tǒng)將人的作用引入到對駕駛員疲勞及駕駛員不良駕駛行為的認(rèn)知模型,，形成人機(jī)協(xié)作智能增強(qiáng)的形態(tài),。將融合預(yù)測子系統(tǒng)預(yù)測結(jié)果中置信度低于閾值的場景通過視覺方式還原現(xiàn)場，由人工來判斷駕駛員是否存在疲勞或者不良駕駛行為的情況,。

　　并將人工判斷的依據(jù)及判斷過程按照預(yù)先設(shè)計(jì)的演進(jìn)模型進(jìn)行記錄并轉(zhuǎn)換成用于感知和預(yù)測模型訓(xùn)練的素材自動送入訓(xùn)練素材庫,。當(dāng)新入庫素材達(dá)到指定閾值時(shí)，啟動新的感知和預(yù)測模型訓(xùn)練,，促使模型在人的協(xié)助下不斷的演進(jìn),，提高感知和預(yù)測模型對駕駛員疲勞和是否存在不良駕駛行為判斷的準(zhǔn)確率,。

　　2.4 反饋預(yù)警子系統(tǒng)

　　反饋預(yù)警子系統(tǒng)由聲光報(bào)警模塊、報(bào)警事件記錄模塊組成,。接收來自融合預(yù)測子系統(tǒng)的報(bào)警信息通過聲光提醒的方式按照不同的報(bào)警級別進(jìn)行不同的聲光提醒,，同時(shí)將報(bào)警事件在本地記錄并通過無線網(wǎng)絡(luò)傳輸?shù)皆贫朔?wù)平臺。

　　03,、人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的優(yōu)點(diǎn)

　?。?）將人的作用引入到系統(tǒng)中對駕駛員疲勞和不良駕駛行為進(jìn)行判斷，形成了人機(jī)協(xié)作認(rèn)知的混合智能增強(qiáng)范式,。當(dāng)智能終端的輸出置信度較低時(shí)，由人介入主動給出合理的判斷與依據(jù),，構(gòu)成系統(tǒng)智能水平提升的反饋回路,；

　　（2）在傳統(tǒng)的僅僅利用駕駛員面部特征進(jìn)行駕駛員狀態(tài)判別方法的基礎(chǔ)上添加了對行車過程中是否系了安全帶,、行車過程中是否雙手脫離方向盤的檢測,，并利用視覺檢測方向盤轉(zhuǎn)動幅度的方法判斷駕駛員是否存在長時(shí)間不對方向盤進(jìn)行轉(zhuǎn)動（含微調(diào)）的行為，以及駕駛員是否存在對行車道路上出現(xiàn)的狀況（如：跟車過近,、偏離車道）反應(yīng)遲緩或者異于往常的問題,。

　　結(jié)束語

　　隨著駕駛員狀態(tài)監(jiān)控系統(tǒng)的普及與不斷演進(jìn)，以及監(jiān)管手段的不斷完善,，駕駛員的疲勞駕駛行為及不良駕駛行為將逐步減少,，因駕駛員疲勞駕駛及不良駕駛行為所引發(fā)的交通事故數(shù)量也將逐步降低。

　　由于人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的上文所述優(yōu)點(diǎn),，其將對減少駕駛員疲勞駕駛及不良駕駛行為引發(fā)的事故,，起到更好的抑制作用，更利于營造和諧,、安全的交通運(yùn)輸環(huán)境,，構(gòu)建和諧社會。