0 引言

    空巢老人的護(hù)理問題是目前社會(huì)的焦點(diǎn)問題之一，針對(duì)這類特殊群體的智能看護(hù)系統(tǒng)需求迫切,?；谟?jì)算機(jī)視覺的人體行為識(shí)別技術(shù)可以實(shí)現(xiàn)人體行為的智能識(shí)別，對(duì)于特殊群體的智能看護(hù)有著重要意義,。鑒于此,，特殊人群的智能護(hù)理成為目前人體行為識(shí)別研究的新方向。人體行為識(shí)別是計(jì)算機(jī)視覺學(xué)科的研究熱點(diǎn),，在視頻監(jiān)控,、電影分級(jí)、人工智能領(lǐng)域已有廣泛應(yīng)用^[1],。人體行為常用一個(gè)特定的時(shí)間和空間模型來描述,，行為識(shí)別需要獲取充分的時(shí)空信息來區(qū)分不同的行為類別，同時(shí)還需要處理復(fù)雜的外界環(huán)境因素干擾。然而,，人體行為本身極其復(fù)雜,，環(huán)境干擾也復(fù)雜多變,，因此從視頻中自動(dòng)識(shí)別人體行為還面臨著很大挑戰(zhàn)^[2],。目前的人體行為識(shí)別方法主要依據(jù)低層和中層的行為特征來區(qū)分不同行為，譬如全局時(shí)空特征^[3-4],、局部時(shí)空特征^[5-6],、深度感興趣點(diǎn)特征^[7]和梯度直方圖特征^[8-9]等。這些方法在KTH,、WEIZANN等簡單行為數(shù)據(jù)集上可以達(dá)到較高的識(shí)別率,，然而對(duì)特殊群體行為的區(qū)分能力有限^[10]。Action Bank^[10]是一種高層的行為特征表示方法,，該方法采用許多獨(dú)立的行為檢測(cè)子進(jìn)行行為檢測(cè),，然后再將檢測(cè)輸出轉(zhuǎn)化為特征向量，采用支持向量機(jī)（Support Vector Machines,，SVM）對(duì)其進(jìn)行分類,，可以有效提高行為識(shí)別性能。但是,，此方法的識(shí)別性能依賴于構(gòu)建的行為模型,，而模型構(gòu)建需要人工標(biāo)記大量樣本，人工標(biāo)記難度和工作量很大,。詞袋模型（Bag-of-Words,，BoW）^[11]是目前比較流行的行為識(shí)別方法之一，該方法的主要優(yōu)點(diǎn)是魯棒性強(qiáng),，計(jì)算效率高,。但是，該模型只關(guān)注行為的局部特征,，難以區(qū)分局部行為類似而整體行為差異巨大的人體行為,，譬如采用手部向外用力的特征難以區(qū)分用手推門的動(dòng)作和用手推人的動(dòng)作。

    為了提高行為識(shí)別算法對(duì)特殊群體行為識(shí)別的識(shí)別率,，同時(shí)降低人工標(biāo)記樣本的難度和工作量,，本文提出一種主動(dòng)學(xué)習(xí)與預(yù)測(cè)的特殊群體行為識(shí)別方法。在現(xiàn)有采用局部時(shí)空特征描述行為的基礎(chǔ)上,，構(gòu)建包含行為類別,、行為屬性、目標(biāo)屬性,、幀內(nèi)特征和幀間特征的行為圖模型及各條邊的勢(shì)能函數(shù),，結(jié)合信任傳播算法進(jìn)行行為的類標(biāo)簽預(yù)測(cè)，依據(jù)行為頂點(diǎn)的熵和各行為頂點(diǎn)之間的互信息量進(jìn)行主動(dòng)學(xué)習(xí)，可以有效提高行為識(shí)別率和降低人工標(biāo)記樣本的工作量,。

1 主動(dòng)學(xué)習(xí)與預(yù)測(cè)方法

    本文提出一種面向特殊群體行為識(shí)別的主動(dòng)學(xué)習(xí)與預(yù)測(cè)方法,，采用無向圖模型作為行為描述子，依據(jù)信任傳播方法進(jìn)行類標(biāo)簽預(yù)測(cè),，依據(jù)信息熵和互信息量構(gòu)建目標(biāo)函數(shù),，主動(dòng)學(xué)習(xí)行為樣本集，自動(dòng)生成需要人工標(biāo)記的樣本子集,，詳細(xì)描述如下,。

1.1 行為描述子

    圖模型（Graph Model，GM）^[12]是采用圖的形式來描述條件獨(dú)立的概率分布,，這樣可以將概率分布表示成多個(gè)因子的乘積形式,，從而簡化概率分布的計(jì)算。圖模型包含有向圖和無向圖兩類,，有向圖模型中各個(gè)節(jié)點(diǎn)的連接是有方向的,，而無向圖模型中各個(gè)節(jié)點(diǎn)的連接沒有方向。在描述行為時(shí),，行為各種特征構(gòu)成的節(jié)點(diǎn)之間的連接并沒有明確的方向,，故本文采用無圖模型來描述行為，記為G=(V,，E),。其中，V表示圖的頂點(diǎn)集合,，E表示圖的邊的集合^[13],。

    在本文中，圖模型的頂點(diǎn)分為五類：

    (1)行為類別頂點(diǎn)：簡記為C,，用于描述行為的類別,，如奔跑行為、行走行為,；

    (2)行為屬性頂點(diǎn)：簡記為A,，用于描述行為的屬性，可以由行為分類器的分類得分表示,；

    (3)目標(biāo)屬性頂點(diǎn)：簡記為O,，用于描述目標(biāo)的屬性，可以由目標(biāo)分類器的分類得分表示,；

    (4)幀內(nèi)特征頂點(diǎn)：簡記為X,，用于描述行為的單幀特征，如方向梯度直方圖（Histogram of Oriented Gradient,，HOG）特征,；

    (5)幀間特征頂點(diǎn)：簡記為Y,，用于描述行為的視頻相關(guān)性特征，如光流直方圖(Histogram of Optical Flow,，HOF)特征,。

    這樣，圖模型的頂點(diǎn)集合可以表示為V={C,，A,，O，X,，Y},，如圖1所示,。

    E表示圖的邊的集合,。本文的設(shè)計(jì)思想是，幀內(nèi)特征輸入分類器P_x后得到目標(biāo)屬性信息,，故幀內(nèi)特征頂點(diǎn)X與目標(biāo)屬性頂點(diǎn)O相連接,；幀間特征輸入分類器P_y得到行為屬性信息，故幀間特征頂點(diǎn)Y與行為屬性頂點(diǎn)A相連接,；行為分類時(shí)需要參考目標(biāo)屬性信息和行為屬性信息,，故行為類別頂點(diǎn)C與目標(biāo)屬性頂點(diǎn)O和行為屬性頂點(diǎn)A相連接；另外,，考慮到不同行為之間可能存在相關(guān)性,，故不同的行為類別頂點(diǎn)C也可以相互連接。于是,，行為圖模型邊的集合可以表示為E={C-C,，C-A，C-O,，A-Y,，O-X}，如圖1所示,。

    對(duì)于一個(gè)視頻片段v_i,，本文提取每一幀圖像中時(shí)空興趣點(diǎn)的HOG特征作為幀內(nèi)特征，提取HOF特征作為幀間特征,，具體特征提取過程詳見文獻(xiàn)[6],。特征的訓(xùn)練與分類采用SVM方法，詳見文獻(xiàn)[10],，這里不再贅述,。本文主要闡述如何采用圖模型對(duì)行為和目標(biāo)屬性之間的內(nèi)在關(guān)系進(jìn)行建模，目的是在判定行為類別時(shí)既利用視頻的相關(guān)性信息,，又利用目標(biāo)的屬性信息,，這樣可以降低各種干擾目標(biāo)的運(yùn)動(dòng)對(duì)行為判決的影響,，從而降低行為識(shí)別的虛警率。譬如,，在利用光流的激烈變化屬性確定了可疑的斗毆行為后,，如果發(fā)現(xiàn)可疑斗毆區(qū)域中有多個(gè)人體目標(biāo)出現(xiàn)，那么此處發(fā)生斗毆行為的可信度很大,；但如果在可疑斗毆區(qū)域內(nèi)未發(fā)現(xiàn)人體目標(biāo)出現(xiàn)（譬如只有車輛等其他非人體目標(biāo)）,，那么該區(qū)域發(fā)生斗毆行為的可信度就降低了，此處的激烈光流變化可能是由車輛,、樹葉等其他運(yùn)動(dòng)目標(biāo)的激烈運(yùn)動(dòng)引起的,，故可以判定該區(qū)域未發(fā)生斗毆行為。

    無向圖模型常采用各條邊的勢(shì)能函數(shù)來描述,，對(duì)于本文的行為圖模型G=(V,，E)，下面定義各條邊的勢(shì)能函數(shù),。

    （1）邊O-X的勢(shì)

    對(duì)于一個(gè)目標(biāo)屬性頂點(diǎn)o_i,，對(duì)應(yīng)的HOG特征向量記為x_i，HOG特征的SVM分類器記為P_x,。這樣,，目標(biāo)屬性頂點(diǎn)O的勢(shì)可以用相應(yīng)特征分類器的分類得分代替，表示為：

    （3）邊C-O的勢(shì)

邊C-O的勢(shì)用于描述行為類別和目標(biāo)屬性的內(nèi)在關(guān)系,，可以用行為類別與目標(biāo)屬性同時(shí)出現(xiàn)的頻率（簡記為同現(xiàn)頻率）來表示,，為：

其中，α為權(quán)重,。為便于計(jì)算,，同現(xiàn)頻率可以簡單地用行為類別與目標(biāo)屬性同時(shí)出現(xiàn)的次數(shù)代替，此時(shí)α取值為0.01,，且φ(c_i,，o_i)的最大值為1，也即當(dāng)φ(c_i,，o_i)大于1時(shí)將其置為1,。同現(xiàn)頻率越高，表明行為類別與目標(biāo)屬性的關(guān)聯(lián)度越大,。譬如,，對(duì)于騎馬行為常伴隨著人和馬兩類目標(biāo)，也即這兩類目標(biāo)與騎馬行為的同現(xiàn)頻率很高,。這樣,，對(duì)于一個(gè)未知的行為，如果行為分類為騎馬行為的得分較高,，同時(shí)又伴隨有人和馬兩類目標(biāo),，那么該行為為騎馬行為的可信度很高,。

    （4）邊C-A的勢(shì)

    邊C-A的勢(shì)用于描述行為類別和行為屬性的內(nèi)在關(guān)系，也可以用行為類別與行為屬性的同現(xiàn)頻率來表示,，為：

其中,，β為權(quán)重。同現(xiàn)頻率也用行為類別與行為屬性同時(shí)出現(xiàn)的次數(shù)代替,，此時(shí)β取值為0.02,，同樣地，φ(c_i,，a_i)的最大值也為1,。需要說明的是，此處權(quán)重β的取值大于權(quán)重α的取值,，主要是考慮到與目標(biāo)屬性相比,，行為屬性對(duì)行為分類的貢獻(xiàn)更大。

    （5）邊C-C的勢(shì)

    邊C-C的勢(shì)用于描述兩個(gè)行為類別頂點(diǎn)之間的連通性,。假設(shè)在一個(gè)時(shí)空距離上的行為是相互關(guān)聯(lián)的,，行為類別頂點(diǎn)之間的勢(shì)主要由時(shí)間和空間上的距離來描述，表示為：

1.2 類標(biāo)簽預(yù)測(cè)

    信任傳播（Belief Propagation,，BP）算法采用局部消息傳遞來擴(kuò)散信任度，可以很好地解決標(biāo)簽離散情況下的樣本標(biāo)記問題,。本文采用BP算法計(jì)算行為類別頂點(diǎn)C的后驗(yàn)概率,，預(yù)測(cè)類標(biāo)簽。具體地,，在每一次迭代過程中,，信任頂點(diǎn)依據(jù)其鄰居頂點(diǎn)收到的消息進(jìn)行更新。對(duì)于任一頂點(diǎn)c_i∈C,，其鄰居頂點(diǎn)集合記為C_N(c_i),，從頂點(diǎn)c_i到其鄰居頂點(diǎn)的消息可以表示為：

其中：

    選擇邊緣概率最大的類標(biāo)簽作為頂點(diǎn)c_i預(yù)測(cè)的類標(biāo)簽。

1.3 主動(dòng)學(xué)習(xí)與預(yù)測(cè)

    考慮到特殊群體行為的多樣性和場景的多變性,，在訓(xùn)練階段人工標(biāo)記行為類別是非常困難的,。本文采用主動(dòng)學(xué)習(xí)策略來降低人工標(biāo)記的難度。

    給定一組已標(biāo)記的樣本集L和一組未標(biāo)記的樣本集U,，以及行為類別數(shù)N,。為降低人工標(biāo)記難度，已標(biāo)記樣本集中的元素?cái)?shù)量遠(yuǎn)遠(yuǎn)小于未標(biāo)記樣本集中元素?cái)?shù)量,。對(duì)于未標(biāo)記樣本集中的元素,，結(jié)合圖模型和主動(dòng)學(xué)習(xí)策略從中主動(dòng)選取需要人工標(biāo)記的樣本子集S^*?；舅悸肥牵菏紫?，按照前述方法構(gòu)建圖模型G,，并計(jì)算任一c_i∈U的邊緣分布p(c_i)；然后,，計(jì)算c_i的熵,，表示為：

    在信息論中，熵越大說明信息的不確定性越大,，對(duì)應(yīng)的信息量越豐富,。很明顯，信息量越豐富的樣本越需要專家進(jìn)行標(biāo)記,。因此,，本文將熵最大作為選取需人工標(biāo)記的子集S^*的依據(jù)之一。

    另外,，考慮到在許多應(yīng)用中,，各行為樣本可能相互關(guān)聯(lián)，這樣,，c_i的邊緣分布可能受鄰居頂點(diǎn)集合中的其他頂點(diǎn)影響,。本文采用互信息量來描述兩個(gè)頂點(diǎn)之間的相互影響，表示為：

    互信息量越大,，說明兩個(gè)頂點(diǎn)之間的相互影響越大,。這樣情況下，如果知道其中一個(gè)頂點(diǎn)的標(biāo)簽,，另一個(gè)頂點(diǎn)的標(biāo)簽受其影響很大,，可以依據(jù)其標(biāo)簽在圖模型上進(jìn)行可靠的預(yù)測(cè)。換言之,，不需要同時(shí)人工標(biāo)記兩個(gè)相互影響的頂點(diǎn),。因此，本文將互信息量最小作為選取需人工標(biāo)記的子集S^*的另一依據(jù),。

    綜合所述,，本文依據(jù)熵最大和互信息量最小兩個(gè)準(zhǔn)則選取需人工標(biāo)記的子集S^*?；静襟E為：

    (1)給定擬選取的S^*的元素個(gè)數(shù)K,，S^*初始為空；

    (2)對(duì)任一c_i∈U,，計(jì)算熵H(c_i),，并按由大到小的順序進(jìn)行排序，排序后的集合記為As,；

    (3)如果S^*中元素個(gè)數(shù)小于K,，選取As中第一位數(shù)據(jù)對(duì)應(yīng)的頂點(diǎn)c_x，加入集合S^*,；否則,，結(jié)束S^*的搜索過程,，輸出S^*；

    (4)計(jì)算c_x與其所有相鄰頂點(diǎn)的互信息量M(c_x,c_y),，選取信息量最小的頂點(diǎn)c_y,，加入集合S^*。

    對(duì)于得到的最優(yōu)子集S^*,，需要專家進(jìn)行標(biāo)記,。標(biāo)記之后，再針對(duì)S^*上的頂點(diǎn)進(jìn)行類別預(yù)測(cè),，這樣與這些頂點(diǎn)相鄰的頂點(diǎn)得到的標(biāo)簽可信度更高,。

2 實(shí)驗(yàn)結(jié)果與分析

    本節(jié)對(duì)本文方法和目前主流的行為識(shí)別方法進(jìn)行對(duì)比分析，首先介紹實(shí)驗(yàn)數(shù)據(jù)集和對(duì)比算法,，然后展示和分析實(shí)驗(yàn)結(jié)果,。

2.1 實(shí)驗(yàn)數(shù)據(jù)集與對(duì)比算法

    目前公開的行為識(shí)別數(shù)據(jù)集中，與特殊群體智能看護(hù)相關(guān)的行為識(shí)別數(shù)據(jù)集只有一個(gè),，是ADL數(shù)據(jù)集^[13],。該數(shù)據(jù)集是由Rirsiavash建立的人體日常行為數(shù)據(jù)集，主要用于研究特殊人群的智能輔助系統(tǒng),。該數(shù)據(jù)集包含10個(gè)類別的日常行為,，詳見表1。其中,，每類行為都由5個(gè)不同的人體完成,，且每個(gè)行為重復(fù)進(jìn)行3次。部分行為示例如圖2所示,。

    目前在該數(shù)據(jù)集下測(cè)試結(jié)果排名靠前的算法見文獻(xiàn)[13]-[17]。本文直接引用相應(yīng)文獻(xiàn)中的識(shí)別率指標(biāo)進(jìn)行對(duì)比分析,。

2.2 實(shí)驗(yàn)結(jié)果與分析

    本文采用該領(lǐng)域常用的識(shí)別率和分類混淆矩陣來評(píng)價(jià)算法性能,。表2展示了ADL數(shù)據(jù)集下不同算法的識(shí)別率指標(biāo)，圖3展示了ADL數(shù)據(jù)集下本文算法的分類混淆矩陣,。其中,，對(duì)比算法的性能指標(biāo)取自相應(yīng)文獻(xiàn)。

    需要指出的是,，本文算法在訓(xùn)練時(shí),，每類行為選擇4個(gè)視頻片段進(jìn)行學(xué)習(xí)，主動(dòng)學(xué)習(xí)階段的參數(shù)K取值為2,，也即每類行為只選擇2個(gè)視頻片段進(jìn)行人工標(biāo)記,，其余視頻片段采用本文的主動(dòng)學(xué)習(xí)方法進(jìn)行訓(xùn)練。

    分析以上實(shí)驗(yàn)結(jié)果,，可以得出以下結(jié)論：

    （1）從表2可以看出,，本文算法在ADL行為數(shù)據(jù)集下的識(shí)別率都是最高的,，比相應(yīng)數(shù)據(jù)集下現(xiàn)有測(cè)試算法高出一個(gè)百分點(diǎn)以上?？梢?，本文方法提高了特殊群體行為識(shí)別的識(shí)別率指標(biāo)。

    （2）從圖3可以看出,，在ADL數(shù)據(jù)集下的10個(gè)行為類別中,，本文方法僅在2個(gè)行為類別上存在錯(cuò)分現(xiàn)象，低于識(shí)別率次高的文獻(xiàn)[16]所述方法,?？梢姡疚姆椒▍^(qū)分不同行為的能力強(qiáng),，對(duì)群體復(fù)雜行為的混淆率低,。

    （3）對(duì)于ADL行為數(shù)據(jù)集，本文方法在識(shí)別率高于其他對(duì)比算法的情況下,，人工標(biāo)記的樣本數(shù)量小于其他對(duì)比算法,，如識(shí)別率次高的文獻(xiàn)[16]中每類行為需要標(biāo)記16個(gè)樣本。這樣在實(shí)際應(yīng)用過程中,，本文方法可以從海量視頻中主動(dòng)學(xué)習(xí)行為類別,，大幅降低人工標(biāo)記樣本的難度和工作量。

    綜上所述,，本文方法不僅提高了特殊群體行為識(shí)別的識(shí)別率,，而且增強(qiáng)了不同行為的區(qū)分能力，同時(shí)需要人工標(biāo)記的樣本數(shù)量少,。

3 結(jié)束語

    本文提出了一種基于主動(dòng)學(xué)習(xí)與預(yù)測(cè)的特殊群體行為識(shí)別方法,，主要設(shè)計(jì)思路包括兩個(gè)方面：(1)在行為描述方面，將視頻的幀內(nèi)特征,、幀間特征,、目標(biāo)屬性、行為屬性和行為類別組合在一起,，構(gòu)建成行為的無向圖模型,，這樣在行為識(shí)別時(shí)可以綜合利用多層次的關(guān)聯(lián)性特征，減少了單純依靠部分特征引起的虛警現(xiàn)象,，增強(qiáng)了特征的區(qū)分能力,，提高了行為識(shí)別算法對(duì)特殊群體行為識(shí)別的識(shí)別率；(2)在學(xué)習(xí)過程中采用主動(dòng)學(xué)習(xí)方法,，以行為類別頂點(diǎn)的熵最大和行為類別頂點(diǎn)之間的互信息量最小為準(zhǔn)則進(jìn)行主動(dòng)學(xué)習(xí),，降低了人工標(biāo)記樣本的數(shù)量和難度。通過在國際上通用的ADL行為數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，證實(shí)本文方法可以提高行為識(shí)別算法對(duì)特殊群體行為識(shí)別的識(shí)別率,，降低不同行為間的分類混淆現(xiàn)象,，同時(shí)降低了需人工標(biāo)記的樣本數(shù)量。

參考文獻(xiàn)

[1] 楊帥,，于忠清,，蘇博群，等.基于軌跡分割的老人行為識(shí)別方法[J].青島大學(xué)學(xué)報(bào)(自然科學(xué)版),，2017(1)：103-107.

[2] 李瑞峰,，王亮亮，王珂.人體動(dòng)作行為識(shí)別研究綜述[J].模式識(shí)別與人工智能,，2014(1)：35-48.

[3] KIHL O,，PICARD D，GOSSELIN P H.Local polynomial space-time descriptors for action classification[J].Machine Vision & Applications,，2016,，27(3)：351-361.

[4] MA S，ZHANG J,，IKIZLER-CINBIS N,，et al.Action recognition and localization by hierarchical space-time segments[C].IEEE International Conference on Computer Vision.IEEE，2014：2744-2751.

[5] 王泰青,，王生進(jìn).基于中層時(shí)空特征的人體行為識(shí)別[J].中國圖象圖形學(xué)報(bào),，2015，20(4)：520-526.

[6] EVERTS I,，GEMERT J C V,，GEVERS T.Evaluation of color spatio-temporal interest points for human action recognition[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2014,，23(4)：1569-1580.

[7] Wang Yangyang,，Li Yibo，Ji Xiaofei.Human action recognition based on normalized interest points and super-interest points[J].International Journal of Humanoid Robotics,，2014,，11(1)：145005.

[8] LI Y，YE J,，WANG T，et al.Augmenting bag-of-words：a robust contextual representation of spatiotemporal interest points for action recognition[J].Visual Computer,，2015,，31(10)：1383-1394.

[9] WANG P，LI W,，GAO Z,，et al.Action recognition from depth maps using deep convolutional neural networks[J].IEEE Transactions on Human-Machine Systems，2016，46(4)：498-509.

[10] SADANAND S.Action bank：a high-level representation of activity in video[C].IEEE Conference on Computer Vision & Pattern Recognition,，2012：1234-1241.

[11] AGUSTI P,，TRAVER V J，PLA F.Bag-of-words with aggregated temporal pair-wise word co-occurrence for human action recognition[J].Pattern Recognition Letters,，2014,，49(49)：224-230.

[12] Pu Songtao，Zha Hongbin.Video object segmentation via two-frame graph model[J].Beijing Daxue Xuebao Ziran Kexue Ban/acta Scientiarum Naturalium Universitatis Pekinensis,，2015,，51(3)：409-417.

[13] FEICHTENHOFER C，PINZ A,，ZISSERMAN A.Convolutional two-stream network fusion for video action recognition[C].Computer Vision and Pattern Recognition.IEEE,，2016：1933-1941.

[14] FERNANDO B，GAVVES E,，ORAMAS M J,，et al.Modeling video evolution for action recognition[C].Computer Vision and Pattern Recognition.IEEE，2015：5378-5387.

[15] WANG H,，DAN O,，VERBEEK J，et al.A robust and efficient video representation for action recognition[J].International Journal of Computer Vision,，2016,，119(3)：219-238.

[16] SINGH S，VELASTIN S A,，RAGHEB H.MuHAVi：a multicamera human action video dataset for the evaluation of action recognition methods[C].Seventh IEEE International Conference on Advanced Video and Signal Based Surveillance.IEEE,，2010：48-55.

[17] GUO K，ISHWAR P,，KONRAD J.Action recognition from video using feature covariance matrices[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,，2013，22(6)：2479-2494.

作者信息:

陳凡健

(茂名職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)工程系,，廣東 茂名525000)