馬輝棟,，劉振宇，郭小鳳

　?。ㄉ轿鬓r(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院,，山西 晉中 030801）

　　摘要：針對(duì)如何高效、準(zhǔn)確地從視頻圖像中提取相關(guān)特征向量,，完成基于視頻的人體運(yùn)動(dòng)分析,，構(gòu)建了基于視頻信息的人體下肢運(yùn)動(dòng)系統(tǒng)。系統(tǒng)包括人體運(yùn)動(dòng)輪廓的提取,、噪聲處理和人體下肢建模及分析3個(gè)模塊,。人體運(yùn)動(dòng)輪廓提取中采用改進(jìn)的光流算法，通過(guò)閾值設(shè)置改善了輪廓提取的清晰度和完整性,。噪聲處理模塊運(yùn)用單個(gè)中值濾波器與人體四周去噪算法,，不僅有效解決了多中值濾波引起的人體輪廓模糊問(wèn)題，同時(shí)使人體活動(dòng)區(qū)域外的噪聲去除率達(dá)到100%,。通過(guò)系統(tǒng)分析,，視頻中人體行走的速度為0.687 m/s，髖關(guān)節(jié)垂直方向上下起伏幅度為4.71 cm,，行走步態(tài)正常,。

　　關(guān)鍵詞：輪廓提取,；人體建模,；噪聲處理；運(yùn)動(dòng)分析,；視頻

引言

　　人體運(yùn)動(dòng)分析是人工智能［1］,、生物醫(yī)學(xué)工程等領(lǐng)域研究的重要內(nèi)容?；谝曨l的人體運(yùn)動(dòng)分析系統(tǒng)是通過(guò)運(yùn)動(dòng)目標(biāo)檢測(cè),、跟蹤、特征參量提取,、人體結(jié)構(gòu)姿態(tài)重建等完成運(yùn)動(dòng)分析的視頻圖像處理系統(tǒng),。目前，已報(bào)道的基于計(jì)算機(jī)視覺(jué)實(shí)現(xiàn)人體運(yùn)動(dòng)分析的方案有很多,，但是如何高效,、準(zhǔn)確地視頻圖像信息中對(duì)相關(guān)特征量進(jìn)行提取,，完成運(yùn)動(dòng)分析，仍然是目前人們?cè)诓粩嗵剿鞯膯?wèn)題,。

　　本文基于單目視頻,，搭建了無(wú)標(biāo)識(shí)物的視頻人體下肢運(yùn)動(dòng)分析系統(tǒng)。該系統(tǒng)包括人體運(yùn)動(dòng)輪廓提取,、噪聲處理,、人體下肢建模及分析3大模塊，如圖1所示,。

1人體運(yùn)動(dòng)輪廓提取及噪聲處理

　　1.1人體運(yùn)動(dòng)輪廓提取模

　　人體運(yùn)動(dòng)輪廓提取模塊基于Simulink仿真平臺(tái),，綜合運(yùn)用系統(tǒng)連接、計(jì)算機(jī)可視化系統(tǒng)模塊庫(kù)完成系統(tǒng)搭建,，模塊仿真框圖如圖2所示,。

　　視頻序列原圖如圖3所示，經(jīng)圖片顏色格式轉(zhuǎn)換模塊,、光流模塊,、閾值模塊處理后的圖片序列分別如圖4~圖6所示。

　　圖5顯示,，經(jīng)過(guò)光流模塊處理的圖片序列基本提取出了人體輪廓,，但是輪廓清晰度不高，腳部輪廓部分缺失,。為此對(duì)圖像進(jìn)行了二值化處理,，加入閾值處理模塊，經(jīng)過(guò)多次試驗(yàn),，將閾值設(shè)置為0.001,。由圖6可以看到，經(jīng)過(guò)閾值處理的圖片序列相對(duì)于圖5,，基本還原了腳部輪廓,，而且輪廓清晰度也有所提高。

　　1.2噪聲處理

　　噪聲處理模塊采用中值濾波和四周去噪法,，處理流程如圖7所示,。

　　1.2.1中值濾波

　　圖8中值濾波前后人體輪廓對(duì)比中值濾波器用于去除孤立的點(diǎn)、毛刺等椒鹽噪聲［2］,。如圖8中的兩幅圖對(duì)比,，經(jīng)過(guò)多次中值濾波，圖片中的椒鹽噪聲確實(shí)有很大的改善,，但是濾波后的腳步輪廓明顯比處理前的模糊,，這對(duì)人體建模有非常大的影響。本文在做人體下肢骨架模型時(shí)經(jīng)多次試驗(yàn)結(jié)果對(duì)比,，采用了一次7×7中值濾波處理方式,。

　　1.2.2四周除噪

　　為避免中值濾波對(duì)人體輪廓二值圖像的模糊作用,，本文在中值濾波后，采用基于人體高度和寬度參數(shù)的四周除噪法,，結(jié)果如圖9所示。四周去噪的具體做法是根據(jù)人體頭頂,、腳底,、左側(cè)及右側(cè)坐標(biāo)劃分出人體所在的矩形區(qū)域（如圖9（c）所示），將該矩形區(qū)域外的一切像素點(diǎn)均視為噪聲,，予以去除,，處理結(jié)果如圖9（d）所示。

　　四周去噪的必要條件是獲取人體身高和寬度參數(shù),。如圖7所示,，為了有效提取人體身體參數(shù)，采用7×7,、5×5,、3×3中值濾波器充分去除噪聲。實(shí)驗(yàn)中有效視頻幀共55幀,，對(duì)每幀提取身高及寬度,，取均值得到人體身高H為425像素。

2人體運(yùn)動(dòng)下肢建模

　　人體行走時(shí),，上身部分相對(duì)于整個(gè)身體軀干可近似看做靜態(tài),，下身部分的動(dòng)態(tài)分析包括以髖關(guān)節(jié)、膝關(guān)節(jié),、踝關(guān)節(jié)5個(gè)關(guān)節(jié)點(diǎn)為中心的大腿骨,、小腿骨。人體大腿骨,、小腿骨長(zhǎng)度人體身高呈線性關(guān)系［3］,。

　　2.1髖關(guān)節(jié)定位

　　髖關(guān)節(jié)定位如圖10所示。

　　(1)髖關(guān)節(jié)行坐標(biāo)定位,。根據(jù)人體骨骼模型［4］,，髖關(guān)節(jié)行坐標(biāo)與頭頂行坐標(biāo)的距離為人體身高的0.47倍，計(jì)算出髖關(guān)節(jié)行坐標(biāo),。

　　(2)髖關(guān)節(jié)列坐標(biāo)定位,。為簡(jiǎn)化實(shí)驗(yàn)數(shù)據(jù)分析，本文實(shí)驗(yàn)中人體運(yùn)動(dòng)時(shí)假設(shè)兩臂不擺動(dòng)或有輕微的擺動(dòng),。得到髖關(guān)節(jié)行坐標(biāo)后,，在髖關(guān)節(jié)所在行行掃描的到這行像素值為1的點(diǎn)，取兩交點(diǎn)的中間值設(shè)為髖關(guān)節(jié)的列坐標(biāo),。

　　2.2膝關(guān)節(jié)定位

　　　　大腿長(zhǎng)L_lap為身高H的0.245倍［4］,，膝關(guān)節(jié)的運(yùn)動(dòng)軌跡是以髖關(guān)節(jié)為圓心,，大腿長(zhǎng)為半徑的圓R1，找出軌跡圓與腿部輪廓的交點(diǎn)［5］,，便可對(duì)膝關(guān)節(jié)定位,。 膝關(guān)節(jié)定位分兩種情況分別討論。

　?。?）兩大腿骨分開(kāi),。如圖11所示，圓R1與人體下身輪廓有4個(gè)交點(diǎn),。左側(cè)膝關(guān)節(jié)定位為最左側(cè)交點(diǎn)與相鄰交點(diǎn)的弧線的中點(diǎn),；右側(cè)膝關(guān)節(jié)定位為最右側(cè)交點(diǎn)與相鄰交點(diǎn)弧線的中點(diǎn)。

　?。?）兩大腿骨有重疊,。如圖12所示，圓R1與人體下身輪廓有兩個(gè)交點(diǎn),。該情況,，兩個(gè)膝關(guān)節(jié)定位分別為左側(cè)交點(diǎn)向右0.05×H像素，右側(cè)交點(diǎn)向左0.05×H像素,。

　　2.3踝關(guān)節(jié)定位

　　踝關(guān)節(jié)定位原理同膝關(guān)節(jié),。小腿長(zhǎng)L_leg為人體身高H的0.246倍［5］，分別以左右兩個(gè)膝關(guān)節(jié)為圓心,，小腿長(zhǎng)為半徑作圓R2,、R3，得到圓與小腿輪廓的交點(diǎn)［6］,，如圖13所示,。因受噪聲影響，交點(diǎn)個(gè)數(shù)可能會(huì)不同,，取最右側(cè)交點(diǎn)向左0.03×H處為右側(cè)踝關(guān)節(jié)點(diǎn),，取最左側(cè)交點(diǎn)往右0.03×H處為左側(cè)踝關(guān)節(jié)點(diǎn)。

　　2.4下肢建模結(jié)果

　　本實(shí)驗(yàn)對(duì)53幀視頻圖像進(jìn)行下肢建模,，建模結(jié)果如圖14所示,，該模型以髖關(guān)節(jié)和膝關(guān)節(jié)為端點(diǎn)畫出大腿骨，以膝關(guān)節(jié)和踝關(guān)節(jié)為端點(diǎn)畫出小腿骨的骨架模型,。

3人體運(yùn)動(dòng)軌跡分析

　　建立出下肢骨架模型后,，對(duì)人體行走時(shí)髖關(guān)節(jié)的運(yùn)動(dòng)軌跡進(jìn)行分析，本實(shí)驗(yàn)共提取出55幀圖像的下肢模型,，人體正常行走3步,，時(shí)間為2 s。圖15分別為髖關(guān)節(jié)垂直、水平方向運(yùn)動(dòng)軌跡擬合結(jié)果,。

　　圖15（a）中,，髖關(guān)節(jié)水平方向運(yùn)動(dòng)軌跡擬合曲線如式（1）所示：

　　P（t）=174.794 0t+56.932 4（1）

　　由此關(guān)系式可得髖關(guān)節(jié)橫向運(yùn)動(dòng)軌跡為一階函數(shù)，即該視頻中,，人體水平方向的運(yùn)動(dòng)為速度為174.794 0像素/秒的勻速直線運(yùn)動(dòng),。

　　由圖15(b)可以看出，人體正常行走時(shí),，髖關(guān)節(jié)垂直方向的運(yùn)動(dòng)軌跡基本呈周期性上下波動(dòng),。髖關(guān)節(jié)垂直方向坐標(biāo)最大值為373像素、最小值為361像素,，髖關(guān)節(jié)垂直方向波動(dòng)幅度最大值為12像素。本視頻中人體身高為425像素,，167 cm,。由此可得，本視頻中人體行走的速度為0.687 m/s,，垂直方向上下起伏幅度為4.71 cm,。

　　人體行走時(shí)步態(tài)的生物力學(xué)研究表明，健康成年人正常步態(tài)行走時(shí),，髖關(guān)節(jié)上下起伏的幅度約為4.4 cm［7］,，本實(shí)驗(yàn)中人體行走步態(tài)是正常的。

4結(jié)論

　　本文搭建了視頻人體下肢運(yùn)動(dòng)分析系統(tǒng),，實(shí)現(xiàn)了對(duì)視頻的人體運(yùn)動(dòng)輪廓提取,、去噪處理、下肢建模,，并根據(jù)建模結(jié)果進(jìn)行了相關(guān)的運(yùn)動(dòng)分析,，系統(tǒng)結(jié)構(gòu)簡(jiǎn)單易于實(shí)現(xiàn)。本文提出的改進(jìn)的光流算法有效提高了人體運(yùn)動(dòng)輪廓的完整性,；四周去噪方法算法簡(jiǎn)單,，易于實(shí)現(xiàn)，能有效去除人體四周噪聲,。

參考文獻(xiàn)

　?。?］ 丁晨陽(yáng). 智能體視覺(jué)策略在RoboCup中的設(shè)計(jì)［J］. 微型機(jī)與應(yīng)用,2014,33(5):9092,95.

　　［2］ 張明源,王宏力,鄭佳華,等.改進(jìn)型中值濾波器在圖像去噪中的應(yīng)用［J］.兵工自動(dòng)化,，2007,，26（8）:4547［3］ 王晏. 人體下肢運(yùn)動(dòng)分析［D］. 大連：大連理工大學(xué), 2005.

　　［4］ WINTER D A. Biomechanics and motor control of human movement［M］. John Wiley & Sons, 2009.

　?。?］ 馬曉蕾. 基于視頻序列的偏癱患者步態(tài)分析［D］. 哈爾濱：哈爾濱工程大學(xué), 2009.

　?。?］ 陳華,史思思,胡春海. 基于特征融合的步態(tài)識(shí)別［J］.無(wú)線電工程，2012,，42（2）:2527.

　?。?］ 吳劍, 李建設(shè). 人體行走時(shí)步態(tài)的生物力學(xué)研究進(jìn)展［J］. 中國(guó)運(yùn)動(dòng)醫(yī)學(xué)雜志, 2002, 21(3): 305307.