文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.174336
中文引用格式: 王力,,董倩妍,,黃志鵬,等. 多模態(tài)意識(shí)任務(wù)的腦電信號空間源定位分析[J].電子技術(shù)應(yīng)用,,2018,,44(4):77-80.
英文引用格式: Wang Li,Dong Qianyan,,Huang Zhipeng,,et al. Spatial source location analysis of EEG signals for multimodal mental tasks[J]. Application of Electronic Technique,,2018,44(4):77-80.
人機(jī)交互技術(shù)在近些年被廣泛研究,尤其是將人體生物電發(fā)展為交互的媒介,。腦機(jī)接口(Brain Computer Interface,,BCI)就是一種用大腦的信號控制輔助設(shè)備的人機(jī)交互技術(shù)[1]。它為運(yùn)動(dòng)功能障礙者提供新的康復(fù)手段,,讓使用者獲得了全新的溝通和交互途徑,。BCI系統(tǒng)已成功用于電動(dòng)輪椅的控制、文字輸入,、機(jī)器人和智能家居的操控等[2]。
檢測大腦的活動(dòng)有多種方式,,其中腦電信號(Electroencephalography,,EEG)擁有安全性高、造價(jià)廉價(jià)等優(yōu)點(diǎn),,所以該方式在BCI領(lǐng)域應(yīng)用最為普及,。有多種實(shí)驗(yàn)范式能產(chǎn)生可區(qū)分的腦電信號[3]。不同的算法被用于分析這些實(shí)驗(yàn)范式的EEG,,P300誘發(fā)電位常應(yīng)用方差分析,、相干平均和相關(guān)分析等時(shí)域分析算法[4]。穩(wěn)態(tài)視覺誘發(fā)和運(yùn)動(dòng)想象所產(chǎn)生的腦電信號具有一定的頻率特性,,可用短時(shí)傅里葉變換,、小波變換等時(shí)頻分析算法進(jìn)行分析[5]。在研究多通道EEG信號時(shí),,還可使用引入通道選擇的稀疏共空間模式(Sparse Common Spatial Pattern,,SCSP)等時(shí)空分析算法[6],。
在考慮通過實(shí)驗(yàn)設(shè)計(jì)的方式增加BCI操作維數(shù)和分類準(zhǔn)確率的研究工作中,本課題組提出了附加相關(guān)漢字默讀的多模態(tài)意識(shí)任務(wù)實(shí)驗(yàn)范式,,并從時(shí)間,、空間、頻率綜合驗(yàn)證了該實(shí)驗(yàn)范式的有效性和合理性[7],。相比較于單一的思維活動(dòng),,附加漢字默讀的多模態(tài)意識(shí)任務(wù)為多個(gè)高級思維活動(dòng)的組合,這涉及更多的大腦皮層,。本文通過空間源定位分析的方法來研究EEG信號,,分析和比較不同意識(shí)任務(wù)所激活的大腦皮層以研究多模態(tài)意識(shí)任務(wù)的生理機(jī)理,并幫助BCI的研究和設(shè)計(jì),。
1 實(shí)驗(yàn)設(shè)計(jì)
本文的實(shí)驗(yàn)已在文獻(xiàn)[7]中做了詳細(xì)描述,。該實(shí)驗(yàn)有10位年齡為22~28歲的受試者(其中7位為男性,3位為女性)參與,,依次被標(biāo)識(shí)為S1~S10,,其中有6位受試者參加過類似的實(shí)驗(yàn)外,其他人首次參加腦電實(shí)驗(yàn),。受試者均為右利手,,身體狀態(tài)良好,在實(shí)驗(yàn)前有足夠的休息,。受試者坐著完成整個(gè)實(shí)驗(yàn),,通過注視前方1 m處的22英寸液晶顯示屏來獲得提示信息。受試者在明白實(shí)驗(yàn)?zāi)康暮妥⒁馐马?xiàng)后,,簽署了《知情同意書》,。
為了比較意識(shí)任務(wù)附加漢字默讀后的效果,整個(gè)實(shí)驗(yàn)包括兩步子實(shí)驗(yàn),,第一步子實(shí)驗(yàn)為多模態(tài)實(shí)驗(yàn)范式,,第二步子實(shí)驗(yàn)為單一模態(tài)實(shí)驗(yàn)范式。本實(shí)驗(yàn)為無反饋實(shí)驗(yàn),,具體內(nèi)容如圖1所示,。“左”和“壹”這兩個(gè)漢字作為提示信息會(huì)隨機(jī)出現(xiàn),??臻e期時(shí),屏幕會(huì)顯示一個(gè)星號“*”,,受試者保持2 s放松狀態(tài),。接著顯示1 s的小十字“+”,讓受試者做好準(zhǔn)備。之后出現(xiàn)一個(gè)漢字,,持續(xù)1 s,。然后顯示4 s的黑屏,表示為想象期,,如果漢字是“左”,,受試者在第一步子實(shí)驗(yàn)中想象身體左旋的同時(shí)默讀“左”,其在第二步子實(shí)驗(yàn)中僅想象身體左旋,;如果漢字是“壹”,,受試者在第一步子實(shí)驗(yàn)中想象寫“壹”的筆畫時(shí)默讀“壹”,其在第二步子實(shí)驗(yàn)中僅想象寫筆畫,。4 s的意識(shí)任務(wù)結(jié)束后,,一次實(shí)驗(yàn)完成,可放松0.5~1.5 s,。每個(gè)提示在一組實(shí)驗(yàn)中會(huì)出現(xiàn)15次,,每位受試者在同一天內(nèi)完成5組實(shí)驗(yàn)。一組實(shí)驗(yàn)后,,受試者可休息5 min,。
2 數(shù)據(jù)采集
默讀漢字屬于語言活動(dòng),想象身體向左旋轉(zhuǎn)涉及空間想象,,想象書寫漢字需要語言皮層和運(yùn)動(dòng)皮層協(xié)調(diào)工作,。實(shí)驗(yàn)的電極如圖2所示,它們遵照國際10/20系統(tǒng)導(dǎo)聯(lián)設(shè)置,,并覆蓋了威爾尼克區(qū),、布洛卡區(qū)和運(yùn)動(dòng)感覺皮層等大腦皮層的35導(dǎo)電極。實(shí)驗(yàn)所用的儀器為美國Neuroscan公司的SynAmps 2系統(tǒng),。安放兩個(gè)雙極性電極分別從水平和垂直方向記錄眼電,。為了降低50 Hz工頻干擾,需在頭部前額設(shè)置接地電極,。此外,,在采集腦電信號時(shí),還需在頭頂放置參考電極,。為了減少實(shí)驗(yàn)過程中的信號失真,所有電極的接觸電阻需維持在5 kΩ以下,。系統(tǒng)的帶通濾波器設(shè)置為0.1~100 Hz,,信號采樣率設(shè)置為250 Hz。
3 分析方法
3.1 預(yù)處理
數(shù)據(jù)采集后,,首先通過系統(tǒng)自帶的SCAN 4.5軟件的Ocular Artifact Reduction功能來去除眼電信號,。成年人的EEG信號中有用的信息主要在α波和β波, 因此信號經(jīng)過一個(gè)4~45 Hz的帶通濾波器來濾除噪聲,。
3.2 獨(dú)立分量分析
獨(dú)立分量分析(Independent Component Analysis,,ICA)是信號處理領(lǐng)域重要的研究方法,,屬于盲信源分離算法[8]。經(jīng)過ICA分解后可將有用信號與噪聲信號分離,,以做特征提取或者腦電地形圖的繪制等工作,。
3.3 時(shí)頻分析
EEG信號在經(jīng)過ICA分解為各自獨(dú)立的分量后,可通過時(shí)頻分析來判斷該獨(dú)立分量是否和思維活動(dòng)相關(guān),。事件相關(guān)譜擾動(dòng)(Event-Related Spectral Perturbation,,ERSP)是在常規(guī)時(shí)頻分析算法上進(jìn)行了改進(jìn),它可突出意識(shí)任務(wù)時(shí)EEG的能量相對空閑時(shí)的變化量[9],。ERSP可分析整個(gè)時(shí)間軸的能量譜與提示出現(xiàn)的基線能量譜的相對變化值,。
如果進(jìn)入想象期后,能量譜有提高或者降低,,則說明該獨(dú)立分量與思維活動(dòng)相關(guān),,反之則沒有。以受試者S6想象身體左旋的同時(shí)默讀“左”為例,,他的第1個(gè)和第4個(gè)獨(dú)立分量經(jīng)過4~45 Hz帶通濾波后的ERSP圖如圖3所示,。漢字提示出現(xiàn)在圖3中ERSP圖0 s的位置,1 s后,,受試者開始相應(yīng)的想象活動(dòng),。受試者S6的第4個(gè)獨(dú)立分量在9~15 Hz范圍內(nèi)的能量隨著思維的進(jìn)行而增加,他的第1個(gè)獨(dú)立分量則沒有類似的特征,。因此可以判斷,,思維活動(dòng)與第4個(gè)分量相關(guān),與第1個(gè)分量無關(guān),。
3.4 等價(jià)偶極子源定位分析
通過時(shí)頻分析得到與意識(shí)任務(wù)相關(guān)的獨(dú)立分量后,,可用空間源定位分析將其反推得到腦內(nèi)神經(jīng)活動(dòng)源的位置、強(qiáng)度和方向等重要信息,,這樣可判斷意識(shí)任務(wù)所激活的大腦皮層,。
本文選擇了等價(jià)偶極子分析。該算法將事件相關(guān)的神經(jīng)源視為一個(gè)或者幾個(gè)在大腦內(nèi)活動(dòng)的電流偶極子[10],,這些偶極子的方向和位置等信息采用最小化殘余誤差來確定:
其中L為導(dǎo)聯(lián)場矩陣,,j為躍遷偶極矩,U為ICA分解后的獨(dú)立分量矩陣,。
詳細(xì)的操作流程為:
(1)用EEGLAB工具箱對腦電信號做ICA分解[11],,其中分解算法采用擴(kuò)展Infomax法;
(2)頭部模型選擇BEM,,接著獨(dú)立分量通過該工具箱中的DIPFIT 2.2插件計(jì)算相應(yīng)的偶極子,;
(3)用一個(gè)三維的粗疏網(wǎng)絡(luò)掃描出偶極子的大概位置;
(4)將上一步得到的位置作為初值,繼續(xù)用非線性交叉擬合算法計(jì)算出偶極子的精確位置,。
4 結(jié)果與分析
本文的目的是通過對與意識(shí)任務(wù)相關(guān)的EEG信號進(jìn)行空間源定位,,來對比多模態(tài)意識(shí)任務(wù)和單一意識(shí)任務(wù)間的內(nèi)在差異,最終從時(shí)間,、空間和頻率之外的角度來證明多模態(tài)意識(shí)任務(wù)的可行性和合理性,。
以受試者S6想象身體左旋的同時(shí)默讀“左”為例,圖3給出了空間源定位的流程,。兩步子實(shí)驗(yàn)均采用了35個(gè)電極來記錄EEG信號,,所以經(jīng)過ICA分解后首先可得到35個(gè)分量,分量1和分量4為其中的兩個(gè),。所有分量經(jīng)過等價(jià)偶極子分析計(jì)算后分別得到各自對應(yīng)的偶極子,,并標(biāo)出其在大腦的位置和方向。最后,,采用ERSP來分辨與意識(shí)任務(wù)相關(guān)的獨(dú)立分量和偶極子,。由ERSP圖可判斷分量4和思維有關(guān)系。圖3最終給出了與身體左旋時(shí)默讀“左”這一思維相關(guān)的5個(gè)偶極子的位置和方向,,它們位于大腦右半皮層的頂部和顳葉,。
分別對10位受試者兩步子實(shí)驗(yàn)的兩類想象做了分析,與意識(shí)任務(wù)相關(guān)的偶極子數(shù)量結(jié)果如圖4所示,。根據(jù)10位受試者的平均結(jié)果,,想象寫“壹”的筆畫時(shí)默讀“壹”的偶極子數(shù)量最多,達(dá)到了5個(gè),,說明這類思維活動(dòng)較復(fù)雜,,涉及較多的大腦皮層。其他意識(shí)任務(wù)的結(jié)果為:想象身體左旋時(shí)默讀“左”(4.3個(gè)),、僅想象寫筆畫(3.6個(gè))和僅想象身體左旋(2.5個(gè)),,這恰好和四者平均分類準(zhǔn)確率的排序一致(分類準(zhǔn)確率來自文獻(xiàn)[7])。相比較于單模態(tài),,多模態(tài)的意識(shí)任務(wù)涉及更復(fù)雜的思維活動(dòng),,因此有更多大腦皮層參與,這使得EEG信號具有更高的可分性,。本文的結(jié)果在綜合腦電信號特征提取和分類的結(jié)果后[7],,發(fā)現(xiàn)了腦電信號分類準(zhǔn)確度提高的內(nèi)在原因,最終全面驗(yàn)證了多模態(tài)實(shí)驗(yàn)范式的可行性和合理性,。
5 結(jié)論
等價(jià)偶極子分析方法可將EEG信號逆運(yùn)算以定位信號源的空間位置,,此方法相對低廉和方便。本文通過對多模態(tài)和單模態(tài)這兩步子實(shí)驗(yàn)進(jìn)行空間源定位分析,,并對比了這兩步子實(shí)驗(yàn)的偶極子數(shù)量和分布,發(fā)現(xiàn)多模態(tài)子實(shí)驗(yàn)具有更多和思維活動(dòng)相關(guān)的偶極子。更多的偶極子也意味著更多的大腦皮層被激活,,也驗(yàn)證了多模態(tài)意識(shí)任務(wù)分類準(zhǔn)確率提高的內(nèi)在原因,。因此從空間源定位的角度驗(yàn)證了多模態(tài)實(shí)驗(yàn)的合理性和可行性。
參考文獻(xiàn)
[1] RABIE A R,,ATHANASIOS V V. Brain computer interface:control signals review[J].Neurocomputing,,2017,223:26-44.
[2] He Wei,,Zhao Yue,,Tang Haoyue,et al.A wireless BCI and BMI system for wearable robots[J].IEEE Transactions on Systems,,Man,,and Cybernetics:Systems,2016,,46(7):936-946.
[3] HWANG H J,,KIM S,CHOI S,,et al.EEG-based brain-computer interfaces: a thorough literature survey[J].International Journal of Human-Computer Interaction,,2013,29(12):814-826.
[4] Jin Jing,,ALLISON B Z,,SELLERS E W,et al.An adaptive P300-based control system[J].Journal of Neural Engineering,,2011,,8(3):036006.
[5] WACKER M,WITTE H.Time-frequency techniques in biomedical signal analysis: a tutorial review of similarities and differences[J].Methods of Information in Medicine,,2013,,52(4):279-296.
[6] FATTAHI D,NASIHATKON B,,BOOSTANI R.A general framework to estimate spatial and spatio-spectral filters for EEG signal classification[J].Neurocomputing,,2013,119:165-174.
[7] Wang Li,,Zhang Xiong,,Zhong Xuefei,et al.Improvement of mental tasks with relevant speech imagery for brain-computer interfaces[J].Measurement,,2016,,91:201-209.
[8] HYVARINEN A,KARHUNEN J,,OJA E.Independent component analysis[M].New York:Wiley,,2001.
[9] 王力,,張雄,仲雪飛,,等.頻分析在語言想像腦機(jī)接口中的應(yīng)用[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),,2014,44(6):1126-1130.
[10] MUSHA T,,OKAMOTO Y.Forward and inverse problems of EEG dipole localization[J].Critical Reviews in Biomedical Engineering,,1999,27(3-5):189-239.
[11] DELORME A,,MAKEIG S.EEGLAB:an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis[J].Journal of Neuroscience Methods,,2004,134(1):9-21.
作者信息:
王 力1,,董倩妍1,,黃志鵬1,謝玉懷2,,胡 曉1
(1.廣州大學(xué) 機(jī)械與電氣工程學(xué)院,,廣東 廣州510006;2.廣州萊銘生物科技有限公司,,廣東 廣州510330)