俞一云,,何良華
?。ㄍ瑵?jì)大學(xué) 電子與信息工程學(xué)院,上海 201804)
摘要:提出了利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)兒童注意缺陷與多動(dòng)癥(ADHD)的功能性核磁共振圖像(fMRI)進(jìn)行特征分析,,從而對(duì)ADHD患者進(jìn)行判別分析,。針對(duì)ADHD-200全球競(jìng)賽的三個(gè)數(shù)據(jù)庫(kù)的fMRI數(shù)據(jù),,首先利用快速傅里葉變換將數(shù)據(jù)從時(shí)域轉(zhuǎn)換到頻域,并利用Fisher線性判別方法選擇有效的頻率信息,,然后利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)選擇頻域數(shù)據(jù)進(jìn)行特征學(xué)習(xí),,自動(dòng)提取出有效的特征并進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明,,提出的方法有助于ADHD患者的判別,,為基于fMRI數(shù)據(jù)的ADHD研究提供了新的手段。
關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò),;兒童注意缺陷與多動(dòng)癥;線性判別,;分類
中圖分類號(hào):TP18文獻(xiàn)標(biāo)識(shí)碼:ADOI: 10.19358/j.issn.1674-7720.2017.04.016
引用格式:俞一云,,何良華.基于卷積神經(jīng)網(wǎng)絡(luò)的ADHD的判別分析[J].微型機(jī)與應(yīng)用,2017,36(4):53-55,58.
0引言
兒童注意缺陷與多動(dòng)癥(ADHD)是一種兒童時(shí)期十分常見的神經(jīng)性發(fā)育性障礙疾病,,通常表現(xiàn)為注意力不集中,、多動(dòng)等[1]。目前,,國(guó)內(nèi)外ADHD患者越來(lái)越多,,很大程度上影響了患者的學(xué)習(xí)與生活,因此ADHD的研究受到了家長(zhǎng),、老師以及社會(huì)的廣泛關(guān)注,。傳統(tǒng)的ADHD的診斷依靠于專業(yè)醫(yī)生對(duì)臨床數(shù)據(jù)(腦電圖和注意變量檢測(cè)等)、患者行為,、心理測(cè)試等復(fù)雜信息的長(zhǎng)時(shí)間分析,。近年來(lái),由于功能性核磁共振成像技術(shù)(fMRI)的不斷發(fā)展,,憑借其非侵入性,、無(wú)輻射等特征被用于腦認(rèn)知的研究。目前,,盡管受到可用的數(shù)據(jù)來(lái)源限制,,大量學(xué)者仍然投身ADHD的fMRI數(shù)據(jù)的分析[24],并且基于不同的fMRI數(shù)據(jù)的特征參數(shù)已經(jīng)被提取用于ADHD的分類,,如功能連接,、低頻振幅等特征。
2011年,,美國(guó)1000 Functional Connectomes Project 項(xiàng)目組共享了豐富的數(shù)據(jù)庫(kù),,并組織了全球ADHD的分類大賽,期望通過(guò)比賽來(lái)發(fā)現(xiàn)診斷ADHD患者的方法和檢測(cè)ADHD的生物因子,。比賽的優(yōu)勝者利用fMRI數(shù)據(jù)和個(gè)人特征信息取得了61.3%準(zhǔn)確率[5],,表明了利用機(jī)器學(xué)習(xí)和神經(jīng)影像學(xué)相結(jié)合的方法對(duì)ADHD進(jìn)行研究具有廣泛的應(yīng)用前景,。此后,基于fMRI數(shù)據(jù)的ADHD判別研究變得更加積極,、活躍,,并且產(chǎn)生了一系列算法。
卷積神經(jīng)網(wǎng)絡(luò)作為一種非常重要的深度學(xué)習(xí)方法,,能夠從低級(jí)特征中學(xué)習(xí)到可區(qū)分性,、更加抽象、有意義的高級(jí)特征,,具有局部感受域,、權(quán)值共享、下采樣等特點(diǎn),,使得該學(xué)習(xí)網(wǎng)絡(luò)對(duì)圖像的平移,、旋轉(zhuǎn)、傾斜,、縮放等具有高度不變性,。另外,該網(wǎng)絡(luò)結(jié)構(gòu)將特征提取和分類過(guò)程結(jié)合到一個(gè)全局優(yōu)化過(guò)程中,,憑借其有效提取特征和分類的優(yōu)勢(shì)在圖像識(shí)別與分類領(lǐng)域取得了廣泛應(yīng)用,,如物體識(shí)別[6]、人類行為認(rèn)知[7],、語(yǔ)音識(shí)別[8]和車輛檢測(cè)[9]等,。
本文所有的研究數(shù)據(jù)均來(lái)自ADHD200國(guó)際比賽數(shù)據(jù)庫(kù),利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)ADHD的fMRI的特征學(xué)習(xí)與提取,,并對(duì)ADHD進(jìn)行判別分析,,為實(shí)際臨床診斷提供有價(jià)值意義的參考。所有實(shí)驗(yàn)結(jié)果表明,,基于深度學(xué)習(xí)的ADHD核磁共振成像數(shù)據(jù)判別分析思路可行,,結(jié)果有效,為基于fMRI的ADHD研究提供了新的方向,。
1實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理
ADHD的fMRI數(shù)據(jù)是腦活動(dòng)的3D圖像的時(shí)間序列,,大小為49×58×47×T,其中49×58×47是腦體素的空間維度,,T代表一個(gè)腦體素的時(shí)間維度,,具有高維度、高冗余,、大數(shù)據(jù)的特點(diǎn),。考慮到對(duì)fMRI數(shù)據(jù)的時(shí)域信息比較難提取出有用的信息,,而且頻率特征比時(shí)間特征更易于觀察,,因此本文采用快速傅里葉變換將時(shí)域信息轉(zhuǎn)換到頻域信息,,利用頻率特征在一定程度上能夠反映腦部信號(hào)的振動(dòng)的特點(diǎn),使得提取的振動(dòng)信息更能體現(xiàn)腦部活動(dòng),。
圖1卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖經(jīng)過(guò)快速傅里葉變換的數(shù)據(jù)仍然保持4D結(jié)構(gòu),,直接對(duì)其進(jìn)行分析計(jì)算復(fù)雜度太高,為此,,提出了利用Fisher線性判別分析方法來(lái)對(duì)數(shù)據(jù)進(jìn)行特征選擇,,達(dá)到降維降冗余的特點(diǎn)。其中,,F(xiàn)isher線性判別分析方法是一種有效的模式識(shí)別方法,,它的目標(biāo)是最大化兩類之間的差異R,使得類間的散布矩陣SE最大,,同時(shí)保證類內(nèi)的散布矩陣SW最小,,其類間比類內(nèi)的計(jì)算方式為:
基于此原理,對(duì)每個(gè)腦體素的所有頻率信息進(jìn)行類間比類內(nèi)計(jì)算并進(jìn)行排序,,選擇R值相對(duì)大的n個(gè)頻率,,并重構(gòu)成n個(gè)頻率的49×58×47×1的信息,,作為卷積神經(jīng)網(wǎng)絡(luò)的輸入,,在本文中n=5。
2改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)是具有多層隱藏層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),,這種深度學(xué)習(xí)網(wǎng)絡(luò)具有更好的學(xué)習(xí)特征的能力,,能夠從初級(jí)特征中學(xué)習(xí)出高級(jí)特征,從而更利于可視化或分類,,因此本文利用ADHD的fMRI頻率表達(dá)特征作為原始輸入,,構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)對(duì)fMRI數(shù)據(jù)進(jìn)行分析學(xué)習(xí),從而實(shí)現(xiàn)對(duì)ADHD的判別,。
2.1卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
由于fMRI數(shù)據(jù)的三維立體空間,,采用傳統(tǒng)的2D卷積神經(jīng)網(wǎng)絡(luò)會(huì)丟失特征信息,因此本文采用3D卷積神經(jīng)網(wǎng)絡(luò),。另外,,不同腦體素之間的相互作用也是腦活動(dòng)的重要信息,因此需要對(duì)整個(gè)3D的腦體素活動(dòng)進(jìn)行分析,,而不是單獨(dú)對(duì)一個(gè)腦體素或一個(gè)腦區(qū)進(jìn)行分析,,通過(guò)連續(xù)卷積和下采樣操作,提取有效的特征,,并對(duì)提取出來(lái)的特征進(jìn)行分類,。
本文提出的卷積神經(jīng)網(wǎng)絡(luò)從傳統(tǒng)的2D卷積神經(jīng)網(wǎng)絡(luò)發(fā)展而來(lái),增加了網(wǎng)絡(luò)模型維度和深度,,共由8層構(gòu)成,,分別是1層輸入層,、3層卷積層、3層下采樣層和1層輸出層的結(jié)構(gòu),,如圖1所示,。
對(duì)于給定的大小為49×58×47的fMRI數(shù)據(jù),分別取大小為4×7×4,、4×5×3,、5×6×5的卷積矩陣和大小為2×2×2的下采樣矩陣迭代進(jìn)行卷積和下采樣操作,在S6層(下采樣層)得到8個(gè)大小為3×3×3的特征圖,,并重構(gòu)成一維特征向量,,與最后的輸出層進(jìn)行全連接操作,得到預(yù)測(cè)值,。
其中,,在卷積層,利用局部域連接和權(quán)值共享的優(yōu)勢(shì),,減少了學(xué)習(xí)模型的訓(xùn)練參數(shù),,降低計(jì)算復(fù)雜度。
令Xj為第i個(gè)特征圖,Wji是卷積層中第i個(gè)特征圖與前面輸入層第j個(gè)特征圖間連接的卷積矩陣,,J是前面層的輸入特征圖的數(shù)量,。因此,卷積層的第i個(gè)特征圖Ci可表示為:
Ci=sigmoid(∑Jj=1(Wji·Xj)+bi)通過(guò)對(duì)卷積的結(jié)果加偏置b,,并進(jìn)行sigmoid激活函數(shù)計(jì)算,,得到卷積層的特征圖,并作為后面的下采樣層的特征輸入,。
在下采樣層,,對(duì)前一層(卷積層)的每一個(gè)特征圖進(jìn)行均值下采樣操作(下采樣的大小是222),得到與前面卷積層相同數(shù)量的特征圖,,并且減低了特征向量維度和分辨率,。這種卷積和下采樣相結(jié)合的方式使得學(xué)習(xí)模型實(shí)現(xiàn)對(duì)位移、縮放,、形變的高度不變性,。
在輸出層,對(duì)下采樣層S6的輸出進(jìn)行重構(gòu),,生成一維向量(F)作為輸出層的輸入,,并利用sigmoid激活函數(shù)和權(quán)值W、偏置B,,計(jì)算出預(yù)測(cè)值h,。
h=sigmoid(W*F+B)
2.2卷積神經(jīng)網(wǎng)絡(luò)的算法
本文的卷積神經(jīng)網(wǎng)絡(luò)算法主要由多次迭代的前向傳播和反向傳播學(xué)習(xí)的兩個(gè)階段構(gòu)成。前向傳播是從輸入層到輸出層的逐層特征學(xué)習(xí),,經(jīng)過(guò)迭代地卷積和下采樣操作,,并在輸出層通過(guò)激活函數(shù)sigmoid函數(shù),,得出分類結(jié)果。反向傳播是從輸出層到第一個(gè)卷積層的BP算法實(shí)現(xiàn),,通過(guò)計(jì)算損失函數(shù)Fcost和殘值以及利用梯度下降方法來(lái)更新參數(shù),,從而對(duì)卷積神經(jīng)網(wǎng)絡(luò)的整個(gè)學(xué)習(xí)參數(shù)進(jìn)行調(diào)節(jié)。
考慮到是針對(duì)ADHD患者和正常人兩類進(jìn)行分類,,本文從學(xué)習(xí)更高的可區(qū)分性差異特征出發(fā),,利用Fisher線性判別分析方法的思想,提高ADHD患者和正常人之間的類間與類內(nèi)的比值,,從而提高ADHD的識(shí)別率,。通過(guò)在輸出層的傳統(tǒng)的損失函數(shù)Fcost計(jì)算中引入Fisher線性判別分析方法的類間比類內(nèi)的比值能量函數(shù),而從優(yōu)化特征的學(xué)習(xí),。令樣本數(shù)量為n,,樣本的實(shí)際標(biāo)簽為y,預(yù)測(cè)值為h,,傳統(tǒng)的損失值Icost計(jì)算如下:
其中,,α為學(xué)習(xí)率,SW,、SB為預(yù)測(cè)值的類內(nèi)距離值和類間距離值,,hpos、hneg分別為真實(shí)標(biāo)簽為positive和negative的樣本預(yù)測(cè)值,,Mean函數(shù)為樣本均值的函數(shù),。
本文提出的損失函數(shù)實(shí)現(xiàn)了誤差最小化,,也使得同類樣本間的特征差異更小,,不同類間的特征差異更大,因此當(dāng)卷積神經(jīng)網(wǎng)絡(luò)的反向傳播采用損失函數(shù)Fnew時(shí),,并針對(duì)此損失函數(shù)進(jìn)行每層的殘值計(jì)算和梯度下降學(xué)習(xí),,從而使模型學(xué)習(xí)的不同類別的特征間的差異更大,促進(jìn)樣本預(yù)測(cè)值逐漸往樣本的真實(shí)標(biāo)簽偏向,。
3實(shí)驗(yàn)結(jié)果及分析
本文研究的fMRI數(shù)據(jù)全部來(lái)自于ADHD-200全球競(jìng)賽中的三個(gè)數(shù)據(jù)庫(kù):NYU數(shù)據(jù)庫(kù),、OHSU數(shù)據(jù)庫(kù)、NeuroImage數(shù)據(jù)庫(kù),,分別來(lái)自于紐約大學(xué),、俄勒岡健康與科學(xué)大學(xué)和Donders研究所。數(shù)據(jù)分別如表1所示,。表1數(shù)據(jù)庫(kù)分布情況樣本分類NYUNeuroImageOHSU訓(xùn)練集正常人982343ADHD1182536測(cè)試集正常人121428ADHD29116
本文將ADHD一類稱為正類(positive),,正常人一類稱為負(fù)類(negative),并利用提出的卷積神經(jīng)網(wǎng)絡(luò)對(duì)三個(gè)公開數(shù)據(jù)庫(kù)進(jìn)行測(cè)試實(shí)驗(yàn),,與ADHD200全球比賽的優(yōu)勝隊(duì)的成績(jī)從準(zhǔn)確率(Accuracy),、敏感度(Sensitivity),、特異度(Specificity)和J_statistic四個(gè)指標(biāo)來(lái)進(jìn)行對(duì)比分析(如表2所示),可以發(fā)現(xiàn)本文提出的方法在準(zhǔn)確率上有很大的提升,。
4結(jié)論
本文利用傅里葉變換和Fisher線性判別分析方法對(duì)fMRI數(shù)據(jù)進(jìn)行預(yù)處理,,并利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)分析與特征提取,從而實(shí)現(xiàn)對(duì)ADHD的分析與判別,。該方法與ADHD200的優(yōu)勝隊(duì)相比,,在大多數(shù)ADHD200國(guó)際數(shù)據(jù)庫(kù)的準(zhǔn)確率上獲得了很大的提高。在以后的研究中,,將嘗試對(duì)本文提出的卷積神經(jīng)網(wǎng)絡(luò)繼續(xù)改進(jìn),,以期望得到更好的識(shí)別效果。
參考文獻(xiàn)
?。?] JOHNSTONE S. Computer gaming and ADHD: potential positive influences on behavior[Opinion][J]. IEEE Technology and Society Magazine, 2013, 32(1): 20-22.
?。?] Wang Xunheng, Jiao Yun, Lu Zuhong. Discriminative analysis of restingstate brain functional connectivity patterns of attentiondeficit hyperactivity disorder using kernel principal component analysis[C]. 2011 Eighth International Conference on Fuzzy Systems and Knowledge Discovery(FSKD), IEEE, 2011: 1938-1941.
[3] WOLF R C, PLICHTA M M, SAMBATARO F, et al. Regional brain activation changes and abnormal functional connectivity of the ventrolateral prefrontal cortex during working memory processing in adults with attentiondeficit/hyperactivity disorder[J]. Human Brain Mapping, 2009, 30(7): 2252-2266.
?。?] Zang Yufeng, He Yong, Zhu Chaozhe, et al. Altered baseline brain activity in children with ADHD revealed by restingstate functional MRI[J]. Brain and Development, 2007, 29(2): 8391.
?。?] MILHAM M P, FAIR D, MENNES M, et al. The ADHD200 consortium: a model to advance the translational potential of neuroimaging in clinical neuroscience[J]. Frontiers in Systems Neuroscience, 2012(6): 62.
[6] Liang Ming, Hu Xiaolin. Recurrent convolutional neural network for object recognition[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3367-3375.
?。?] Ji Shuiwang, Xu Wei, Yang Ming, et al. 3D convolutional neural networks for human action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 221-231.
?。?] ABDELHAMID O, MOHAMED A R, Jiang Hui, et al. Convolutional neural networks for speech recognition[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2014, 22(10): 1533-1545.