《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > 基于深度學(xué)習(xí)的胸部X光影像分析系統(tǒng)
基于深度學(xué)習(xí)的胸部X光影像分析系統(tǒng)
2018年電子技術(shù)應(yīng)用第11期
周進凡,，張榮芬,，馬治楠,，葛自立，劉宇紅
貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院,，貴州 貴陽550025
摘要： 提出一種應(yīng)用嵌入式技術(shù)和深度學(xué)習(xí)技術(shù)實現(xiàn)對胸部X光影像分析的設(shè)計方案。采用NIVIDIA公司生產(chǎn)的Jetson TX2作為核心板，配備以太網(wǎng)模塊,、WiFi模塊等功能模塊搭建該分析系統(tǒng)的硬件平臺。在GPU服務(wù)器上利用MobileNets卷積神經(jīng)網(wǎng)絡(luò)對標注的胸部X光影像數(shù)據(jù)集進行訓(xùn)練,，將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型移植到Jetson TX2核心板,，在嵌入式平臺下完成對胸腔積液、浸潤,、肺氣腫,、氣胸以及肺不張癥狀的檢測。利用美國國立衛(wèi)生研究院提供的胸部X光影像數(shù)據(jù)進行測試,，通過實驗證明,，該方法在識別準確率上優(yōu)于其他的檢測方法，同時識別所需時間比其他方法短,。
中圖分類號： TP391
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.181514
中文引用格式： 周進凡,，張榮芬，馬治楠,，等. 基于深度學(xué)習(xí)的胸部X光影像分析系統(tǒng)[J].電子技術(shù)應(yīng)用,，2018，44(11)：29-32.
英文引用格式： Zhou Jinfan,，Zhang Rongfen,，Ma Zhinan，et al. Chest X-ray image analysis system based on deep learning[J]. Application of Electronic Technique,，2018,，44(11)：29-32.
Chest X-ray image analysis system based on deep learning
Zhou Jinfan，Zhang Rongfen,，Ma Zhinan,，Ge Zili，Liu Yuhong
College of Big Data and Information Engineering,，Guizhou University,，Guiyang 550025，China
Abstract： This paper proposes a design scheme for chest X-ray images analysis by using embedded technology and deep learning technology. The hardware platform of the analysis system using NIVIDIA′s Jetson TX2 as the core board, equipped with Ethernet modules, WiFi modules and other functional modules. It uses the MobileNets convolutional neural network on GPU server to train the marked chest X-ray image dataset then transplants the trained model to the Jetson TX2 core board, detecting the symptoms of pleural effusion, infiltration, emphysema, pneumothorax and atelectasis on the embedded platform. The chest X-ray image data provided by the National Institutes of Health(NIH) were tested in the trained model. Experiments have shown that this method gets higher accuracy and requires less time than other methods.
Key words : embedded technology,；deep learning technology,；chest X-ray images analysis；Jetson TX2,；MobileNets

0 引言

    胸腔積液是臨床常見的胸膜病變,，也是多種疾病的伴隨表現(xiàn)，據(jù)統(tǒng)計有50多種疾病可直接或間接引起胸腔積液[1]。在胸部異常改變的68例白血病患者中,，白血病胸部X線表現(xiàn)為浸潤性改變49例,，占72%[2]。此外肺氣腫,、氣胸以及肺不張也是某些嚴重疾病的癥狀,。由于個體差異，在疾病前期或者發(fā)生之前這些癥狀并不一定很明顯,，醫(yī)院放射科室傳統(tǒng)的診斷方式可能并不能及時,、準確地檢測出相應(yīng)的癥狀為醫(yī)生提供決策依據(jù)，導(dǎo)致患者不能及早得到相應(yīng)的治療而錯過最佳治療時間,。

    傳統(tǒng)的計算機輔助胸部X光醫(yī)學(xué)影像識別主要是針對特定任務(wù)建立識別規(guī)則,，手動提取特征并進行特征訓(xùn)練，該方案依然脫離不了人工標注這一過程,。人工標注因為主觀性問題,，所以識別準確率存在比較大的波動。2017年11月斯坦福大學(xué)吳恩達團隊提出了一種名為CheXNet的新技術(shù),，該技術(shù)利用卷積神經(jīng)網(wǎng)絡(luò)在NIH（美國國立衛(wèi)生研究院）胸部X光影像數(shù)據(jù)集上進行訓(xùn)練、測試,，得到了浸潤檢測準確率88.31%,、胸腔積液檢測準確率72.04%、肺氣腫92.60%,、氣胸89.32%,、肺不張82.09%的優(yōu)良效果，該準確率高于擁有多年從業(yè)經(jīng)驗的放射科醫(yī)生檢測的準確率,，但是該方法在進行訓(xùn)練時使用了121層卷積神經(jīng)網(wǎng)絡(luò),，由于使用了深層次神經(jīng)網(wǎng)絡(luò)使得訓(xùn)練過程對計算機設(shè)備硬件要求高，而且訓(xùn)練時間長,，訓(xùn)練好的模型較大,，不利于移植到嵌入式平臺進行識別。本文提出一種在GPU服務(wù)器利用輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNets對胸部X光影像數(shù)據(jù)進行訓(xùn)練,，并將訓(xùn)練好的網(wǎng)絡(luò)模型移植到嵌入式Jetson TX2核心板,，在嵌入式平臺下實現(xiàn)對胸部X光影像數(shù)據(jù)進行分析的方法。該方法在識別準確率高于吳恩達團隊提出檢測方法的同時縮短了對X光影像數(shù)據(jù)分析所需要的時間,。

1 胸部X光分析系統(tǒng)總體設(shè)計

    本文的胸部X光影像分析系統(tǒng)主要由訓(xùn)練模塊,、識別模塊、網(wǎng)絡(luò)傳輸模塊這三部分組成,，整個系統(tǒng)的嵌入式平臺在NVIDIA公司生產(chǎn)的Jetson TX2核心板上進行搭建,，并通過該平臺實現(xiàn)對整個系統(tǒng)的協(xié)調(diào)控制。訓(xùn)練模塊是在GPU服務(wù)器上利用深度學(xué)習(xí)技術(shù)建立卷積神經(jīng)網(wǎng)絡(luò)模型，然后利用該模型對標注好的X光影像數(shù)據(jù)集進行訓(xùn)練,，將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型移植到Jetson TX2核心板,。識別模塊是在嵌入式平臺下利用移植到Jetson TX2核心板的神經(jīng)網(wǎng)絡(luò)模型對接收到的來自X光機的胸部X光影像數(shù)據(jù)進行分析，得到正常,、胸腔積液,、浸潤、肺氣腫,、氣胸以及肺不張六個類別的分類結(jié)果,。網(wǎng)絡(luò)傳輸模塊主要分為兩個部分，一部分為通過以太網(wǎng)模塊將X光機拍攝的胸部X光影像傳輸?shù)角度胧狡脚_,，另一部分是通過WiFi模塊將嵌入式平臺接收到的胸部X光影像信息以及嵌入式平臺對該影像數(shù)據(jù)的分析結(jié)果上傳到醫(yī)院云平臺進行數(shù)據(jù)的存儲與分發(fā),，為相應(yīng)科室的醫(yī)生提供疾病診斷的決策依據(jù)。胸部X光影像分析系統(tǒng)具體設(shè)計框圖如圖1所示,。

qrs1-t1.gif

2 胸部X光分析系統(tǒng)硬件設(shè)計

    嵌入式核心板Jetson TX2配備以太網(wǎng)模塊,、WiFi模塊等核心功能模塊共同構(gòu)建了胸部X光影像分析系統(tǒng)的硬件平臺。Jetson TX2核心板以Tegra Parker處理器作為載體,，搭載Ubuntu 16.04操作系統(tǒng),，然后與以太網(wǎng)模塊、WiFi模塊協(xié)同作用,，在嵌入式平臺下實現(xiàn)胸部X光影像分析,、數(shù)據(jù)傳輸?shù)裙δ堋?/p>

    胸部X光影像分析系統(tǒng)網(wǎng)絡(luò)通信模塊主要由兩個部分構(gòu)成：第一部分為X光機與嵌入式平臺之間的網(wǎng)絡(luò)傳輸，該部分通過以太網(wǎng)模塊設(shè)計實現(xiàn),，主要實現(xiàn)在醫(yī)院局域網(wǎng)內(nèi)將拍攝到的胸部X光影像數(shù)據(jù)通過以太網(wǎng)傳輸?shù)絁etson TX2核心板的功能,，以太網(wǎng)通信模塊的外圍電路圖如圖2所示；第二部分為嵌入式平臺與醫(yī)院云平臺之間的通信功能,，該部分通過WiFi模塊設(shè)計實現(xiàn),，主要實現(xiàn)將Jetson TX2核心板接收到的X光影像數(shù)據(jù)以及數(shù)據(jù)分析結(jié)果上傳到醫(yī)院云平臺的功能，WiFi通信模塊的外圍電路圖如圖3所示,。

qrs1-t2.gif

qrs1-t3.gif

3 胸部X光分析系統(tǒng)軟件設(shè)計

    胸部X光分析系統(tǒng)軟件設(shè)計由GPU服務(wù)器端程序設(shè)計與嵌入式端程序設(shè)計兩部分組成,。GPU服務(wù)器端程序設(shè)計主要是在Keras深度學(xué)習(xí)框架之下,使用TensorFlow作為后端，采用Python語言進行編程對胸部X光醫(yī)學(xué)影像數(shù)據(jù)集中的圖片尺寸進行歸一化處理,，然后利用MobileNets卷積神經(jīng)網(wǎng)絡(luò)對該數(shù)據(jù)集進行訓(xùn)練,，并將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型移植到嵌入式平臺。嵌入式平臺程序設(shè)計主要是在嵌入式平臺配置深度學(xué)習(xí)所需要的運行環(huán)境,，采用Python高級編程語言,，在嵌入式平臺上對GPU服務(wù)器上訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進行讀取，并在該模型下對接收到的胸部X光影像數(shù)據(jù)進行分類識別,。胸部X光影像分析系統(tǒng)軟件設(shè)計流程如圖4所示,。

qrs1-t4.gif

4 基于MobileNets網(wǎng)絡(luò)的胸部X光影像分析

    MobileNets網(wǎng)絡(luò)是由Google公司提供的一款輕量級的深層卷積神經(jīng)網(wǎng)絡(luò),，主要用于手機和嵌入式設(shè)備。該神經(jīng)網(wǎng)絡(luò)是基于流線型的高效網(wǎng)絡(luò)架構(gòu),，它使用深度可分離卷積來構(gòu)建輕量級深層卷積神經(jīng)網(wǎng)絡(luò),。MobileNets卷積神經(jīng)網(wǎng)絡(luò)可以將標準卷積分解成一個深度卷積和一個點卷積(1×1)以此來減少計算量，降低模型的大小,。具體分解步驟如圖5所示,，其中M代表輸入的通道數(shù)量，DK代表卷積核的寬和高,，DF代表輸入特征圖的寬和高,，N代表輸出通道數(shù)量。

qrs1-t5.gif

    從圖5可以得出,，標準卷積的計算成本為：

     qrs1-gs1-2.gif

    通過標準卷積和深度可分離卷積的計算成本對比可以得出,，MobileNets網(wǎng)絡(luò)通過對卷積核的靈活應(yīng)用，減少了網(wǎng)絡(luò)模型參數(shù)量,，使其計算成本得到了很大程度的減少,。

    MobileNets共有28層網(wǎng)絡(luò)，除最后的全連接層以外,，每一層網(wǎng)絡(luò)之后都通過BN算法對每個神經(jīng)元做歸一化處理,，提高網(wǎng)絡(luò)的訓(xùn)練速度。

    在Ubuntu 16.04系統(tǒng)之下編寫一個shell腳本程序從NIH胸部X光影像數(shù)據(jù)集中提取其中的正常,、胸腔積液,、浸潤、肺氣腫,、氣胸以及肺不張六個類別共計81 200張圖像作為本系統(tǒng)的數(shù)據(jù)集，將提取出來的數(shù)據(jù)集命名為X-ray,，X-ray數(shù)據(jù)集中共包含有60 384張正常圖像,、9 551張浸潤圖像、3 959張胸腔積液圖像,、895張肺氣腫圖像,、2 199張氣胸圖像以及4 212張肺不張圖像。在對模型進行訓(xùn)練之前,，首先對數(shù)據(jù)集中圖像進行預(yù)處理,，將每張圖片分辨率歸一化為128×128，然后將該數(shù)據(jù)分為訓(xùn)練集和測試集兩部分,，訓(xùn)練集占比75%,，測試集占比25%。數(shù)據(jù)集訓(xùn)練過程中,，使用ADM算法對網(wǎng)絡(luò)進行優(yōu)化,，對數(shù)損失函數(shù)作為整個網(wǎng)絡(luò)的損失函數(shù),，并用sigmoid函數(shù)作為激活函數(shù)，設(shè)置迭代次數(shù)為4 000次,。本實驗中訓(xùn)練結(jié)束的標志主要從兩個方面進行考察,，第一個方面為整個訓(xùn)練達到設(shè)置的迭代次數(shù)的上限以后訓(xùn)練結(jié)束，第二方面為loss(損失函數(shù))值收斂不再減小,，此時可以認為當前狀態(tài)下此網(wǎng)絡(luò)已基本達到最優(yōu)化,，訓(xùn)練結(jié)束。訓(xùn)練結(jié)束后將得到的網(wǎng)絡(luò)移植到Jetson TX2核心板在嵌入式平臺下對胸部X光影像數(shù)據(jù)進行分析,。

5 系統(tǒng)結(jié)果分析

    本實驗采用MobileNets卷積神經(jīng)網(wǎng)絡(luò)對81 200張胸部X光影像中隨機選取的60 900張（占比75%）胸部X光影像進行訓(xùn)練得到可以識別胸腔積液和浸潤兩種癥狀的神經(jīng)網(wǎng)絡(luò),。在進行模型訓(xùn)練時，設(shè)置每一個Epoch代表迭代200次,，當Epoch=13時,，即迭代次數(shù)達到2 600次時，loss值收斂,，此時網(wǎng)絡(luò)達到基本最優(yōu)化,，整個訓(xùn)練結(jié)束，大約用時90 min,，該方法所用時間低于吳恩達團隊利用121層卷積網(wǎng)絡(luò)進行訓(xùn)練所需時間,。訓(xùn)練過程中l(wèi)oss值變化的過程如圖6所示。

qrs1-t6.gif

    訓(xùn)練結(jié)束后,，將該模型移植到嵌入式平臺,，利用剩余的20 300張（占比25%）胸部X光影像作為測試集，驗證整個模型對胸腔積液,、浸潤兩個類別的平均識別率,，得到91.01%的平均正確率，其中正常類別識別準確率達到了98.68%,。將本文中提及的胸部X光影像分析系統(tǒng)命名為ML-XNet,。表1表示專業(yè)放射科醫(yī)生、吳恩達團隊提出的CheXNet技術(shù)和ML-XNet對胸腔積液,、浸潤,、肺氣腫、氣胸以及肺不張的識別準確率,。

qrs1-b1.gif

    從表1可以看出,，本文所使用的方法在對胸腔積液、浸潤,、肺氣腫,、氣胸以及肺不張五種常見癥狀的識別效果上，更優(yōu)于放射科醫(yī)生以及CheXNet方法,。

    隨機傳輸4張胸部X光影像數(shù)據(jù)進行測試,，識別所需時間為30 s左右,，遠低于目前放射科醫(yī)生檢測所需時間，測試結(jié)果如圖7所示,，其中Reality為圖片對應(yīng)癥狀的真實值,，Prediction為利用本文所述方法進行分析得到的預(yù)測值，Pneumothrax代表氣胸,，Infiltration代表浸潤,，Atelectasis代表肺不張。從圖中可以看出通過本系統(tǒng)對4張胸部X光影像的預(yù)測結(jié)果均與真實結(jié)果一致,。

qrs1-t7.gif

6 結(jié)論

    本系統(tǒng)通過在Jetson TX2核心板上移植GPU服務(wù)器上訓(xùn)練好的MobileNets卷積神經(jīng)網(wǎng)絡(luò)模型,，在嵌入式平臺下實現(xiàn)對胸部X光影像的分析。隨著X光機的發(fā)展,，可以將本系統(tǒng)中的嵌入式識別平臺與X光機結(jié)合,，生產(chǎn)出既能拍攝胸部X光影像又能對胸部X光影像進行分析的一體機，使胸部X光影像的分析正確率更高,、操作更簡單,。

參考文獻

[1] 李翔云，李薇,，張澤明.結(jié)核性,、惡性胸腔積液的鑒別診斷的研究進展[J].中國繼續(xù)醫(yī)學(xué)教育，2018,，10(11)：109-112.

[2] 尚延海,，張淑香，張志偉,，等.白血病胸部浸潤的臨床X線表現(xiàn)(附68例分析)[J].醫(yī)學(xué)影像學(xué)雜志,，2002(6)：449-451.

[3] 張巧麗，趙地,，遲學(xué)斌.基于深度學(xué)習(xí)的醫(yī)學(xué)影像診斷綜述[J].計算機科學(xué),，2017，44(S2)：1-7.

[4] 羅濤,，牟軒沁.一種胸部X射線攝影圖像中結(jié)節(jié)檢測的多尺度匹配濾波器[J].西安交通大學(xué)學(xué)報，2011,，45(4)：30-35.

[5] 薛迪秀.基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像癌變識別研究[D].合肥：中國科學(xué)技術(shù)大學(xué),，2017.

[6] HOWARD A G，ZHU M,，CHEN B,，et al.MobileNets：Efficient convolutional neural networks for mobile vision applications[J].avXiv：1704.04861[cs.CV].

[7] 何雪英，韓忠義,，魏本征.基于深度學(xué)習(xí)的乳腺癌病理圖像自動分類[J/OL].計算機工程與應(yīng)用,，2018(12).



作者信息:

周進凡,，張榮芬，馬治楠,，葛自立,，劉宇紅

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽550025）

此內(nèi)容為AET網(wǎng)站原創(chuàng),，未經(jīng)授權(quán)禁止轉(zhuǎn)載,。