文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.181959
中文引用格式: 吳曉元,,常海濤,茍軍年. Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術(shù)應(yīng)用,,2019,,45(1):76-80.
英文引用格式: Wu Xiaoyuan,Chang Haitao,,Gou Junnian. Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning[J]. Application of Electronic Technique,,2019,45(1):76-80.
0 引言
深度學(xué)習(xí)的興起帶動(dòng)了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展,如今一系列的CNN改進(jìn)網(wǎng)絡(luò)如雨后春筍般地出現(xiàn),,如當(dāng)前興盛的Faster R-CNN網(wǎng)絡(luò)被廣泛地應(yīng)用于圖像檢測(cè)領(lǐng)域,。Faster R-CNN用于目標(biāo)定位時(shí),定位出的區(qū)域內(nèi)往往會(huì)出現(xiàn)目標(biāo)邊緣較為模糊的情況,,其目標(biāo)不是理想的階躍型邊緣,,而是弱邊緣[1]。對(duì)于工件來說,,缺陷只占圖像很小的比例,,尤其是氣泡和夾渣,鄰域間的灰度差異也不明顯,。針對(duì)這種情況,,必須采用恰當(dāng)?shù)乃惴ú拍軐?shí)現(xiàn)工件的精確分割,。
閾值法因簡(jiǎn)單而被大量應(yīng)用在圖像分割領(lǐng)域。其中,,應(yīng)用最廣泛的有最大熵閾值法和Otsu閾值法,。
Pun最早將信息熵定義引用到圖像分割領(lǐng)域,隨后Kapur等提出了最大香農(nóng)信息熵閾值法[2],。文獻(xiàn)[3]采用了最大熵閾值法及其改進(jìn)算法進(jìn)行圖像的分割,。
Otsu閾值法由于高效而被視為最佳的閾值選取法。如文獻(xiàn)[4]采用了二維直方圖Otsu法,;文獻(xiàn)[5]提出了三維直方圖重建的Otsu閾值法,。
近些年來,邊緣檢測(cè)法(如數(shù)學(xué)形態(tài)學(xué))被廣泛地應(yīng)用于圖像分割領(lǐng)域,。文獻(xiàn)[6]將數(shù)學(xué)形態(tài)學(xué)與Otsu分割算法結(jié)合,,取得了比直接分割方法更好的效果。
因此,,本文結(jié)合文獻(xiàn)[6]的思想,,提出了將形態(tài)學(xué)和上述兩類閾值法相結(jié)合的方法。實(shí)驗(yàn)結(jié)果證明了本文算法對(duì)工件缺陷的弱邊緣和小目標(biāo)都能準(zhǔn)確地分割出來,,較直接分割法有更佳的效果,。
1 圖像分割理論的概述
1.1 形態(tài)學(xué)重建
圖像形態(tài)學(xué)是在數(shù)學(xué)形態(tài)學(xué)的基礎(chǔ)上發(fā)展而來的非線性圖像處理方法,通過具有一定形態(tài)的結(jié)構(gòu)元素對(duì)圖像進(jìn)行“探測(cè)”,,從而得到物體更本質(zhì)的形態(tài),,便于對(duì)圖像進(jìn)行分析和識(shí)別[7]。
本文將形態(tài)學(xué)開閉重建算法用于圖像濾波,,其重建的流程如圖1所示,。
1.2 Otsu閾值分割
Otsu閾值法又叫最大類間差分法[8],該算法假設(shè)一幅圖像由前景和背景組成,,通過統(tǒng)計(jì)學(xué)的方法選取一個(gè)閾值,,運(yùn)用該閾值使得圖像的前景和背景盡可能地分開。設(shè)一幅圖像的灰度值是1~L,,閾值t從1~L變化,,其中使類間方差達(dá)到最大的t*為最佳閾值。
當(dāng)目標(biāo)相對(duì)背景尺寸較小時(shí),,或圖像中有多余兩類目標(biāo)時(shí),,可以推廣為多個(gè)閾值的選取,從而實(shí)現(xiàn)圖像的多閾值分割,。
1.3 最大熵閾值分割
根據(jù)灰度級(jí)別,,用閾值t把圖像劃分為背景和目標(biāo)兩類,求使背景熵與目標(biāo)熵之和達(dá)到最大的最優(yōu)閾值的方法就是最大熵閾值分割法[8]。
設(shè)目標(biāo)熵和背景熵分別為HO(t)和HB(t),,則熵函數(shù)定義為:
使式(1)取值達(dá)到最大的t*就是最佳閾值,。
2 算法流程及步驟
針對(duì)工件弱邊緣和小目標(biāo)缺陷在分割時(shí)易出現(xiàn)過分割或欠分割的現(xiàn)象,本文研究了一種精確分割的算法,,具體流程如圖2所示,。
上述根據(jù)缺陷的類型進(jìn)行分布操作,是因?yàn)閵A渣和另兩種缺陷的灰度分布相反,。如果采用相同的操作,,將不能實(shí)現(xiàn)正確的分割。
3 實(shí)驗(yàn)結(jié)果及分析
3.1 分割實(shí)驗(yàn)與結(jié)果
仿真實(shí)驗(yàn)是在MATLAB R2014a環(huán)境下編程完成的,,分割結(jié)果如圖3~圖5所示。
圖3是裂紋缺陷的分割圖,。其中,,圖3(a)為定位好的裂紋圖像;圖3(b)為裂紋區(qū)域的提取圖像,;圖3(c)為對(duì)裂紋進(jìn)行形態(tài)學(xué)重建后的結(jié)果,;圖3(d)為重建后的裂紋又進(jìn)行Otsu雙閾值變換后的圖像;圖3(e)為最終的分割結(jié)果,;圖3(f)是圖3(e)的邊界提取結(jié)果,;圖3(g)是裂紋區(qū)域的列灰度變化曲線圖,反映了相鄰兩列的灰度差異,。由該圖可看出,,列灰度曲線很平穩(wěn),即裂紋與周圍背景沒有明顯的灰度差異,。從圖3(e)和圖3(f)可看出,,本文算法對(duì)灰度過渡不明顯的裂紋實(shí)現(xiàn)了良好的分割。
圖4是氣泡缺陷的分割圖,。從圖4(e)和圖4(f)可看出,,本文算法對(duì)弱小的氣泡實(shí)現(xiàn)了精確的分割。
圖5是夾渣缺陷的分割圖,。從圖5(b)可以看出在提取出的夾渣區(qū)域1和2中,,包含了一部分細(xì)長(zhǎng)的黑色背景區(qū)域;同時(shí)夾渣2的右側(cè)存在過渡區(qū)域,。從圖5(e)和圖5(f)看出,,采用本文的分割算法實(shí)現(xiàn)了夾渣1和2的良好分割。
上述結(jié)果和分析表明,,本文算法有較好的泛化能力,,不僅準(zhǔn)確地分割了具有明顯灰度對(duì)比度的氣泡缺陷,而且對(duì)灰度對(duì)比差異不明顯的裂紋缺陷或者是有過渡區(qū)域的夾渣缺陷,,都實(shí)現(xiàn)了良好的分割,。
3.2 對(duì)比實(shí)驗(yàn)
為了進(jìn)一步驗(yàn)證本文所研究算法對(duì)缺陷分割的準(zhǔn)確性,,在此設(shè)計(jì)對(duì)比實(shí)驗(yàn)。對(duì)比實(shí)驗(yàn)采用最大熵閾值分割法和Otsu雙閾值分割法,。
3.2.1 分割結(jié)果的定性分析
將對(duì)比實(shí)驗(yàn)的結(jié)果與本文實(shí)驗(yàn)的結(jié)果進(jìn)行比較和分析,,如圖6~圖8所示。
對(duì)圖6裂紋分割對(duì)比圖進(jìn)行分析,,從圖6(a)可以看出,,對(duì)于灰度對(duì)比差異不明顯的裂紋,最大熵閾值法和Otsu閾值法的分割結(jié)果均出現(xiàn)了嚴(yán)重的誤分割現(xiàn)象,,如圖6(b)和圖6(d)所示,。而采用本文的算法能實(shí)現(xiàn)裂紋的精確分割,如圖6(f)所示,;同時(shí),,圖6(g)表明,提取的邊界與裂紋具有很高的吻合度,。
對(duì)圖7氣泡分割對(duì)比圖進(jìn)行分析,,為清晰地觀察氣泡的輪廓,對(duì)圖7(a)進(jìn)行預(yù)處理,,即得到圖4(b),,把它與圖7(b)、圖7(c),、圖7(d)和圖7(e)進(jìn)行對(duì)比,,表明最大熵閾值法和Otsu閾值法不能分割出氣泡灰度極弱的邊緣;而與圖7(f)和圖7(g)對(duì)比,,可以看出本文算法很好地分割出了氣泡的弱邊緣,,實(shí)現(xiàn)了精確的分割。
對(duì)圖8夾渣分割對(duì)比圖進(jìn)行分析,,圖8(b),、圖8(c)、圖8(d)和圖8(e)表明,,最大熵閾值法和Otsu閾值分割法對(duì)夾渣1和2均產(chǎn)生了誤分割現(xiàn)象,,即將一部分與夾渣灰度相近的背景分割出來了;同時(shí),,對(duì)于夾渣2還存在過分割現(xiàn)象,。而圖8(f)和圖8(g)表明了本文分割算法的正確性。
3.2.2 分割結(jié)果的定量分析
為了說明算法具有客觀性和準(zhǔn)確性,,本文引入了分割精度,、均方根誤差和相關(guān)性系數(shù)三項(xiàng)指標(biāo)[9]對(duì)上面3種算法的結(jié)果分別進(jìn)行量化評(píng)價(jià)。
分割精度的計(jì)算按照如下公式:
其中,SA表示分割精度,,RS為手動(dòng)勾畫出的分割圖像的參考面積,,TS為分割結(jié)果的真實(shí)面積,|RS-TS|為錯(cuò)分割的像素點(diǎn)個(gè)數(shù),。
分割精度的值越大,,分割結(jié)果越好;均方根誤差(Root Mean Square Error,,RMSE)的值越小,,分割結(jié)果越接近于理想狀態(tài);相關(guān)性系數(shù)γ的值越大,,分割結(jié)果與參考圖像的相似度越高,。
上述3種實(shí)驗(yàn)結(jié)果的評(píng)價(jià)見表1。由表1可知,,對(duì)于灰度對(duì)比差異不明顯的裂紋缺陷,,最大熵閾值法和Otsu閾值法的分割結(jié)果都不是很好,尤其是Otsu閾值法的效果極差,,而本文算法實(shí)現(xiàn)的結(jié)果較優(yōu),;對(duì)于有明顯灰度差異的氣泡,,本文算法較另外兩種算法能很好地分割出邊緣細(xì)節(jié),;對(duì)于含有過渡區(qū)域的夾渣缺陷,最大熵閾值法和Otsu閾值法的分割效果很接近,,它們均不能很好地分割出目標(biāo),,而本文算法具有較大的分割精度、較小的均方根誤差和較高的相關(guān)性系數(shù),,因此實(shí)現(xiàn)了較好的分割效果,。
3.3 缺陷的測(cè)量
缺陷分割的目的是對(duì)缺陷進(jìn)行分析和測(cè)量,因此,,深入地了解缺陷的形狀,、大小及空間位置是非常重要的。本文選取了面積,、周長(zhǎng),、面積周長(zhǎng)比、長(zhǎng)寬比(即最小外接矩形的長(zhǎng)寬比)和缺陷面積與定位區(qū)域的比5個(gè)指標(biāo)來測(cè)量缺陷,,其中,,面積和周長(zhǎng)均用像素點(diǎn)的個(gè)數(shù)來計(jì)算,具體統(tǒng)計(jì)結(jié)果見表2,。
由表2中缺陷面積與定位區(qū)域的比值可知,,本文研究的工件缺陷都以小目標(biāo)的形式存在,再結(jié)合表1中本文算法對(duì)應(yīng)的各類缺陷評(píng)價(jià)指標(biāo)的值,驗(yàn)證了本文算法對(duì)小目標(biāo)缺陷分割的有效性,。
4 結(jié)束語
本文在Faster R-CNN定位的基礎(chǔ)上,,針對(duì)大部分的工業(yè)工件存在缺陷,且許多以弱邊緣或小面積的形式存在的現(xiàn)狀,,利用形態(tài)學(xué)重建,、最大熵閾值法和Otsu雙閾值分割法,提出了一種可實(shí)現(xiàn)工業(yè)CT圖像缺陷精確分割的算法,。該算法不存在誤分割或過分割現(xiàn)象,;同時(shí),用對(duì)比實(shí)驗(yàn)從定性和定量的角度,,分別驗(yàn)證了本文算法的優(yōu)越性,。本文算法具有較好的應(yīng)用價(jià)值。
參考文獻(xiàn)
[1] 馮小雨,,梅衛(wèi),,胡大帥.基于改進(jìn)Faster R-CNN的空中目標(biāo)檢測(cè)[J].光學(xué)學(xué)報(bào),2018,,38(6):0615004.
[2] 常海濤,,茍軍年,李曉梅.分形維-最大熵閾值的弱邊緣工業(yè)CT圖像分割算法[J].蘭州交通大學(xué)學(xué)報(bào),,2018,,37(1):45-50.
[3] 李鋒,闞建霞.基于Sobel算子的圖像快速二維最大熵閾值分割算法[J].計(jì)算機(jī)科學(xué),,2015,,42(6):209-210.
[4] 龔劬,付云鳳,,葉劍英,,等.基于二維直方圖重建的Otsu圖像分割算法[J].計(jì)算機(jī)科學(xué),2013,,40(8):313-315.
[5] 申鉉京,,龍建武,陳海鷹,,等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學(xué)報(bào),,2011,39(5):1108-1114.
[6] 朱言江,,韓震,,和思海,等.基于最大類間方差法與數(shù)學(xué)形態(tài)學(xué)的遙感圖像潮溝提取方法[J].上海海洋大學(xué)學(xué)報(bào),,2017,,26(1):146-153.
[7] 鄧仕超,,黃寅.二值圖像膨脹腐蝕的快速算法[J].計(jì)算機(jī)工程與應(yīng)用,2017,,53(5):207-209.
[8] 胡學(xué)龍.數(shù)字圖像處理[M].北京:電子工業(yè)出版社,,2014.
[9] 周莉莉,姜楓.圖像分割方法綜述研究[J].計(jì)算機(jī)應(yīng)用研究,,2017,,34(7):1921-1928.
作者信息:
吳曉元1,常海濤1,,茍軍年1,,2
(1.蘭州交通大學(xué) 自動(dòng)化與電氣工程學(xué)院,甘肅 蘭州730070,;
2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,,甘肅 蘭州730070)