文獻標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.181959
中文引用格式: 吳曉元,常海濤,,茍軍年. Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術(shù)應(yīng)用,,2019,45(1):76-80.
英文引用格式: Wu Xiaoyuan,,Chang Haitao,,Gou Junnian. Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning[J]. Application of Electronic Technique,2019,,45(1):76-80.
0 引言
深度學(xué)習(xí)的興起帶動了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展,,如今一系列的CNN改進網(wǎng)絡(luò)如雨后春筍般地出現(xiàn),如當(dāng)前興盛的Faster R-CNN網(wǎng)絡(luò)被廣泛地應(yīng)用于圖像檢測領(lǐng)域,。Faster R-CNN用于目標(biāo)定位時,,定位出的區(qū)域內(nèi)往往會出現(xiàn)目標(biāo)邊緣較為模糊的情況,其目標(biāo)不是理想的階躍型邊緣,,而是弱邊緣[1],。對于工件來說,缺陷只占圖像很小的比例,,尤其是氣泡和夾渣,,鄰域間的灰度差異也不明顯。針對這種情況,,必須采用恰當(dāng)?shù)乃惴ú拍軐崿F(xiàn)工件的精確分割,。
閾值法因簡單而被大量應(yīng)用在圖像分割領(lǐng)域。其中,,應(yīng)用最廣泛的有最大熵閾值法和Otsu閾值法,。
Pun最早將信息熵定義引用到圖像分割領(lǐng)域,隨后Kapur等提出了最大香農(nóng)信息熵閾值法[2]。文獻[3]采用了最大熵閾值法及其改進算法進行圖像的分割,。
Otsu閾值法由于高效而被視為最佳的閾值選取法,。如文獻[4]采用了二維直方圖Otsu法;文獻[5]提出了三維直方圖重建的Otsu閾值法,。
近些年來,,邊緣檢測法(如數(shù)學(xué)形態(tài)學(xué))被廣泛地應(yīng)用于圖像分割領(lǐng)域。文獻[6]將數(shù)學(xué)形態(tài)學(xué)與Otsu分割算法結(jié)合,,取得了比直接分割方法更好的效果,。
因此,本文結(jié)合文獻[6]的思想,,提出了將形態(tài)學(xué)和上述兩類閾值法相結(jié)合的方法,。實驗結(jié)果證明了本文算法對工件缺陷的弱邊緣和小目標(biāo)都能準(zhǔn)確地分割出來,較直接分割法有更佳的效果,。
1 圖像分割理論的概述
1.1 形態(tài)學(xué)重建
圖像形態(tài)學(xué)是在數(shù)學(xué)形態(tài)學(xué)的基礎(chǔ)上發(fā)展而來的非線性圖像處理方法,,通過具有一定形態(tài)的結(jié)構(gòu)元素對圖像進行“探測”,從而得到物體更本質(zhì)的形態(tài),,便于對圖像進行分析和識別[7],。
本文將形態(tài)學(xué)開閉重建算法用于圖像濾波,其重建的流程如圖1所示,。
1.2 Otsu閾值分割
Otsu閾值法又叫最大類間差分法[8],,該算法假設(shè)一幅圖像由前景和背景組成,通過統(tǒng)計學(xué)的方法選取一個閾值,,運用該閾值使得圖像的前景和背景盡可能地分開,。設(shè)一幅圖像的灰度值是1~L,閾值t從1~L變化,,其中使類間方差達到最大的t*為最佳閾值,。
當(dāng)目標(biāo)相對背景尺寸較小時,或圖像中有多余兩類目標(biāo)時,,可以推廣為多個閾值的選取,,從而實現(xiàn)圖像的多閾值分割。
1.3 最大熵閾值分割
根據(jù)灰度級別,,用閾值t把圖像劃分為背景和目標(biāo)兩類,,求使背景熵與目標(biāo)熵之和達到最大的最優(yōu)閾值的方法就是最大熵閾值分割法[8]。
設(shè)目標(biāo)熵和背景熵分別為HO(t)和HB(t),,則熵函數(shù)定義為:
使式(1)取值達到最大的t*就是最佳閾值,。
2 算法流程及步驟
針對工件弱邊緣和小目標(biāo)缺陷在分割時易出現(xiàn)過分割或欠分割的現(xiàn)象,本文研究了一種精確分割的算法,,具體流程如圖2所示,。
上述根據(jù)缺陷的類型進行分布操作,,是因為夾渣和另兩種缺陷的灰度分布相反。如果采用相同的操作,,將不能實現(xiàn)正確的分割,。
3 實驗結(jié)果及分析
3.1 分割實驗與結(jié)果
仿真實驗是在MATLAB R2014a環(huán)境下編程完成的,分割結(jié)果如圖3~圖5所示,。
圖3是裂紋缺陷的分割圖,。其中,圖3(a)為定位好的裂紋圖像,;圖3(b)為裂紋區(qū)域的提取圖像,;圖3(c)為對裂紋進行形態(tài)學(xué)重建后的結(jié)果;圖3(d)為重建后的裂紋又進行Otsu雙閾值變換后的圖像,;圖3(e)為最終的分割結(jié)果,;圖3(f)是圖3(e)的邊界提取結(jié)果;圖3(g)是裂紋區(qū)域的列灰度變化曲線圖,,反映了相鄰兩列的灰度差異,。由該圖可看出,,列灰度曲線很平穩(wěn),,即裂紋與周圍背景沒有明顯的灰度差異。從圖3(e)和圖3(f)可看出,,本文算法對灰度過渡不明顯的裂紋實現(xiàn)了良好的分割,。
圖4是氣泡缺陷的分割圖。從圖4(e)和圖4(f)可看出,,本文算法對弱小的氣泡實現(xiàn)了精確的分割,。
圖5是夾渣缺陷的分割圖。從圖5(b)可以看出在提取出的夾渣區(qū)域1和2中,,包含了一部分細長的黑色背景區(qū)域,;同時夾渣2的右側(cè)存在過渡區(qū)域。從圖5(e)和圖5(f)看出,,采用本文的分割算法實現(xiàn)了夾渣1和2的良好分割,。
上述結(jié)果和分析表明,本文算法有較好的泛化能力,,不僅準(zhǔn)確地分割了具有明顯灰度對比度的氣泡缺陷,,而且對灰度對比差異不明顯的裂紋缺陷或者是有過渡區(qū)域的夾渣缺陷,都實現(xiàn)了良好的分割,。
3.2 對比實驗
為了進一步驗證本文所研究算法對缺陷分割的準(zhǔn)確性,,在此設(shè)計對比實驗。對比實驗采用最大熵閾值分割法和Otsu雙閾值分割法,。
3.2.1 分割結(jié)果的定性分析
將對比實驗的結(jié)果與本文實驗的結(jié)果進行比較和分析,,如圖6~圖8所示,。
對圖6裂紋分割對比圖進行分析,從圖6(a)可以看出,,對于灰度對比差異不明顯的裂紋,,最大熵閾值法和Otsu閾值法的分割結(jié)果均出現(xiàn)了嚴(yán)重的誤分割現(xiàn)象,如圖6(b)和圖6(d)所示,。而采用本文的算法能實現(xiàn)裂紋的精確分割,,如圖6(f)所示;同時,,圖6(g)表明,,提取的邊界與裂紋具有很高的吻合度。
對圖7氣泡分割對比圖進行分析,,為清晰地觀察氣泡的輪廓,,對圖7(a)進行預(yù)處理,即得到圖4(b),,把它與圖7(b),、圖7(c)、圖7(d)和圖7(e)進行對比,,表明最大熵閾值法和Otsu閾值法不能分割出氣泡灰度極弱的邊緣,;而與圖7(f)和圖7(g)對比,可以看出本文算法很好地分割出了氣泡的弱邊緣,,實現(xiàn)了精確的分割,。
對圖8夾渣分割對比圖進行分析,圖8(b),、圖8(c),、圖8(d)和圖8(e)表明,最大熵閾值法和Otsu閾值分割法對夾渣1和2均產(chǎn)生了誤分割現(xiàn)象,,即將一部分與夾渣灰度相近的背景分割出來了,;同時,對于夾渣2還存在過分割現(xiàn)象,。而圖8(f)和圖8(g)表明了本文分割算法的正確性,。
3.2.2 分割結(jié)果的定量分析
為了說明算法具有客觀性和準(zhǔn)確性,本文引入了分割精度,、均方根誤差和相關(guān)性系數(shù)三項指標(biāo)[9]對上面3種算法的結(jié)果分別進行量化評價,。
分割精度的計算按照如下公式:
其中,SA表示分割精度,,RS為手動勾畫出的分割圖像的參考面積,,TS為分割結(jié)果的真實面積,|RS-TS|為錯分割的像素點個數(shù),。
分割精度的值越大,,分割結(jié)果越好,;均方根誤差(Root Mean Square Error,RMSE)的值越小,,分割結(jié)果越接近于理想狀態(tài),;相關(guān)性系數(shù)γ的值越大,分割結(jié)果與參考圖像的相似度越高,。
上述3種實驗結(jié)果的評價見表1,。由表1可知,對于灰度對比差異不明顯的裂紋缺陷,,最大熵閾值法和Otsu閾值法的分割結(jié)果都不是很好,,尤其是Otsu閾值法的效果極差,而本文算法實現(xiàn)的結(jié)果較優(yōu),;對于有明顯灰度差異的氣泡,,本文算法較另外兩種算法能很好地分割出邊緣細節(jié);對于含有過渡區(qū)域的夾渣缺陷,,最大熵閾值法和Otsu閾值法的分割效果很接近,,它們均不能很好地分割出目標(biāo),而本文算法具有較大的分割精度,、較小的均方根誤差和較高的相關(guān)性系數(shù),,因此實現(xiàn)了較好的分割效果。
3.3 缺陷的測量
缺陷分割的目的是對缺陷進行分析和測量,,因此,,深入地了解缺陷的形狀,、大小及空間位置是非常重要的,。本文選取了面積、周長,、面積周長比,、長寬比(即最小外接矩形的長寬比)和缺陷面積與定位區(qū)域的比5個指標(biāo)來測量缺陷,其中,,面積和周長均用像素點的個數(shù)來計算,,具體統(tǒng)計結(jié)果見表2。
由表2中缺陷面積與定位區(qū)域的比值可知,,本文研究的工件缺陷都以小目標(biāo)的形式存在,,再結(jié)合表1中本文算法對應(yīng)的各類缺陷評價指標(biāo)的值,驗證了本文算法對小目標(biāo)缺陷分割的有效性,。
4 結(jié)束語
本文在Faster R-CNN定位的基礎(chǔ)上,,針對大部分的工業(yè)工件存在缺陷,且許多以弱邊緣或小面積的形式存在的現(xiàn)狀,,利用形態(tài)學(xué)重建,、最大熵閾值法和Otsu雙閾值分割法,,提出了一種可實現(xiàn)工業(yè)CT圖像缺陷精確分割的算法。該算法不存在誤分割或過分割現(xiàn)象,;同時,,用對比實驗從定性和定量的角度,分別驗證了本文算法的優(yōu)越性,。本文算法具有較好的應(yīng)用價值,。
參考文獻
[1] 馮小雨,梅衛(wèi),,胡大帥.基于改進Faster R-CNN的空中目標(biāo)檢測[J].光學(xué)學(xué)報,,2018,38(6):0615004.
[2] 常海濤,,茍軍年,,李曉梅.分形維-最大熵閾值的弱邊緣工業(yè)CT圖像分割算法[J].蘭州交通大學(xué)學(xué)報,2018,,37(1):45-50.
[3] 李鋒,,闞建霞.基于Sobel算子的圖像快速二維最大熵閾值分割算法[J].計算機科學(xué),2015,,42(6):209-210.
[4] 龔劬,,付云鳳,葉劍英,,等.基于二維直方圖重建的Otsu圖像分割算法[J].計算機科學(xué),,2013,40(8):313-315.
[5] 申鉉京,,龍建武,,陳海鷹,等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學(xué)報,,2011,,39(5):1108-1114.
[6] 朱言江,韓震,,和思海,,等.基于最大類間方差法與數(shù)學(xué)形態(tài)學(xué)的遙感圖像潮溝提取方法[J].上海海洋大學(xué)學(xué)報,2017,,26(1):146-153.
[7] 鄧仕超,,黃寅.二值圖像膨脹腐蝕的快速算法[J].計算機工程與應(yīng)用,2017,,53(5):207-209.
[8] 胡學(xué)龍.數(shù)字圖像處理[M].北京:電子工業(yè)出版社,,2014.
[9] 周莉莉,姜楓.圖像分割方法綜述研究[J].計算機應(yīng)用研究,,2017,,34(7):1921-1928.
作者信息:
吳曉元1,,常海濤1,茍軍年1,,2
(1.蘭州交通大學(xué) 自動化與電氣工程學(xué)院,,甘肅 蘭州730070;
2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點實驗室,,甘肅 蘭州730070)