《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究
Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究
2019年電子技術(shù)應(yīng)用第1期
吳曉元1，常海濤1，茍軍年1,，2
1.蘭州交通大學(xué) 自動(dòng)化與電氣工程學(xué)院,，甘肅 蘭州730070,； 2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，甘肅 蘭州730070
摘要： 由Faster R-CNN定位的缺陷區(qū)域內(nèi)存在弱邊緣，若直接采用常規(guī)分割算法對(duì)該小區(qū)域進(jìn)行處理，會(huì)出現(xiàn)嚴(yán)重的過分割或欠分割現(xiàn)象,。在此研究了一種針對(duì)Faster R-CNN定位后的工件缺陷的精確閾值分割法。在利用形態(tài)學(xué)開閉重建算法對(duì)定位區(qū)域進(jìn)行重建,，并對(duì)重建后的圖像用Otsu雙閾值法做變換處理的基礎(chǔ)上,，進(jìn)一步利用最大熵閾值分割法對(duì)變換后的圖像進(jìn)行分割，最終對(duì)分割出的缺陷進(jìn)行面積,、周長(zhǎng)等參數(shù)的測(cè)量,。實(shí)驗(yàn)結(jié)果表明,，所研究算法較常規(guī)的算法對(duì)工件的缺陷（裂紋、氣泡和夾渣）有更好的分割能力,。該算法不僅可以準(zhǔn)確地分割出包含弱邊緣的目標(biāo)，還可以有效排除輪廓背景對(duì)分割的干擾,。
中圖分類號(hào)： TP391
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.181959
中文引用格式： 吳曉元,，常海濤，茍軍年. Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術(shù)應(yīng)用,，2019,，45(1)：76-80.
英文引用格式： Wu Xiaoyuan，Chang Haitao,，Gou Junnian. Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning[J]. Application of Electronic Technique,，2019，45(1)：76-80.
Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning
Wu Xiaoyuan1,，Chang Haitao1,，Gou Junnian1，2
1.School of Automation and Electrical Engineering,，Lanzhou Jiao-tong University,，Lanzhou 730070，China,； 2.Key Laboratory of Optoelectronic Technology and Intelligent Control Ministry of Education,， Lanzhou Jiao-tong University，Lanzhou 730070,，China
Abstract： The defect area located by Faster R-CNN has weak edges. The area would be over-segmented or under-segmented if conventional segmentation algorithm is adopted. This paper made an analysis on precise threshold segmentation algorithm for workpiece defects based on Faster R-CNN location, reconstructing the localization area by morphological opening and closing reconstruction algorithm, processing the reconstructed image by Otsu′s dual threshold method, segmenting transformed images by maximum entropy threshold segmentation method, and finally measuring the area, perimeter and other parameters of the segmented defects. The research shows that the algorithm in this paper has higher segmentation ability regarding workpiece defects(crack, bubble and slag), compared to conventional algorithms. It not only can accurately segment objects with weak edges, but also can effectively remove the interference from the contour background to the segmentation.
Key words : Faster R-CNN,；defect segmentation；morphological opening and closing reconstruction algorithm,；Otsu′s dual threshold method,；maximum entropy threshold segmentation method

0 引言

    深度學(xué)習(xí)的興起帶動(dòng)了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展，如今一系列的CNN改進(jìn)網(wǎng)絡(luò)如雨后春筍般地出現(xiàn),，如當(dāng)前興盛的Faster R-CNN網(wǎng)絡(luò)被廣泛地應(yīng)用于圖像檢測(cè)領(lǐng)域,。Faster R-CNN用于目標(biāo)定位時(shí)，定位出的區(qū)域內(nèi)往往會(huì)出現(xiàn)目標(biāo)邊緣較為模糊的情況,，其目標(biāo)不是理想的階躍型邊緣,，而是弱邊緣[1]。對(duì)于工件來說,，缺陷只占圖像很小的比例,，尤其是氣泡和夾渣，鄰域間的灰度差異也不明顯,。針對(duì)這種情況,，必須采用恰當(dāng)?shù)乃惴ú拍軐?shí)現(xiàn)工件的精確分割,。 

    閾值法因簡(jiǎn)單而被大量應(yīng)用在圖像分割領(lǐng)域。其中,，應(yīng)用最廣泛的有最大熵閾值法和Otsu閾值法,。

    Pun最早將信息熵定義引用到圖像分割領(lǐng)域，隨后Kapur等提出了最大香農(nóng)信息熵閾值法[2],。文獻(xiàn)[3]采用了最大熵閾值法及其改進(jìn)算法進(jìn)行圖像的分割,。

    Otsu閾值法由于高效而被視為最佳的閾值選取法。如文獻(xiàn)[4]采用了二維直方圖Otsu法,；文獻(xiàn)[5]提出了三維直方圖重建的Otsu閾值法,。

    近些年來，邊緣檢測(cè)法(如數(shù)學(xué)形態(tài)學(xué))被廣泛地應(yīng)用于圖像分割領(lǐng)域,。文獻(xiàn)[6]將數(shù)學(xué)形態(tài)學(xué)與Otsu分割算法結(jié)合,，取得了比直接分割方法更好的效果。

    因此,，本文結(jié)合文獻(xiàn)[6]的思想,，提出了將形態(tài)學(xué)和上述兩類閾值法相結(jié)合的方法。實(shí)驗(yàn)結(jié)果證明了本文算法對(duì)工件缺陷的弱邊緣和小目標(biāo)都能準(zhǔn)確地分割出來,，較直接分割法有更佳的效果,。

1 圖像分割理論的概述

1.1 形態(tài)學(xué)重建

    圖像形態(tài)學(xué)是在數(shù)學(xué)形態(tài)學(xué)的基礎(chǔ)上發(fā)展而來的非線性圖像處理方法，通過具有一定形態(tài)的結(jié)構(gòu)元素對(duì)圖像進(jìn)行“探測(cè)”,，從而得到物體更本質(zhì)的形態(tài),，便于對(duì)圖像進(jìn)行分析和識(shí)別[7]。

    本文將形態(tài)學(xué)開閉重建算法用于圖像濾波,，其重建的流程如圖1所示,。

jsj1-t1.gif

1.2 Otsu閾值分割

    Otsu閾值法又叫最大類間差分法[8]，該算法假設(shè)一幅圖像由前景和背景組成,，通過統(tǒng)計(jì)學(xué)的方法選取一個(gè)閾值,，運(yùn)用該閾值使得圖像的前景和背景盡可能地分開。設(shè)一幅圖像的灰度值是1～L,，閾值t從1～L變化,，其中使類間方差達(dá)到最大的t*為最佳閾值。

    當(dāng)目標(biāo)相對(duì)背景尺寸較小時(shí),，或圖像中有多余兩類目標(biāo)時(shí),，可以推廣為多個(gè)閾值的選取，從而實(shí)現(xiàn)圖像的多閾值分割,。

1.3 最大熵閾值分割

    根據(jù)灰度級(jí)別,，用閾值t把圖像劃分為背景和目標(biāo)兩類，求使背景熵與目標(biāo)熵之和達(dá)到最大的最優(yōu)閾值的方法就是最大熵閾值分割法[8]。

    設(shè)目標(biāo)熵和背景熵分別為HO(t)和HB(t),，則熵函數(shù)定義為：

    jsj1-gs1.gif

    使式(1)取值達(dá)到最大的t*就是最佳閾值,。

2 算法流程及步驟

    針對(duì)工件弱邊緣和小目標(biāo)缺陷在分割時(shí)易出現(xiàn)過分割或欠分割的現(xiàn)象，本文研究了一種精確分割的算法,，具體流程如圖2所示,。

jsj1-t2.gif

    上述根據(jù)缺陷的類型進(jìn)行分布操作，是因?yàn)閵A渣和另兩種缺陷的灰度分布相反,。如果采用相同的操作,，將不能實(shí)現(xiàn)正確的分割。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 分割實(shí)驗(yàn)與結(jié)果

    仿真實(shí)驗(yàn)是在MATLAB R2014a環(huán)境下編程完成的,，分割結(jié)果如圖3～圖5所示。

jsj1-t3.gif

jsj1-t4.gif

jsj1-t5.gif

    圖3是裂紋缺陷的分割圖,。其中,，圖3(a)為定位好的裂紋圖像；圖3(b)為裂紋區(qū)域的提取圖像,；圖3(c)為對(duì)裂紋進(jìn)行形態(tài)學(xué)重建后的結(jié)果,；圖3(d)為重建后的裂紋又進(jìn)行Otsu雙閾值變換后的圖像；圖3(e)為最終的分割結(jié)果,；圖3(f)是圖3(e)的邊界提取結(jié)果,；圖3(g)是裂紋區(qū)域的列灰度變化曲線圖，反映了相鄰兩列的灰度差異,。由該圖可看出,，列灰度曲線很平穩(wěn)，即裂紋與周圍背景沒有明顯的灰度差異,。從圖3(e)和圖3(f)可看出,，本文算法對(duì)灰度過渡不明顯的裂紋實(shí)現(xiàn)了良好的分割。

    圖4是氣泡缺陷的分割圖,。從圖4(e)和圖4(f)可看出,，本文算法對(duì)弱小的氣泡實(shí)現(xiàn)了精確的分割。

    圖5是夾渣缺陷的分割圖,。從圖5(b)可以看出在提取出的夾渣區(qū)域1和2中,，包含了一部分細(xì)長(zhǎng)的黑色背景區(qū)域；同時(shí)夾渣2的右側(cè)存在過渡區(qū)域,。從圖5(e)和圖5(f)看出,，采用本文的分割算法實(shí)現(xiàn)了夾渣1和2的良好分割。

    上述結(jié)果和分析表明,，本文算法有較好的泛化能力,，不僅準(zhǔn)確地分割了具有明顯灰度對(duì)比度的氣泡缺陷，而且對(duì)灰度對(duì)比差異不明顯的裂紋缺陷或者是有過渡區(qū)域的夾渣缺陷,，都實(shí)現(xiàn)了良好的分割,。

3.2 對(duì)比實(shí)驗(yàn)

    為了進(jìn)一步驗(yàn)證本文所研究算法對(duì)缺陷分割的準(zhǔn)確性,，在此設(shè)計(jì)對(duì)比實(shí)驗(yàn)。對(duì)比實(shí)驗(yàn)采用最大熵閾值分割法和Otsu雙閾值分割法,。 

3.2.1 分割結(jié)果的定性分析

    將對(duì)比實(shí)驗(yàn)的結(jié)果與本文實(shí)驗(yàn)的結(jié)果進(jìn)行比較和分析,，如圖6～圖8所示。

jsj1-t6.gif

jsj1-t7.gif

jsj1-t8.gif

    對(duì)圖6裂紋分割對(duì)比圖進(jìn)行分析,，從圖6(a)可以看出,，對(duì)于灰度對(duì)比差異不明顯的裂紋，最大熵閾值法和Otsu閾值法的分割結(jié)果均出現(xiàn)了嚴(yán)重的誤分割現(xiàn)象,，如圖6(b)和圖6(d)所示,。而采用本文的算法能實(shí)現(xiàn)裂紋的精確分割，如圖6(f)所示,；同時(shí),，圖6(g)表明，提取的邊界與裂紋具有很高的吻合度,。

    對(duì)圖7氣泡分割對(duì)比圖進(jìn)行分析,，為清晰地觀察氣泡的輪廓，對(duì)圖7(a)進(jìn)行預(yù)處理,，即得到圖4(b),，把它與圖7(b)、圖7(c),、圖7(d)和圖7(e)進(jìn)行對(duì)比,，表明最大熵閾值法和Otsu閾值法不能分割出氣泡灰度極弱的邊緣；而與圖7(f)和圖7(g)對(duì)比,，可以看出本文算法很好地分割出了氣泡的弱邊緣,，實(shí)現(xiàn)了精確的分割。

    對(duì)圖8夾渣分割對(duì)比圖進(jìn)行分析,，圖8(b),、圖8(c)、圖8(d)和圖8(e)表明,，最大熵閾值法和Otsu閾值分割法對(duì)夾渣1和2均產(chǎn)生了誤分割現(xiàn)象,，即將一部分與夾渣灰度相近的背景分割出來了；同時(shí),，對(duì)于夾渣2還存在過分割現(xiàn)象,。而圖8(f)和圖8(g)表明了本文分割算法的正確性。

3.2.2 分割結(jié)果的定量分析

    為了說明算法具有客觀性和準(zhǔn)確性,，本文引入了分割精度,、均方根誤差和相關(guān)性系數(shù)三項(xiàng)指標(biāo)[9]對(duì)上面3種算法的結(jié)果分別進(jìn)行量化評(píng)價(jià)。

    分割精度的計(jì)算按照如下公式：

    jsj1-gs2.gif

其中，SA表示分割精度,，RS為手動(dòng)勾畫出的分割圖像的參考面積,，TS為分割結(jié)果的真實(shí)面積，|RS-TS|為錯(cuò)分割的像素點(diǎn)個(gè)數(shù),。

    分割精度的值越大,，分割結(jié)果越好；均方根誤差(Root Mean Square Error,，RMSE)的值越小,，分割結(jié)果越接近于理想狀態(tài)；相關(guān)性系數(shù)γ的值越大,，分割結(jié)果與參考圖像的相似度越高,。

    上述3種實(shí)驗(yàn)結(jié)果的評(píng)價(jià)見表1。由表1可知,，對(duì)于灰度對(duì)比差異不明顯的裂紋缺陷,，最大熵閾值法和Otsu閾值法的分割結(jié)果都不是很好，尤其是Otsu閾值法的效果極差,，而本文算法實(shí)現(xiàn)的結(jié)果較優(yōu),；對(duì)于有明顯灰度差異的氣泡,，本文算法較另外兩種算法能很好地分割出邊緣細(xì)節(jié),；對(duì)于含有過渡區(qū)域的夾渣缺陷，最大熵閾值法和Otsu閾值法的分割效果很接近,，它們均不能很好地分割出目標(biāo),，而本文算法具有較大的分割精度、較小的均方根誤差和較高的相關(guān)性系數(shù),，因此實(shí)現(xiàn)了較好的分割效果,。 

jsj1-b1.gif

3.3 缺陷的測(cè)量

    缺陷分割的目的是對(duì)缺陷進(jìn)行分析和測(cè)量，因此,，深入地了解缺陷的形狀,、大小及空間位置是非常重要的。本文選取了面積,、周長(zhǎng),、面積周長(zhǎng)比、長(zhǎng)寬比（即最小外接矩形的長(zhǎng)寬比）和缺陷面積與定位區(qū)域的比5個(gè)指標(biāo)來測(cè)量缺陷,，其中,，面積和周長(zhǎng)均用像素點(diǎn)的個(gè)數(shù)來計(jì)算，具體統(tǒng)計(jì)結(jié)果見表2,。

jsj1-b2.gif

    由表2中缺陷面積與定位區(qū)域的比值可知,，本文研究的工件缺陷都以小目標(biāo)的形式存在，再結(jié)合表1中本文算法對(duì)應(yīng)的各類缺陷評(píng)價(jià)指標(biāo)的值，驗(yàn)證了本文算法對(duì)小目標(biāo)缺陷分割的有效性,。

4 結(jié)束語

    本文在Faster R-CNN定位的基礎(chǔ)上,，針對(duì)大部分的工業(yè)工件存在缺陷，且許多以弱邊緣或小面積的形式存在的現(xiàn)狀,，利用形態(tài)學(xué)重建,、最大熵閾值法和Otsu雙閾值分割法，提出了一種可實(shí)現(xiàn)工業(yè)CT圖像缺陷精確分割的算法,。該算法不存在誤分割或過分割現(xiàn)象,；同時(shí)，用對(duì)比實(shí)驗(yàn)從定性和定量的角度,，分別驗(yàn)證了本文算法的優(yōu)越性,。本文算法具有較好的應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 馮小雨,，梅衛(wèi),，胡大帥.基于改進(jìn)Faster R-CNN的空中目標(biāo)檢測(cè)[J].光學(xué)學(xué)報(bào)，2018,，38（6）：0615004.

[2] 常海濤,，茍軍年，李曉梅.分形維-最大熵閾值的弱邊緣工業(yè)CT圖像分割算法[J].蘭州交通大學(xué)學(xué)報(bào),，2018,，37(1)：45-50.

[3] 李鋒，闞建霞.基于Sobel算子的圖像快速二維最大熵閾值分割算法[J].計(jì)算機(jī)科學(xué),，2015,，42（6）：209-210.

[4] 龔劬，付云鳳,，葉劍英,，等.基于二維直方圖重建的Otsu圖像分割算法[J].計(jì)算機(jī)科學(xué)，2013,，40(8)：313-315.

[5] 申鉉京,，龍建武，陳海鷹,，等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學(xué)報(bào),，2011，39(5)：1108-1114.

[6] 朱言江,，韓震,，和思海，等.基于最大類間方差法與數(shù)學(xué)形態(tài)學(xué)的遙感圖像潮溝提取方法[J].上海海洋大學(xué)學(xué)報(bào),，2017,，26(1)：146-153.

[7] 鄧仕超,，黃寅.二值圖像膨脹腐蝕的快速算法[J].計(jì)算機(jī)工程與應(yīng)用，2017,，53(5)：207-209.

[8] 胡學(xué)龍.數(shù)字圖像處理[M].北京：電子工業(yè)出版社,，2014.

[9] 周莉莉，姜楓.圖像分割方法綜述研究[J].計(jì)算機(jī)應(yīng)用研究,，2017,，34(7)：1921-1928.



作者信息:

吳曉元1，常海濤1,，茍軍年1,，2

(1.蘭州交通大學(xué) 自動(dòng)化與電氣工程學(xué)院，甘肅 蘭州730070,；

2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,，甘肅 蘭州730070）

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載,。