文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2017.05.015
中文引用格式: 高正中,,趙晨暉,薛寒,,等. 基于圖像處理的產(chǎn)品表面缺陷檢測系統(tǒng)研究[J].電子技術(shù)應(yīng)用,,2017,43(5):64-66.
英文引用格式: Gao Zhengzhong,,Zhao Chenhui,,Xue Han,,et al. Research of product surface defects detection system based on image processing[J].Application of Electronic Technique,2017,,43(5):64-66.
0 引言
流水線產(chǎn)品的缺陷檢測目前仍靠人工來完成,,對于微小的、區(qū)別不明顯的缺陷,,人眼無法精確識(shí)別,,這極大地影響了產(chǎn)品的生產(chǎn)效率[1]?;?a class="innerlink" href="http://forexkbc.com/tags/STM32F405" title="STM32F405" target="_blank">STM32F405和CMOS OV7610的產(chǎn)品表面圖像處理系統(tǒng),,以其完全脫離計(jì)算機(jī)且運(yùn)行速度快、設(shè)計(jì)成本低,、性價(jià)比高等優(yōu)點(diǎn),,更好地滿足了圖像處理在產(chǎn)品表面的圖像采集與智能檢測方面的工作要求。
1 系統(tǒng)硬件設(shè)計(jì)
系統(tǒng)主要由STM32F405微處理器,、CMOS圖像采集模塊,、LCD顯示模塊、存儲(chǔ)器模塊,、通信模塊等組成,,系統(tǒng)框圖如圖1所示。在光源的配合下通過圖像采集模塊獲取產(chǎn)品表面的圖像信息,,由DMA將圖像數(shù)據(jù)傳輸?shù)絊TM32F405微處理器,,處理器調(diào)用圖像處理算法對產(chǎn)品表面圖像數(shù)據(jù)進(jìn)行處理,利用控制終端的圖像處理軟件匹配,、識(shí)別產(chǎn)品表面是否存在缺陷,,并在LCD顯示屏上實(shí)時(shí)顯示結(jié)果,實(shí)現(xiàn)對產(chǎn)品表面圖像的采集和處理,。
2 主要模塊設(shè)計(jì)
2.1 主控模塊
基于圖像處理的產(chǎn)品表面圖像采集和處理系統(tǒng)選用STM32F405作為主處理器,,該芯片具有高性能的信號(hào)處理和浮點(diǎn)運(yùn)算能力,同時(shí)帶有8~14 bit并行照相機(jī)接口,、DMA控制器,、2路I2C接口,,圖像數(shù)據(jù)的傳輸可以通過DMA直接傳輸,在I2C總線讀取數(shù)據(jù)到緩沖區(qū),,提高了圖像數(shù)據(jù)的采樣和處理速度,,完成包括數(shù)據(jù)處理、檢測算法實(shí)現(xiàn),、結(jié)果提取和分析等工作[2],。主控芯片獲得處理結(jié)果后,將數(shù)據(jù)傳輸?shù)綀?zhí)行機(jī)構(gòu),,執(zhí)行機(jī)構(gòu)根據(jù)最終獲取的控制信號(hào)進(jìn)行相應(yīng)操作,。
2.2 圖像采集模塊
圖像采集模塊采用Omnivision公司的OV7610,這是一種自帶圖像敏感陣列,、能直接采集圖像信息的低功耗CMOS型彩色數(shù)字?jǐn)z像芯片[3],。采集圖像時(shí)最高速度可達(dá)30幀/s,最大圖像陣列為640×480,,通過I2C總線對有關(guān)存儲(chǔ)器賦值,,可靈活改變窗口大小、A/D轉(zhuǎn)換速度,、幀/場模式等工作參數(shù),。
圖像采集芯片OV7610既可以幀模式掃描也可以場模式掃描,,為提高圖像存儲(chǔ)質(zhì)量,、簡化圖像采集控制電路,本系統(tǒng)設(shè)置OV7610圖像采集方式為幀模式掃描[4],。OV7610的輸出信號(hào)主要有:垂直同步信號(hào)(Vs),、水平同步信號(hào)(Hs)及像素同步信號(hào)(Ps),其理論波形如圖2所示,。
完整的一幀產(chǎn)品表面圖像在垂直同步信號(hào)的兩個(gè)正脈沖之間掃描完成,,水平同步信號(hào)高電平時(shí)為掃描一行像素的有效時(shí)間,像素同步信號(hào)高電平輸出的圖像數(shù)據(jù)有效[5],。若一個(gè)圖像的陣列為160×120,,則在垂直同步信號(hào)兩個(gè)脈沖之間有120個(gè)水平同步信號(hào)的正脈沖,在每個(gè)水平同步信號(hào)正脈沖期間有160個(gè)像素同步信號(hào)正脈沖,。為獲取完整幀圖像,,將上述3個(gè)同步信號(hào)組合成一個(gè)輸出信號(hào)(OUT)。
3 系統(tǒng)軟件設(shè)計(jì)
系統(tǒng)選用KeilμVision5 軟件開發(fā)平臺(tái)和Visual C++可視化編程軟件協(xié)同工作[6],。系統(tǒng)運(yùn)行時(shí),,啟動(dòng)采集信號(hào)發(fā)送到STM32F405主控制器,控制器接收指令后立即進(jìn)行初始化,,初始化成功后響應(yīng)DMA中斷,,根據(jù)圖像采集時(shí)序來控制CMOS OV7610啟動(dòng)圖像采集,,采集的圖像數(shù)據(jù)將通過DMA先進(jìn)先出傳送到STM32F405的外部存儲(chǔ)器中[7]。在采集完成后,,STM32F405將進(jìn)行點(diǎn)陣采樣,、量化處理和二值化等過程完成產(chǎn)品表面圖像處理工作。系統(tǒng)流程圖如圖3所示,。
產(chǎn)品表面的圖像采樣是選取圖像的采樣點(diǎn)在空間坐標(biāo)上作離散化的過程,。本系統(tǒng)設(shè)計(jì)使用二維采樣函數(shù)對產(chǎn)品表面的圖像進(jìn)行采樣,獲得圖像預(yù)處理采樣點(diǎn)陣,。
設(shè)f(x,,y)為一個(gè)有限帶寬的二維連續(xù)圖像,f(x,,y)的傅里葉變化對為:
對圖像f(x,,y)采樣,就是將f(x,,y)乘以采樣函數(shù)s(x,,y)。采樣后的圖像可以用式(3)表示:
由卷積與脈沖函數(shù)可得采樣圖像fs(x,,y)的頻譜是連續(xù)圖像在(u,,v)方向上以Δx、Δy間隔分布,,間隔選擇合適,,采樣就不會(huì)重疊,可獲得期望的采樣點(diǎn)陣,。由于經(jīng)過采樣的圖像是連續(xù)點(diǎn)陣,,各個(gè)像素的值有無窮多個(gè),為了方便主控制器處理,,需將無窮多個(gè)離散值簡化為有限個(gè)離散值,,即量化處理后才能將每個(gè)互異的離散值編碼處理[8]。
為了加快處理速度,,系統(tǒng)將16 bit RGB彩色圖像轉(zhuǎn)化成8 bit灰度圖像,,由此不但可以提高主控制器的處理速率,而且減小了圖像的冗余量,。圖像灰度化后,,利用Canny邊緣檢測算子提取圖像邊緣,將邊緣二值化,。在選定一個(gè)閾值時(shí),,將灰度直方圖中大于該閾值的像素點(diǎn)變成1,小于該閾值的像素點(diǎn)變成0:
其中,f(x,,y)為輸入圖像像素的灰度值,,g(x,y)為輸出圖像,,θ為閾值,。
將處理后的產(chǎn)品表面圖像與預(yù)存模板匹配,由對比結(jié)果得出該產(chǎn)品是否存在缺陷,。圖像匹配過程就是在基準(zhǔn)圖像和待處理圖像之間尋找兩幅圖像差異最小的相對位置,,通常將其描述為求距離度量:
式中,k為灰度變化幅度,。
4 調(diào)試及實(shí)驗(yàn)結(jié)果分析
系統(tǒng)測試主要針對硬件和軟件進(jìn)行測試,。硬件測試主要針對核心處理器的外圍電路,其中包括電源模塊,、I/O輸入輸出模塊及通信接口等電路,。軟件測試分別對STM32F405和CMOS OV7610的各個(gè)功能的子程序進(jìn)行測試。
為了驗(yàn)證本系統(tǒng)表面缺陷檢測的準(zhǔn)確性和可靠性,,對金屬產(chǎn)品表面進(jìn)行缺陷檢測實(shí)驗(yàn),。缺陷檢測部分的灰度圖像大小為160×120像素。圖4為裂縫缺陷和污點(diǎn)缺陷的檢測結(jié)果,。
5 結(jié)論
本系統(tǒng)旨在將圖像采集與處理技術(shù)應(yīng)用于產(chǎn)品表面缺陷檢測,,以及識(shí)別復(fù)雜、模糊的產(chǎn)品表面圖像[9],。利用STM32F405超強(qiáng)的計(jì)算性能和低功耗優(yōu)勢,,提出了CMOS圖像采集與STM32圖像處理結(jié)合的平臺(tái)架構(gòu),設(shè)計(jì)了處理能力強(qiáng),、接口可靠穩(wěn)定的產(chǎn)品表面圖像采集與檢測系統(tǒng),,在系統(tǒng)中實(shí)現(xiàn)了點(diǎn)陣采樣,、灰度轉(zhuǎn)化和二值化等算法設(shè)計(jì),,并對平臺(tái)應(yīng)用的處理性能、實(shí)時(shí)性和可靠性進(jìn)行了實(shí)驗(yàn)測試,,取得了一定的階段性成果,。
參考文獻(xiàn)
[1] 彭向前.產(chǎn)品表面缺陷在線檢測方法研究及系統(tǒng)實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2008.
[2] 曾浩.基于STM32F407的嵌入式及其視覺裝置研發(fā)[D].廣州:廣東工業(yè)大學(xué),,2015.
[3] 汪麗華,,吳維嘉.基于CMOS圖像傳感器的嵌入式機(jī)器視覺系統(tǒng)設(shè)計(jì)[J].黃山學(xué)院學(xué)報(bào),2010,,12(3):25-27.
[4] 吳小平,,劉萬春,朱玉文,,等.基于TMS320C32的視覺圖像處理系統(tǒng)[J].探測與控制學(xué)報(bào),,2000,,22(1):18-22.
[5] 仲林國.基于機(jī)器視覺技術(shù)的嵌入式系統(tǒng)研究[D].杭州:浙江大學(xué),2006.
[6] SING N,,DELWICHE M.Machine vision methods for defect sorting stonefruit[J].Trans of ASAE,,1994,37(6):1989-1997.
[7] 魏麗玲,,朱平,,石永亮.基于FPGA的圖像采集與存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].電子技術(shù)應(yīng)用,2015,,41(11):67-69,,73.
[8] 譚林秋.基于VC++的數(shù)字圖像處理系統(tǒng)的開發(fā)及算法研究[D].西安:西安理工大學(xué),2008.
[9] SONKA M,,HLAVAC V,,BOYLE R.Image processing[M].London:Analysis and Machine Vision,1993.
作者信息:
高正中,,趙晨暉,,薛 寒,商春雷
(山東科技大學(xué) 電氣與自動(dòng)化工程學(xué)院,,山東 青島266590)