摘 要: 介紹了電子和計算機技術(shù)對計算機視覺技術(shù)發(fā)展的影響,,以及與計算機視覺系統(tǒng)開發(fā)相關(guān)的虛擬儀器開發(fā)平臺LabVIEW和圖像處理軟件IMAQ Vision的特點,,重點說明了模型匹配新技術(shù)的原理和特性,,并給出這些新技術(shù)在IC標(biāo)記檢驗中的應(yīng)用實例,。
關(guān)鍵詞: 計算機視覺技術(shù) 虛擬儀器 圖形編程語言 圖像處理
計算機視覺技術(shù)在工業(yè)、農(nóng)業(yè),、通信,、交通、生物醫(yī)學(xué)等領(lǐng)域有著廣泛用途,。在以往的計算機視覺系統(tǒng)中,,圖像采集卡和PC機之間基本上都需要有專門的圖像處理裝置。這些圖像處理裝置通常以專門的CPU或高速DSP芯片為核心,,需要設(shè)計專門的電路,,用匯編或C等語言編程。因此,使得整個系統(tǒng)的開發(fā)工作量大,,周期長,,成本高。近幾年來,,日新月異的計算機技術(shù)促進了基于PC機的測控儀器(也稱為虛擬儀器,,其中包括計算機視覺系統(tǒng))技術(shù)的發(fā)展。計算機和電子測量領(lǐng)域不斷有新的技術(shù)推出,,例如為增強多媒體功能而開發(fā)的MMX技術(shù),、數(shù)據(jù)傳輸率達(dá)132MB/s的PCI局部總線和速度越來越快的CPU,以及功能越來越強大的操作系統(tǒng)和圖像處理軟件,,還有性能優(yōu)異的圖像采集卡等,;使得PC機的圖像處理能力大大增強。在新型的計算機視覺系統(tǒng)中,,PC機可直接對圖像采集卡采集到信號進行快速的處理,,在功能和速度等方面能滿足大多數(shù)工程應(yīng)用的要求。
目前,,在IC生產(chǎn)過程中的大部分工序中都利用計算機視覺系統(tǒng)進行在線的過程監(jiān)控,。其中的一個工序是IC標(biāo)記質(zhì)量的在線檢驗。標(biāo)記質(zhì)量檢驗包括對IC表面的標(biāo)記(商標(biāo)圖案和字符)的位置,、角度,、清晰程度、是否缺損和錯漏等情況的檢驗,。IC上的標(biāo)記通常用激光刻繪或印刷的方法加工而成。據(jù)了解,,國內(nèi)的半導(dǎo)體器件制造業(yè)所配置的計算機視覺系統(tǒng)均為外國產(chǎn)品,,IC標(biāo)記質(zhì)量檢驗計算機視覺系統(tǒng)的主要生產(chǎn)商是ICOS公司和HP公司,國內(nèi)現(xiàn)在使用的系統(tǒng)基本上是需要專門圖像處理裝置的舊式結(jié)構(gòu)的系統(tǒng),。
根據(jù)一家IC生產(chǎn)廠家所提出的技術(shù)要求,,我們采用計算機視覺新技術(shù)設(shè)計了一套IC標(biāo)記質(zhì)量檢驗系統(tǒng) (以下簡稱為IC檢驗系統(tǒng))。該系統(tǒng)具有結(jié)構(gòu)簡單靈活,、功能強和性能價格比高等特點,。
1 IC檢驗系統(tǒng)的結(jié)構(gòu)和配置
1.1 系統(tǒng)的結(jié)構(gòu)
IC檢驗系統(tǒng)由光源、鏡頭,、CCD攝像機,、圖像采集卡、PC機和專門的應(yīng)用軟件組成,。IC檢驗系統(tǒng)結(jié)構(gòu)示意圖如圖1所示,。
在工廠中,IC檢驗系統(tǒng)需與專門的傳送包裝系統(tǒng)相互配合才能完成IC標(biāo)記質(zhì)量的檢驗和包裝工作,。IC標(biāo)記質(zhì)量檢驗工序主要有以下幾個步驟:首先由傳送包裝系統(tǒng)先將IC逐個裝入條狀塑料包裝帶的空格內(nèi),,包裝帶在IC檢驗系統(tǒng)的鏡頭下方一格一格地快速移動,。包裝帶每移動一次,傳送包裝系統(tǒng)就會通過接口電路查詢IC檢驗系統(tǒng)是否處于準(zhǔn)備就緒的狀態(tài),;是則發(fā)出信號通知IC檢驗系統(tǒng)對IC進行測試,。若檢驗合格,包裝帶前移一格,,再重復(fù)前面的步驟,。若IC不合格,IC檢驗系統(tǒng)發(fā)出信號通知傳送包裝系統(tǒng)更換IC,,待IC更換后,,再進行檢驗。
1.2 系統(tǒng)的配置
CCD攝像機:敏通公司的MTV-1881EX型1/2″黑白攝像機,,795(H)×596(V)圖像像素,,600TV線水平分辨率,最低照度0.021x,,信噪比優(yōu)于48dB,。
圖像采集卡:美國國家儀器 (NI)公司的PCI-1408型單色圖像采集卡,采用PCI總線,,具有8位分辨率,,更新速率為25幀/s(PAL)。該卡有4根觸發(fā)信號和8根同步信號線,,可用于與其它DAQ卡或外部設(shè)備通信聯(lián)絡(luò),。
PC機:聯(lián)想PIII/450,64M內(nèi)存,,8.4G硬盤,。
操作系統(tǒng):Windows 98。
應(yīng)用軟件:自行開發(fā)的IC標(biāo)記質(zhì)量檢驗程序,。
2 開發(fā)工具軟件
以軟件為中心是虛擬儀器的一大特點,,虛擬儀器的開發(fā)往往以軟件為主。因此,,選擇好的開發(fā)工具軟件十分重要,。我們采用了NI公司的虛擬儀器開發(fā)平臺LabVIEW 5.1和圖像處理軟件包IMAQ Vision 5.0作為開發(fā)工具。
2.1 LabVIEW
LabVIEW是一種基于圖形編程語言的虛擬儀器應(yīng)用軟件開發(fā)平臺,,特別適用于測試,、測量、儀器控制,、過程監(jiān)控和工業(yè)自動化等方面的工程應(yīng)用軟件的開發(fā),。它采取編譯方式生成的應(yīng)用程序可脫離開發(fā)平臺而獨立運行,運行速度與C語言相當(dāng)。它在數(shù)據(jù)采集,、信號處理和數(shù)據(jù)表達(dá)等方面有很強的能力,,并且具有直觀易學(xué)和編程效率高等特點。與通用編程語言(例如VC和VB)相比,,可節(jié)省一半以上的軟件開發(fā)時間,。它可通過DLL等多種方式與其它語言的應(yīng)用程序連接。LabVIEW 5.1版在很多方面作了改進,,例如加強了信號處理和分析,、3D圖形顯示和報告生成的功能,以及ActiveX和網(wǎng)上數(shù)據(jù)交換等方面的功能,。
2.2 IMAQ Vision for LabVIEW
IMAQ Vision包含一系列MMX優(yōu)化函數(shù),。它使LabVIEW具有科研和工程中常用的圖像處理功能,例如各種類型的濾波,、統(tǒng)計,、幾何變換和圖像顯示的功能,還有模型匹配,、邊緣檢測,、斑點分析和測量等功能。IMAQ Vision 5.0在模型匹配和感興趣區(qū)域ROI的控制等方面作了進一步的改進,,總體性能有了明顯的提高,。
3 模型匹配的新技術(shù)
IC檢驗系統(tǒng)采用了IMAQ Vision中的圖像處理新技術(shù),其中最有特色的是模型匹配技術(shù),。模型匹配是最常用的圖像處理方法之一,。傳統(tǒng)的模型匹配常采用相關(guān)算法。該方法處理速度較慢,,而且對匹配對象的大小比例和角度的變化有很大的限制,。
IMAQ Vision 5.0的模型匹配技術(shù)采用了三種新方法:高效率的非均勻圖像采集、與旋轉(zhuǎn)和大小比例無關(guān)的樣板信息提取,,以及圖像的幾何建模。這些新方法大大提高了模型匹配的速度,。
將一幅圖像轉(zhuǎn)換成數(shù)字信息時,,往往包含大量冗余信息。如果對一幅圖像的所有信息進行模型匹配處理,,將會很費時,。但是,如果只對圖像中有代表意義的部分進行采樣,,就可以大大減小要處理的信息量,,從而加快了處理速度。圖2是非均勻采樣法原理示意圖。圖2(a)是樣板(Template)的原始圖像,,圖2(b)中的黑點用來表示那些代表樣板圖像的信息,。顯然,在圖像中灰度均勻的區(qū)域采樣點較少,,灰度變化大的區(qū)域采樣較多,,采樣的密度隨圖像內(nèi)的情況自動調(diào)整。
邊緣檢測的方法能提供有關(guān)圖像結(jié)構(gòu)的信息,,一個圖像中圖形邊緣的信息遠(yuǎn)遠(yuǎn)少于整個圖像的信息,。邊緣信息還可以作進一步處理,以提取圖像中幾何形狀圖形有關(guān)的數(shù)據(jù),,例如被測圖像中直線和園形的數(shù)量等,。模型匹配中匹配對象的計數(shù)可簡化為幾何圖形的匹配處理。圖3是邊緣檢測和幾何建模技術(shù)示意圖,。圖3(a)是樣板圖像,,圖3(b)是圖形邊緣強化后的圖像,圖3(c)是以幾何形狀表示圖形邊緣的圖像,。 IMAQ Vision中與模型匹配相關(guān)的函數(shù)綜合運用了非均勻采樣,、邊緣檢測和幾何建模等方法,令模型匹配快速而準(zhǔn)確,,并允許匹配對象可以有0~360度的旋轉(zhuǎn)和一定范圍的大小比例變化,。即使是在照明狀況有變化(指均勻變化)、鏡頭聚焦不太好和部分圖形被隱藏的情況下,,也能取得相當(dāng)準(zhǔn)確的結(jié)果,。
4 軟件設(shè)計
4.1 LabVIEW編程的基本方法
用LabVIEW開發(fā)的應(yīng)用程序主要由面板和流程圖組成。面板的設(shè)計相當(dāng)簡便快捷,,因為LabVIEW有很豐富的控件庫,,其中包含工程上常用的各種各樣的開關(guān)、旋鈕,,表頭,、數(shù)值指示器和波形顯示器等儀表面板部件。設(shè)計面板的基本工作就是從控件庫中選取所需的控件,,并以很簡便方法為它們設(shè)置合適的屬性(例如尺寸,、顏色、量程等)和位置,。如有需要,,這些屬性可通過程序進行調(diào)整。面板上的所有控件都會在流程圖中自動生成對應(yīng)的圖標(biāo),。LabVIEW的函數(shù)庫內(nèi)有上千種函數(shù)和子程序,,它們也是以圖標(biāo)形式出現(xiàn),。流程圖主要由面板上控件的圖標(biāo)、函數(shù)圖標(biāo)和連線組成,。通常情況下,,在圖標(biāo)左側(cè)連接輸入?yún)?shù),而輸出參數(shù)從圖標(biāo)右側(cè)引出,。設(shè)計流程圖的基本方法是:從函數(shù)庫中選取所需的函數(shù)圖標(biāo),,并按照數(shù)據(jù)在程序中傳送的順序把它們和控件圖標(biāo)的位置統(tǒng)一編排好,再用連線工具將圖標(biāo)都連接起來,。
4.2 模型匹配函數(shù)的編程
IMAQ Vision中的模型匹配函數(shù)IMAQ Match Pattern可提供所有查找到的匹配對象的檢測結(jié)果,,其中包括匹配對象的數(shù)目、位置坐標(biāo),、旋轉(zhuǎn)角度,、大小比例和相似程度計分(以1000分為滿分)。模型匹配函數(shù)需要以下幾個相關(guān)函數(shù)的配合才能得到正確的結(jié)果,。
(1)學(xué)習(xí)模式設(shè)置函數(shù)(IMAQ)用于設(shè)定建立樣板模型時的學(xué)習(xí)模式,。學(xué)習(xí)模式有三種:僅允許樣板位移的模式,僅允許樣板旋轉(zhuǎn)的模式,,以及允許樣板位移和旋轉(zhuǎn)的模式,。
(2)學(xué)習(xí)建模函數(shù)(IMAQ)運用模型匹配新方法將樣板的原始圖像轉(zhuǎn)換成描述數(shù)據(jù)形式的樣板模型。
(3)模型匹配參數(shù)設(shè)置函數(shù)IMAQ Setup Match Pattern用于集合最小對比度和匹配模式等多種參數(shù),。
圖4是一個模型匹配程序(流程圖)實例,,用來說明模型匹配的基本編程方法。
我們用自編的測試程序?qū)δP推ヅ浜瘮?shù)的幾項主要技術(shù)指標(biāo)進行了測試,,測試是在IC檢驗系統(tǒng)的軟硬件配置條件下進行的,,測試結(jié)果如表1所示。
4.3 IC 標(biāo)記檢驗系統(tǒng)應(yīng)用程序的設(shè)計
IC檢驗系統(tǒng)應(yīng)用程序的面板如圖5所示,。圖5中的1,、2、3等數(shù)字表明有關(guān)控件(按鍵和數(shù)值輸入等)操作的主要步驟和程序運行的基本順序,。
(1) “制作標(biāo)準(zhǔn)圖像”按鈕用于為一個完全符合要求的IC拍攝一幅標(biāo)準(zhǔn)圖像,,作為模型匹配樣板圖像的基準(zhǔn)。
(2)“設(shè)定搜索區(qū)域”按鈕用作在標(biāo)準(zhǔn)圖像的中間位置上自動生成一個搜索矩形框,,該框用來限定標(biāo)記檢驗搜索區(qū)域,。搜索區(qū)域應(yīng)選擇IC的主體為宜。因為,,搜索區(qū)域不僅是作為符號匹配檢驗的搜索區(qū)域,,而且是作為IC主體的樣板圖像,,它作為基準(zhǔn)被轉(zhuǎn)換為IC主體的樣板模型,。在每個IC檢驗的開始階段,,該樣板模型與被檢驗IC的圖像進行模型匹配,找到IC主體并校正其坐標(biāo)位置和角度,。
(3)“調(diào)整搜索區(qū)域位置”數(shù)字式和滑動式數(shù)值控件可上下左右地移動搜索矩形框,,而“調(diào)整搜索區(qū)域大小”的數(shù)值控件則用來改變搜索矩形框的邊長;這兩種操作交替地進行即可精確地選擇搜索區(qū)域,。
(4)“增加檢驗符號”按鈕用于選擇待檢驗的字符,。先用鼠標(biāo)框選要檢驗符號,再用“增加檢驗符號”按鈕確認(rèn)這一選擇,??蜻x的位置沒有限制,但字符選擇框的邊長不能小于8個像素,,也不能超出搜索區(qū)域,。框選字符的數(shù)目最多可達(dá)200個,??蜻x字符的目的是縮小匹配處理的范圍,提高檢測準(zhǔn)確性,。
(5) “學(xué)習(xí)建?!卑粹o啟動為所有被選符號建立樣板模型的工作。這些樣板模型被用來作為符號檢驗的基準(zhǔn),。
(6)在檢驗參數(shù)和檢驗方式設(shè)置欄目中,,“對比度”控件用于設(shè)定被檢驗IC圖像的最小對比度?!昂细穹?jǐn)?shù)”,、“位移上限”和“旋轉(zhuǎn)上限”控件的設(shè)定值是判斷IC標(biāo)記質(zhì)量是否合格的門限值,它們均可由用戶根據(jù)實際要求來設(shè)定,。例如,,按照圖5中這幾項的設(shè)定值,被檢驗的符號匹配計分達(dá)700分,,而且位移未超過25μm,,旋轉(zhuǎn)角度未超過0.3度時,為合格符號,。所有被測符號均合格時,,IC標(biāo)記質(zhì)量才算合格。
(7) “開始IC檢驗”按鈕用于發(fā)出IC檢驗系統(tǒng)已做好準(zhǔn)備的信號,。若傳送包裝系統(tǒng)亦已準(zhǔn)備好,,它會發(fā)出信號讓IC檢驗系統(tǒng)開始檢驗工作。
此外,,統(tǒng)計數(shù)據(jù)欄中的“存盤”和“打印”按鈕用于存儲或打印IC標(biāo)記質(zhì)量檢驗的統(tǒng)計數(shù)據(jù),。
圖5中名為搜索區(qū)域的圖像是待測IC主體部分的圖像,,而名為角度校正的圖像是以標(biāo)準(zhǔn)IC圖像為基準(zhǔn)的經(jīng)角度校正后的圖像,校正的目的是準(zhǔn)確地計算出被檢驗符號的位置偏移和角度變化,。字符質(zhì)量檢驗的其它項目由相似程度計分來統(tǒng)一判斷,。
總之,借助于電子和計算機等領(lǐng)域的最新技術(shù),,新型計算機視覺系統(tǒng)在結(jié)構(gòu)和性能等方面有了突破性的進展,。功能強大和高效率的虛擬儀器和圖像處理工具軟件為計算機視覺系統(tǒng)的開發(fā)和推廣應(yīng)用提供了更加有利的條件。在IC標(biāo)記質(zhì)量檢驗系統(tǒng)中所采用的光學(xué)符號檢驗新技術(shù)除了可用于各類型印刷符號的檢驗外,,也適用于各種產(chǎn)品的元器件安裝方位和缺漏等檢測項目,。而且,基于PC機的計算機視覺系統(tǒng)還可以利用網(wǎng)絡(luò)技術(shù)與其它虛擬儀器或測控設(shè)備組成網(wǎng)絡(luò)化的產(chǎn)品質(zhì)量監(jiān)控系統(tǒng),。
參考文獻(xiàn)
1 LabVIEW Version 5.1 Addemdum. National Instruments Corporation Manual, 1999
2 IMAQ Vision User Manual. National Instruments Corporation Manual,1999