從主機(jī)廠的自動(dòng)駕駛技術(shù)搭載情況來(lái)看，其感知技術(shù)方案大致可分為兩類：一種是基于視覺(jué)的自動(dòng)駕駛系統(tǒng)，另一種是基于雷達(dá)+視覺(jué)的自動(dòng)駕駛系統(tǒng),。后者主要使用雷達(dá)傳感器來(lái)檢測(cè)物體，而視覺(jué)系統(tǒng)則完全基于攝像頭,。從當(dāng)初傳統(tǒng)的TIer1（如博世,、大陸等）傾向于搭載簡(jiǎn)單低成本的毫米波雷達(dá)系統(tǒng)用于實(shí)現(xiàn)基礎(chǔ)的輔助駕駛功能。而諸如特斯拉這類高尖端的主機(jī)廠更是從最初的視覺(jué)方案到后面引入雷達(dá)傳感器,，再到放棄雷達(dá)回歸純視覺(jué)方案,，經(jīng)歷了多次反復(fù)。包括國(guó)內(nèi)很多主機(jī)廠也將很大程度的研發(fā)精力放在了對(duì)視覺(jué)感知上,。通過(guò)利用計(jì)算機(jī)視覺(jué)系統(tǒng)檢測(cè),、識(shí)別物體，利用不同的神經(jīng)網(wǎng)絡(luò)模型檢測(cè)不同的對(duì)象模型,，一旦判斷失誤,，就會(huì)導(dǎo)致事故?；谝曈X(jué)的自動(dòng)駕駛系統(tǒng)需要強(qiáng)大的軟件算法能力,，以及大量數(shù)據(jù)對(duì)AI模型的長(zhǎng)期訓(xùn)練。這顯然不是一朝一夕可以實(shí)現(xiàn)的,。
然而,，除了感知軟件這一難題外，我們對(duì)于感知前端的攝像頭硬件模組又了解多少呢,？本文將系統(tǒng)的介紹攝像頭前端感知模組的相關(guān)技術(shù)參數(shù)及評(píng)價(jià)指標(biāo),。
攝像頭模組相關(guān)選型介紹
攝像頭模組CCM主要由鏡頭（lens）、鏡座,、紅外濾光片（IR Filter）,、傳感器（Sensor）、PCB板,、FPC柔性電路板等結(jié)構(gòu)組成,，是影像捕捉至關(guān)重要的電子器件。
基本原理是通過(guò)外部光線照射在物體上,，經(jīng)過(guò)反射,、折射后穿過(guò)鏡頭（Lens），再經(jīng)過(guò)濾光片濾波投射到圖像傳感器（Sensor）感光面上,。其基礎(chǔ)原理是通過(guò)Sensor將Lens上傳導(dǎo)過(guò)來(lái)的光線轉(zhuǎn)換為電信號(hào),，經(jīng)過(guò)內(nèi)部圖像處理器（ISP）轉(zhuǎn)換成數(shù)字圖像信號(hào)輸出到數(shù)字信號(hào)處理器（DSP）加工處理，轉(zhuǎn)換成標(biāo)準(zhǔn)的GRB、YUV等格式圖像信號(hào),。若Sensor內(nèi)部未集成ISP,，則通過(guò)DVP的方式傳輸?shù)綀D像處理器，此時(shí)的數(shù)據(jù)格式為RAW RGB（原始數(shù)據(jù)）,。
1）鏡頭（lens）
鏡頭相當(dāng)于人眼中的晶狀體,，利用透鏡的折射原理，景物光線透過(guò)鏡頭在聚焦平面上形成清晰的像,。Camera的鏡頭結(jié)構(gòu)一般是有幾片透鏡組成的,，透鏡分為塑膠透鏡（PlasTIc）以及玻璃透鏡（Glass），常用的鏡頭結(jié)構(gòu)有：1P,、2P,、1G1P、1G3P,、2G2P等,。
透鏡越多，成本越高,，成像效果也越好（光線更均勻,、更細(xì)致；對(duì)光線的選通更豐富,；成像畸變更小,，但是會(huì)導(dǎo)致鏡頭變長(zhǎng)，光通量變?。Ａ哥R的透光率,、感光性比塑膠透鏡的要好,，但價(jià)格也更貴。
鏡頭的關(guān)鍵指標(biāo)就是鏡頭的焦距,，通常根據(jù)鏡頭焦距的不同,，進(jìn)行不同的分類。鏡頭的焦距決定了該鏡頭拍攝的物體在Sensor上所形成影像的大小,，焦距越短,，拍攝范圍就越大，也就越接近廣角鏡頭,；焦距越長(zhǎng),，鏡頭的視角越小，拍攝到景物的范圍也就越小,，也就越接近窄角攝像頭,。通常會(huì)把短焦距、視場(chǎng)角大于50°（如f=3mm左右）的鏡頭，稱為廣角鏡頭,，如前視120°攝像頭,；把更短焦距（如f=2.8mm）的鏡頭叫走超廣角鏡頭，如環(huán)視攝像頭,；而把焦距很長(zhǎng)（如f＞80mm）的鏡頭稱為望遠(yuǎn)鏡頭,，如智駕域經(jīng)常用到的30°遠(yuǎn)攝攝像頭。介于短焦與長(zhǎng)焦之間的鏡頭就叫做標(biāo)準(zhǔn)鏡頭,，如智駕域的側(cè)視攝像頭,。
鏡頭的焦距、視場(chǎng)大小及鏡頭到被攝取物體的距離計(jì)算公式如下：
f = w*D / W f = h*D / H
其中：f—鏡頭焦距,，w—圖像的寬度（被攝物體在Sensor靶面上的成像寬度）,，W—被攝物體寬度，D—被攝物體距離鏡頭的距離,，h—圖像高度（被攝物體在Sensor靶面上的成像高度）,，H—被攝物體的高度。
鏡頭尺寸
一般可分為25.4mm（1inch）,、16.9mm（2/3inch） ,、12.7mm（1/2inch） 、 8.47mm（1/3inch）和 6.35mm（1/4inch）等幾種規(guī)格 ,。選用鏡頭時(shí),，應(yīng)使鏡頭尺寸與攝像機(jī)的靶面尺寸大小相吻合，并注意這樣一個(gè)原則,，即小尺寸靶面的圖像Sensor可使用大尺寸的鏡頭,，反之則不行。如1/2“的Sensor采用1/3”的鏡頭,，則進(jìn)光量會(huì)變小,，色彩會(huì)變差，甚至圖像也會(huì)缺損,；反之,，則進(jìn)光量會(huì)變大，色彩會(huì)變好,。
此外,，我們還比較關(guān)心的是鏡頭通光孔徑大小對(duì)鏡頭的影響。通常,，通光孔徑越大,，通過(guò)的光量越大，但我們關(guān)心的是到達(dá)Sensor的光量,。焦距越長(zhǎng),，意味著Sensor離鏡頭中心越遠(yuǎn),，相應(yīng)的光就越弱，所以,，標(biāo)準(zhǔn)光圈大小的參數(shù)應(yīng)該與兩個(gè)變量有關(guān)：即孔徑,，焦距。
可以定義光圈的相對(duì)孔徑等于鏡頭的有效孔徑與鏡頭焦距之比,，鏡頭的相對(duì)孔徑表征了鏡頭的通光能力,，相對(duì)孔徑越大，通光越多,。
光圈系數(shù)F = 焦距（f） / 鏡頭有效孔徑 （D）
光圈相對(duì)孔徑 = 鏡頭有效孔徑 （D） / 焦距（f）
即F = 1 / 光圈相對(duì)孔徑
所以,，選用相對(duì)孔徑大的鏡頭，可以降低對(duì)景物照明條件的要求,。
最后,，對(duì)于攝像頭來(lái)說(shuō)，主要還涉及到相關(guān)的鏡頭接口,。常規(guī)的接口鏡頭主要包括 C接口鏡頭（C-Mount）與CS（CS-Mount）接口鏡頭,。兩者最明顯的區(qū)別就是鏡頭與攝像機(jī)接觸至攝像機(jī)感光元器件（CCD/COMS傳感器）的位置（焦平面）的距離不同。這個(gè)距離專業(yè)的術(shù)語(yǔ)叫做法蘭焦距,。C接口的法蘭焦距為17.5mm,，CS接口的法蘭焦距為12.5mm。在鏡頭的使用過(guò)程中,，通常是C型標(biāo)準(zhǔn)攝像機(jī)接C接口鏡頭,，CS鏡頭接CS型攝像機(jī)。但是在使用的過(guò)程中C接口鏡頭可以加裝一個(gè)5mm厚的延長(zhǎng)環(huán)與CS型攝像機(jī)搭配使用,，C接口鏡頭不加延長(zhǎng)圈則會(huì)導(dǎo)致鏡頭碰到傳感器靶面,，造成傳感器損壞。CS型鏡頭與C型攝像機(jī)無(wú)法配合,，CS鏡頭與C型攝像機(jī)不能組合使用的原因是鏡頭成像面與CCD受光面距離太遠(yuǎn),，不能得到聚焦的圖像。
2）紅外濾光片（IR Filter）
紅外濾光片的主要作用是透過(guò)人眼可見(jiàn)光波段（380~700nm）,，濾除掉入鏡頭中的紅外光，這是因?yàn)槿搜劭床坏郊t外光,，但是sensor卻能感受到紅外光,，所以需要將光線中的紅外光濾掉，防止Sensor產(chǎn)生偏色,、波紋,，以提高色彩還原度，使圖像更接近人眼看到的效果,。但對(duì)于夜視系統(tǒng),，Sensor需要接收物體發(fā)出或反射的紅外光線進(jìn)行成像,，此時(shí)鏡頭模組中就不需要紅外濾光片了。
3）圖像傳感器（Sensor）
Sensor是攝像頭的核心,，負(fù)責(zé)將通過(guò)Lens的光信號(hào)轉(zhuǎn)換為電信號(hào),，再經(jīng)過(guò)內(nèi)部AD轉(zhuǎn)換為數(shù)字信號(hào)。每個(gè)pixel像素點(diǎn)只能感受R,、G,、B中的一種，因此每個(gè)像素點(diǎn)中存放的數(shù)據(jù)是單色光,，所以我們智駕系統(tǒng)常用的200萬(wàn)像素或者800萬(wàn)像素,，表示的就是有200萬(wàn)或800萬(wàn)個(gè)感光點(diǎn)，每個(gè)感光點(diǎn)只能感應(yīng)一種光,，這些最原始的感光數(shù)據(jù)也就是我們常常叫做的RAW Data,。
圖像傳感器的像素單元都分為四部分：微透鏡、濾色片,、感光片（光電二極管）,、電荷存儲(chǔ)區(qū)。光線照射到Sensor感光組件（光電二極管）上,，光強(qiáng)就轉(zhuǎn)換為電荷,，并緩存于電荷存儲(chǔ)區(qū)。
目前的Sensor有兩種基本的類型：
CCD傳感器：
電荷耦合器件傳感器：使用一種高感光度的半導(dǎo)體材料制成,，能把光線轉(zhuǎn)變成電荷,，通過(guò)模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成電信號(hào)。CCD由許多獨(dú)立的感光單位組成,，通常以百萬(wàn)像素為單位,。當(dāng)CCD表面受到光照時(shí)，每個(gè)感光單位都會(huì)將電荷反映在組件上,，所有的感光單位產(chǎn)生的信號(hào)加在一起,，就構(gòu)成了一幅完整的圖像。
互補(bǔ)性氧化金屬半導(dǎo)體：主要是利用硅和鍺做成的半導(dǎo)體,，使其在CMOS上共存著帶N（-）和P（+）級(jí)的半導(dǎo)體,，這兩個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流可以被處理芯片記錄并解讀成影像。
由于結(jié)構(gòu)原因,，CCD Sensor只有一個(gè)ADC,；而CMOS sensor有一行的ADC。這樣在數(shù)據(jù)輸出上,，CMOS可以做到很高的幀率,，而CCD卻很難做到高像素和高幀率。
由此,，在面向智駕系統(tǒng)更高幀率和高分辨率的前提下,，對(duì)CMOS應(yīng)用場(chǎng)景將越來(lái)越大,。我們?cè)趯?duì)傳感器Sensor選型過(guò)程中通常需要考慮如下幾個(gè)重要參數(shù)：
4）傳感器核心
典型的圖像傳感器核心主要由image array（圖像陣列）、AMP放大器）以及ADC組成,。其中圖像陣列Image array是模擬電路,，很難做到很先進(jìn)的工藝，比如40nm這種水平,，而且并不是工藝越先進(jìn)越好（要保證像素感光面的大?。５莝ensor的數(shù)字部分（比如內(nèi)部的圖像處理和接口邏輯）是純數(shù)字邏輯,，這部分卻可以做到很先進(jìn)的工藝比如16nm,。 如下圖a）表示了一個(gè)典型的sensor的版圖如下：
像素陣列可以分為OpTIcal Black（光學(xué)黑體）區(qū)域、AcTIve Pixel（有效像素）區(qū)域以及Dummy boarder（虛擬邊界）區(qū)域,。 一般一個(gè)sensor的圖像陣列點(diǎn)數(shù)會(huì)大于實(shí)際成像的圖像,。比如一個(gè)1920x1080的sensor，可能實(shí)際的Image array的點(diǎn)數(shù)是1948x1108,。這是由于圖線陣列角落的進(jìn)光量很少,，一般會(huì)去掉一部分角落的像素點(diǎn)，保證成像質(zhì)量,，從而增加一些功能性的區(qū)域,，比如Optical Black區(qū)域用來(lái)作為暗電流的對(duì)照（用于黑電平校正），留下虛擬邊界作為后續(xù)數(shù)字處理的時(shí)間余量和傳遞一些額外信息,。
5）ISP圖像處理過(guò)程
ISP（Image Signal Processor）,，作為攝像頭中一種典型的前端處理單元，主要是對(duì)圖像傳感器輸出的信號(hào)做前期處理,。ISP的功能比較雜,，基本上跟圖像效果有關(guān)的它都有份。它內(nèi)部包含多個(gè)圖像算法處理模塊,，其中比較有代表性的是：扣暗電流（去掉電流噪聲）,，線性化（解決數(shù)據(jù)非線性問(wèn)題），shading（解決鏡頭帶來(lái)的亮度衰減與顏色變化）,，去壞點(diǎn)（去掉sensor中壞點(diǎn)數(shù)據(jù)）,，去噪（去除噪聲），demosaic（raw數(shù)據(jù)轉(zhuǎn)為RGB數(shù)據(jù)）,，3A（自動(dòng)白平衡,，自動(dòng)對(duì)焦，自動(dòng)曝光）,，gamma（亮度映射曲線，優(yōu)化局部與整體對(duì)比度）,，旋轉(zhuǎn)（角度變化）,，銳化（調(diào)整銳度）,，縮放（放大縮小）,，色彩空間轉(zhuǎn)換（轉(zhuǎn)換到不同色彩空間進(jìn)處理）,，顏色增強(qiáng)（可選，調(diào)整顏色）,，膚色增強(qiáng)（可選,，優(yōu)化膚色表現(xiàn)）等。
依賴于ISP才能在不同的光學(xué)條件下都能較好的還原現(xiàn)場(chǎng)細(xì)節(jié),，ISP技術(shù)在很大程度上決定了攝像機(jī)的成像質(zhì)量,。負(fù)責(zé)接收感光元件（Sensor）的原始信號(hào)數(shù)據(jù)，可以理解為整個(gè)相機(jī)拍照,、錄像的第一步處理流程,，對(duì)圖像質(zhì)量起著非常重要的作用。
攝像頭模組影像測(cè)評(píng) 了解了攝像頭在各方面的性能指標(biāo)后,，就需要采用一定的評(píng)價(jià)指標(biāo)對(duì)攝像頭整個(gè)模組的選型進(jìn)行有效的評(píng)價(jià),，以方便對(duì)攝像頭的運(yùn)算能力進(jìn)行全方位評(píng)估。 從如上分析影響攝像頭成像能力的主要因素來(lái)說(shuō),，關(guān)于攝像頭模組的顯像測(cè)評(píng)主要包括如下幾個(gè)重要的指標(biāo),。
（1）解像力 解像力這個(gè)指標(biāo)主要是通過(guò)對(duì)相機(jī)鏡頭的還原能力進(jìn)行測(cè)試,，測(cè)試的方法是用相機(jī)拍攝逐漸變細(xì)的條紋,，然后在電腦中使用10倍～50倍甚至更高倍數(shù)的放大倍率來(lái)觀察所拍攝的畫面。解像力值是用底片上視覺(jué)可區(qū)別的1mm上的極限線條數(shù)表示的,。 例如,，在一個(gè)區(qū)域中畫100條黑線，有的鏡頭拍出來(lái)的影像只能辨認(rèn)出10條線,，有的鏡頭拍出來(lái)的影像則能辨認(rèn)出100條線,，這樣就可以認(rèn)為后者的解像力比前者高?？梢钥闯鼋庀窳χ饕轻槍?duì)鏡頭而言的,。
（2）雜光,、鬼影 由強(qiáng)光造成的照片發(fā)白,、形成光暈的現(xiàn)象稱作“眩光（Flare）”。當(dāng)太陽(yáng)光或點(diǎn)光源進(jìn)入鏡頭時(shí),，鏡片表面會(huì)反射5%左右的入射光線,。各枚鏡片表面反射的光線會(huì)在鏡頭和相機(jī)內(nèi)部多次反射，在光源的相對(duì)位置形成之清晰亮點(diǎn),，有如幽靈一般,，稱之為鬼影（鬼影算是光斑的一種）,。 這里需要說(shuō)明的是，很多如果采用純攝像頭方案實(shí)現(xiàn)的AEBFCTB這類安全性功能可能會(huì)由于檢測(cè)到類似鬼影而進(jìn)行誤制動(dòng),。
?。?）畸變 相機(jī)內(nèi)參由傳感器和鏡頭在模組內(nèi)的安裝位置決定，其標(biāo)定的主要目的是建立成像幾何模型并矯正透鏡畸變,。透鏡畸變主要分為徑向畸變和切向畸變,，徑向畸變由透鏡形狀的制造工藝導(dǎo)致，切向畸變由透鏡和CMOS或者CCD的安裝位置誤差導(dǎo)致,。 在進(jìn)行畸變性能評(píng)價(jià)時(shí),，通常是采用對(duì)攝像頭內(nèi)參矩陣做整體維度的評(píng)價(jià)。通常在對(duì)攝像頭安裝到車上時(shí),，需要提前對(duì)攝像頭的內(nèi)參矩陣進(jìn)行矯正,。相機(jī)內(nèi)參標(biāo)定通過(guò)拍攝空間中不同位置處的標(biāo)定板，標(biāo)定光心位置和畸變系數(shù),。
?。?）視場(chǎng)角 在光學(xué)儀器中，以光學(xué)儀器的鏡頭為頂點(diǎn),，以被測(cè)目標(biāo)的物像可通過(guò)鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角,，稱為視場(chǎng)角。視場(chǎng)角的大小決定了光學(xué)儀器的視野范圍,，視場(chǎng)角越大,，視野就越大，光學(xué)倍率就越小,。這也是我們?cè)谧鰯z像頭鏡頭模組選擇時(shí)最常用于評(píng)價(jià)的性能指標(biāo),。
（5）亮度均勻性 光亮度均勻性,，是指最亮與最暗部分的差異值,，就是所拍攝的畫面四個(gè)角落的亮度與中心點(diǎn)亮度的比值，一般將中間定義為100%,。理想的均勻度是100%,，均勻度越高，畫面的亮度一致性越好,。
?。?）色彩均勻性 色彩均勻性的測(cè)量方法：即至少選擇兩種顏色RGB級(jí)數(shù)進(jìn)行比較。如：R/B和R/G,。以確認(rèn)模組周邊與中心色彩一致性是否符合要求,。分別測(cè)出R/B、R/G、G/B的max以及min值,，并用min/max（各組）從而得到需求值,，取其中的最小值，從而可以很好的評(píng)價(jià)傳感器的色差能力,。
（7） 色彩飽和度 飽和度（Saturation）指的是色彩純度,。是色彩的構(gòu)成要素之一,。純度越高，表現(xiàn)越鮮明,，純度較低,，表現(xiàn)則較黯淡。
?。?）信噪比 信噪比是信號(hào)均值與背景標(biāo)準(zhǔn)偏差的比值,，衡量一幅圖片質(zhì)量好壞的重要指標(biāo)。信噪比越大,，圖像畫面就干凈,，看不到“顆粒”,、“雪花”,。若信噪比小，則可能滿是“雪花”,，嚴(yán)重影響圖像質(zhì)量,。
（9）白平衡 白平衡就是拍照時(shí)相機(jī)會(huì)分析我們拍攝場(chǎng)景的光線環(huán)境,，并且盡力還原白色,，光的色調(diào)是通過(guò)色溫來(lái)實(shí)現(xiàn)的，色溫會(huì)告訴相機(jī)這些光是暖色調(diào)還是冷色調(diào),。色溫說(shuō)的是光線的溫度,，比如暖光或者冷光，色溫從低到高,，顏色也由偏黃的暖光（色溫低）到偏藍(lán)的冷光（色溫高）,。白平衡的目的是要求在不同光源下（晴天、陰天,、白熾燈等）拍攝的圖像能獲得與人眼觀察相符的彩色,，并確認(rèn)是否出現(xiàn)偏色及其他顏色摻雜。
?。?1） 灰階 灰階就是指將最亮和最暗之間的亮度變化區(qū)分為不同的層級(jí),，每一級(jí)就表示一個(gè)亮度變化，這里的中間層級(jí)越多，那么呈現(xiàn)出來(lái)的畫面效果也就會(huì)越細(xì)膩,?；译A層級(jí)越多，明暗對(duì)比和黑白顏色過(guò)渡方面的表現(xiàn)優(yōu)異圖像越清晰,，過(guò)渡越自然越好,。
（12）動(dòng)態(tài)范圍 動(dòng)態(tài)范圍是用來(lái)描述畫面中從最暗的陰影部分到最亮的高光部分的光量強(qiáng)度分布范圍,。動(dòng)態(tài)范圍越大,，說(shuō)明圖像中能被捕捉下來(lái)的層次越豐富。 只要場(chǎng)景中從最亮到最暗的部分所跨越的動(dòng)態(tài)范圍在相機(jī)感光元件的動(dòng)態(tài)范圍之內(nèi),，那么就能夠同時(shí)把最亮和最暗部分的細(xì)節(jié)記錄下來(lái),。舉例來(lái)說(shuō)，如果一臺(tái)相機(jī)的動(dòng)態(tài)范圍是8擋,，而場(chǎng)景中最亮和最暗部分的曝光相差6擋,，那么你就能夠記錄下場(chǎng)景中所有的細(xì)節(jié)。不過(guò),，如果場(chǎng)景或者拍攝對(duì)象的動(dòng)態(tài)范圍超過(guò)了相機(jī)感光元件的動(dòng)態(tài)范圍,，那么你的照片必然會(huì)出現(xiàn)陰影是完全的黑色，或者高光“溢出”變成完全的白色——有時(shí)兩種情況會(huì)同時(shí)出現(xiàn),。
?。?3）其他評(píng)價(jià)指標(biāo) 此外，從綜合場(chǎng)景的評(píng)價(jià)角度上講,，其相應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)還可以是測(cè)試人員可以通過(guò)目測(cè)拍攝場(chǎng)景的銳利清晰度,、輪廓分明度、動(dòng)態(tài)范圍效果以及色彩失真度來(lái)判定整體場(chǎng)景的優(yōu)劣,。如果應(yīng)用到車上,，還需要考慮是否存在類似鏡頭加熱等附加功能。因?yàn)閿z像機(jī)加熱的主要目的是保證攝像機(jī)能正常啟動(dòng)以及正常工作,。因?yàn)橐话汶娮釉骷墓ぷ鳒囟确秶?5℃到45℃左右,，所以基于北方冬天能達(dá)到零下二三十度的低溫，一些元器件就會(huì)停止工作,，所以應(yīng)用于北方的攝像機(jī)需要FPC電熱膜/FPC加熱膜進(jìn)行加熱處理,，以保證攝像機(jī)能正常工作，從而確保整個(gè)加熱單元會(huì)影響到整體的功能輸出,。
更多信息可以來(lái)這里獲取==>>電子技術(shù)應(yīng)用-AET<<
