自動(dòng)駕駛正成為影響未來(lái)行業(yè)的關(guān)鍵技術(shù)，車(chē)載傳感器是自動(dòng)駕駛系統(tǒng)中感知外部世界的關(guān)鍵,，它們就像車(chē)輛的“眼耳口鼻”,，幫助車(chē)輛感知外部世界,，聽(tīng)覺(jué)視覺(jué)等缺一不可，這幾種感知的協(xié)作性能也直接決定自動(dòng)駕駛車(chē)輛的安全性,。

　　今天我們就來(lái)一起聊聊,，自動(dòng)駕駛中的“眼耳口鼻”共用--多傳感器融合是怎么一回事。

　　常見(jiàn)的車(chē)載傳感器有哪些,？

　　目前業(yè)界主要使用三種傳感器,，包括攝像頭、激光雷達(dá),、毫米波雷達(dá),。各種傳感器各有優(yōu)缺點(diǎn)，因此在自動(dòng)駕駛系統(tǒng)中通常有不同的任務(wù)劃分,。

　　攝像頭可以獲取光學(xué)圖像,，并從一定角度準(zhǔn)確記錄物體的顏色、紋理,、色彩分布等信息,。因此，一些研究使用攝像頭完成目標(biāo)識(shí)別和目標(biāo)跟蹤任務(wù),，包括道路檢測(cè),、行人和車(chē)輛識(shí)別以及局部路徑規(guī)劃。為了克服攝像頭可測(cè)量角度范圍窄的問(wèn)題,，在實(shí)際應(yīng)用中,，自動(dòng)駕駛系統(tǒng)通常采用多臺(tái)攝像頭對(duì)周?chē)h(huán)境進(jìn)行全方位監(jiān)控,。

　　毫米波雷達(dá)通過(guò)脈沖壓縮測(cè)量物體的距離,，并通過(guò)多普勒頻移測(cè)量物體的速度，這在障礙物檢測(cè),、行人識(shí)別和車(chē)輛識(shí)別中有廣泛的應(yīng)用,。

　　激光雷達(dá)的主要應(yīng)用包括定位、障礙物檢測(cè)和環(huán)境重建,。由于三維（3D）數(shù)據(jù)與二維數(shù)據(jù)相比具有一定的信息表示優(yōu)勢(shì)，它可以最大限度地恢復(fù)真實(shí)環(huán)境中的交通條件,。結(jié)合毫米波雷達(dá)目標(biāo)的動(dòng)態(tài)特性,、激光雷達(dá)的變化優(yōu)勢(shì)以及光學(xué)圖像中目標(biāo)的細(xì)節(jié)，利用綜合信息有助于車(chē)輛執(zhí)行各種任務(wù),，如意圖分析,、運(yùn)動(dòng)規(guī)劃和自動(dòng)駕駛。

　　為什么一定要多傳感器融合呢,？

　　使用多傳感器融合技術(shù)的主要原因是為了揚(yáng)長(zhǎng)避短,、冗余設(shè)計(jì),，提高整車(chē)安全系數(shù)。多傳感器融合系統(tǒng)所實(shí)現(xiàn)的功能要遠(yuǎn)超這些獨(dú)立系統(tǒng)能夠?qū)崿F(xiàn)的功能總和,，相當(dāng)于1+1>2,。使用不同的傳感器種類(lèi)可以在某一種傳感器全都出現(xiàn)故障的環(huán)境條件下，額外提供一定冗余度,。這種錯(cuò)誤或故障可能是由自然原因（例如,，濃霧天氣）或是人為現(xiàn)象（例如，對(duì)攝像頭或雷達(dá)的電子干擾或人為干擾）導(dǎo)致,。各傳感器優(yōu)缺點(diǎn)如下：

　　多傳感器融合的挑戰(zhàn)

　　目前市面上大多數(shù)自動(dòng)駕駛的方案均包含攝像頭,、激光雷達(dá)和毫米波雷達(dá)，使用同一個(gè)系統(tǒng)來(lái)采集并處理數(shù)據(jù),，我們需要對(duì)這些傳感器統(tǒng)一坐標(biāo)系和時(shí)鐘,，目的就是為了實(shí)現(xiàn)三同一不同：即在同一時(shí)刻，同一地理坐標(biāo),，同一目標(biāo)出現(xiàn)在不同類(lèi)別的傳感器中,。

　　想必看到這里,，聰明的你能意識(shí)到,，這也不是一件容易的事情，想要達(dá)到三同一不同,，就要克服不少挑戰(zhàn),。

　　挑戰(zhàn)1：統(tǒng)一時(shí)鐘

　　在這里要做的就是同步不同傳感器的時(shí)間戳，本次我們主要介紹兩種方法,。

　　GPS時(shí)間戳的時(shí)間同步方法：該種方法中,，傳感器硬件需支持GPS時(shí)間戳，如果支持,，則傳感器輸出的數(shù)據(jù)包會(huì)有全局的時(shí)間戳,，這些時(shí)間戳以GPS為基準(zhǔn)，那么就相當(dāng)于不同的傳感器均以GPS為基準(zhǔn),，等同于使用了相同的時(shí)鐘,，而非傳感器各自的時(shí)鐘了。

　　另外一種方法叫硬同步方法：這種方法可以減小查找時(shí)間戳造成的誤差,。該方法可以以激光雷達(dá)作為觸發(fā)源，輸出給其它傳感器,，當(dāng)激光雷達(dá)轉(zhuǎn)到某個(gè)角度時(shí)，才觸發(fā)該角度的攝像頭,，這可以大大減少時(shí)間差的問(wèn)題,。這套時(shí)間同步方案可以做到硬件中，這樣可以大大降低同步誤差,，提高數(shù)據(jù)同步效果,。

　　挑戰(zhàn)2：統(tǒng)一坐標(biāo)系

　　統(tǒng)一坐標(biāo)系有兩步，一是運(yùn)動(dòng)補(bǔ)償,，二是傳感器標(biāo)定。由于所有的傳感器都裝在車(chē)上,，車(chē)是運(yùn)動(dòng)的剛體,。因此傳感器在采集數(shù)據(jù)時(shí),，周期開(kāi)始的時(shí)間點(diǎn)和結(jié)束時(shí)間點(diǎn)車(chē)輛是處于不同位置的,，導(dǎo)致不同時(shí)刻采集的數(shù)據(jù)所處坐標(biāo)系不同，因此需要根據(jù)車(chē)體的運(yùn)動(dòng)對(duì)傳感器采集的數(shù)據(jù)進(jìn)行運(yùn)動(dòng)補(bǔ)償,。

　　傳感器標(biāo)定分為內(nèi)參標(biāo)定和外參標(biāo)定,，內(nèi)參標(biāo)定，解決的是單獨(dú)的每個(gè)傳感器與世界坐標(biāo)系間的變換,；外參標(biāo)定是在世界坐標(biāo)系下,，解決的不同傳感器間的變換。傳感器外參校準(zhǔn)依賴(lài)于傳感器的精確內(nèi)參校準(zhǔn),。

　　挑戰(zhàn)3：融合方法

　　經(jīng)過(guò)以上幾步,，可以拿到的信息有：做好運(yùn)動(dòng)補(bǔ)償及時(shí)間同步的傳感器源數(shù)據(jù)、傳感器內(nèi)參,、傳感器外參,，有了這些信息后，我們可以做相應(yīng)的融合方法了,。到底如何做呢,？下面舉兩個(gè)例子：

　　攝像頭和激光雷達(dá)融合：激光雷達(dá)數(shù)據(jù)是包含了明確的（x，y,，z）數(shù)據(jù)的3D觀測(cè),，通過(guò)標(biāo)定參數(shù)與攝像頭本身的內(nèi)參，多傳感器深度融合可以實(shí)現(xiàn)把3D點(diǎn)投到圖像上,，圖像上的某些像素也就打上了深度信息,，幫助感知系統(tǒng)進(jìn)行基于圖像的分割或者訓(xùn)練深度學(xué)習(xí)模型。

　　毫米波雷達(dá)和激光雷達(dá)融合：毫米波雷達(dá)和激光雷達(dá)的融合方式比較簡(jiǎn)單,。在笛卡爾坐標(biāo)系下,，它們擁有完整的（ x,，y ）方向的信息,。因此在笛卡爾坐標(biāo)系下，激光雷達(dá)和毫米波雷達(dá)可以實(shí)現(xiàn)基于距離的融合,。另外,，毫米波雷達(dá)還可以探測(cè)到障礙物速度，而激光雷達(dá)通過(guò)位置的追蹤,，也會(huì)得到對(duì)障礙物速度的估計(jì),，對(duì)這些速度的信息進(jìn)行融合，更能幫助篩選錯(cuò)誤的匹配候選集,。

　　從目前國(guó)內(nèi)對(duì)于自動(dòng)駕駛的策略來(lái)看,，多種傳感器提高安全冗余是普遍采用的路線(xiàn)。那對(duì)于多傳感器融合的硬件在環(huán)測(cè)試也是必要的一環(huán),。

　　講了這么多,，你對(duì)多傳感器融合是否有了一些了解呢？針對(duì)這樣的自動(dòng)駕駛趨勢(shì),，是德科技也在全面布局,，不僅針對(duì)單個(gè)雷達(dá)有測(cè)試解決方案，對(duì)雷達(dá)場(chǎng)景模擬以及多傳感器融合方向也在推陳出新,，推出ADE（Autonomous Driving Emulation）解決方案以及發(fā)布不久的雷達(dá)場(chǎng)景模擬器,。

更多信息可以來(lái)這里獲取==>>電子技術(shù)應(yīng)用-AET<<