鑒智機(jī)器人的下一代純視覺(jué)自動(dòng)駕駛 3D 目標(biāo)檢測(cè)框架 BEVDet,，為解決視覺(jué)為主自動(dòng)駕駛解決方案中視覺(jué)雷達(dá),、4D 感知,、實(shí)時(shí)局部地圖等關(guān)鍵問(wèn)題提供了更多可能性,。

日前,，在自動(dòng)駕駛權(quán)威評(píng)測(cè)集 nuScenes 上,，鑒智機(jī)器人憑借提出的純視覺(jué)自動(dòng)駕駛 3D 感知新范式 BEVDet,，以絕對(duì)優(yōu)勢(shì)獲得純視覺(jué) 3D 目標(biāo)檢測(cè)世界第一的成績(jī),。BEVDet 是首個(gè)公開(kāi)的同時(shí)兼具高性能、擴(kuò)展性和實(shí)用性的 BEV 空間 3D 感知范式,，以 BEVDet 為核心的系列技術(shù)將有希望解決視覺(jué)為主自動(dòng)駕駛解決方案中視覺(jué)雷達(dá),、4D 感知、實(shí)時(shí)局部地圖等關(guān)鍵問(wèn)題,，未來(lái)將應(yīng)用于鑒智機(jī)器人以視覺(jué)雷達(dá)為核心的高級(jí)別自動(dòng)駕駛等產(chǎn)品和解決方案中,，為自動(dòng)駕駛的大規(guī)模量產(chǎn)發(fā)揮關(guān)鍵的作用。

BEVDet技術(shù)報(bào)告鏈接：https://arxiv.org/abs/2112.11790

nuScenes 數(shù)據(jù)集是自動(dòng)駕駛領(lǐng)域使用最廣泛的公開(kāi)數(shù)據(jù)集之一,，也是目前最權(quán)威的自動(dòng)駕駛純視覺(jué) 3D 目標(biāo)檢測(cè)評(píng)測(cè)集,。在傳感器方面，nuScenes 一共配置了 6 個(gè)相機(jī),、1 個(gè) LiDAR,、5 個(gè) RADAR，值得注意的是,，和 KITTI 和 Waymo 等僅提供部分視角的數(shù)據(jù)集不同,，nuScenes 提供了 360 度的相機(jī)視野，可以對(duì)周?chē)h(huán)境進(jìn)行全方位的感知。數(shù)據(jù)方面,，nuScenes 提供了包含二維,、三維物體標(biāo)注、點(diǎn)云分割,、高精地圖等豐富的標(biāo)注信息,，共包含 1000 個(gè)場(chǎng)景、140 萬(wàn)幀圖像,、39 萬(wàn)幀激光雷達(dá)點(diǎn)云數(shù)據(jù),、23 個(gè)物體類(lèi)別、140 萬(wàn)個(gè)三維標(biāo)注框,，數(shù)據(jù)規(guī)模和難度遠(yuǎn)超自動(dòng)駕駛數(shù)據(jù)集 KITTI,。此前參與 nuScenes 純視覺(jué) 3D 目標(biāo)檢測(cè)評(píng)測(cè)的廠商包括豐田研究院（TRI）、華為,、理想汽車(chē),、商湯科技、MIT,、清華大學(xué),、香港中文大學(xué)、CMU,、加州大學(xué)伯克利分校等國(guó)內(nèi)外知名企業(yè)和研究機(jī)構(gòu),。

高級(jí)別自動(dòng)駕駛需要時(shí)刻對(duì)周?chē)沫h(huán)境進(jìn)行感知以進(jìn)行決策規(guī)劃，而基于純視覺(jué)輸入進(jìn)行 3D 空間中的目標(biāo)檢測(cè)是其中最具挑戰(zhàn)的任務(wù)之一,。由 2D 圖像感知 3D 空間的目標(biāo),，是利用低維度的輸入預(yù)測(cè)高維度信息,，維度缺失使得任務(wù)的難度遠(yuǎn)大于 2D 目標(biāo)檢測(cè),，需要設(shè)計(jì)合理的范式充分利用輸入圖像信息對(duì)高維度信息進(jìn)行建模推理。目前業(yè)界基于純視覺(jué)的 3D 感知框架,，主要在圖像空間進(jìn)行目標(biāo)檢測(cè),。此類(lèi)范式不僅依賴極高的算力資源，另外也無(wú)法與語(yǔ)義分割等任務(wù)進(jìn)行并行推理,，可擴(kuò)展性較差,。

針對(duì)該問(wèn)題，鑒智機(jī)器人提出了下一代純視覺(jué)自動(dòng)駕駛 3D 目標(biāo)檢測(cè)框架 BEVDet,。BEVDet 遵循模塊化設(shè)計(jì)的理念,，包含以下四個(gè)分工明確的模塊：圖像編碼模塊用于在二維圖像空間提取高緯度的特征；視角變換模塊用于把圖像空間的特征轉(zhuǎn)換到鳥(niǎo)瞰視角空間（Bird-Eye-View, BEV）的特征,；鳥(niǎo)瞰視角的編碼模塊用于在鳥(niǎo)瞰視角下進(jìn)一步提取特征,；以及一個(gè)三維目標(biāo)預(yù)測(cè)模塊（Head）用于在鳥(niǎo)瞰視角空間對(duì)三維目標(biāo)的定位、尺度,、朝向,、速度和類(lèi)別的預(yù)測(cè),。BEVDet 通過(guò)上述的四個(gè)模塊簡(jiǎn)潔的解決純視覺(jué)自動(dòng)駕駛 3D 目標(biāo)檢測(cè)的問(wèn)題。

最后的性能也充分證明了該算法的有效性,，在自動(dòng)駕駛權(quán)威數(shù)據(jù)集 nuScenes 上,，BEVDet 在計(jì)算量和精度等指標(biāo)上都具有絕對(duì)的優(yōu)勢(shì)。相比于之前的算法,，BEVDet 通過(guò)更小的 1/8 輸入分辨率,，更低的 1/4 的計(jì)算量，可以達(dá)到相近的精度指標(biāo),。在使用相似分辨率輸入的情況下,，BEVDet 擁有明顯的精度優(yōu)勢(shì)。此外,，BEVDet 在預(yù)測(cè)目標(biāo)的定位,、尺度、方向等方面皆表現(xiàn)出超越已有范式的性能,。

從自動(dòng)駕駛技術(shù)發(fā)展角度看,，BEVDet 具有以下的優(yōu)勢(shì)：

BEVDet 框架具有較強(qiáng)的擴(kuò)展性，鑒智機(jī)器人正基于 BEVDet 進(jìn)行擴(kuò)展,，實(shí)現(xiàn)視覺(jué)雷達(dá),、4D 感知、實(shí)時(shí)局部地圖等自動(dòng)駕駛關(guān)鍵模塊,；

BEVDet 基于相機(jī)模型構(gòu)建 view-transformer ,，可有效降低視覺(jué)變換模塊的學(xué)習(xí)難度，相比特斯拉所使用的不帶先驗(yàn)的 attention-based-view-transformer,，此方案可大幅度減少模型對(duì)數(shù)據(jù)量需求,，使模型在數(shù)據(jù)量有限情況下的具備更強(qiáng)的泛化性能；

BEVDet 利用更低的算力達(dá)到同樣或者更好的算法效果,，將有助于自動(dòng)駕駛系統(tǒng)的算力利用效率的提升,。

當(dāng)前自動(dòng)駕駛技術(shù)的發(fā)展已經(jīng)進(jìn)入下半場(chǎng)，一方面需要解決關(guān)鍵性問(wèn)題（成像問(wèn)題,、3D 問(wèn)題）推動(dòng)自動(dòng)駕駛等級(jí)的提升,，另一方面需要構(gòu)建更優(yōu)的范式充分利用規(guī)模化的數(shù)據(jù)并進(jìn)行持續(xù)升級(jí)迭代,。

鑒智機(jī)器人以 “基于軟硬協(xié)同優(yōu)化,，構(gòu)建機(jī)器人傳感器計(jì)算與智能大腦” 為目標(biāo)，專注自動(dòng)駕駛傳感器計(jì)算與下一代自動(dòng)駕駛方案的研發(fā),。目前已建立起覆蓋算法,、算力、軟件、硬件的 100 余人的全棧自動(dòng)駕駛研發(fā)團(tuán)隊(duì),，核心成員均來(lái)自國(guó)內(nèi)一流 AI 算法,、算力設(shè)計(jì)和自動(dòng)駕駛公司。將基于視覺(jué)為主的傳感器輸入,，通過(guò)攝像頭 + 算法 + 算力的傳感器計(jì)算模式,，打造視覺(jué)雷達(dá)標(biāo)準(zhǔn)產(chǎn)品，并構(gòu)建以視覺(jué)雷達(dá)為核心的高級(jí)別自動(dòng)駕駛解決方案,。