ADAS及自動駕駛的視覺感知競爭正在進入縱深階段,，這其中，高像素攝像頭已經(jīng)成為趨勢,，而關(guān)乎圖像處理質(zhì)量的ISP已經(jīng)成為競爭高地,。
ISP的存在感越來越強，不只是在手機上,，汽車市場的需求也已經(jīng)明確釋放,。
ICV Tank數(shù)據(jù)顯示，2021年全球單車平均配置攝像頭數(shù)量為2.3顆,，相比2020年的1.3顆大幅提高,；預(yù)計到2026年，全球單車平均配置攝像頭數(shù)量將達3.8顆,。全球汽車前裝攝像頭總量將從2021年的1.65億顆增長至2026年的3.7億顆,，年復(fù)合增長率達16%。
早期的車載攝像頭常用于行車記錄,、倒車影像,、泊車環(huán)視等。隨著車載攝像頭在汽車領(lǐng)域的廣泛應(yīng)用,，如今逐步延伸到智能座艙內(nèi)行為識別,、ADAS輔助駕駛等。受益于車載攝像頭的快速增長,，或者說,，受益于汽車智能視覺的旺盛需求，ISP處理器在汽車應(yīng)用中有望持續(xù)增長,。
迎接車載圖像處理挑戰(zhàn)
ISP（Image Signal Processor），即圖像信號處理器,，作為車載攝像頭的重要組成部分,，主要作用是對前端圖像傳感器CMOS輸出的信號進行運算處理,。借助ISP，車載攝像頭才能看清楚細(xì)節(jié)和周圍環(huán)境,，從而指導(dǎo)車輛做出下一步?jīng)Q策,。也就是說，ISP 所要做到的就是：將“數(shù)字眼睛”的視力提高到“人類眼睛”的水平,，使數(shù)字圖像的成像效果盡可能接近人眼看到的實景,。
不過，現(xiàn)實環(huán)境中的圖像處理充滿了挑戰(zhàn),，典型挑戰(zhàn)主要存在于以下五大場景中：首先是夜間,，低照度環(huán)境下視頻會有大量的噪點，顏色紋理出現(xiàn)失真,；其次是強烈明暗反差情況下,，比如逆光拍攝，容易導(dǎo)致細(xì)節(jié)缺失,；第三是環(huán)境快速變化過程中,，比如駛出隧道口的時候，曝光要不斷調(diào)整,，容易出現(xiàn)盲區(qū)甚至安全隱患,；第四是快速移動造成的視頻抖動；第五是惡劣天氣（比如雨,、雪,、霧）情況下的識別困難和可視距縮短的情況。
以上都是行車中常有的場景,，但是給圖像處理帶來很大挑戰(zhàn),。
哪些途徑可以解決這些問題？加大圖像傳感器的感面,，或是加大鏡頭的充光量,，固然可以從一定程度上進行補償，但這也意味著成本的大幅增加,。而ISP硬件和AI算法相結(jié)合的方案,，可以通過算法進行優(yōu)化，在確保成本的同時提升圖像處理的質(zhì)量,。
獨立還是集成,？
ISP三大派系的角力
從車載ISP方案當(dāng)前的設(shè)計來看，主要存在三種路線：獨立ISP,、ISP集成于視覺處理器SoC,、ISP與車規(guī)級CMOS圖像傳感器集成。
獨立ISP以富瀚微為代表，該公司方面稱,，高分辨率攝像頭是趨勢,，獨立ISP的優(yōu)勢在于圖像效果是第一位的，同時可以配接不同的傳感器,，方案靈活,，能夠滿足用戶的差異化需求。
第二種方案是ISP被集成到視覺處理器SoC中,，以英偉達Orin為例,，內(nèi)置ISP每秒可處理64億像素；而特斯拉第一代FSD芯片,，ISP每秒僅能處理10億像素,。
國內(nèi)市場還有瑞芯微的車載AI視覺產(chǎn)品的RV1126/RV1109，內(nèi)置安防級ISP和新一代NPU,，其安防級ISP內(nèi)置3F-HDR,、3DNR、畸變校正（9ms@1080p）和去霧,，圖像的優(yōu)化處理及傳輸小于30ms,，在強光、逆光,、弱光,、黑光場景下圖像細(xì)膩清晰。
阿里達摩院也宣布了自研的ISP處理器,。據(jù)其路測結(jié)果顯示,，使用達摩院ISP處理器，車載攝像頭在夜間場景下,，圖像物體檢測識別能力比業(yè)內(nèi)主流處理器有10%以上的大幅度提升,，原本模糊不清的標(biāo)注物也得以清晰識別。
ISP集成到SoC中,，意味著可以同時處理多個攝像頭數(shù)據(jù),，實現(xiàn)成本下降。并且,，SoC集成ISP性能的不斷增強,，尤其是支持多個攝像頭（高像素）輸入，就意味著無需再為每個攝像頭傳感器提供ISP,，從而大幅降低感知硬件的成本,。同時，單一ISP可以用于管理不同的傳感器和幀速率,，適用于功能的不同場景,。
第三種方案是ISP與車規(guī)級CMOS圖像傳感器集成,。例如思特威的片上ISP二合一圖像傳感器，在減小車載SoC中心運算負(fù)荷的同時,，加快處理速度,，強化汽車圖像處理效能。豪威科技與汽車視覺技術(shù)公司Nextchip開發(fā)的聯(lián)合解決方案,，為中低端汽車后視鏡攝像頭（RVC）、環(huán)視系統(tǒng)（SVC）和電子后視鏡提供高質(zhì)量圖像,。
內(nèi)置ISP的二合一車規(guī)級CMOS圖像傳感器,，具有延時低、擴展兼容性高及可配置能力強等特點,。通過結(jié)合圖像傳感器和專用ISP的能力,，在中低端方案不增加系統(tǒng)配置的情況下，可以實現(xiàn)高質(zhì)量的圖像,，降低設(shè)計復(fù)雜性,。并且通過預(yù)先調(diào)參等優(yōu)化設(shè)計，也能夠為后續(xù)設(shè)計節(jié)省調(diào)試時間,。
以上三種方案基本是當(dāng)前車載ISP的主流方式,，不過各有其優(yōu)缺點：集成的優(yōu)勢在于高度集成，布線面積更小,，但ISP效果不算頂格,；并且圖像傳感器+ISP的方式，隨著高像素,、高畫質(zhì)的需求不斷提升,，傳感器的尺寸會變大，散熱可能會成為問題,；獨立的ISP性能更優(yōu)秀,，比如高動態(tài)氛圍多級去噪處理、整體功耗更低等,，但是對于下游設(shè)計有一定的技術(shù)門檻,，只有足夠豐富的調(diào)優(yōu)經(jīng)驗等，才能充分發(fā)揮其全部能力,。
不同的技術(shù)路線,，也催生了商業(yè)模式的創(chuàng)新。例如英偉達方面,，就和中科創(chuàng)達進行了Jetson和DRIVE的驅(qū)動開發(fā)和畫質(zhì)調(diào)優(yōu)（ISP Tuning）的合作,，目前中科創(chuàng)達擁有英偉達專用實驗室，以及基于DRIVE 和 Jetson 兩大平臺的專業(yè)驅(qū)動,、畫質(zhì)調(diào)優(yōu),、畫質(zhì)測試（IQ test）團隊，為其生態(tài)伙伴提供全面系統(tǒng)的技術(shù)培訓(xùn)和跟蹤式問題解答支持。
ISP IP的進擊
車載ISP的增長潛力,，IP廠商早在六七年前就已看到,。
2016年，Arm收購了一家成像技術(shù)開發(fā)商Apical,，其中一個目標(biāo)應(yīng)用就是高端車載應(yīng)用領(lǐng)域的ADAS系統(tǒng),。當(dāng)時，計算機視覺還處于開發(fā)早期階段,，專用的圖像計算解決方案顯露出一定的增長潛力,。
收購之后的第二年，Arm發(fā)布了旗下第一款I(lǐng)SP Mali-C71,，專門面向ADAS,。此后，Arm在該領(lǐng)域不斷投入,。今年6月,，Arm發(fā)布Mali-C55，這是 Arm 迄今為止面積最小且可配置性最高的 ISP 產(chǎn)品,，它可以識別時速 75 英里 （約 120.7 公里） 速度下移動的車輛車牌,。Mali-C55 具備8個獨立輸入的多攝像頭功能，可支持高達 8K 的圖像分辨率和 4800 萬像素的最大圖像尺寸,，可通過多種功能實現(xiàn)較高的圖像質(zhì)量,。同時，Mali-C55 的芯片面積僅為前幾代產(chǎn)品的近一半,，并且可提供更強大的功能,，大幅減少功耗并延長電池續(xù)航時間，與此同時,，還降低了這些設(shè)備的成本,。
本土市場方面，安謀科技于2020年12月推出了自研的首款產(chǎn)品“玲瓏” i3/i5 ISP處理器,。根據(jù)前期的市場反饋,，“玲瓏”i3/i5 ISP 處理器在寬動態(tài)處理效果和信噪比處理水平方面表現(xiàn)較好。依托數(shù)字寬動態(tài)與融合寬動態(tài)結(jié)合的算法技術(shù),，“玲瓏” i3/i5 ISP 處理器達到了像素級的局部寬動態(tài)自適應(yīng)提升,，并采用多尺度、多級降噪技術(shù),，以支持 2D/3D 自適應(yīng)降噪,，達到更好的信噪比表現(xiàn)。
除了IP廠商,，芯片廠商也在加碼自研ISP,，目的是進一步提升圖像效果,，樹立品牌的差異化特點。比如酷芯微電子,，在其AI視覺芯片中就采用了自研的ISP和NPU,。其自主研發(fā)的ISP在2D降噪、3D降噪,、HDR,、去霧、EIS等各方面都進行了優(yōu)化,。
黑芝麻也推出了自研的車規(guī)級圖像處理器NeuralIQ ISP,，可支持12路高清相機接入，單芯片每秒可處理15億像素圖像,，可以支持多路攝像頭并行實時地處理。
車載ISP創(chuàng)新方向,？
不論是獨立ISP,，還是ISP集成于SoC或ISP+圖像傳感器，每種技術(shù)路線的廠商都在爭奪ISP的制高點,。
有業(yè)內(nèi)人士認(rèn)為,，ISP的增長是確定的，更符合產(chǎn)業(yè)需求和用戶需求的ISP芯片,，應(yīng)該具備三大特征：
從供應(yīng)鏈層面滿足需求,，具有應(yīng)對不確定性的彈性，一方面要包含差異化的軟硬件基礎(chǔ),，另一方面要更注重本土自研的創(chuàng)新,。
更高的性能。滿足自動駕駛對圖像畫質(zhì)更高精度的需求,，比如捕捉非常大的視覺動態(tài)范圍,，并且比人眼更精準(zhǔn)地識別暗處和明亮的圖像細(xì)節(jié)，以保證行車及路人的安全,。
更低的功耗,。耗電、發(fā)熱等問題可能會影響整體部署成本和用戶體驗,，這就要求ISP的創(chuàng)新不能以能效為代價,，要更好地滿足實現(xiàn)自動駕駛過程中的現(xiàn)實需要。
寫在最后
ADAS及自動駕駛的視覺感知競爭正在進入縱深階段,，這其中,，高像素攝像頭已經(jīng)成為趨勢，而關(guān)乎圖像處理質(zhì)量的ISP已經(jīng)成為競爭高地,。
由于攝像頭在智能化,、分辨率,、幀率等方面要求越來越高，智能攝像頭除了包含基本的CPU,，更多地使用ISP和ML加速器將成為常態(tài),。性能強大的ISP處理器，將有助于提升自動駕駛產(chǎn)業(yè)鏈的智能化水平,。
基本可以判定的是,，低端市場可能會沿用原有架構(gòu)的產(chǎn)品，但專用處理ISP和ML加速器可能會被越來越多地使用,，因為要實現(xiàn)高效的系統(tǒng)設(shè)計,，為數(shù)據(jù)類型和處理匹配相應(yīng)的 ISP非常重要。
ISP對于汽車視覺具有重要意義,，隨著技術(shù)的演進,，一些最新的 ADAS 應(yīng)用，都將對車載圖像處理提出更高要求,，一方面是高質(zhì)量的圖像獲取,，另一方面是對圖像的快速處理和分析，這就使得越來越多的 ADAS 芯片需要通過ISP對畫面進行多重曝光處理,、去噪與合成,。而隨著每輛汽車攝像頭數(shù)量的增加以及傳感器融合技術(shù)變得越來越智能，功能強勁的ISP 將會變得越來越重要,。
更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<
