最近,有消息稱字節(jié)在研某款 AI 智能眼鏡正在考慮采用恒玄 2800 + 研極微的 ISP 芯片方案(但這不代表是最終方案),。
對(duì)于AI眼鏡來說,,SoC的選擇往往決定了產(chǎn)品的體驗(yàn)上限,,比如Meta-Rayban 采用的是高通AR1的芯片方案,。但實(shí)際上,,為了滿足AI智能眼鏡拍攝的功能需求,,則還需要外掛一塊 ISP 芯片,。
其實(shí),越來越多的廠商在開卷ISP芯片,,并且在AI的需求下,,很多芯片企業(yè)開始推出AI ISP芯片。
ISP芯片,,開始被重視
ISP芯片不是一個(gè)新鮮事物,。
ISP是Image Signal Processor的簡稱,即圖像信號(hào)處理器,。主要用于對(duì)圖像傳感器采集到的原始圖像信號(hào)進(jìn)行處理,。
在圖像處理這塊,大家更熟知的是CMOS圖像傳感器,。CIS芯片功能相當(dāng)于人類的視網(wǎng)膜,,用來捕捉光線。而ISP,,相當(dāng)于大腦皮層中對(duì)應(yīng)視覺處理的那一部分,,用于處理圖像。CIS和ISP湊在一起完成視覺感知的任務(wù),。
2021年有一陣手機(jī)廠商自研芯片潮,,都不約而同的選擇了ISP芯片。
vivo在2021年9月推出了自研獨(dú)立ISP芯片V1,,到目前已經(jīng)推出了三代ISP芯片,;小米推出了ISP澎湃C1,與小米MIX FOLD折疊屏手機(jī)同時(shí)發(fā)布,。
都選擇自研ISP芯片,,正是因?yàn)镮SP對(duì)于圖像改善的影響非常大。在同等CMOS的條件下,,好的ISP芯片對(duì)圖像質(zhì)量的改善空間可達(dá) 10%~15%,。
ISP芯片越來越被重視,與AI硬件的發(fā)展,,尤其是AI眼鏡離不開關(guān)系,。
需要了解的是,ISP 芯片分為集成和獨(dú)立兩種,。集成ISP是指將ISP集成在SoC處理器中,,比如高通驍龍系列、英偉達(dá) Tegra 系列處理器內(nèi)部都集成有ISP 芯片,。
獨(dú)立ISP芯片則是獨(dú)立于SoC處理器而存在的,,也就是外掛形式。雖然成本更高,,但優(yōu)勢(shì)明顯,。除了運(yùn)算能力、成像質(zhì)量更優(yōu)秀外,,因 ISP 帶有可編程性,,一般的獨(dú)立 ISP 芯片都是手機(jī)商向 ISP 提供商定制的,所以與相機(jī)其他組件的契合度更佳,,成像也有屬于自己的特色,。
前文提到AI眼鏡中,使用最多的是高通AR1芯片,,其早就已經(jīng)實(shí)現(xiàn)手機(jī)級(jí)別的ISP,。從已經(jīng)流出的產(chǎn)品配置信息來看,,小米AI眼鏡也是采用驍龍AR1雙ISP芯片+索尼IMX681傳感器的組合。
但高通AR1芯片的價(jià)格還是太高了?,F(xiàn)在,,廠商在評(píng)估AI眼鏡時(shí),以恒玄為代表的MCU外加MTK或ISP也是一個(gè)不錯(cuò)的方案,。外掛ISP 芯片的方案,,相比于高通 AR1 芯片具備高性價(jià)比,低功耗長續(xù)航的特點(diǎn),。
并且,,XR Vision Pro報(bào)道,調(diào)校ISP芯片也可以達(dá)到接近于高通AR1實(shí)現(xiàn)的拍攝效果,,該方案的成本是高通 AR1 芯片方案的幾分之一,,整體 AI 智能眼鏡的BOM成本可以控制在千元以內(nèi),產(chǎn)品零售價(jià)可以做到 1500 以內(nèi),。
影目科技X系列和閃極AI“拍拍鏡”AI眼鏡都搭載了紫光展銳W517芯片,;雷神科技的AI眼鏡采用了多種技術(shù)路線,其中也包括MCU級(jí)SoC+ISP方案等,。整體來看,,MCU級(jí)SoC+ISP方案可能更受到一些新興廠商青睞。
一位熟悉產(chǎn)業(yè)鏈上下游的投資人透露,,預(yù)計(jì)今年年底恒玄會(huì)推出主控芯片加上ISP集成的SoC,,這套方案的價(jià)格更便宜,功耗也能控制得更好,,會(huì)比AR1更適合用在AI眼鏡上,,華為就在等這套方案。
都有誰在做ISP芯片?
帶上鏡頭的AI眼鏡,,需要大量的圖片計(jì)算,,所有這也是ISP暴漲的主要原因。
我們細(xì)數(shù)國內(nèi)ISP企業(yè),,各家有各家的看點(diǎn),。
先看海思,海思的芯片實(shí)力很強(qiáng),,一般做的是集成ISP,。從麒麟950開始,海思的SoC芯片中開始集成自研的ISP模塊,。以Hi3559A為例,,我們可以看一下其ISP整體的結(jié)構(gòu)。
3559A是一個(gè)通用ISP,所以功能很全,,如果用FPGA去實(shí)現(xiàn)這些,,估計(jì)沒有幾個(gè)能做出來,ISP的特殊點(diǎn)就是針對(duì)不同的鏡頭,、環(huán)境,、Sensor等不同去調(diào)整需要實(shí)現(xiàn)的算法。
在ISP芯片方面,,因?yàn)橹悄苁謾C(jī)對(duì)于成像要求越來越高,高通和聯(lián)發(fā)科的ISP實(shí)力也是很強(qiáng)的,。國內(nèi)有一家企業(yè)與聯(lián)發(fā)科關(guān)系匪淺,,專門做的是ISP芯片,那就是星宸科技,。
星宸科技的ISP芯片廣泛應(yīng)用于智能安防,、智能車載、視頻對(duì)講等領(lǐng)域,,其產(chǎn)品線豐富,,涵蓋了IPC SoC(網(wǎng)絡(luò)攝像機(jī)芯片)、NVR SoC(網(wǎng)絡(luò)視頻錄像機(jī)芯片)以及USB視頻會(huì)議攝像頭芯片等,。
星宸科技的第一大股東是SigmaStar,,而SigmaStar由聯(lián)發(fā)科間接持股100%。因此,,星宸科技的控股股東是聯(lián)發(fā)科,。雖然聯(lián)發(fā)科已明確表示不謀求星宸科技的控制權(quán),但是星宸科技的多名管理層及核心技術(shù)人員出自聯(lián)發(fā)科系統(tǒng),,例如董事陳恒真,、監(jiān)事蔡秉憲等曾在聯(lián)發(fā)科任職。
現(xiàn)在星宸科技在智能眼鏡里的進(jìn)展也很快,,據(jù)了解,,其智能眼鏡芯片 SSC309QL 正與多家品牌客戶對(duì)接測(cè)試,集成了自研的ISP 4.0 及 NPU,,在視覺處理和各類多態(tài)大模型的適配上提升比較大,。
富瀚微的ISP產(chǎn)品主要應(yīng)用在安防監(jiān)控、車載攝像頭等,。CES2025上發(fā)布了智能眼鏡芯片MC6350,。其中集成了富瀚微自研的AI ISP,在暗光下表現(xiàn)不錯(cuò),,解決目前主流智能眼鏡產(chǎn)品在暗光下拍攝效果不佳的問題,。
當(dāng)然也有前文提到的恒玄科技,恒玄科技ISP 芯片主要特點(diǎn)是能夠與音頻處理技術(shù)緊密結(jié)合,,其在研智能眼鏡專用 SoC 項(xiàng)目,,主打單芯片集成低功耗 ISP 技術(shù),。
擅長暗光環(huán)境的AI ISP興起
AI ISP的核心在于,將人工智能算法與ISP技術(shù)深度融合,。
通過集成深度學(xué)習(xí),、機(jī)器學(xué)習(xí)等AI算法,AI ISP能夠?qū)崿F(xiàn)對(duì)圖像內(nèi)容的智能分析和處理,,如物體識(shí)別,、人臉檢測(cè)、場(chǎng)景分類等,。
AI ISP的市場(chǎng)還是很大的,。據(jù)市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè),全球ISP芯片市場(chǎng)銷售額將從2023年的6.65億美元增長至2030年的10.2億美元,,年復(fù)合增長率達(dá)到6.4%,。
目前來看,AI ISP的應(yīng)用更多的是在低光成像(AINR)方面,。AI ISP能夠?qū)崿F(xiàn)在信噪比(SNR)上6~12dB的顯著提升,。當(dāng)同等硬件條件下,AI-ISP與傳統(tǒng)ISP的比較顯示,,AI-ISP不僅提高了畫質(zhì)性能,,而且在成本效益上也表現(xiàn)出巨大的優(yōu)勢(shì)。
AI ISP的結(jié)合是有企業(yè)走在前面的,,華為海思2021年就推出了“越影AI ISP”,,把傳統(tǒng)ISP技術(shù)與AI深度學(xué)習(xí)相結(jié)合,相比上一代旗艦ISP,,低照?qǐng)鼍跋碌膱D像信噪比提升了4倍,。
全志科技在財(cái)報(bào)中表示,在視覺類應(yīng)用的低光場(chǎng)景下,,為解決低光拍攝和錄制問題,,研發(fā)了全新一代AI-ISP降噪算法,配合深度優(yōu)化的軟件,,實(shí)現(xiàn)AI降噪功能的高效運(yùn)行,,并在相同信噪比情況下,實(shí)現(xiàn)2~4倍感光度提升,,同時(shí)搭配了人臉檢測(cè),、人形偵測(cè)、人臉識(shí)別,、人形追蹤等檢測(cè)類和識(shí)別算法應(yīng)用,,在客戶的產(chǎn)品上實(shí)現(xiàn)了量產(chǎn)落地。
全志科技的AI ISP技術(shù)已經(jīng)應(yīng)用于其多款芯片產(chǎn)品中,如高集成視覺SoC,、智慧視覺處理器等,。這些產(chǎn)品廣泛應(yīng)用于智能電視、智能安防,、智能車載等多個(gè)領(lǐng)域,,為用戶提供高質(zhì)量的圖像處理體驗(yàn)。
國科微新一代4K AI視覺處理芯片GK7606V1系列,,也是搭載的自研AI ISP,。測(cè)試結(jié)果顯示,國科微 AI ISP 技術(shù)能夠極低照度的黑光場(chǎng)景下,,對(duì)圖像進(jìn)行全方位的優(yōu)化和增強(qiáng),,使得圖像更加清晰、細(xì)膩,,色彩更加生動(dòng)飽和。
愛芯元智此前也公布了其AI-ISP技術(shù),,并將其命名為“愛芯智眸”,。愛芯元智公司的AI ISP采用了混合精度、存算一體的架構(gòu)設(shè)計(jì),,使得在有限的功耗下仍能達(dá)到高算力,。與傳統(tǒng)圖像處理相比,AI ISP能夠?qū)崿F(xiàn)多種算法并行工作,,尤其在去噪,、差值和銳化等方面的表現(xiàn)更加自然、問題更少,。
飛凌微(思特威子公司)發(fā)布的AIoT應(yīng)用系列首款高性能端側(cè)視覺AI SoC芯片A1,,其中也集成自研的AI ISP部分,覆蓋0.3MP至8MP分辨率,。其優(yōu)點(diǎn)在于:高性能暗光降噪和圖像增強(qiáng)算法,、最多3幀HDR合成、高分辨率RGB-IR圖像處理等,。
結(jié)語
隨著人工智能技術(shù)的飛速發(fā)展,,AI ISP芯片正逐漸成為國內(nèi)芯片廠商的新焦點(diǎn)。
從華為海思的“越影AI ISP”到愛芯元智的“愛芯智眸”,,再到國科微的4K AI視覺處理芯片,。AI ISP芯片在智能手機(jī)、安防監(jiān)控,、智能駕駛等領(lǐng)域展現(xiàn)出強(qiáng)大的性能和應(yīng)用潛力,。
雖然當(dāng)前的AI-ISP技術(shù)已經(jīng)實(shí)現(xiàn)了顯著的進(jìn)步,不斷推高了畫質(zhì)處理的邊界,但用戶對(duì)畫質(zhì)的渴望似乎總是無窮無盡的,。特別是在經(jīng)濟(jì)因素的影響下,,基于卷積網(wǎng)絡(luò)的AI-ISP技術(shù)仍未能完全滿足所有客戶的多樣化需求。
特別是那些非技術(shù)領(lǐng)域的消費(fèi)者,,他們對(duì)AI技術(shù)抱有更高的期望,,希望它能帶來質(zhì)的飛躍和更為顯著的畫質(zhì)提升,這也反映了大眾對(duì)于新技術(shù)盛大承諾的渴望和好奇心,。
展望未來,,AI-ISP技術(shù)發(fā)展面臨三點(diǎn)潛在的機(jī)遇:第一,用戶對(duì)畫質(zhì)的不斷追求,,意味著對(duì)更高標(biāo)準(zhǔn)的AI-ISP解決方案有持續(xù)的需求,。第二,隨著相關(guān)技術(shù)領(lǐng)域的進(jìn)步,,比如AR,,VR,顯示技術(shù),,自動(dòng)駕駛等,,將會(huì)帶來新的畫質(zhì)上限提升需求,促進(jìn)AI-ISP技術(shù)的進(jìn)一步革新,。第三,,AI-ISP所引領(lǐng)的技術(shù)難度降低和成本的下降,可能為更廣泛的應(yīng)用提供了可能性,,從而開拓新的市場(chǎng)和應(yīng)用場(chǎng)景,。