ISP（Image Signal Processor,，圖像處理器）是手機芯片系統(tǒng)中的重要組成部分，負責圖像處理部分,。隨著智能手機市場的發(fā)展,，我們正在看到越來越多的手機廠商在自研ISP。國外的重要手機廠商中,，蘋果和三星一直在使用自研的ISP芯片模組,，而谷歌再其Pixel系列手機中也用上了帶有眾多實驗特性的自研ISP,；而在中國的手機廠商中，我們也在看到越來越多的公司加入自研ISP的隊列,。華為作為中國手機市場技術的領頭羊,，其自研ISP早已落地在自己的手機系列中；此外,，近些年來積極開發(fā)芯片的Oppo和Vivo也有消息正在自研ISP,。最近，小米也加入了自研ISP的行列,，可見無論是在國外還是國內(nèi),，手機廠商自研ISP正在成為主流。
為何手機廠商要自研ISP,？
手機廠商自研ISP的最根本原因還是照相系統(tǒng)在手機中是一個極其重要的組成部分,，同時拍照質(zhì)量也是決定手機消費者體驗的一個極重要的參數(shù)。每年的新手機發(fā)布會上,，幾乎都離不開照相圖像質(zhì)量相關的內(nèi)容,，而ISP則很大程度上決定了圖像質(zhì)量。
具體來說,，在手機的照相系統(tǒng)中,，圖像傳感器（CIS）負責提供原始圖像，通常是RGGB RAW圖像,。該原始圖像和用戶看到的最終圖像相差甚遠,，而需要大量的后續(xù)處理，這些處理通常包括自動白平衡,，去噪,，tone mapping等等，而不同的ISP將直接決定最終圖像質(zhì)量,。一般來說,，無論是使用自研的ISP還是使用第三方提供的ISP，在使用在手機上的時候都需要經(jīng)過大量的參數(shù)調(diào)整,，即根據(jù)圖像傳感器和主要應用場景,，需要工程師去仔細調(diào)整ISP各個處理的參數(shù)甚至是算法，才能確保圖像質(zhì)量達到最優(yōu),。顯然,，如果是手機廠商自研ISP，則可以更好地根據(jù)手機的目標應用場景和CIS等來實現(xiàn)協(xié)同設計,，其最終的圖像質(zhì)量效果往往會好過使用第三方ISP然后再去調(diào)整ISP參數(shù),。
不同ISP參數(shù)對于圖像質(zhì)量影響巨大
另外，我們看到在手機應用中，拍照的應用場景正在越來越多,。除了傳統(tǒng)的拍照之外,，隨著直播,、抖音等應用的普及,，越來越多的用戶正在成為這類視頻應用的創(chuàng)作者，而這就讓越來越多的用戶對于圖像質(zhì)量有更高的需求,。此外,，在谷歌、蘋果等公司都在力推的AR應用中,，通常的使用方式都是用戶使用手機的照相機去拍攝真實世界的實時圖像,，而AR應用則把虛擬物件渲染疊加在真實世界的圖像上。例如,，目前地圖類應用中得到應用的AR導航就是把路線指示疊加在用戶實時拍攝的真實世界圖像中,，從而以一種更直觀的方式完成導航。隨著AR應用得到更多應用,，我們認為拍照也在獲得更多的使用時長,，因此對于ISP的功能、延遲和功耗等都提出了一定需求,。為了能在越來越多的拍照應用中實現(xiàn)差異化,，手機廠商自研ISP也是順理成章。
最后,，研發(fā)ISP芯片可以說是手機廠商自研芯片路線圖中的一個重要里程碑,。對于想要自研芯片的手機廠商來說，ISP是一個極好的起步點：它的重要性高,，一個好的ISP能幫助手機實現(xiàn)更好的拍照質(zhì)量從而與其他手機實現(xiàn)差異化,；另一方面，它的開發(fā)難度相比modem等模塊來說又較為簡單,，在可以將越來越多芯片設計環(huán)節(jié)外包的今天,，我們認為手機廠商開發(fā)ISP芯片無論是投入還是風險都比較小。因此,，ISP可以說是投入和風險較小,，而潛在的回報又較大，因此很適合作為想要自研芯片的手機廠商的第一個芯片模組,。
ISP的技術發(fā)展方向
ISP目前正在經(jīng)歷一個新的技術革新期,，而這個技術革新的主要動力來自計算機視覺技術的新發(fā)展以及計算機視覺技術的新需求。我們將對這兩個方向分別分析,。
首先,，計算機視覺技術在這幾年革新很快：隨著機器學習技術和計算機視覺技術的結(jié)合，在這幾年中，我們看到了許多基于機器學習的算法正在取代傳統(tǒng)的機器視覺技術,。舉例來說,，基于機器學習算法的超分辨、去噪,、低光照場景圖像增強等都取得了遠超傳統(tǒng)機器視覺算法的效果,，而在未來幾年我們預計還將看到更多類似的新計算機視覺技術更新。因此,，我們認為基于機器學習的算法會越來越多地進入手機的照相系統(tǒng)中,，而這也會影響ISP芯片模組的設計。例如,，之前許多ISP算法都是固化的算法模塊,，不同的環(huán)節(jié)擁有不同的計算邏輯和電路；而隨著基于神經(jīng)網(wǎng)絡的機器學習算法逐漸取代傳統(tǒng)的ISP算法,，我們可望看到在ISP中也會有越來越多的神經(jīng)網(wǎng)絡加速模塊——這些神經(jīng)網(wǎng)絡加速模塊根據(jù)具體設計可能會成為ISP中專用的模塊,，也可以作為手機整體AI加速器的一部分，在ISP有需求的時候來完成相應的算法加速,。
另外,，新的計算機視覺技術對于ISP也有新的需求。我們看到計算機視覺算法越來越多進入手機和下一代智能設備——例如VR設備中就有基于這類算法的手部追蹤來完成人機交互,，而這些算法算法對于圖像質(zhì)量的需求往往和人眼對于圖像質(zhì)量的需求不盡相同,，例如算法需要的圖像分辨率常常在400x400以下，對于許多細節(jié)的噪聲等也不是很敏感,；而另一方面這些基于計算機是覺得應用常常需要照相系統(tǒng)長時間打開（而不像傳統(tǒng)用戶主導的拍照通常只會開啟很短時間）,。因此，對于這些應用來說,，我們更希望ISP能在滿足算法對基本圖像質(zhì)量需求的同時,，盡可能減少功耗，從而能滿足智能設備散熱以及電池使用時間的要求,。類似的設計往往還需要結(jié)合一些圖像傳感器的特殊特性來設計——例如使用某些算法需要直接使用圖像傳感器的低幀率低分辨率模式,，從而實現(xiàn)能效比的最優(yōu)化。
因此,，我們認為ISP技術將在未來幾年內(nèi)有較大的演進,，因此現(xiàn)在是手機廠商開始自研ISP的一個很好時間節(jié)點。
ISP市場將如何變化,？
目前ISP芯片模組供應商中,，除了蘋果等自研廠商之外，其余的供應商大致可以分為幾類,。首先是高通這類的SoC供應商在其SoC中已經(jīng)包括了ISP進行打包銷售,，但是ISP不會單獨銷售,。另一類是提供ISP IP授權的供應商，例如ARM和芯原等等,。還有介于這兩類之間的設計服務提供商,，例如Socionext等，他們擁有ISP模組設計,，而客戶可以根據(jù)需求去對這些ISP模組進行部分定制并集成在其整體芯片方案中,。
隨著越來越多公司開始自研ISP，我們認為設計服務提供商可能將會從中受益,。首先,，對于初次自研ISP的廠商來說,，從設計服務提供商的參考ISP設計出發(fā),，在這個基礎上加入一些定制化的特性將會是一種不錯的方式。此外,，無論是否要使用設計服務提供商的參考方案,，廠商自研ISP通常都需要設計服務商提供的物理設計等服務，而這都有利于設計服務提供商,。
對于ISP的IP提供商以及SoC整體供應商來說,，手機廠商開始自研ISP意味著自己的客戶正在開始與自己競爭，如果要繼續(xù)保持出貨量則可能需要在性能上做到提升,，同時在價格上則可能要有更多讓步,。對于高通這樣的SoC供應商來說，小米和Oppo等自研ISP的手機廠商仍然需要使用高通的SoC來實現(xiàn)主要功能,，因此如何利用這一點來部分抵消客戶自研ISP的影響將成為重要的課題,。