首先是自動(dòng)駕駛/輔助駕駛領(lǐng)域,。機(jī)器視覺是自動(dòng)駕駛/輔助駕駛的支柱技術(shù),，如果沒有機(jī)器視覺那么這些新的智能駕駛技術(shù)恐怕都很難成功。在自動(dòng)駕駛/輔助駕駛領(lǐng)域,，ISP扮演著重要的角色,。ISP負(fù)責(zé)把原始影像（RAW Image）作相應(yīng)處理，使之成為能夠更好地被機(jī)器視覺模型處理的圖像,。在這個(gè)過程中,，為了確保自動(dòng)駕駛/輔助駕駛技術(shù)的可靠性，需要確保在低光照等情況下機(jī)器視覺模型也能正確工作,，這就需要ISP能對(duì)于圖像做夜視和降噪處理,。傳統(tǒng)上可以通過提高曝光時(shí)間來降低噪聲的影響,，然而對(duì)于自動(dòng)駕駛/輔助駕駛這類對(duì)于延遲非常敏感的場(chǎng)景,，提高曝光時(shí)間并非一個(gè)有用的選項(xiàng)，這就需要ISP能夠使用下一代降噪和夜視技術(shù)來滿足相應(yīng)的需求,。

　　在自動(dòng)駕駛/輔助駕駛之外,，安防也是對(duì)于ISP技術(shù)有新需求的新智能場(chǎng)景。安防場(chǎng)景中,，也需要處理各種低光照等場(chǎng)景,，為了確保成像質(zhì)量不受影響，也需要ISP能很好地處理這些場(chǎng)景,，從而確保安防監(jiān)控能真正在所有時(shí)間段和所有場(chǎng)景下都能提供保護(hù),。

　　最后，在多媒體場(chǎng)景下（如手機(jī)等）,，拍攝也在越來越智能化,，用戶對(duì)于拍攝成像質(zhì)量的需求也在逐漸提升，除了和前述相似的夜景拍攝之外,，還有各種智能化的需求,，包括自動(dòng)場(chǎng)景識(shí)別（從而能夠根據(jù)場(chǎng)景自動(dòng)調(diào)用最佳的傳感器設(shè)定），自動(dòng)人臉檢測(cè)（從而確保自動(dòng)曝光和對(duì)焦等算法的準(zhǔn)確性）,，超分辨（從而實(shí)現(xiàn)更好的遠(yuǎn)距離拍攝）等等,。這些都要么需要對(duì)原有的ISP功能做改進(jìn)，要么就是需要ISP引入新的功能,，從而確保用戶體驗(yàn),。

　　人工智能能解決ISP的技術(shù)挑戰(zhàn)

　　在前述的智能化應(yīng)用中，事實(shí)上使用新一代的人工智能神經(jīng)網(wǎng)絡(luò)往往是夜視,、場(chǎng)景識(shí)別,、人臉檢測(cè),、超分辨等的最佳解決方案。

　　從夜視降噪來說,，目前的最優(yōu)解決方案就是使用神經(jīng)網(wǎng)絡(luò)來完成降噪,。由于噪聲是一個(gè)隨機(jī)過程，因此很難有解析的公式來完成降噪,；而是用神經(jīng)網(wǎng)絡(luò)則可以通過收集大量的同一個(gè)場(chǎng)景的低光照／高光照照片對(duì)來實(shí)現(xiàn)訓(xùn)練,，確保神經(jīng)網(wǎng)絡(luò)能在訓(xùn)練數(shù)據(jù)集上能夠?qū)⒌凸庹照掌瑪M合到高光照照片上，這樣當(dāng)訓(xùn)練數(shù)據(jù)量足夠大的時(shí)候,，該神經(jīng)網(wǎng)絡(luò)就能夠有很好的泛化能力,，從而在所有的場(chǎng)景下都能夠完成夜視降噪。如下圖所示,，右邊使用人工智能神經(jīng)網(wǎng)絡(luò)的解決方案效果遠(yuǎn)遠(yuǎn)好于傳統(tǒng)ISP的夜視降噪方案,。

　　除了夜視降噪之外，超分辨是人工智能另一個(gè)有顯著優(yōu)勢(shì)的場(chǎng)景,。超分辨和夜視降噪一樣,，很難對(duì)于整個(gè)問題做數(shù)學(xué)上的建模，但是通過大量數(shù)據(jù)的學(xué)習(xí),，神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)非常好的超分辨效果,，其效果遠(yuǎn)遠(yuǎn)超過普通的數(shù)字變焦，從而可以以較低的硬件成本（無需高倍鏡頭）就能實(shí)現(xiàn)很好的用戶體驗(yàn),。

　　最后,，對(duì)于場(chǎng)景識(shí)別、人臉檢測(cè)等功能來說,，本來人工智能就已經(jīng)在這類場(chǎng)景得到大量的廣泛應(yīng)用,，因此把相關(guān)的模型使用到ISP相關(guān)的領(lǐng)域，讓ISP來根據(jù)模型的輸出來做相關(guān)的拍攝參數(shù)調(diào)整,，也是自然不過的選擇,。值得注意的是，場(chǎng)景識(shí)別和人臉檢測(cè)使用神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度會(huì)比使用其他傳統(tǒng)方法高許多（判斷錯(cuò)誤的概率甚至可以低一個(gè)數(shù)量級(jí)）,，因此未來使用人工智能也是自然的方向,。

　　人工智能與ISP的整合

　　回到芯片設(shè)計(jì)的角度，為了在ISP中加入人工智能的元素,，就需要對(duì)于ISP做相應(yīng)的調(diào)整,，來和人工智能做整合。

　　眾所周知,，這一代的基于神經(jīng)網(wǎng)絡(luò)的人工智能的一個(gè)重要特點(diǎn)是神經(jīng)網(wǎng)絡(luò)參數(shù)多,，計(jì)算量大，因此為了滿足ISP的相關(guān)需求,，需要能有一個(gè)能高效處理人工智能計(jì)算的相應(yīng)模塊（AI引擎）來滿足ISP的需求,。同時(shí)需要注意的是,，由于ISP對(duì)于延遲和功耗都有需求，因此AI引擎也必須考慮這兩方面的因素,。

　　為此,，有兩種不同的ISP整合人工智能解決方案。第一種方案是把ISP和AI引擎整合到一起,，在同一個(gè)IP模塊里面,。這樣做的好處在于ISP和AI引擎耦合度較高，因此能夠通過ISP和AI引擎的協(xié)同優(yōu)化來實(shí)現(xiàn)較高的延遲和功耗,。舉例來說,，ISP往往是一個(gè)流水線，處理像素的時(shí)候也是分批處理（而不會(huì)一直是等到所有像素都傳到之后再處理）,；另一方面,，基于卷積神經(jīng)網(wǎng)絡(luò)的AI模型也可以利用類似的流水線特性，將像素分批處理,。通過將ISP和AI引擎深度整合在一起,，就可以協(xié)同設(shè)計(jì)這樣的流水線，從而實(shí)現(xiàn)更好的延遲,。另外,，神經(jīng)網(wǎng)絡(luò)和ISP事實(shí)上對(duì)于DRAM訪問都有很高的需求,，如果能夠?qū)SP和AI引擎通過深度整合來協(xié)同優(yōu)化內(nèi)存訪問的調(diào)度,，從而確保兩者不會(huì)同時(shí)大量訪問內(nèi)存，將會(huì)大大減少對(duì)于DRAM帶寬的壓力,。然而,，這樣設(shè)計(jì)的問題在于AI引擎只能被ISP調(diào)用，因此如果ISP不工作的時(shí)候,，AI引擎事實(shí)上就不會(huì)被打開,，從而就有了dark silicon（芯片面積浪費(fèi)）的問題；另外ISP和AI引擎的協(xié)同設(shè)計(jì)很多時(shí)候是假設(shè)AI引擎會(huì)跑幾個(gè)固定的模型,，如果想要更新模型的話類似的硬件上固化的設(shè)計(jì)就不再是最優(yōu)的了,。

　　除了深度整合之后，另一種設(shè)計(jì)思路是將ISP和AI引擎分開,，但是確保ISP可以AI引擎之間有順暢的數(shù)據(jù)通路,，同時(shí)確保ISP有高優(yōu)先級(jí)調(diào)用AI引擎。這樣的好處是AI引擎不會(huì)被浪費(fèi),，就是ISP不啟動(dòng)的時(shí)候也可以給其他應(yīng)用調(diào)用,；另外可以靈活配置使用在AI引擎中的模型，從而讓ISP中使用的神經(jīng)網(wǎng)絡(luò)模型可以使用軟件控制,。當(dāng)然,，由于ISP和AI引擎耦合度較低,，這樣也較難深度地為ISP和AI引擎做協(xié)同優(yōu)化，從而在延遲和能效比方面將會(huì)有一定成本,。

　　我們認(rèn)為,，在這兩種整合模式中，如果目標(biāo)產(chǎn)品本身就是一塊ISP芯片,，那么顯然第一種整合方式是最合理的,，因?yàn)镮SP芯片的首要目標(biāo)就是高性能高能效比，而且其AI引擎本來就不會(huì)被系統(tǒng)中的其它模塊所調(diào)用,。另一方面,，如果目標(biāo)產(chǎn)品是ISP IP的話，那么兩種整合方式都有其合理性,，對(duì)于追求性能的高端ISP IP,，我們認(rèn)為更有可能會(huì)在ISP中集成一個(gè)較為強(qiáng)力的AI引擎，確保高性能高能效比,；對(duì)于中端的ISP IP,，未來的方向可能是在ISP IP中整合進(jìn)一個(gè)較為基本的AI引擎，來確?；镜南嚓P(guān)模型可以運(yùn)行,，同時(shí)也會(huì)在ISP上留夠接口，使得ISP能通過片內(nèi)互聯(lián)的方式來訪問SoC上的其他AI引擎,，從而如果需要運(yùn)行較大的模型時(shí)候可以使用其他的AI引擎實(shí)現(xiàn),。

　　AI ISP在芯片業(yè)界已經(jīng)漸成主流

　　AI ISP事實(shí)上已經(jīng)得到了半導(dǎo)體業(yè)界的重視，相關(guān)的產(chǎn)品已經(jīng)漸漸問世,。

　　去年年底,，海思就宣布推出了下一代用于安放場(chǎng)景的越影ISP芯片，其主要的亮點(diǎn)就是通過與AI引擎的深度整合,，實(shí)現(xiàn)夜視降噪的高效處理,。同樣是在去年，Oppo發(fā)布了自研的馬里亞納ISP芯片,，其主要特點(diǎn)也是通過整合高達(dá)18TOPS算力的AI引擎,，從而實(shí)現(xiàn)4K影像的實(shí)時(shí)夜視降噪，從而為手機(jī)用戶帶來全新的用戶體驗(yàn),。

　　在今年,，也有越來越多的廠商推出了AI ISP。今年年初,，安霸在CES上發(fā)布了AISP,，該產(chǎn)品充分利用了安霸在圖像和AI領(lǐng)域的積累，從而實(shí)現(xiàn)高效的下一代ISP,；上個(gè)月,，芯原也推出了AI-ISP的IP,，同樣是針對(duì)夜視降噪場(chǎng)景；愛芯元智的愛芯智眸AI-ISP也正式發(fā)布,，通過將ISP中的幾個(gè)關(guān)鍵硬件模塊抽離并用AI算法取而代之,，實(shí)現(xiàn)整個(gè)AI ISP的最佳效果。

　　如前所述,，隨著自動(dòng)駕駛/輔助駕駛,、安防、消費(fèi)電子的進(jìn)一步智能化,，相應(yīng)的對(duì)于ISP的需求正在推動(dòng)ISP和人工智能做整合,，而上述公司的新產(chǎn)品也恰好是針對(duì)了這些重要的應(yīng)用場(chǎng)景。我們認(rèn)為,，隨著智能化的進(jìn)一步加深,，AI將會(huì)成為ISP中越來越重要的一個(gè)環(huán)節(jié)，未來ISP芯片和IP中也會(huì)看到AI引擎的進(jìn)一步整合,。

　更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<