美國(guó)消費(fèi)電子協(xié)會(huì)首席經(jīng)濟(jì)學(xué)家肖恩,?杜布拉瓦茨在他那本《數(shù)字命運(yùn)》中提到了這樣一個(gè)觀點(diǎn):
數(shù)字技術(shù)和設(shè)備的蓬勃發(fā)展,,預(yù)示著一個(gè)人類新時(shí)代的開(kāi)始,。除了數(shù)字硬件的風(fēng)靡,人類未來(lái)十年的生活將以“全數(shù)字化”和“物聯(lián)網(wǎng)”為特色。數(shù)字化所帶來(lái)的數(shù)據(jù)浪潮將以聞所未聞的量級(jí)席卷我們的世界,滲透進(jìn)我們的生活,。
可不是,多數(shù)人想不到的我們一張自拍照的背后,,都在不斷融入數(shù)字化和AI,。
2017年谷歌在Pixel 2代手機(jī)上加入了自研AI單元,首次實(shí)踐“AI計(jì)算拍照”,。此后,,用AI改善拍照質(zhì)量似乎就成了手機(jī)廠商們的共識(shí)。
谷歌此舉甚至還在“倒逼”華為海思,、聯(lián)發(fā)科等廠商在最新的SoC硬件上提供AI組件,,方便手機(jī)廠商進(jìn)行AI相關(guān)的功能開(kāi)發(fā)。
一股芯片級(jí)AI相機(jī)的潮流席卷而來(lái),,不同流派、不同公司在標(biāo)準(zhǔn),、技術(shù)之間相互爭(zhēng)鳴,,共同推動(dòng)了技術(shù)的演進(jìn)。
一
AI相機(jī)流派
營(yíng)銷也好,,實(shí)打?qū)嵉倪M(jìn)步也好,,為了追趕AI這個(gè)概念,手機(jī)廠商,、處理器廠商都在打AI牌,。以至于芯片甚至在相機(jī)這個(gè)點(diǎn)上都在拼AI。不過(guò),,出于成本考量,,AI相機(jī)正在形成不同流派。
1,、APP算法加強(qiáng)派,。算法加強(qiáng)派只能算是營(yíng)銷噱頭,主要集中在千元機(jī)上,。
和美圖秀秀這類應(yīng)用通過(guò)算法修改圖片差不多,,可以理解為手機(jī)相機(jī)APP自帶算法調(diào)整功能,。紅米Note5、vivo X21這類市面上的“千元雙攝”大多用的是是這種方式,。
APP自帶算法調(diào)節(jié)的確可以讓照片增強(qiáng)對(duì)比度或是通過(guò)算法加強(qiáng)景深,。問(wèn)題在于,本身硬件有限,,芯片和攝像頭里都沒(méi)有專門的AI處理單元,,一到夜晚就會(huì)導(dǎo)致畫質(zhì)不佳,原圖成像不佳,,APP也很難有太大的作為,。
2、攝像頭+云計(jì)算派,,在攝像頭區(qū)域里有一顆專用圖像處理協(xié)處理器,。
即ImageProcessing Unit (IPU),專門用來(lái)結(jié)合云計(jì)算與算法集群處理AI拍照與視頻任務(wù),,谷歌Pixel 2就是最典型的案例,,這也是為什么Pixel 2單攝像頭就能搞定其他雙攝像頭背景虛化的主要原因。
這顆IPU是一顆可編程處理器,,共有8個(gè)核心,,每個(gè)核心有512算術(shù)邏輯單元(ALU)。在移動(dòng)設(shè)備上,,ALU每秒能進(jìn)行超過(guò)3萬(wàn)億次運(yùn)算,。ALU主要是用Halide來(lái)進(jìn)行圖像處理,用TensorFlow處理機(jī)器學(xué)習(xí),。
從營(yíng)銷的角度來(lái)看,,這套技術(shù)基本只有谷歌能用,能實(shí)現(xiàn)的功能及支持的第三方應(yīng)用有限,,須要搭載谷歌自研芯片也增加額外成本,,基本上只會(huì)被Pixel的極客用戶認(rèn)可。國(guó)產(chǎn)手機(jī)廠商的雙攝,、三攝,、四攝可以在直接觀感上征服用戶,何必用單攝,。
3,、芯片處理器派,也就是在芯片處理器中,,加入了一顆用于AI計(jì)算的芯片,。
華為、蘋果、三星接連在處理器中加入了獨(dú)立神經(jīng)網(wǎng)絡(luò)處理單元,,稱作為NPU——比如華為麒麟980,。
聯(lián)發(fā)科其實(shí)比高通、三星都走得更快一些,。早在2018年3月,,聯(lián)發(fā)科就改進(jìn)加強(qiáng)了AI硬件處理單元,將其稱之為APU,。當(dāng)時(shí)發(fā)布的Helio P60直接加入了雙核APU——也就是兩個(gè)獨(dú)立AI處理單元,。這樣的處理單元專門用于應(yīng)付拍照、視頻操作,。2018年底發(fā)布的Helio P90,,其中AI專核已升級(jí)為APU2.0,為手機(jī)提供了強(qiáng)大的邊緣AI算力,。
聯(lián)發(fā)科在這幾個(gè)派別的爭(zhēng)論中還提出了真AI相機(jī)的標(biāo)準(zhǔn),,實(shí)現(xiàn)芯片級(jí)的真AI相機(jī)——從圖像傳感器sensor尺寸、AI性能,、ISP技術(shù)三個(gè)維度為用戶打造真正的AI相機(jī),。
高通依舊執(zhí)著于CPU/GPU/DSP模式期間,聯(lián)發(fā)科已經(jīng)迭代了三代APU產(chǎn)品,,已經(jīng)在芯片中采用了提升AI性能,,改善用戶相機(jī)體驗(yàn)的策略。
在APU 2.0 架構(gòu)的支持下,,當(dāng)手機(jī)在多核多線程處理AI 任務(wù)時(shí),,手機(jī)反應(yīng)速度能更快、更省電,。AI運(yùn)算效率提升了,,功耗和所需的帶寬更少了。
二
芯片派的崛起
在2018年年末,,APP算法加強(qiáng)派基本已經(jīng)被主流手機(jī)廠商淘汰,至少是在旗艦機(jī)上淘汰,。攝像頭+云計(jì)算派太過(guò)小眾,,而且不適應(yīng)國(guó)內(nèi)營(yíng)銷環(huán)境,同樣沒(méi)能成為主流,。芯片處理器派則是躍升為了所有手機(jī)廠商的第一選擇,。
原因很簡(jiǎn)單,手機(jī)相機(jī)硬件,、用戶應(yīng)用需求以及相機(jī)自身玩法越來(lái)越多樣了,,很多問(wèn)題只能靠硬件來(lái)解決。
就像過(guò)去手機(jī)處理器“核戰(zhàn)”的年代,雙核,、四核,、八核、十核就是帶動(dòng)性能的最佳方式,。用AI芯片這種硬件思路面對(duì)所有用戶問(wèn)題,,同樣是最簡(jiǎn)單、最直接,、最干脆也最有效,,但也需要技術(shù)積累的作法。
1,、手機(jī)相機(jī)成像的整體升級(jí)
手機(jī)相機(jī)CMOS有個(gè)核心參數(shù),,是CMOS的整體尺寸,俗話說(shuō)“底大一級(jí)壓死”,,好的旗艦機(jī)Sensor像素尺寸≥1.55μm,,大底往往在暗光環(huán)境中可以捕捉到更多信號(hào),畫面更純凈,,噪點(diǎn)也更少,,夜晚表現(xiàn)往往非常突出。目前市場(chǎng)上符合這一標(biāo)準(zhǔn)的傳感器有MIX586,,MIX378,,MIX380等。
大底當(dāng)然也有壞處——它需要處理的數(shù)據(jù)更多,。過(guò)去原本做ISP影像處理的相機(jī)DSP在Sensor像素尺寸≥1.55μm的大底上就會(huì)顯得相對(duì)吃力,,容易導(dǎo)致相機(jī)發(fā)熱,功耗增加,。除非手機(jī)性能真的足夠強(qiáng)勁,,才能帶得動(dòng)≥1.55μm的大底。
(高通驍龍845的圖像處理策略)
未來(lái)≥1.55μm的大底必然是中高端手機(jī)的標(biāo)配,,想要施展人工智能的作用,,必須要有強(qiáng)大的AI性能支撐。同時(shí),,芯片上的ISP帶來(lái)強(qiáng)勁圖像處理能力可以提升畫質(zhì)表現(xiàn),。聯(lián)發(fā)科提出的“真AI相機(jī)”概念:CMOS Sensor傳感器像素≥1.55μm,AI性能跑分≥21000分,,Imagiq 三核ISP技術(shù),,三個(gè)指標(biāo)加持,才是“真AI相機(jī)”,,的確是保障手機(jī)AI相機(jī)的功能性和成像表現(xiàn)的基礎(chǔ),。
聯(lián)發(fā)科Helio P90的三核ISP技術(shù)帶來(lái)了強(qiáng)勁的圖像處理能力,,可以提升畫質(zhì)表現(xiàn),能夠輕而易舉帶動(dòng)≥1.55μm的大底,。所以你可以看到,,2018年年末,高通在驍龍720以及驍龍855上都加入了NPU模塊,,目的就是跟上行業(yè)潮流,。
2、短視頻,、直播創(chuàng)作的風(fēng)潮
短視頻,、直播的風(fēng)潮同樣在側(cè)面壯大了AI芯片派。2018年,,互聯(lián)網(wǎng)行業(yè)最熱的概念除了AI,,就是短視頻——抖音、快手,、微博,、微信都在加強(qiáng)短視頻功能。用戶通過(guò)短視頻創(chuàng)作內(nèi)容,、分享生活已經(jīng)成了一股潮流,。短視頻社交甚至也在成為巨頭們發(fā)力的方向。今日頭條推出了多閃,,微信則是在推出即刻視頻,。
不過(guò),我們不得不說(shuō),,現(xiàn)在大部分視頻都是“AV畫質(zhì)”,。不僅分辨率不夠高,畫面抖動(dòng)也太厲害,。原因就在于大部分手機(jī)的攝像頭沒(méi)辦法處理如此大體量的數(shù)據(jù),,而且受到了網(wǎng)絡(luò)帶寬的影響。
隨著2019年5G手機(jī)的發(fā)布,,未來(lái)用戶使用短視頻的需求只會(huì)愈加龐大,。芯片廠商也不得不跟進(jìn)——加上了專門的攝像頭AI處理單元。
像聯(lián)發(fā)科Helio P90這樣的處理器,,因?yàn)榫邆銩I智能ROI區(qū)域偵測(cè)技術(shù),,可以實(shí)現(xiàn)重點(diǎn)區(qū)域編碼,提升視頻碼率和壓縮質(zhì)量,,直播畫面時(shí)可以更清晰。在多個(gè)直播平臺(tái)都有明顯的畫面質(zhì)量提升,。5G時(shí)代即將到來(lái),,視頻必將是內(nèi)容層面的主流趨勢(shì),,這項(xiàng)技術(shù)抓住了視頻平臺(tái)的痛點(diǎn)。
我們可以斷言,,2019年-2020年,,AI處理單元的視頻處理能力會(huì)成處理器標(biāo)配。
3,、相機(jī)的玩法越來(lái)越豐富多樣
事實(shí)上,,相機(jī)的玩法也越來(lái)越多樣豐富,比如說(shuō)蘋果的FaceID和Animoji等一系列功能,。甚至連百度輸入法之類的第三方軟件也在安卓機(jī)上照搬Animoji,。
Animoji的原理是通過(guò)一個(gè)ARKit應(yīng)用來(lái)記錄實(shí)時(shí)更新的面部網(wǎng)格。使用深度映射來(lái)繪制臉部的二維紋理,。最終的效果十分逼真,,模仿出3A級(jí)游戲中的那種動(dòng)畫效果。玩過(guò)3A級(jí)游戲的用戶都知道,,游戲畫面渲染對(duì)處理器要求非常高,。挪到手機(jī)上拍攝時(shí)同樣如此——這對(duì)相機(jī)處理的能力要求也極高。
另外,,安卓廠商還在探索其他玩法,,比如實(shí)時(shí)虛擬化身、實(shí)時(shí)多物識(shí)別,、焦點(diǎn)直播,、人像留色、人臉偵測(cè),、AI降噪抓拍,、AI降噪夜拍——這些都需要芯片級(jí)的AI處理能力來(lái)支撐,聯(lián)發(fā)科 P90這樣的處理器恰恰具備這些功能,,能夠過(guò)往旗艦機(jī)上才具備的功能,,搬運(yùn)到中高端手機(jī)上,讓大眾都能享受這些玩法,。
三
新的超車賽道
過(guò)去芯片處理器市場(chǎng)是個(gè)簡(jiǎn)單的上下游關(guān)系——上游處理器廠商供貨,,下游手機(jī)廠商采購(gòu)。在這種關(guān)系之中,,處理器廠商往往掌握了話語(yǔ)權(quán),,一款芯片采購(gòu)量、采購(gòu)價(jià),,基本都是由處理器廠商說(shuō)了算,。
但是在今天,處理器的CPU+GPU性能已經(jīng)不再是評(píng)價(jià)一款芯片的唯一因素,。在處理器甚至還要考慮AI處理器的性能,。
像在AI Benchmark上的跑分中:麒麟980為21526分,,聯(lián)發(fā)科Helio P90為25645分,剛刷新的高通驍龍855為27356分,,位居榜首,。
可以說(shuō),AI芯片正在成為處理器戰(zhàn)場(chǎng)的超車賽道,。過(guò)去芯片廠商在和手機(jī)廠商的關(guān)系,,在生態(tài)鏈中的地位是絕對(duì)領(lǐng)頭羊,掌握了壟斷式的話語(yǔ)權(quán),。但現(xiàn)在已經(jīng)不是單個(gè)廠商自?shī)首詷?lè),,控制CPU、GPU性能就能左右手機(jī)廠商時(shí)代了,。
因?yàn)樾酒瑥S商不僅僅需要根據(jù)手機(jī)廠商的需求去提升AI算法,、算力,還需要和互聯(lián)網(wǎng)巨頭以及人工智能公司合作,,推進(jìn)AI的生態(tài)發(fā)展,。因?yàn)楹芏郃I應(yīng)用也需要處理器廠商和第三方互聯(lián)網(wǎng)廠商共同合作實(shí)現(xiàn)。
比如說(shuō)AI處理器的人體姿態(tài)識(shí)別這樣的技術(shù),,并不是靠處理器廠商一家實(shí)現(xiàn)的,,它需要曠視這樣的廠商作支撐。曠視科技就和芯片廠商共同合作開(kāi)發(fā)出了包含安全人臉識(shí)別解鎖,、先進(jìn)影像處理,、單鏡頭背景虛化、智能物體以及手勢(shì)識(shí)別,、智能相冊(cè)分類等AI 應(yīng)用,。
在類似這樣的合作中,產(chǎn)業(yè)鏈?zhǔn)莻€(gè)相對(duì)平等互動(dòng),、攜手共進(jìn)的關(guān)系,,它更像是一個(gè)開(kāi)放合作的生態(tài),而不是過(guò)去壟斷打壓的一言堂,。真AI相機(jī),,并不是靠一家廠商自己悶頭開(kāi)發(fā)而成的,而是更多廠商共同合作,、對(duì)接,、制定標(biāo)準(zhǔn)形成的。聯(lián)發(fā)科在這方面恰恰比一些壟斷性巨頭姿態(tài)更平,,做得更好,。
壟斷、霸權(quán),,在AI產(chǎn)業(yè)鏈與手機(jī)芯片日益融合的環(huán)境下,,對(duì)用戶,、對(duì)自身并沒(méi)有太多好處,甚至還在阻礙行業(yè)的進(jìn)步,。開(kāi)放、合作,,才是保持行業(yè)進(jìn)步的動(dòng)力,。