自Pixel 2以來,,Google一直在其智能手機中包含自己的配套芯片組,以改善攝影和其他功能。不過,,隨著Google確認其最新的旗艦智能手機Pixel 5中放棄了Neural Core,,谷歌似乎已經(jīng)結(jié)束了這一趨勢,。
Pixel Neural Core是Pixel Visual Core的后繼產(chǎn)品,。兩種芯片組均由Google制造,旨在改善攝影效果,。特別是在神經(jīng)核心上,,谷歌還使用該芯片來加快面部劫奪,谷歌助手和Pixel 4上的其他新功能,。
不過,,谷歌的Pixel“ a”系列基本上證實了確實不需要添加芯片。Pixel 3a和4a在拍攝和處理速度方面都與Pixel 3和Pixel 4差不多,,但是令人驚訝的是,,Pixel 5的規(guī)格列表中缺少了自制芯片組。
谷歌在接受Android Police采訪時證實,,Pixel 5和Pixel 4a 5G都缺乏神經(jīng)核心。谷歌還提到,,通過優(yōu)化,Pixel 5的Snapdragon 765G能夠保持與Pixel 4“相似”的相機性能,。
兩款新手機都沒有Pixel Neural Core,,也沒有面部解鎖功能,。
這是否意味著Pixel Neural Core永遠消失了,?可能不是,。谷歌已經(jīng)提到它將在未來的硬件中恢復(fù)Soli,,因此可以肯定的是,,神經(jīng)核心也將最終回歸,。不過,值得注意的是,,兩款新Pixel仍提供Titan M芯片以確保安全性,。
延伸閱讀:谷歌手機上的這顆芯片或?qū)⒏淖兪謾C攝影行業(yè)
谷歌的上一代手機Pixel 3被譽為最佳拍照手機是有原因的。因為Google在上面使用了其HDR +軟件包中的軟件算法來處理像素,,當(dāng)當(dāng)這些與一點機器學(xué)習(xí)結(jié)合使用時,,一些非常壯觀的照片可能來自具有標準配置硬件的手機。
為了幫助處理這些算法,谷歌使用了一種被稱為Pixel Visual Core的專用處理器,,這是我們于2017年首次在Pixel 2上看到的芯片,。今年看來,谷歌似乎已經(jīng)用一種稱為Pixel Neural Core的東西代替了Pixel VIsual Core,。
據(jù)知乎用戶Chenjie Luo介紹,,Pixel 1的HDR+是在高通的HVX加速器上跑的,因為HVX不是針對圖像處理設(shè)計,,所以速度很慢,。為了達到快速連拍的用戶體驗,google camera做了一個圖像緩存,,把camera sensor的每一幀都存在內(nèi)存里,,排隊處理HDR。這樣一代的Pixel用戶就不會察覺HDR處理的時間,。但是這種處理方式帶來了一個問題:像Instagram這樣的第三方拍照共享的app需要所拍即所得,,用戶是不能等好幾秒HDR做完了再p圖分享的。所以在一代上,,HDR+是google camera app獨有的功能,,不能用在第三方app上。由于這個原因以及老板的滿腔熱血,,就催生了Pixel Visual Core來硬件加速HDR+,,這樣第三方的app就可以瞬間完成HDR+計算得到處理后的照片。實測效果驚艷,,特別是在高光照對比下前后景都非常清晰,,不會出現(xiàn)臉部過暗的照片。這個芯片牛逼的地方就在于8個IPU core是可以編程的,,不完全是一個ASIC,,所以有很多其他的應(yīng)用場景。當(dāng)時設(shè)計這個芯片的初衷就是做個全能的圖像處理芯片,,HDR+是第一個showcase。
最初的Pixel Visual Core旨在加速Google的HDR +圖像處理使用的算法,,這就使得Pixel 2和Pixel 3拍攝的照片看起來很棒,。它使用了一些機器學(xué)習(xí)程序和所謂的計算攝影來智能地填充不太完美的照片部分。而實際上效果也真的很好,;它允許帶有現(xiàn)成相機傳感器的手機拍攝的照片質(zhì)量更優(yōu),。
如果我們相信Pixel Neural Core,那么Pixel 4將再一次爭奪智能手機攝影領(lǐng)域的頭把交椅,。
神經(jīng)網(wǎng)絡(luò)
看來Google正在使用以神經(jīng)網(wǎng)絡(luò)技術(shù)為模型的芯片,,以改善其2019年P(guān)ixel手部的圖像處理能力,。神經(jīng)網(wǎng)絡(luò)是您可能會聽到不止一兩次的內(nèi)容,但該概念并不經(jīng)常被解釋,。相反,,它看起來像是一些類似于魔術(shù)的Google級計算機。事實并非如此,,而神經(jīng)網(wǎng)絡(luò)背后的想法實際上很容易使您的頭腦很容易混亂,。
神經(jīng)網(wǎng)絡(luò)是根據(jù)人類大腦建模的算法組。它“效仿”的并不是大腦的外觀甚至工作原理,,而是大腦如何處理信息的方法,。神經(jīng)網(wǎng)絡(luò)通過所謂的機器感知(通過機器傳感器等外部傳感器收集和傳輸?shù)臄?shù)據(jù))獲取感官數(shù)據(jù),并識別,。
這些數(shù)據(jù)是稱為向量的數(shù)字,。來自“真實”世界的所有外部數(shù)據(jù)(包括圖像,聲音和文本)都被轉(zhuǎn)換為矢量,,并被分類和分類為數(shù)據(jù)集,。我們可以將神經(jīng)網(wǎng)絡(luò)視為存儲在計算機或電話上的事物之上的額外層,該層包含有關(guān)其含義的數(shù)據(jù)——它的外觀,,聽起來像什么,,它說什么以及何時發(fā)生。建立目錄后,,可以對新數(shù)據(jù)進行分類并與之進行比較,。
一個真實的例子可以使這一切解析得更清楚。NVIDIA生產(chǎn)的處理器非常擅長運行神經(jīng)網(wǎng)絡(luò),。該公司花費了大量時間將貓的照片掃描并復(fù)制到網(wǎng)絡(luò)中,,一旦完成,通過神經(jīng)網(wǎng)絡(luò)的計算機集群就可以在其中包含貓的任何照片中識別出貓,。小型貓,,大型貓,白色貓,,印花布貓,,甚至山獅或老虎都是貓,這主要是因為神經(jīng)網(wǎng)絡(luò)擁有關(guān)于貓“是”什么的大量數(shù)據(jù),。
考慮到該示例,,我們不難理解Google為什么要在手機內(nèi)部利用這種功能。這些能夠與大量數(shù)據(jù)鏈接的神經(jīng)核心將能夠識別相機鏡頭所看到的內(nèi)容,,然后決定要做什么。也許有關(guān)其所見和所期望的數(shù)據(jù)可以傳遞給圖像處理算法,?;蛘?,可以將相同的數(shù)據(jù)輸入給Assistant來識別毛衣或蘋果?;蛘?,也許您可以比Google現(xiàn)在更快,更準確地翻譯書面文本,。
毫不費吹灰之力地認為Google可以設(shè)計一種可以與神經(jīng)網(wǎng)絡(luò)和電話內(nèi)的圖像處理器接口的小型芯片,,并且很容易理解為什么要這樣做。我們不確定確切地說是Pixel Neural Core是什么,,或者可能用于什么用途,,但是一旦“正式”發(fā)布時,一旦看到手機及其實際細節(jié),,我們肯定會知道更多,。