《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 顯示光電 > 業(yè)界動態(tài) > OPPO首個(gè)自研芯片背后:DSA的勝利

OPPO首個(gè)自研芯片背后:DSA的勝利

2021-12-15
作者:李壽鵬
來源: 半導(dǎo)體行業(yè)觀察
關(guān)鍵詞: OPPO 芯片 DSA

  2019 年 2 月,,圖靈獎獲得者John Hennessy 和 David Patterson發(fā)布了一篇名為《A new golden age for computer architecture》的文章,。在文章中他們指出,,伴隨著摩爾定律和登納德縮放定律的終結(jié),,要想獲得像 20 世紀(jì)八九十年代那樣的的性能改進(jìn),,就需要新的架構(gòu)方法,,以更高效地利用集成電路,,而DSA就是他們想要的答案,。

  據(jù)他們在文章中介紹,,所謂DSA(domain specific architecture,,特定領(lǐng)域架構(gòu))是一種針對特定領(lǐng)域定制的可編程處理器,能夠用于加速某些應(yīng)用程序,,實(shí)現(xiàn)更好的性能,。如現(xiàn)在因?yàn)锳I大行其道的GPU就是一個(gè)基于DSA思路設(shè)計(jì)的產(chǎn)品。包括谷歌,、Tesla和Cerebras在內(nèi)的廠商也針對其特定應(yīng)用推行他們的DSA芯片,。

  日前,本土手機(jī)廠商OPPO也帶來其影像專用NPU——馬里亞納,? MariSilicon X,,揭開了公司造芯的神秘面紗。透過這個(gè)芯片,,我們不但看到了這個(gè)手機(jī)巨頭在提升用戶體驗(yàn)方面的“芯”思考,,也看到了屬于DSA的又一場勝利。

微信圖片_20211215092024.jpg 

  DSA在影像NPU上的實(shí)踐

  自蘋果在2007年推出第一代iPhone以來,,智能手機(jī)在接下來十年經(jīng)歷了夢幻般的開局,。不但芯片性能獲得了大幅度的增長,屏幕的體驗(yàn)也獲得了跨躍性的提升,。但進(jìn)入最近幾年,,手機(jī)創(chuàng)新缺乏,,這讓手機(jī)廠商將目標(biāo)瞄向了改善拍攝體驗(yàn),隨之也給手機(jī)芯片的影像處理提出了新的要求,。

  作為一個(gè)需要處理多類型任務(wù)的芯片,,手機(jī)主控芯片廠商在設(shè)計(jì)產(chǎn)品的時(shí)候只能在各項(xiàng)設(shè)計(jì)能力上做平衡。那就意味著在這些通用芯片上的ISP和NPU,,在處理圖像或視頻的時(shí)候顯得捉襟見肘,。

  近年來,Google在其Pixel手機(jī)上使用Pixel Visual Core/Pixel Neural Core 系列硬件加速器證明了AI算法可以提供遠(yuǎn)超傳統(tǒng)算法的拍照體驗(yàn)之后,,業(yè)界就開始探索NPU在降噪,、HDR+和demosaic領(lǐng)域的應(yīng)用優(yōu)勢。而OPPO正是通過自定義的芯片來應(yīng)對這方面的挑戰(zhàn),。

  OPPO芯片產(chǎn)品高級總監(jiān)姜波也指出,,通用芯片要想達(dá)成終極體驗(yàn)?zāi)繕?biāo),面臨一些挑戰(zhàn):

  一方面,,智能手機(jī)在定制傳感器后,,有時(shí)候需要SoC做相應(yīng)的配合,但SoC研發(fā)周期非常長,,傳感器需要的時(shí)間又非常短,,這里面的平衡是非常難把控的;

  另一方面,,如果要針對目前市面上現(xiàn)有的傳感器在SoC上做pipeline(鏈路)處理優(yōu)化增強(qiáng),,也意味著需要研發(fā)要做很大的調(diào)整,成本增加不少,;

  此外,,當(dāng)算法和芯片不能做到相互完全開放和緊密耦合,更是無法發(fā)揮出它的最大效益,。

  基于這樣的思考,,OPPO發(fā)布了首款影像專用NPU——馬里亞納 MariSilicon X,這正是DSA在影像應(yīng)用上的一個(gè)教科書般的實(shí)踐,。據(jù)姜波所說,,這個(gè)芯片由一個(gè)自研的影像處理單元MariLumi、一個(gè)自研的AI計(jì)算單元MariNeuro以及片上內(nèi)存子系統(tǒng)等核心部分組成,。得益于這樣的設(shè)計(jì),,其擁有四個(gè)不得不提的特性,分別是極致能耗比,、行業(yè)領(lǐng)先的HDR,、影像的AI的處理(包括影像算法的處理)都放在RAW上完成以及對定制sensor性能的最大化利用。

  微信圖片_20211215092050.jpg

  首先看極致能耗比方面,。據(jù)介紹,,MariSilicon X擁有18TOPS的算力,,這正是DSA獨(dú)特具備的優(yōu)勢。11.6TOPS/W的能耗效率更是讓它在擁有強(qiáng)悍的處理能力的同時(shí),,功耗表現(xiàn)也不落下風(fēng),。“按現(xiàn)在實(shí)際的算力情況,,我們的芯片可以在800毫瓦功耗約束的范圍內(nèi)跑到40fps”,,姜波舉例說。

  微信圖片_20211215092222.jpg

  其次,,OPPO的MariSilicon X支持20 bit RAW,,領(lǐng)先于高通最新一代旗艦驍龍8平臺的18bit和聯(lián)發(fā)科的天璣9000,,其120db的HDR讓搭配MariSilicon X的手機(jī)在拍攝圖片的時(shí)候,,獲得四倍于當(dāng)前旗艦的動態(tài)范圍。

  第三,,在影像的AI處理方面,,馬里亞納X通過將AI降噪及HDR融合等復(fù)雜計(jì)算前置到數(shù)據(jù)更加純凈無損的RAW域,在影像信噪比和畫質(zhì)上遠(yuǎn)超傳統(tǒng)YUV域處理方案,;

  據(jù)OPPO測試顯示,,在搭配了他們自研的馬里亞納 MariSilicon X的方案中,可以獲得至少8dB的信噪比增強(qiáng),,相當(dāng)于2.6倍的提升,。在4k場景下,更是可以分別在圖像亮部和暗部獲得8dB和12dB增益,。換而言之,,自研芯片可以讓圖像暗部的信噪比做到4倍的有效提升。

  最后,,來到傳感器的定制,;

  OPPO定制的RGBW傳感器通過融入對光線更敏感的white像素,在保證色彩還原準(zhǔn)確的同時(shí)提升了傳感器進(jìn)光量,。但在通用型SoC的賦能下,,如果想要發(fā)揮這一定制傳感器的優(yōu)勢,第一步要做的就是在傳感器端將RGBW remosaic成傳統(tǒng)的RGGB信息,,再傳送給SoC處理,。但在這個(gè)處理過程中,會丟失一些有用的信息,。而為了與通用的SoC配合,,又必須要做一些妥協(xié)和損耗才可以用上RGBW。

  有見及此,,OPPO選擇了自研影像專用NPU與定制傳感器配合的方法,,讓其產(chǎn)生的原始RAW數(shù)據(jù)與自研芯片有最緊密的耦合和最大限度優(yōu)化,。

  具體而言,在設(shè)計(jì)圖像處理pipeline的時(shí)候,,馬里亞納X在提供RGGB鏈路的同時(shí)還具備white處理鏈路既能夠獲取良好的顏色信息,,又能夠提升信噪比。與傳統(tǒng)RAW相比,,帶來的提升是非常顯著的,,這也正是DSA的意義。而按OPPO所說,,借助兩路pipeline的處理,,可以得到7.9倍的信噪比的提升;在紋理細(xì)節(jié)上,,通過2路的超采樣,,也可以獲得1.7倍的解析力的增強(qiáng)。

  “我們通過自研芯片和定制化傳感器相互的化學(xué)反應(yīng)和相互耦合,,真正充分發(fā)揮出傳感器在最初設(shè)計(jì)時(shí)候的最大能力,。”姜波強(qiáng)調(diào),。

  從上述的介紹我們可以看到,,OPPO基于DSA的設(shè)計(jì)能夠?qū)⒁杂跋竦捏w驗(yàn)發(fā)揮得淋漓盡致。而在這背后,,其在芯片的定義,、IP的設(shè)計(jì)和工藝的選擇等多個(gè)方面的決定都功不可沒。

  

  自研IP引領(lǐng)的全面提升

  熟悉芯片設(shè)計(jì)的讀者應(yīng)該知道,,在做好了芯片的功能定義和架構(gòu)規(guī)劃之后,,接下來的一個(gè)重要環(huán)節(jié)就是選擇IP。常用的方案有第三方IP和自研兩種,。出于謹(jǐn)慎考慮,,很多新入局芯片設(shè)計(jì)的廠商都選擇前者。但OPPO卻走了一條相對較難的路,。

  在問到為何作出這個(gè)決定時(shí),,姜波回應(yīng)道,在決定研發(fā)馬里亞納 MariSilicon X之后,,公司也考慮過一些第三方IP,,市場上也有很多IP廠商可以提供NPU。但他們在評估之后發(fā)現(xiàn),,并沒有一個(gè)現(xiàn)有NPU可以在其自身的場景和算法下,,達(dá)到他們認(rèn)為的最優(yōu)能耗效率。因此他們從頭開始自研做了NPU,,這就是MariNeuro IP面世背后的原因,,這也讓OPPO首個(gè)自研芯片MariSilicon X擁有了強(qiáng)悍的性能,。

  微信圖片_20211215092306.jpg

  除了MariNeuro之外,OPPO還自研了MariLumi IP,,正是這個(gè)IP,,讓OPPO的馬里亞納 MariSilicon X在圖片的HDR處理方面擁有其他手機(jī)芯片旗艦所不具備的實(shí)力。

 微信圖片_20211215092320.jpg 

  為了讓設(shè)備更好地處理這些龐大數(shù)據(jù),,OPPO還給這個(gè)芯片配備了片上的內(nèi)存子系統(tǒng),,避免數(shù)據(jù)頻繁讀寫產(chǎn)生的時(shí)延和功耗提升。這個(gè)Tb級的子系統(tǒng)讓該芯片在處理海量數(shù)據(jù)時(shí)依舊游刃有余,。這也是OPPO能夠把之前應(yīng)用于圖像的AI算法應(yīng)用于實(shí)時(shí)視頻處理的一個(gè)重要原因,。

  又因?yàn)镺PPO還專門為這個(gè)芯片集成了8.5GB/s的獨(dú)立DDR帶寬,因此當(dāng)MariSilicon X跟一個(gè)主芯片搭載在一起使用時(shí),,整個(gè)系統(tǒng)的DDR吞吐率又增加了17%,。

  微信圖片_20211215092336.jpg

  對于一個(gè)芯片來說,架構(gòu),、處理能力和I/O是決定其性能的關(guān)鍵要素,。但正如摩爾定律的含義所體現(xiàn)的,,芯片的制造工藝才是決定一顆芯片性能的根本,。同時(shí),作為一個(gè)商用產(chǎn)品,,該芯片同時(shí)還需要在成本上做權(quán)衡,。基于上述考慮,,OPPO團(tuán)隊(duì)在公司的首顆芯片上選擇了6nm,。

  據(jù)姜波介紹,公司在開始芯片設(shè)計(jì)的時(shí)候評估了各種工藝制程,。他坦言,,選擇更落后的工藝,在芯片的設(shè)計(jì),、實(shí)現(xiàn),、周期和成本都極具優(yōu)勢,但之所以選擇6nm,,主要是基于他們經(jīng)過仿真之后得出結(jié)論——即便有自研的MariNeuro和MariLumi IP,,但如果選擇落后的工藝(如12nm),做出來的芯片很難達(dá)到終端應(yīng)用所需的極致功耗性能要求,。因此他們別無選擇,。

  “從工藝制程來講,6nm應(yīng)該是臺積電第一個(gè)主流的采用EUV的制程,。因?yàn)橛辛诉@個(gè)制程,,我們非常好地支撐了同級最好的能效比,,包括在RAW上的復(fù)雜算法處理?!苯ㄑa(bǔ)充,。他進(jìn)一步指出,OPPO的這個(gè)6nm芯片上,,實(shí)現(xiàn)了一次點(diǎn)亮,,這足以證明OPPO芯片團(tuán)隊(duì)的實(shí)力。這也讓他們成為了國內(nèi)為數(shù)不多可以實(shí)現(xiàn)6nm設(shè)計(jì)的企業(yè),。

  除此以外,,筆者還認(rèn)為,OPPO的6nm芯片背后其實(shí)還有更深層次的含義:

  一方面,,進(jìn)入到10nm以后,,傳統(tǒng)的DUV光刻機(jī)已經(jīng)不再能夠滿足芯片繼續(xù)微縮的需求,EUV光刻機(jī)便應(yīng)運(yùn)而生,。從目前的情況看來,,如果想繼續(xù)打造更高性能的芯片,懂得設(shè)計(jì)使用EUV光刻機(jī)生產(chǎn)的芯片是一個(gè)必備技能,,而OPPO團(tuán)隊(duì)在馬里亞納 MariSilicon X芯片的實(shí)踐上展現(xiàn)了他們在這個(gè)方面的實(shí)力,,讓他們擁有底氣去探索更多的芯片可能。

  另一方面,,6nm芯片的流片成本較之過往的芯片工藝成本有了大幅度的提升,,每流片一次的成本可以以“億”為單位。但OPPO依然能這樣高舉高打,,足以體現(xiàn)他們造芯的決心,。

  姜波也強(qiáng)調(diào),和其他芯片廠商做芯片只是追求終端廠商成本和需求的平衡不一樣,,OPPO造芯的目的相對純粹很多,,那就是用“加法”思維去“堆料”,以提高用戶體驗(yàn)為最終目的,。他進(jìn)一步舉例說,,當(dāng)這顆芯片與高通或聯(lián)發(fā)科主芯片一起在手機(jī)內(nèi)工作時(shí),并不是為了取代后者的部分功能,,而是希望通過增加芯片,,增加算力,與它們一起把事情做得更好,。

  寫在最后

  在文章開頭談到的John Hennessy 和 David Patterson的文章中說到,,登納德縮放定律和摩爾定律的終結(jié),把高級、特定領(lǐng)域的語言和架構(gòu)將架構(gòu)師從專有指令集的鏈條中釋放出來,,這將為計(jì)算機(jī)架構(gòu)師帶來一個(gè)新的黃金時(shí)代,。他們同時(shí)還指出,未來十年,,將會有一場新計(jì)算機(jī)架構(gòu)的寒武紀(jì)爆炸,,這對業(yè)界和學(xué)界的架構(gòu)師們來說將是激動人心的時(shí)刻。

  對于OPPO來說,,這也是他們的一個(gè)機(jī)會,。

  正如姜波所說,MariSilicon X只是OPPO在計(jì)算影像上探索的第一步,。因?yàn)镺PPO離消費(fèi)者比較近,,會對用戶痛點(diǎn)以及產(chǎn)品的價(jià)值主張比較清晰,所以O(shè)PPO在做一些方向選擇的時(shí)候,,也更容易做決策,。而這正是DSA的精髓所在。

  從日前的一些媒體報(bào)道中我們看到,,OPPO現(xiàn)在擁有了一個(gè)超過2000人的芯片團(tuán)隊(duì),。通過OPPO對MariSilicon X的解讀,筆者有理由相信這家國產(chǎn)手機(jī)芯片“新貴”迎來的,,不僅僅是黃金十年,。讓我們靜候一個(gè)更好體驗(yàn)的時(shí)代到來。

 

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問題,,請及時(shí)通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]