以下內(nèi)容根據(jù)英偉達(dá)全球副總裁兼中國(guó)區(qū)總經(jīng)理張建中及青瞳視覺(jué)聯(lián)合創(chuàng)始人祖厚超在極客公園 2016 奇點(diǎn)·創(chuàng)新者峰會(huì)「What's next about VR 」閉門(mén)論壇上的演講整理而成。

　　英偉達(dá)：把下一代 GPU 的性能提升三倍

　　我覺(jué)得很多人都認(rèn)為是 VR 是很新的技術(shù),，大家都認(rèn)為 2015 年是 VR 的元年,。其實(shí)我認(rèn)為 VR 這個(gè)技術(shù)大家把它看的太新了,，其實(shí) VR 是一個(gè)很古老的技術(shù),，它從我們很多人沒(méi)有出生之前,，60 年前,，VR 就已經(jīng)開(kāi)始有人嘗試了,。要一個(gè)大型的設(shè)備把人裝進(jìn)去，感覺(jué)或者模擬,，所以說(shuō) VR 本身不是一個(gè)新科技是一個(gè)古老的技術(shù),，但是在這個(gè)過(guò)程當(dāng)中有許多的科研工作者花很多時(shí)間來(lái)讓 VR 技術(shù)進(jìn)步。

　　事實(shí)上,，每隔 10 年,、20 年，VR 技術(shù)都有不同的變化,。在這些變化當(dāng)中，我們看到大概在 1968 年的時(shí)候就有人把 VR 戴在頭上移動(dòng)了,，跟現(xiàn)在我們形式上類(lèi)似了,。

　　大家認(rèn)為 2015 年 VR 元年的時(shí)候，這個(gè)時(shí)候才開(kāi)始有第一代的頭盔,，大家體驗(yàn)的時(shí)候覺(jué)得一下子很震撼,，覺(jué)得 VR 科技有很大的飛躍,。如果跟歷史比較一下，是什么原因?qū)е?2015 年頭盔能夠給消費(fèi)者帶來(lái)第一次震撼的效果,，而不是像 60 年的 VR 只能在實(shí)驗(yàn)室里面讓專(zhuān)家模擬,，就是因?yàn)槲覀冊(cè)?2015 年的時(shí)候發(fā)布了新的 GPU。

　　我們準(zhǔn)備在下一代把它整體性能提升三倍,。在不停的變化當(dāng)中,，VR 真正能夠進(jìn)入消費(fèi)、進(jìn)入實(shí)用階段,，GPU 的性能是要有很大很強(qiáng)的計(jì)算能力的提升,，才能滿足我們用戶的需要。

　　10 年前我們可能還沒(méi)有 GPU,，GPU 時(shí)間很短,，這幾年發(fā)展很塊，帶來(lái)是整個(gè)計(jì)算能力的提升,，我們今天最好的 VR 頭盔,，你去看的時(shí)候，你發(fā)現(xiàn)很多 VR 的體驗(yàn)都讓人不盡如人意,，覺(jué)得分辨率不夠高,。當(dāng)我們每個(gè)人的手機(jī)有了視網(wǎng)膜屏之后，當(dāng)你看到點(diǎn)再也看不出來(lái)之后,，那個(gè)精度就能滿足我們用戶的需要,。今天帶上頭盔你會(huì)發(fā)現(xiàn)每張圖片像素是很粗的，直到有一天像素很細(xì)之后,，你的眼睛不用挑剔圖象質(zhì)量的時(shí)候,，那時(shí)候 VR 的品質(zhì)就會(huì)跟今天很不一樣。

　　在 VR 世界中有很多應(yīng)用,，我們?cè)陂_(kāi)發(fā)的時(shí)候需要很多的現(xiàn)實(shí)模擬,，你一定要有很好的方法去模擬真實(shí)的世界，要有工具幫助我們開(kāi)發(fā)者開(kāi)發(fā)出更好的內(nèi)容,。

　　每個(gè)人都知道,，人跟機(jī)器的交互最簡(jiǎn)單的還是靠人自己。你會(huì)看到很多用戶體驗(yàn)方面一定會(huì)有很多公司研發(fā)更好更新的科技進(jìn)行人機(jī)交互,，我們今天看到很多合作伙伴在不同階段開(kāi)發(fā)出很多有趣的設(shè)備,，這些不同的設(shè)備在幾個(gè)月當(dāng)中會(huì)迭代得非常快,。我知道有很多公司開(kāi)發(fā)的人機(jī)交互在多人互動(dòng)的 VR 交互方面已經(jīng)非常成熟了,，其中最好的方法還是一個(gè)人機(jī)友好的交互方式。

　　沒(méi)有好的內(nèi)容技術(shù)的應(yīng)用是不會(huì)成熟的,，內(nèi)容驅(qū)動(dòng)技術(shù)發(fā)展,，技術(shù)發(fā)展也帶動(dòng)了內(nèi)容的進(jìn)步,，在 VR 系統(tǒng)當(dāng)中內(nèi)容的開(kāi)發(fā)商才是核心的關(guān)鍵。VR 的引擎和內(nèi)容是非常重要的,。

　　這幾個(gè)點(diǎn)結(jié)合起來(lái)可以把整個(gè) VR 行業(yè)從傳統(tǒng)帶向新的階段,，就可以在整個(gè)內(nèi)容方面有一個(gè)很大的提升，但是這些提升需要一個(gè)強(qiáng)大的 GPU 性能去驅(qū)動(dòng),。去年的產(chǎn)品已經(jīng)是世界最快的,，但是只能達(dá)到 60 幀。我們放大成兩個(gè)左右眼睛渲染的時(shí)候,，假設(shè)分辨率是 3000×1680,，計(jì)算能力需要 450MP/S，基本上你要擴(kuò)大 7 倍的渲染能力,，你的 GPU 計(jì)算能力要有 7 倍,，但是知道這個(gè)是非常困難的。

　　這是我們今年發(fā)布的產(chǎn)品,，這也是在所有的網(wǎng)站跟銷(xiāo)售當(dāng)中賣(mài)的最好的顯卡,，GTX 1080，只有它才可以滿足 HTC Vive,。提升的 7 倍的渲染力,，我們?cè)?1080 的顯卡上做到了。在整個(gè) GPU 性能提升之外,，我們?cè)诶锩婕恿撕芏?VRWorks 套件的技術(shù),。在這個(gè)里面我們把它增加了一個(gè)新的渲染引擎，在 GPU 渲染的同時(shí),，不只是渲染眼睛看到的部分,，它把你的左右方向全部渲染完了，當(dāng)你的頭左右移動(dòng)的時(shí)候就不需要再做一次工作了,。如果 GPU 在渲染一個(gè) 360 度鏡像的時(shí)候一次性渲染完,，你在頭盔移動(dòng)的時(shí)候就不需要再計(jì)算了。這種方法可以把整個(gè)看到的面或者你的眼睛能看到的視角范圍內(nèi)的畫(huà)面全部渲染完,。這樣的方式在 GPU 能力不夠的時(shí)候,，就可以達(dá)到很好的性能，你的頭左右移動(dòng)的時(shí)候不需要再渲染一遍,。

　　我們把眼睛看到的畫(huà)面折射成你的眼球的曲面,，用這樣的方式把 GPU 的圖形圖象渲染能力提升 7 倍，這樣的好處可以讓所有的計(jì)算當(dāng)中減少了很多計(jì)算量,，你會(huì)看到 VR 的性能在 1080 顯卡當(dāng)中比 GTX960 提升了 7 倍,。可以讓 HTC Vive 達(dá)到 140 幀,。

　　我們都知道在 VR 的世界當(dāng)中不只是眼睛去看,，所以我們要看到你的視覺(jué)、聽(tīng)覺(jué),、觸覺(jué)等各個(gè)方面模擬出自然世界當(dāng)中各種各樣的效果,。我們利用人的五官，眼睛,、耳朵,、手、皮膚我們把這些感覺(jué)增加進(jìn)去,，專(zhuān)門(mén)做了一套 VRWorks 套件,，實(shí)實(shí)在在模擬現(xiàn)實(shí)中的一切，物體跟物體之間的碰撞,，物體跟物體之間的軌跡,，都可以根據(jù)重力加速度模擬。

　　同時(shí)我們也做了非常好的一些開(kāi)發(fā)工具,，這些開(kāi)發(fā)工具當(dāng)中包括了很多物理模擬的 SDK,，其中有 PHYSX，拆分成小顆粒做很多分子運(yùn)動(dòng)的模擬,，也可以做很多流體的模擬,，可以做很多細(xì)搭的建筑物，精細(xì)到每個(gè)細(xì)小的小塊,，讓它產(chǎn)生實(shí)際的效果,。可以看到很多戰(zhàn)爭(zhēng)的場(chǎng)面,，破碎的物體,。

　　怎么樣體現(xiàn)這個(gè)，我們?yōu)榱俗尯芏嚅_(kāi)發(fā)者學(xué)會(huì)使用這些新的 SDK,，我們做了一款游戲叫FUNHOUSE,，建議每個(gè)人欣賞體驗(yàn)一下 FUNHOUSE 帶來(lái)的效果，我們打算把源代碼開(kāi)放在網(wǎng)上,，讓所有的開(kāi)發(fā)者自己下載,。我們也打算跟國(guó)內(nèi)的游戲開(kāi)發(fā)社區(qū)，給大家提供相應(yīng)的技術(shù)支持,，教會(huì)每一個(gè)開(kāi)發(fā)者有能力開(kāi)發(fā)出更加逼真的自然的游戲效果,。

　　這個(gè)效果到底怎么樣，我建議每個(gè)人找到設(shè)備去體驗(yàn),，這個(gè)模型做的很簡(jiǎn)單,，簡(jiǎn)單的物理特效模擬游樂(lè)場(chǎng)，所有的運(yùn)動(dòng)軌跡是一樣的,，如果籃球可以產(chǎn)生重力加速度,，反彈和碰撞產(chǎn)生的結(jié)果都是非常真實(shí),，氣球破碎之后粒子的狀況，如果游戲開(kāi)發(fā)的好,，可以開(kāi)發(fā)的很細(xì),，如果開(kāi)發(fā)的很細(xì)對(duì)于我們的 GPU 就會(huì)很麻煩，你會(huì)很快秒殺我們的 1080,，有的人可能會(huì)買(mǎi) 4 塊,，也是促進(jìn)我們盡快研發(fā)下一代 GPU。其實(shí)很多人玩家覺(jué)得這個(gè)顯卡太慢,，這也是 GPU 為什么這幾年加速發(fā)展的過(guò)程,。

　　為了讓這些東西做的很好，AUDIO 是非常重要的一點(diǎn),，為了把這個(gè)做好,，這個(gè)也是非常簡(jiǎn)單就是聲音的折射和反射，對(duì)于 GPU 來(lái)說(shuō)非常容易,，因?yàn)樵?GPU 有一個(gè)引擎專(zhuān)門(mén)做光線追蹤,，如果有到聲音里面更加容易，聲音源沒(méi)有那么,，反而光源會(huì)很多,，我們把這個(gè)算法加進(jìn) VRWorks 套件里面。當(dāng)然我們每個(gè)人都會(huì)迫切需要 Volta 盡快上市,，好消息是它會(huì)很快,，壞消息是還要等兩年。

　　今年如果我們是投資人你會(huì)發(fā)現(xiàn)投資的兩大科技點(diǎn)一個(gè)就是 AI,，一個(gè)就是 VR,，所有這一切就是基于 GPU，如果一個(gè)企業(yè)不懂 GPU 研發(fā),，你投資給它是有點(diǎn)浪費(fèi)的,，因?yàn)樗茈y找到技術(shù)源泉驅(qū)動(dòng)他的應(yīng)用。

　　總結(jié)一下 VR 里面,，我相信 VR 當(dāng)中對(duì)于我們整個(gè)生態(tài)系統(tǒng)來(lái)講,，無(wú)論是做 HMD、引擎還是游戲公園,，大家如果有什么技術(shù)幫助可以找我們 NVIDIA,，我們也愿意跟所有的同行，所有的生態(tài)系統(tǒng)的合作伙伴共同把 VR 推向一個(gè)新的高度,，這個(gè)點(diǎn)是非常好的點(diǎn),，全球的投資和全球的開(kāi)發(fā)點(diǎn)，起步點(diǎn)是一樣的，沒(méi)有先后,，中國(guó)絕對(duì)有機(jī)會(huì)超過(guò)全球其它國(guó)家,，我們也希望中國(guó)的開(kāi)發(fā)者能成為全球最的開(kāi)發(fā)者，謝謝大家,！

　　青瞳視覺(jué)：深挖單一技術(shù)才能成功

　　現(xiàn)在交互對(duì)虛擬現(xiàn)實(shí)來(lái)說(shuō)越來(lái)越重要,，在 2014 年頭盔越來(lái)越廉價(jià)，很多人用得起,，效果越來(lái)越好，2014,、2015 年大家關(guān)注點(diǎn)可能在頭盔領(lǐng)域,。我們?cè)谧銮嗤安皇墙Y(jié)合頭盔在用，它的領(lǐng)域非常多,，我們更多的結(jié)合的是投影機(jī),、機(jī)器人領(lǐng)域做一些嘗試，但是每個(gè)嘗試沒(méi)有得到很好的市場(chǎng)反饋,。

　　后面我們探索了很長(zhǎng)時(shí)間,，就選了虛擬現(xiàn)實(shí)主題公園這個(gè)方向，在 2015 年的時(shí)候,，很多人介入到虛擬現(xiàn)實(shí)領(lǐng)域都是為了掘金,，中間有一個(gè)很有趣的故事，當(dāng)時(shí)廚師協(xié)會(huì)的會(huì)長(zhǎng)跑進(jìn)來(lái)做 VR 做了一段時(shí)間跟他想的不一樣,，他堅(jiān)持了半年投入了 60 多萬(wàn),，結(jié)果跟自己想的不一樣，發(fā)現(xiàn)坑太深,。

　　追蹤系統(tǒng)本身作為交互技術(shù),，可以跟 VR、AR,、無(wú)人機(jī)結(jié)合都可以,。所以現(xiàn)在追蹤在這塊，遠(yuǎn)比我們想像的多,，而且交互在后面的發(fā)展包括像現(xiàn)在主題公園,，我們現(xiàn)在接觸了非常多的做主題樂(lè)園，包括做交互的,，大家對(duì)交互意識(shí)重要性越來(lái)越大,，他會(huì)測(cè)試幀速夠不夠，精度夠不夠,。

　　我先說(shuō)一下目前的當(dāng)時(shí)在確定下來(lái)做追蹤市場(chǎng)的話,，當(dāng)時(shí)研究了幾項(xiàng)，包括在 Xbox、PS 等方面,。在 PS 追蹤系統(tǒng)跟游戲結(jié)合互動(dòng),，大家覺(jué)得坐在那兒玩不夠爽，青瞳的定位就是做大產(chǎn)品的追蹤,，不做小的,。我可能做一個(gè)桌面級(jí)的，PS 馬上能把我取代掉,。我們后來(lái)定位就是參考了國(guó)外的模式,，做 VR 的主題樂(lè)園。

　　這個(gè)是我們當(dāng)時(shí)在分析的時(shí)候看每個(gè)板塊,，這個(gè)也是國(guó)外的一些信息,，大家可以看到每一個(gè)領(lǐng)域都需要追蹤。我最早做虛擬現(xiàn)實(shí)的教育領(lǐng)域,，大家需要追蹤,，或者模擬訓(xùn)練，后面大家意識(shí)到模擬越來(lái)越重要,。

　　這是當(dāng)時(shí)做的幾個(gè)對(duì)比,，因?yàn)橐恢痹谧鲞@一塊，所以很多時(shí)候會(huì)被別人問(wèn)到你們的差異在那兒,，比如說(shuō) Kinect 是微軟的配件,，價(jià)值非常便宜，用途也是最廣的,，但是 Kinect 很難結(jié)合 VR 的做一些優(yōu)秀的內(nèi)容出來(lái),。Kinect 只有 30 幀的幀速，所以畫(huà)面有明顯的延遲,。如果結(jié)合 VR 做一些深度的互動(dòng),，我在里面可能還有道具和產(chǎn)品結(jié)合，Kinect 沒(méi)有辦法支撐,。

　　比如做 VR 體驗(yàn)的時(shí)候,，規(guī)定只是人進(jìn)去或者只是頭盔進(jìn)去，我希望周邊的道具進(jìn)去,，把紅外點(diǎn)粘到槍上,，槍可以是木頭槍?zhuān)谔摂M現(xiàn)實(shí)里面可以辦成很酷的槍?zhuān)两袝?huì)把你帶進(jìn)去。

　　還有一個(gè)激光發(fā)射基站是 HTC 現(xiàn)在在做的,，用的最廣的,。SLAM，現(xiàn)在非常紅,，大家都在追著去用,，因?yàn)楝F(xiàn)在大部分的追蹤方案對(duì)于空間產(chǎn)品的限制比較大，大家希望我的攝像機(jī)在頭盔上可以擺脫所有的束縛，用 SLAM 方式去做,。但是它的數(shù)據(jù)非常大,，包括延遲，離真正的商用還是有一段距離,。

　　激光雷達(dá)我在所有的國(guó)內(nèi)的線下的 VR 體驗(yàn)基本上沒(méi)有見(jiàn)到過(guò),，激光雷達(dá)成本高。比如我在紅外的點(diǎn)上,，貼到這個(gè)點(diǎn)可以定一個(gè)序號(hào),，比如這個(gè)序號(hào)是 1，但是激光雷達(dá)做不到,，第二個(gè)也會(huì)有一些干擾因素,。

　　這個(gè)是我們現(xiàn)在給自己的定位：賣(mài)最好的追蹤產(chǎn)品。第一個(gè)本身團(tuán)隊(duì)的性質(zhì)決定的,，我們整個(gè)團(tuán)隊(duì) 90% 偏研發(fā)，而且又是專(zhuān)門(mén)專(zhuān)攻追蹤這塊,，基于這樣的情況我們專(zhuān)門(mén)做追蹤產(chǎn)品,。我們自己的盈利模式、變現(xiàn)渠道都比較清晰,。

　　這個(gè)是我們?cè)谧?VR 的主題公園整個(gè)的架構(gòu),，在整個(gè)虛擬現(xiàn)實(shí)體驗(yàn)，這里面最大的一塊在追蹤系統(tǒng),，現(xiàn)在很多虛擬現(xiàn)實(shí)的體驗(yàn),，比如說(shuō)我在上海某一個(gè)商場(chǎng)做一下，但是效率非常低,，一個(gè)小時(shí)只能體驗(yàn)一兩個(gè)人,，這塊我們現(xiàn)在更多的是傾向和別人合作。我們跟米粒合作,，它電影宣發(fā)要找亮點(diǎn),，而且它有自己的 IP 和內(nèi)容。

　　最上面的部分是 Cameras,，我們對(duì)于可見(jiàn)光,、對(duì)紅外有一定的過(guò)濾。一般對(duì)于這樣的場(chǎng)地,，對(duì)于光線有一定的要求,，比如說(shuō) Cameras 上面有強(qiáng)電從旁邊經(jīng)過(guò)，這種 Cameras 追蹤系統(tǒng)都不會(huì)特別穩(wěn)定,，細(xì)節(jié)的東西我們實(shí)踐的時(shí)候,，發(fā)現(xiàn)很多東西遠(yuǎn)比自己想的多。

　　這是應(yīng)用結(jié)合比較緊的方向，第一個(gè)是線下體驗(yàn),，我們現(xiàn)在做的 VR 主題樂(lè)園方面,，線下體驗(yàn)這種方式北京、上海和廣州都有一些示范的點(diǎn)出來(lái),，都能看到,，而且基本上三個(gè)月迭代一次。

　　教育這塊,，更多的是作為培訓(xùn),，對(duì)互動(dòng)的要求比較高，希望通過(guò)這種方式培養(yǎng)學(xué)生,，通過(guò)虛擬的環(huán)境進(jìn)行一些操作,，可以得到一些學(xué)習(xí)的經(jīng)驗(yàn)。

　　軍事這塊,，需求比較大,，但是門(mén)檻比較高，軍工部分有保密機(jī)制,，所以做市場(chǎng)化的公司沒(méi)有技術(shù),，沒(méi)有這個(gè)資質(zhì)是不能直接做的，而且周期是比較長(zhǎng)的,，不一定適合我們現(xiàn)在做,。

　　影視動(dòng)畫(huà)，在影視動(dòng)畫(huà)里面,，我們跟影視基地合作,，我們解決的是技術(shù)端的事情，具體的應(yīng)用的東西他們通過(guò)他們實(shí)踐的方式反饋回來(lái),，通過(guò)他們的反饋再去迭代,。