《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 業(yè)界動態(tài) > VR技術(shù)的下一破局點(diǎn)有哪些

VR技術(shù)的下一破局點(diǎn)有哪些

2016-07-18

  以下內(nèi)容根據(jù)英偉達(dá)全球副總裁兼中國區(qū)總經(jīng)理張建中及青瞳視覺聯(lián)合創(chuàng)始人祖厚超在極客公園 2016 奇點(diǎn)·創(chuàng)新者峰會「What's next about VR 」閉門論壇上的演講整理而成,。

121.jpg

  英偉達(dá):把下一代 GPU 的性能提升三倍

  我覺得很多人都認(rèn)為是 VR 是很新的技術(shù),,大家都認(rèn)為 2015 年是 VR 的元年。其實(shí)我認(rèn)為 VR 這個技術(shù)大家把它看的太新了,,其實(shí) VR 是一個很古老的技術(shù),,它從我們很多人沒有出生之前,60 年前,,VR 就已經(jīng)開始有人嘗試了,。要一個大型的設(shè)備把人裝進(jìn)去,感覺或者模擬,,所以說 VR 本身不是一個新科技是一個古老的技術(shù),,但是在這個過程當(dāng)中有許多的科研工作者花很多時間來讓 VR 技術(shù)進(jìn)步。

  事實(shí)上,每隔 10 年,、20 年,,VR 技術(shù)都有不同的變化。在這些變化當(dāng)中,,我們看到大概在 1968 年的時候就有人把 VR 戴在頭上移動了,,跟現(xiàn)在我們形式上類似了。

  大家認(rèn)為 2015 年 VR 元年的時候,,這個時候才開始有第一代的頭盔,,大家體驗(yàn)的時候覺得一下子很震撼,覺得 VR 科技有很大的飛躍,。如果跟歷史比較一下,,是什么原因?qū)е?2015 年頭盔能夠給消費(fèi)者帶來第一次震撼的效果,而不是像 60 年的 VR 只能在實(shí)驗(yàn)室里面讓專家模擬,,就是因?yàn)槲覀冊?2015 年的時候發(fā)布了新的 GPU,。

  我們準(zhǔn)備在下一代把它整體性能提升三倍。在不停的變化當(dāng)中,,VR 真正能夠進(jìn)入消費(fèi),、進(jìn)入實(shí)用階段,GPU 的性能是要有很大很強(qiáng)的計算能力的提升,,才能滿足我們用戶的需要,。

  10 年前我們可能還沒有 GPU,GPU 時間很短,,這幾年發(fā)展很塊,,帶來是整個計算能力的提升,我們今天最好的 VR 頭盔,,你去看的時候,,你發(fā)現(xiàn)很多 VR 的體驗(yàn)都讓人不盡如人意,覺得分辨率不夠高,。當(dāng)我們每個人的手機(jī)有了視網(wǎng)膜屏之后,,當(dāng)你看到點(diǎn)再也看不出來之后,那個精度就能滿足我們用戶的需要,。今天帶上頭盔你會發(fā)現(xiàn)每張圖片像素是很粗的,,直到有一天像素很細(xì)之后,你的眼睛不用挑剔圖象質(zhì)量的時候,,那時候 VR 的品質(zhì)就會跟今天很不一樣,。

  在 VR 世界中有很多應(yīng)用,我們在開發(fā)的時候需要很多的現(xiàn)實(shí)模擬,,你一定要有很好的方法去模擬真實(shí)的世界,,要有工具幫助我們開發(fā)者開發(fā)出更好的內(nèi)容,。

  每個人都知道,人跟機(jī)器的交互最簡單的還是靠人自己,。你會看到很多用戶體驗(yàn)方面一定會有很多公司研發(fā)更好更新的科技進(jìn)行人機(jī)交互,,我們今天看到很多合作伙伴在不同階段開發(fā)出很多有趣的設(shè)備,這些不同的設(shè)備在幾個月當(dāng)中會迭代得非???。我知道有很多公司開發(fā)的人機(jī)交互在多人互動的 VR 交互方面已經(jīng)非常成熟了,其中最好的方法還是一個人機(jī)友好的交互方式,。

  沒有好的內(nèi)容技術(shù)的應(yīng)用是不會成熟的,,內(nèi)容驅(qū)動技術(shù)發(fā)展,技術(shù)發(fā)展也帶動了內(nèi)容的進(jìn)步,,在 VR 系統(tǒng)當(dāng)中內(nèi)容的開發(fā)商才是核心的關(guān)鍵,。VR 的引擎和內(nèi)容是非常重要的。

  這幾個點(diǎn)結(jié)合起來可以把整個 VR 行業(yè)從傳統(tǒng)帶向新的階段,,就可以在整個內(nèi)容方面有一個很大的提升,,但是這些提升需要一個強(qiáng)大的 GPU 性能去驅(qū)動。去年的產(chǎn)品已經(jīng)是世界最快的,,但是只能達(dá)到 60 幀,。我們放大成兩個左右眼睛渲染的時候,假設(shè)分辨率是 3000×1680,,計算能力需要 450MP/S,,基本上你要擴(kuò)大 7 倍的渲染能力,,你的 GPU 計算能力要有 7 倍,,但是知道這個是非常困難的。

123.png

  這是我們今年發(fā)布的產(chǎn)品,,這也是在所有的網(wǎng)站跟銷售當(dāng)中賣的最好的顯卡,,GTX 1080,只有它才可以滿足 HTC Vive,。提升的 7 倍的渲染力,,我們在 1080 的顯卡上做到了。在整個 GPU 性能提升之外,,我們在里面加了很多 VRWorks 套件的技術(shù),。在這個里面我們把它增加了一個新的渲染引擎,在 GPU 渲染的同時,,不只是渲染眼睛看到的部分,,它把你的左右方向全部渲染完了,當(dāng)你的頭左右移動的時候就不需要再做一次工作了,。如果 GPU 在渲染一個 360 度鏡像的時候一次性渲染完,,你在頭盔移動的時候就不需要再計算了。這種方法可以把整個看到的面或者你的眼睛能看到的視角范圍內(nèi)的畫面全部渲染完。這樣的方式在 GPU 能力不夠的時候,,就可以達(dá)到很好的性能,,你的頭左右移動的時候不需要再渲染一遍。

  我們把眼睛看到的畫面折射成你的眼球的曲面,,用這樣的方式把 GPU 的圖形圖象渲染能力提升 7 倍,,這樣的好處可以讓所有的計算當(dāng)中減少了很多計算量,你會看到 VR 的性能在 1080 顯卡當(dāng)中比 GTX960 提升了 7 倍,??梢宰?HTC Vive 達(dá)到 140 幀。

124.jpg

  我們都知道在 VR 的世界當(dāng)中不只是眼睛去看,,所以我們要看到你的視覺,、聽覺、觸覺等各個方面模擬出自然世界當(dāng)中各種各樣的效果,。我們利用人的五官,,眼睛、耳朵,、手,、皮膚我們把這些感覺增加進(jìn)去,專門做了一套 VRWorks 套件,,實(shí)實(shí)在在模擬現(xiàn)實(shí)中的一切,,物體跟物體之間的碰撞,物體跟物體之間的軌跡,,都可以根據(jù)重力加速度模擬,。

  同時我們也做了非常好的一些開發(fā)工具,這些開發(fā)工具當(dāng)中包括了很多物理模擬的 SDK,,其中有 PHYSX,,拆分成小顆粒做很多分子運(yùn)動的模擬,也可以做很多流體的模擬,,可以做很多細(xì)搭的建筑物,,精細(xì)到每個細(xì)小的小塊,讓它產(chǎn)生實(shí)際的效果,??梢钥吹胶芏鄳?zhàn)爭的場面,破碎的物體,。

  怎么樣體現(xiàn)這個,,我們?yōu)榱俗尯芏嚅_發(fā)者學(xué)會使用這些新的 SDK,我們做了一款游戲叫FUNHOUSE,,建議每個人欣賞體驗(yàn)一下 FUNHOUSE 帶來的效果,,我們打算把源代碼開放在網(wǎng)上,,讓所有的開發(fā)者自己下載。我們也打算跟國內(nèi)的游戲開發(fā)社區(qū),,給大家提供相應(yīng)的技術(shù)支持,,教會每一個開發(fā)者有能力開發(fā)出更加逼真的自然的游戲效果。

  這個效果到底怎么樣,,我建議每個人找到設(shè)備去體驗(yàn),,這個模型做的很簡單,簡單的物理特效模擬游樂場,,所有的運(yùn)動軌跡是一樣的,,如果籃球可以產(chǎn)生重力加速度,反彈和碰撞產(chǎn)生的結(jié)果都是非常真實(shí),,氣球破碎之后粒子的狀況,,如果游戲開發(fā)的好,可以開發(fā)的很細(xì),,如果開發(fā)的很細(xì)對于我們的 GPU 就會很麻煩,,你會很快秒殺我們的 1080,有的人可能會買 4 塊,,也是促進(jìn)我們盡快研發(fā)下一代 GPU,。其實(shí)很多人玩家覺得這個顯卡太慢,這也是 GPU 為什么這幾年加速發(fā)展的過程,。

125.png

  為了讓這些東西做的很好,,AUDIO 是非常重要的一點(diǎn),為了把這個做好,,這個也是非常簡單就是聲音的折射和反射,,對于 GPU 來說非常容易,因?yàn)樵?GPU 有一個引擎專門做光線追蹤,,如果有到聲音里面更加容易,,聲音源沒有那么,反而光源會很多,,我們把這個算法加進(jìn) VRWorks 套件里面。當(dāng)然我們每個人都會迫切需要 Volta 盡快上市,,好消息是它會很快,,壞消息是還要等兩年。

  今年如果我們是投資人你會發(fā)現(xiàn)投資的兩大科技點(diǎn)一個就是 AI,,一個就是 VR,,所有這一切就是基于 GPU,如果一個企業(yè)不懂 GPU 研發(fā),,你投資給它是有點(diǎn)浪費(fèi)的,,因?yàn)樗茈y找到技術(shù)源泉驅(qū)動他的應(yīng)用,。

  總結(jié)一下 VR 里面,我相信 VR 當(dāng)中對于我們整個生態(tài)系統(tǒng)來講,,無論是做 HMD,、引擎還是游戲公園,大家如果有什么技術(shù)幫助可以找我們 NVIDIA,,我們也愿意跟所有的同行,,所有的生態(tài)系統(tǒng)的合作伙伴共同把 VR 推向一個新的高度,這個點(diǎn)是非常好的點(diǎn),,全球的投資和全球的開發(fā)點(diǎn),,起步點(diǎn)是一樣的,沒有先后,,中國絕對有機(jī)會超過全球其它國家,,我們也希望中國的開發(fā)者能成為全球最的開發(fā)者,謝謝大家,!

  青瞳視覺:深挖單一技術(shù)才能成功

  現(xiàn)在交互對虛擬現(xiàn)實(shí)來說越來越重要,,在 2014 年頭盔越來越廉價,很多人用得起,,效果越來越好,,2014、2015 年大家關(guān)注點(diǎn)可能在頭盔領(lǐng)域,。我們在做青瞳之前不是結(jié)合頭盔在用,,它的領(lǐng)域非常多,我們更多的結(jié)合的是投影機(jī),、機(jī)器人領(lǐng)域做一些嘗試,,但是每個嘗試沒有得到很好的市場反饋。

  后面我們探索了很長時間,,就選了虛擬現(xiàn)實(shí)主題公園這個方向,,在 2015 年的時候,很多人介入到虛擬現(xiàn)實(shí)領(lǐng)域都是為了掘金,,中間有一個很有趣的故事,,當(dāng)時廚師協(xié)會的會長跑進(jìn)來做 VR 做了一段時間跟他想的不一樣,他堅持了半年投入了 60 多萬,,結(jié)果跟自己想的不一樣,,發(fā)現(xiàn)坑太深。

  追蹤系統(tǒng)本身作為交互技術(shù),,可以跟 VR,、AR、無人機(jī)結(jié)合都可以,。所以現(xiàn)在追蹤在這塊,,遠(yuǎn)比我們想像的多,,而且交互在后面的發(fā)展包括像現(xiàn)在主題公園,我們現(xiàn)在接觸了非常多的做主題樂園,,包括做交互的,,大家對交互意識重要性越來越大,他會測試幀速夠不夠,,精度夠不夠,。

126.jpg

  我先說一下目前的當(dāng)時在確定下來做追蹤市場的話,當(dāng)時研究了幾項(xiàng),,包括在 Xbox,、PS 等方面。在 PS 追蹤系統(tǒng)跟游戲結(jié)合互動,,大家覺得坐在那兒玩不夠爽,,青瞳的定位就是做大產(chǎn)品的追蹤,不做小的,。我可能做一個桌面級的,,PS 馬上能把我取代掉。我們后來定位就是參考了國外的模式,,做 VR 的主題樂園,。

  這個是我們當(dāng)時在分析的時候看每個板塊,這個也是國外的一些信息,,大家可以看到每一個領(lǐng)域都需要追蹤,。我最早做虛擬現(xiàn)實(shí)的教育領(lǐng)域,大家需要追蹤,,或者模擬訓(xùn)練,,后面大家意識到模擬越來越重要。

  這是當(dāng)時做的幾個對比,,因?yàn)橐恢痹谧鲞@一塊,,所以很多時候會被別人問到你們的差異在那兒,比如說 Kinect 是微軟的配件,,價值非常便宜,,用途也是最廣的,但是 Kinect 很難結(jié)合 VR 的做一些優(yōu)秀的內(nèi)容出來,。Kinect 只有 30 幀的幀速,,所以畫面有明顯的延遲。如果結(jié)合 VR 做一些深度的互動,,我在里面可能還有道具和產(chǎn)品結(jié)合,Kinect 沒有辦法支撐,。

127.jpg

  比如做 VR 體驗(yàn)的時候,,規(guī)定只是人進(jìn)去或者只是頭盔進(jìn)去,,我希望周邊的道具進(jìn)去,把紅外點(diǎn)粘到槍上,,槍可以是木頭槍,,在虛擬現(xiàn)實(shí)里面可以辦成很酷的槍,沉浸感會把你帶進(jìn)去,。

  還有一個激光發(fā)射基站是 HTC 現(xiàn)在在做的,,用的最廣的。SLAM,,現(xiàn)在非常紅,,大家都在追著去用,因?yàn)楝F(xiàn)在大部分的追蹤方案對于空間產(chǎn)品的限制比較大,,大家希望我的攝像機(jī)在頭盔上可以擺脫所有的束縛,,用 SLAM 方式去做。但是它的數(shù)據(jù)非常大,,包括延遲,,離真正的商用還是有一段距離。

  激光雷達(dá)我在所有的國內(nèi)的線下的 VR 體驗(yàn)基本上沒有見到過,,激光雷達(dá)成本高,。比如我在紅外的點(diǎn)上,貼到這個點(diǎn)可以定一個序號,,比如這個序號是 1,,但是激光雷達(dá)做不到,第二個也會有一些干擾因素,。

  這個是我們現(xiàn)在給自己的定位:賣最好的追蹤產(chǎn)品,。第一個本身團(tuán)隊(duì)的性質(zhì)決定的,我們整個團(tuán)隊(duì) 90% 偏研發(fā),,而且又是專門專攻追蹤這塊,,基于這樣的情況我們專門做追蹤產(chǎn)品。我們自己的盈利模式,、變現(xiàn)渠道都比較清晰,。

  這個是我們在做 VR 的主題公園整個的架構(gòu),在整個虛擬現(xiàn)實(shí)體驗(yàn),,這里面最大的一塊在追蹤系統(tǒng),,現(xiàn)在很多虛擬現(xiàn)實(shí)的體驗(yàn),比如說我在上海某一個商場做一下,,但是效率非常低,,一個小時只能體驗(yàn)一兩個人,這塊我們現(xiàn)在更多的是傾向和別人合作,。我們跟米粒合作,,它電影宣發(fā)要找亮點(diǎn),,而且它有自己的 IP 和內(nèi)容。

128.jpg

  最上面的部分是 Cameras,,我們對于可見光,、對紅外有一定的過濾。一般對于這樣的場地,,對于光線有一定的要求,,比如說 Cameras 上面有強(qiáng)電從旁邊經(jīng)過,這種 Cameras 追蹤系統(tǒng)都不會特別穩(wěn)定,,細(xì)節(jié)的東西我們實(shí)踐的時候,,發(fā)現(xiàn)很多東西遠(yuǎn)比自己想的多。

  這是應(yīng)用結(jié)合比較緊的方向,,第一個是線下體驗(yàn),,我們現(xiàn)在做的 VR 主題樂園方面,線下體驗(yàn)這種方式北京,、上海和廣州都有一些示范的點(diǎn)出來,,都能看到,而且基本上三個月迭代一次,。

  教育這塊,,更多的是作為培訓(xùn),對互動的要求比較高,,希望通過這種方式培養(yǎng)學(xué)生,,通過虛擬的環(huán)境進(jìn)行一些操作,可以得到一些學(xué)習(xí)的經(jīng)驗(yàn),。

  軍事這塊,,需求比較大,但是門檻比較高,,軍工部分有保密機(jī)制,,所以做市場化的公司沒有技術(shù),沒有這個資質(zhì)是不能直接做的,,而且周期是比較長的,,不一定適合我們現(xiàn)在做。

  影視動畫,,在影視動畫里面,,我們跟影視基地合作,我們解決的是技術(shù)端的事情,,具體的應(yīng)用的東西他們通過他們實(shí)踐的方式反饋回來,,通過他們的反饋再去迭代。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118,;郵箱:[email protected],。