目前, AR/VR 技術(shù)已在安防,、工業(yè),、教育等各個行業(yè)展開應(yīng)用,整體產(chǎn)業(yè)規(guī)模已超百億美金,,并將迎來爆發(fā)式的增長,。
上海海思近日正式發(fā)布 XR 芯片平臺,為了更好的適應(yīng) AR/VR 場景高分辨率,,廣視角,,低延時的特點,推出首款可以支持 8K 解碼能力和高性能 GPU,、NPU 為一體的 XR 芯片,。
海思官方也對這一平臺進行了更多解讀:
一方面,該 XR 芯片平臺支持 8K 硬解碼能力,,可以支持到單眼 42.7PDD,。
以 VR 為例,人眼能達到的理想分辨率大約為 60PPD(每度像素數(shù)),,一般支持 4KP60 解碼能力的芯片能支持的單眼分辨率為 21.3PPD,,對應(yīng)到電視的話只能等效于 480P 的電視顯示效果,還遠遠達不到讓人感到舒適和沉浸式的效果,。
此次海思發(fā)布的 XR 芯片也是從解碼能力進行了提升,,以提供更清晰的內(nèi)容呈現(xiàn)效果。
另一方面,該平臺加入海思專有架構(gòu) NPU,,可以提供最高 9TOPS 的 NPU 算力,。
AR 產(chǎn)品一個重要應(yīng)用場景是人臉識別、車牌識別,,這需要對 AR 眼鏡攝像頭中采集到的視頻圖像進行實時分析,,正確識別出每幀圖像中的人臉及車牌,將識別到的結(jié)果上傳到服務(wù)器進行比對,,并將比對結(jié)果實時顯示到眼鏡中的屏幕上,。
從圖像采集、分析,、上傳到顯示,,耗時越短,速度越快,,用戶體驗越好,,而分析階段是整條鏈路中耗時最長的一環(huán),想要做到每分鐘上百個人臉,、車牌在毫秒級時間內(nèi)完成分析識別,,就需要芯片具備強大的 NPU 算力支持。
也是基于這樣的考慮,,海思對平臺架構(gòu)進行了優(yōu)化,。
基于該芯片平臺,AR 企業(yè) Rokid 發(fā)布基于該平臺的雙目 AR 眼鏡——Rokid Vision,。未來,,Rokid 和上海海思將為行業(yè)提供從芯片、核心算法,、軟件系統(tǒng)以及 Saas 服務(wù)的完整的 XR 產(chǎn)品解決方案,。
以 VR 為例,人眼能達到的理想分辨率大約為 60PPD(每度像素數(shù)),,一般支持 4KP60 解碼能力的芯片能支持的單眼分辨率為 21.3PPD,,對應(yīng)到電視的話只能等效于 480P 的電視顯示效果,還遠遠達不到讓人感到舒適和沉浸式的效果,。海思 XR 芯片具有一流的解碼能力,,可以提供更加清晰的內(nèi)容呈現(xiàn)效果,它使用了海思半導(dǎo)體專有架構(gòu) NPU,,最高可以提供 9TOPS 的 NPU 算力,。
Rokid Vision 正面外觀與普通墨鏡相似,鏡片內(nèi)側(cè)有兩塊獨立顯示屏,,具備 40°+ 視場角(FOV),1080P 的高清 3D 顯示效果,采用光波導(dǎo)顯示方案,,連同鏡腿兩側(cè)的立體聲音響,,可為用戶帶來等同于一臺 4 米外 110 寸 3D 高清電視的沉浸體驗。除了低功耗,、長續(xù)航的特點外,,Rokid Vision 還支持 DP 輸出,可以連接包括手機,、電腦,、平板、游戲主機在內(nèi)的多種設(shè)備,,同時不需要額外的供電,。
作為海思 XR 芯片平臺的第一款產(chǎn)品,Rokid Vision 搭載由上海海思和 Rokid 共同研發(fā)的 XR 專用芯片,,無論是顯示亮度,、通透度、FoV 等都遠遠優(yōu)于市場上現(xiàn)有的產(chǎn)品,。Rokid Vision 將應(yīng)用于安防,、工業(yè)、教育,、零售,、會展等多個領(lǐng)域,提供更強大,、便攜,、沉浸的體驗。
Rokid 作為中國 AR 的領(lǐng)軍企業(yè),,和上海海思共同優(yōu)化了平臺專用的算法和方案,。雙方對語音、視覺,、環(huán)境感知等 AI 計算能力做了大量的優(yōu)化工作,,完成了多路視頻編解碼的高分辨率低延時設(shè)計,從芯片規(guī)格,、系統(tǒng)軟件和云端服務(wù)多個層面,,為 XR 行業(yè)提供 AI 交互和多人協(xié)同等核心基礎(chǔ)能力。