SuperToF?精細人臉成像
在國內(nèi)主流手機廠商爭相搭載飛行時間(ToF)攝像頭的手機發(fā)布同時,,國際主流手機廠商也紛紛傳出2019年旗艦手機將搭載ToF傳感器的消息,,國際ToF產(chǎn)業(yè)鏈從感光元件到攝像頭模組各大廠商也在頻頻聯(lián)合,,取對方長處以補充自身的不足,我們看到ToF技術(shù)在2018年搶而不火的景象,,究其原因:在硬件逐漸小型化的今天,,硬件快速無縫銜接與關(guān)鍵感知處理技術(shù)的缺失,,拖慢了ToF普及化的進程。
據(jù)麥姆斯咨詢報道,,來自香港的光云科技(HKShiningCloud)憑借積累了多年的3D識別感知技術(shù)順勢而為,,全力打造SuperToF?產(chǎn)品系列,為ToF模組在手機,、機器人,、物聯(lián)網(wǎng)(IoT)等行業(yè)的應用,提供了一把“利刃”,。SuperToF? Mobile,,為ToF方案公司和手機制造業(yè)構(gòu)建了一條“快速綠色通道”,ToF方案公司無需經(jīng)過完整的數(shù)據(jù)處理分析這一技術(shù)門檻,,只需打磨自己的光學器件和優(yōu)化封裝等,,即可快速且準確地切入產(chǎn)業(yè)鏈,而從信號處理到ToF應用,,都可以得到一個理想的結(jié)果,,SuperToF?的面世為ToF移動的普及全面賦能,并為產(chǎn)業(yè)爆發(fā)提供了可行路徑,。
據(jù)了解,,香港光云科技致力于將SuperToF?賦能物理感知知識集,遵行并參與國際電信聯(lián)盟電信標準分局(ITU-T)和國際標準化組織動態(tài)圖象專家組(MPEG)點云及沉浸式媒體相關(guān)的國際標準,,主要聚焦ToF-3D芯片,、ToF-3D動態(tài)影像重建及識別、ToF-3D智能視覺,、5G-3D應用,,提供ToF的AP指令授權(quán)與芯片產(chǎn)品及服務。
如上圖所示,,SuperToF?是一套連接OS與ToF的硬件層,,針對ToF信號的優(yōu)化、ToF質(zhì)量提升,、使用安全檢測,、算法優(yōu)化加速等功能而構(gòu)建的一套硬件加速指令集。針對現(xiàn)有ToF傳感器在實際應用中遇到的問題:例如在強光環(huán)境下的噪聲,、黑色物體的檢測、透明玻璃覆蓋以及ToF硬件噪聲等問題,,SuperToF?產(chǎn)品系列已經(jīng)打通了從硬件的光信號到分析應用的全通路,。能夠全面幫助傳感器廠、模組廠,、手機廠完成ToF信號優(yōu)化,、ToF模組校準,、提供ToF-3D應用基礎特性,同時也提供高級的特性,,例如:SuperZoom,、透明成像、探測識別,、精細3D手勢識別,、單反3D高畫質(zhì)成像等。
下圖展示了5m-0.005m的SuperZoom:
SuperZoom 5m樹與5mm樹枝均可清晰呈現(xiàn)
輕薄的首選
據(jù)了解,,基于多年在信號成像及3D圖像領(lǐng)域的世界前沿技術(shù)積累,,香港光云科技潛心技術(shù)積淀,以敏銳的學術(shù)洞察力及領(lǐng)悟力,,已經(jīng)在ToF技術(shù)的應用算法上,,達到了行業(yè)全球領(lǐng)先的水平。SuperToF?一個顯著的特性就是大幅度提升了空間點云數(shù)據(jù)的“有效性”,,利用SuperToF?有效降低了ToF信號的硬件噪聲,,可實現(xiàn)高達90.24%的噪聲抑制,進而提升ToF CMOS接收到像素的有效性,。如圖所示:與蘋果的結(jié)構(gòu)光方案比,,相同像素水平上,結(jié)果的像素密度及細節(jié)呈現(xiàn)明顯優(yōu)于結(jié)構(gòu)光,。
SuperToF 38k VS. APPLE 30k 結(jié)構(gòu)光[1]
經(jīng)測試,,以英飛凌(Infineon)REAL3?深度傳感器(depth sensing imagers)38k像素的ToF上的實驗為例,其結(jié)果明顯優(yōu)于某公司307k像素的ToF的效果,,這讓行業(yè)內(nèi)人士重新審視ToF的高分辨率與點云有效性之比的權(quán)重,。
手機的輕薄對ToF芯片的大小提出苛刻的要求,SuperToF?實現(xiàn)了對點云數(shù)據(jù)的“有效性”提升,,降低了對ToF芯片的要求,,真正為手機的輕薄提供了全面支持。SuperToF?單反3D高畫質(zhì)成像集中ToF的全面優(yōu)勢,,可同步RGB 攝像頭,,全面動態(tài)模擬大光圈的效果,實現(xiàn)高畫質(zhì)感知體驗,,同時還可降低攝像頭模組設計的復雜性,。
據(jù)介紹,SuperToF?完成了移動端的遷移和優(yōu)化測試,,已在高通驍龍平臺上完成實時建模及空間測量:可準確鎖定目標,,準確顯示測量的數(shù)據(jù)。結(jié)果顯示,,比ARKit和ARCore都有質(zhì)的顯著提升,。SuperToF?輕量化的解決方案應用也為AR Glasses的視覺模組方案提供了更優(yōu)的選擇,,目前完成小型化硬件的快速建模、AR和3D精細手勢交互等的移動方案,,已逐步開放給友商進行產(chǎn)品測試,。
讓ToF全面賦能,感知世界
香港光云科技目前與知名ToF傳感器廠商全面合作,,對移動設備前置及后置的ToF模組及規(guī)模應用進行前瞻性的開發(fā),,已得到國內(nèi)主流手機廠商的認可并展開合作。并與著名移動芯片IP公司合作SuperToF?相關(guān)指令集,,有望2019年在手機上進行規(guī)模應用?,F(xiàn)正將ToF指令集內(nèi)置到移動芯片中,以“令SuperToF? Inside”的方式呈現(xiàn)給終端消費者更多精彩的感知應用,。同時與香港電影制作公司展開研發(fā)感知聯(lián)動的攝像機,,實現(xiàn)空間的快速理解與高精度結(jié)構(gòu),方便電影后期的精確再制作,,并把電影的高畫質(zhì)體驗帶入消費電子,。
同時在機器人、新零售,、廣告推廣,、設計及打印等領(lǐng)域確認了產(chǎn)品試點大客戶,為了服務和扶持更多產(chǎn)業(yè)的感知革命,,香港光云科技將與ToF行業(yè)共同構(gòu)建一個應用生態(tài),,讓更多的行業(yè)人才看到ToF的精彩之處,結(jié)合其在本身行業(yè)的從業(yè)經(jīng)驗,,讓ToF技術(shù)對物理感知科技發(fā)展起到一個催化劑的作用,。
香港光云科技CEO謝永明指出:“在5G時代,點云數(shù)據(jù)將成為其主要的流量模式,,同時也將帶來整個時代的變革,,其點云數(shù)據(jù)的創(chuàng)新應用都將成為接下來的‘風口’,由人工智能,、視覺智能向物理感知智能的廣闊提升,,形成全新的數(shù)據(jù):物理感知知識集。手機等移動設備的感知升級后,,不但互動起來更加真實與魯棒,,互動行為也可以更加復雜化,以前很多不可能完成的動作將變成可能,,讓我們充分體驗物理感知的魔力”,。
謝永明還表示,香港光云科技現(xiàn)正面向ToF傳感器,、攝像頭模組,、手機等廠家的產(chǎn)品進行SuperToF?的規(guī)模化應用測試,,SuperToF?讓ToF易于部署,,同時可協(xié)助產(chǎn)業(yè)及用戶做到“三減”:針對雙攝/多攝搭載ToF攝像頭減少硬件成本;針對移動設備更輕更薄的要求減少 ToF 相關(guān)產(chǎn)品的體積,;減少用戶及開發(fā)者的學習與開發(fā)時間,。公司的愿景是“讓ToF全面賦能,感知世界”,。