研究顯示人類通過視覺與世界互動時，處理arget="_blank">圖像的速度比處理書面文本等其他不同形式的信息要快許多倍,。增強現(xiàn)實 （AR） 類似于其近親虛擬現(xiàn)實（VR），能讓用戶增強對周邊環(huán)境的洞察,。它們之間的主要的區(qū)別是，AR 借助文本或其他可視對象等虛擬對象可豐富或增強自然界,。這樣能讓 AR 系統(tǒng)的用戶安全,、更高效地與他們的環(huán)境互動。這與用戶沉浸在人工創(chuàng)建的環(huán)境中的虛擬現(xiàn)實不同,。增強現(xiàn)實和虛擬的結(jié)合常被描述為為用戶呈現(xiàn)混合現(xiàn)實 （MR）,。我們中的許多人在日常生活中已經(jīng)不知不覺地用上了AR，例如我們的移動設備在進行道路導航時,，或是玩精靈寶可夢GO等虛擬游戲時,。
虛擬現(xiàn)實、增強現(xiàn)實和混合現(xiàn)實
當提及 AR 及其應用時,，首先想到的事情之一是抬頭顯示器 （HUD）,。它們被用于航空和汽車應用中，讓用戶無需低頭看儀表盤就能看到相關的飛行器/汽車信息,。抬頭顯示器是較簡單的可用 AR 應用之一,。擁有可穿戴技術等更高級功能的先進 AR 應用往往被稱為智能增強現(xiàn)實，據(jù) Tractica 預測,，其市場規(guī)模到 2020 年將達到 23 億美元,。
增強現(xiàn)實應用和用例
AR正在進軍眾多應用領域，覆蓋工業(yè),、軍事,、制造、醫(yī)療,、社交和商業(yè)等不同行業(yè),，其大量的用例推動其被廣泛采用。在商業(yè)領域，AR主要側(cè)重于社交媒體提供應用,，例如能夠識別您交談的對象并添加履歷信息,。AR 還能讓消費者看到有時難以參觀到的產(chǎn)品，例如汽車,、游艇,、建筑物等。
許多 AR 應用都離不開使用偵探佩戴的智能眼鏡,。這些智能眼鏡能提高制造環(huán)境內(nèi)的效率,，例如便于替換操作手冊，向用戶展示如何組裝零部件,。在醫(yī)療領域，智能眼鏡便于分享醫(yī)療記錄以及創(chuàng)傷和損傷的詳細狀況,，能為現(xiàn)場急救人員和后續(xù)急診室人員提供治療信息,。
智能眼鏡在工業(yè)環(huán)境中的使用實例
一個典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發(fā)運標簽上的條形碼,。在條形碼掃描完畢后,，智能眼鏡能使用WiFi基礎設施與公司服務器通信，判定包裹的最終目的地,。在已知目的地后,，智能眼鏡能向用戶提示包裹的堆放處，以便繼續(xù)發(fā)運,。
就算不考慮應用和用例,，設計一款 AR 系統(tǒng)也會面臨多重相互矛盾的要求，包括性能,、安全,、功耗和未來兼容性。如果設計人員要為 AR 系統(tǒng)提供理想的解決方案,，這些都必須考慮到,。
實現(xiàn) AR 系統(tǒng)
這些復雜的 AR 系統(tǒng)要求能夠連接多個攝像機傳感器并處理來自這些傳感器的數(shù)據(jù)，從而讓系統(tǒng)了解周圍環(huán)境,。這些攝像頭傳感器還可能會工作在電磁頻譜的不同頻段上,，例如紅外或近紅外。此外,，這些傳感器可能提供來自電磁頻譜之外的信息,，從而為檢測移動和轉(zhuǎn)動提供輸入，例如 MEMS 加速計和陀螺儀,，以及全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）提供的位置信息,。融合來自多種不同類型傳感器的信息的嵌入式視覺系統(tǒng)一般也稱為異構傳感器融合系統(tǒng)。AR 系統(tǒng)也要求高幀率，以及開展實時分析,、逐幀提取和處理每幀所含信息的能力,。提供滿足這些要求的處理能力成為組件選擇的決定性因素。
AR 系統(tǒng)剖析
All Programmable Zynq? -7000 SoC 或 Zynq? UltraScale+? MPSoC 用于實現(xiàn) AR 系統(tǒng)的處理內(nèi)核,。這些器件本身屬于異構處理系統(tǒng),，將 ARM 處理器和高性能可編程邏輯完美結(jié)合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC,，額外提供了一個 ARM? Mali-400 GPU,。該系列中的某些成員還包含支持 H.265 和 HVEC 標準的硬化視頻編碼器。
這些器件能讓設計人員使用處理器理想地細分系統(tǒng)架構,，實現(xiàn)實時分析功能并傳遞給生態(tài)系統(tǒng)中的傳統(tǒng)處理器任務,。該可編程邏輯可用于實現(xiàn)傳感器接口和處理，從而帶來多重好處,，具體包括：
·根據(jù)應用要求,，并行實現(xiàn) N 個圖像處理流水線。
·任意連接,，能定義和連接任意傳感器,、通信協(xié)議或顯示標準，提供靈活性和未來升級路徑,。
要實現(xiàn)圖像處理流水線和傳感器融合算法,，我們可充分運用 Vivado HLS 和 SDSoC等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內(nèi)的各種專家級庫,。為縮短 AR 系統(tǒng)的上市時間,，還可以利用廣泛的第三方 IP。這些 IP 專為 AR,、嵌入式系統(tǒng)和專門的賽靈思技術開發(fā),。這些 IP 模塊的供應商中包括 Xylon。Xylon提供能在 Vivado 設計環(huán)境中迅速集成的 LogiBRICKS 系列 IP 核,，同時提供便于系統(tǒng)快速啟動和運行的拖放功能,。另一 IP 模塊供應商是 Omnitek，其提供一系列針對 AR 要求的關鍵環(huán)節(jié)的 IP 模塊,，例如實時折疊模塊和 3D 處理模塊,。
設計人員還必須考慮 AR 系統(tǒng)的獨特方面。它們不僅需要與觀察用戶周邊環(huán)境的攝像頭和傳感器連接,，還需要執(zhí)行應用和用例所需的算法,。同時它們還必須能夠跟蹤用戶的眼睛，判斷它們的視線,，從而確定他們所注視的地方,。這一般是通過增加觀察用戶面部的攝像頭和實現(xiàn)眼睛跟蹤算法來做到的,。在實現(xiàn)后，該算法能讓 AR 系統(tǒng)跟蹤用戶視線并確定要發(fā)送到 AR 顯示器上的內(nèi)容,，從而高效利用帶寬和滿足處理要求,。但是執(zhí)行檢測和跟蹤本身就是高計算強度的工作。
大多數(shù) AR 系統(tǒng)屬于便攜式無系留系統(tǒng),，而且很多時候?qū)儆诤椭悄苎坨R一樣的可穿戴系統(tǒng),。這樣如果在供電受限的環(huán)境中實現(xiàn)這樣的處理功能，就會面臨特有的難題,。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能,，通過實現(xiàn)多重選項之一，進一步降低運行功耗,。在極端條件下,，這些處理器能夠進入可被任意一種源喚醒的待機模式，從而關斷占器件一半資源的可編程邏輯,。一旦 AR 系統(tǒng)檢測到自己被閑置,，這些選項都能實現(xiàn)，從而延長了電池使用壽命,。在 AR 系統(tǒng)工作過程中，當前未被使用的處理器單元可以通過時鐘門控來降低功耗,。在可編程邏輯單元內(nèi),，通過遵循簡單的設計規(guī)則如高效使用硬宏、精心規(guī)劃控制信號和在目前不需要的器件區(qū)域考慮使用智能時鐘門控,，也能實現(xiàn)極高的用電效率,。
有幾種 AR 應用，例如病患醫(yī)療記錄共享或生產(chǎn)數(shù)據(jù)共享,，要求在信息保障 （IA） 和威脅防范 （TP） 領域提供高安全等級,，尤其是在 AR 系統(tǒng)具有高度移動性、可能被放錯地方的情況下,。信息保障要求我們能夠信賴存儲在系統(tǒng)里的信息以及系統(tǒng)發(fā)送和接收的信息,。這樣對于綜合人工智能領域而言，我們需要使用 Zynq 的安全引導功能來實現(xiàn)加密,，并使用 AES 解密,、HMAC 和 RSA 驗證來進行驗證。只要設備正確配置和運行,，開發(fā)人員就能夠使用 ARM Trust Zone 和管理程序?qū)崿F(xiàn)安全的,、外人無法訪問的正交環(huán)境。
在威脅防范方面,，這些器件能使用系統(tǒng)內(nèi)置的 XADC 來監(jiān)測供電電壓,、電流和溫度,，以發(fā)現(xiàn)任何試圖篡改 AR 系統(tǒng)的企圖。如果發(fā)生這樣的情況,，Zynq 器件可提供多種選擇,，包括記錄該企圖、擦除安全數(shù)據(jù),，防止 AR 系統(tǒng)再次連接到支持性基礎設施,。
結(jié)論
AR 系統(tǒng)在商業(yè)、工業(yè),、軍事等幾大行業(yè)的應用正日趨普及,。這些設備也為它們帶來了高性能、系統(tǒng)級安全性和高能效等一系列自相矛盾的難題,。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統(tǒng)的核心,，這些難題將迎刃而解。