如何用 All Programmable SoC 優(yōu)化AR解決方案

　　研究顯示人類(lèi)通過(guò)視覺(jué)與世界互動(dòng)時(shí)，處理圖像的速度比處理書(shū)面文本等其他不同形式的信息要快許多倍。增強現實(shí) (AR) 類(lèi)似于其近親虛擬現實(shí)(VR)，能讓用戶(hù)增強對周邊環(huán)境的洞察。它們之間的主要的區別是,AR 借助文本或其他可視對象等虛擬對象可豐富或增強自然界。這樣能讓 AR 系統的用戶(hù)安全、更高效地與他們的環(huán)境互動(dòng)。這與用戶(hù)沉浸在人工創(chuàng )建的環(huán)境中的虛擬現實(shí)不同。增強現實(shí)和虛擬的結合常被描述為為用戶(hù)呈現混合現實(shí) (MR)。我們中的許多人在日常生活中已經(jīng)不知不覺(jué)地用上了AR，例如我們的移動(dòng)設備在進(jìn)行道路導航時(shí)，或是玩精靈寶可夢(mèng)GO等虛擬游戲時(shí)。

　　當提及 AR 及其應用時(shí)，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車(chē)應用中，讓用戶(hù)無(wú)需低頭看儀表盤(pán)就能看到相關(guān)的飛行器/汽車(chē)信息。抬頭顯示器是較簡(jiǎn)單的可用 AR 應用之一。擁有可穿戴技術(shù)等更高級功能的先進(jìn) AR 應用往往被稱(chēng)為智能增強現實(shí)，據 Tractica 預測，其市場(chǎng)規模到 2020 年將達到 23 億美元。

　　增強現實(shí)應用和用例

　　AR正在進(jìn)軍眾多應用領(lǐng)域，覆蓋工業(yè)、軍事、制造、醫療、社交和商業(yè)等不同行業(yè)，其大量的用例推動(dòng)其被廣泛采用。在商業(yè)領(lǐng)域，AR主要側重于社交媒體提供應用，例如能夠識別您交談的對象并添加履歷信息。AR 還能讓消費者看到有時(shí)難以參觀(guān)到的產(chǎn)品，例如汽車(chē)、游艇、建筑物等。

　　許多 AR 應用都離不開(kāi)使用偵探佩戴的智能眼鏡。這些智能眼鏡能提高制造環(huán)境內的效率，例如便于替換操作手冊，向用戶(hù)展示如何組裝零部件。在醫療領(lǐng)域，智能眼鏡便于分享醫療記錄以及創(chuàng )傷和損傷的詳細狀況，能為現場(chǎng)急救人員和后續急診室人員提供治療信息。

　　智能眼鏡在工業(yè)環(huán)境中的使用實(shí)例

　　一個(gè)典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發(fā)運標簽上的條形碼。在條形碼掃描完畢后，智能眼鏡能使用WiFi基礎設施與公司服務(wù)器通信，判定包裹的最終目的地。在已知目的地后，智能眼鏡能向用戶(hù)提示包裹的堆放處，以便繼續發(fā)運。

　　就算不考慮應用和用例，設計一款 AR 系統也會(huì )面臨多重相互矛盾的要求，包括性能、安全、功耗和未來(lái)兼容性。如果設計人員要為 AR 系統提供理想的解決方案，這些都必須考慮到。

　　實(shí)現 AR 系統

　　這些復雜的 AR 系統要求能夠連接多個(gè)攝像機傳感器并處理來(lái)自這些傳感器的數據，從而讓系統了解周?chē)h(huán)境。這些攝像頭傳感器還可能會(huì )工作在電磁頻譜的不同頻段上，例如紅外或近紅外。此外，這些傳感器可能提供來(lái)自電磁頻譜之外的信息，從而為檢測移動(dòng)和轉動(dòng)提供輸入，例如 MEMS 加速計和陀螺儀，以及全球導航衛星系統(GNSS)提供的位置信息。融合來(lái)自多種不同類(lèi)型傳感器的信息的嵌入式視覺(jué)系統一般也稱(chēng)為異構傳感器融合系統。AR 系統也要求高幀率，以及開(kāi)展實(shí)時(shí)分析、逐幀提取和處理每幀所含信息的能力。提供滿(mǎn)足這些要求的處理能力成為組件選擇的決定性因素。

　　AR 系統剖析

　　All Programmable Zynq? -7000 SoC 或 Zynq? UltraScale+? MPSoC 用于實(shí)現 AR 系統的處理內核。這些器件本身屬于異構處理系統，將 ARM 處理器和高性能可編程邏輯完美結合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC，額外提供了一個(gè) ARM? Mali-400 GPU。該系列中的某些成員還包含支持 H.265 和 HVEC 標準的硬化視頻編碼器。

　　這些器件能讓設計人員使用處理器理想地細分系統架構，實(shí)現實(shí)時(shí)分析功能并傳遞給生態(tài)系統中的傳統處理器任務(wù)。該可編程邏輯可用于實(shí)現傳感器接口和處理，從而帶來(lái)多重好處，具體包括：

　　·根據應用要求，并行實(shí)現 N 個(gè)圖像處理流水線(xiàn)。

　　·任意連接，能定義和連接任意傳感器、通信協(xié)議或顯示標準，提供靈活性和未來(lái)升級路徑。

　　要實(shí)現圖像處理流水線(xiàn)和傳感器融合算法，我們可充分運用 Vivado? HLS 和 SDSoC? 等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內的各種專(zhuān)家級庫。為縮短 AR 系統的上市時(shí)間，還可以利用廣泛的第三方 IP。這些 IP 專(zhuān)為 AR、嵌入式系統和專(zhuān)門(mén)的賽靈思技術(shù)開(kāi)發(fā)。這些 IP 模塊的供應商中包括 Xylon。Xylon提供能在 Vivado 設計環(huán)境中迅速集成的 LogiBRICKS 系列 IP 核，同時(shí)提供便于系統快速啟動(dòng)和運行的拖放功能。另一 IP 模塊供應商是 Omnitek，其提供一系列針對 AR 要求的關(guān)鍵環(huán)節的 IP 模塊，例如實(shí)時(shí)折疊模塊和 3D 處理模塊。

　　設計人員還必須考慮 AR 系統的獨特方面。它們不僅需要與觀(guān)察用戶(hù)周邊環(huán)境的攝像頭和傳感器連接，還需要執行應用和用例所需的算法。同時(shí)它們還必須能夠跟蹤用戶(hù)的眼睛，判斷它們的視線(xiàn)，從而確定他們所注視的地方。這一般是通過(guò)增加觀(guān)察用戶(hù)面部的攝像頭和實(shí)現眼睛跟蹤算法來(lái)做到的。在實(shí)現后，該算法能讓 AR 系統跟蹤用戶(hù)視線(xiàn)并確定要發(fā)送到 AR 顯示器上的內容，從而高效利用帶寬和滿(mǎn)足處理要求。但是執行檢測和跟蹤本身就是高計算強度的工作。

　　大多數 AR 系統屬于便攜式無(wú)系留系統，而且很多時(shí)候屬于和智能眼鏡一樣的可穿戴系統。這樣如果在供電受限的環(huán)境中實(shí)現這樣的處理功能，就會(huì )面臨特有的難題。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能，通過(guò)實(shí)現多重選項之一，進(jìn)一步降低運行功耗。在極端條件下，這些處理器能夠進(jìn)入可被任意一種源喚醒的待機模式，從而關(guān)斷占器件一半資源的可編程邏輯。一旦 AR 系統檢測到自己被閑置，這些選項都能實(shí)現，從而延長(cháng)了電池使用壽命。在 AR 系統工作過(guò)程中，當前未被使用的處理器單元可以通過(guò)時(shí)鐘門(mén)控來(lái)降低功耗。在可編程邏輯單元內，通過(guò)遵循簡(jiǎn)單的設計規則如高效使用硬宏、精心規劃控制信號和在目前不需要的器件區域考慮使用智能時(shí)鐘門(mén)控，也能實(shí)現極高的用電效率。

　　有幾種 AR 應用，例如病患醫療記錄共享或生產(chǎn)數據共享，要求在信息保障 (IA) 和威脅防范 (TP) 領(lǐng)域提供高安全等級，尤其是在 AR 系統具有高度移動(dòng)性、可能被放錯地方的情況下。信息保障要求我們能夠信賴(lài)存儲在系統里的信息以及系統發(fā)送和接收的信息。這樣對于綜合人工智能領(lǐng)域而言，我們需要使用 Zynq 的安全引導功能來(lái)實(shí)現加密，并使用 AES 解密、HMAC 和 RSA 驗證來(lái)進(jìn)行驗證。只要設備正確配置和運行，開(kāi)發(fā)人員就能夠使用 ARM Trust Zone 和管理程序實(shí)現安全的、外人無(wú)法訪(fǎng)問(wèn)的正交環(huán)境。

　　在威脅防范方面，這些器件能使用系統內置的 XADC 來(lái)監測供電電壓、電流和溫度，以發(fā)現任何試圖篡改 AR 系統的企圖。如果發(fā)生這樣的情況，Zynq 器件可提供多種選擇，包括記錄該企圖、擦除安全數據，防止 AR 系統再次連接到支持性基礎設施。

　　結論

　　AR 系統在商業(yè)、工業(yè)、軍事等幾大行業(yè)的應用正日趨普及。這些設備也為它們帶來(lái)了高性能、系統級安全性和高能效等一系列自相矛盾的難題。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統的核心，這些難題將迎刃而解。