縱觀(guān)AR/VR產(chǎn)業(yè)鏈，解讀處理器及連接技術(shù)

作者/ 王瑩 ?王金旺 《電子產(chǎn)品世界》編輯(100036)

摘要：本文邀請AR/VR行業(yè)關(guān)鍵廠(chǎng)商及領(lǐng)軍人物，就AR/VR產(chǎn)業(yè)的處理器及連接技術(shù)進(jìn)行了深入的解讀和分析。

處理器IP及顯示

多解決方案滿(mǎn)足不同AR/VR應用需求

　　對于VR，用戶(hù)體驗與分辨率、幀速率、延遲和質(zhì)量等直接相關(guān)。因此，我們看到有提高分辨率和幀率的要求;每只眼睛高達4K，每秒刷新率為60到120幀。

　　分辨率和幀速率的同時(shí)提高意味著(zhù)圖形處理單元(GPU)現在要為4K120雙顯示器提供高質(zhì)量的內容，性能明顯高于目前通常用于移動(dòng)和電視游戲的1080P60單顯示器。對于一體式頭戴式顯示器，這一切都必須滿(mǎn)足嚴格的功率要求才能實(shí)現。所使用的GPU硬件在開(kāi)始設計時(shí)就要考慮好移動(dòng)供電的限制。

? ?Imagination Technologies的AR解決方案

　　在A(yíng)R方面，Imagination Technologies正在生產(chǎn)一些能滿(mǎn)足場(chǎng)景理解視覺(jué)要求的產(chǎn)品。這包括場(chǎng)景照明、場(chǎng)景映射和物體識別。這些產(chǎn)品符合將現實(shí)虛擬物體放到AR環(huán)境中，使物體更好地融入到場(chǎng)景中這一發(fā)展趨勢。為了渲染超現實(shí)的虛擬物體，通常需要使用光線(xiàn)追蹤技術(shù)，這也可以充分體現我們硬件光線(xiàn)追蹤解決方案的優(yōu)勢。

　　為了在A(yíng)R中實(shí)現場(chǎng)景理解，我們提供了多種解決方案。PowerVR GPU作為圖形處理單元，擁有滿(mǎn)足AR視覺(jué)應用需求的并行架構。此外，PowerVR還為視覺(jué)處理提供了硬件解決方案，以性能和效能更高的方式處理視覺(jué)數據。

　　Imagination Technologies目前已經(jīng)在VR產(chǎn)品中部署了多種PowerVR GPU內核。AR和VR有很多價(jià)格點(diǎn)和應用，因此，作為SoC公司的IP提供商，Imagination Technologies必須能提供多種解決方案，以便我們的客戶(hù)能夠滿(mǎn)足他們專(zhuān)門(mén)針對的細分市場(chǎng)的精確區域、功能和性能點(diǎn)要求。為滿(mǎn)足各種不同的需求，我們還提供了多種內核。超小型、低功耗Series8XE非常適合入門(mén)級專(zhuān)用VR HMD和360°視頻，而升級版Series8XEP進(jìn)一步提高了入門(mén)級VR游戲的處理能力。我們還提供高端Series8XT，既適用于中檔VR解決方案，又適用于支持4K120的最高端VR功能。

支持嵌入式視覺(jué)神經(jīng)網(wǎng)絡(luò )的數字信號處理器(DSP)

　　所有嵌入式應用中，AR/VR和混合現實(shí)面臨著(zhù)獨有的挑戰。上述領(lǐng)域的設備大多屬于智能頭盔、耳機或智能眼鏡等可穿戴設備，依靠電池供電，能耗是選擇神經(jīng)網(wǎng)絡(luò )解決方案時(shí)最重要的考量因素之一。AR/VR應用的另一個(gè)重要需求是減小延遲，所以神經(jīng)網(wǎng)絡(luò )必須實(shí)現設備嵌入。所有這些設備都需要某種圖像識別、手勢識別、立體攝像分割、3D傳感、頭部跟蹤、眼球偵測和眼球跟蹤能力?，F在的成像技術(shù)多種多樣，但隨著(zhù)時(shí)間的推移，其中某些功能，如語(yǔ)義環(huán)境理解、手勢識別和圖像識別，都將可以通過(guò)神經(jīng)網(wǎng)絡(luò )實(shí)現。除了成像/視覺(jué)神經(jīng)網(wǎng)絡(luò )，這些設備還對聲音/音頻神經(jīng)網(wǎng)絡(luò )提出了要求，以接收語(yǔ)音指令。

　　目前，實(shí)現神經(jīng)網(wǎng)絡(luò )有兩個(gè)主要選擇：CPU/GPU或使用硬件加速器及匹配的成像DSP。這兩個(gè)選擇都可以各自解決設計人員面臨的一些挑戰;但又都在開(kāi)發(fā)的簡(jiǎn)易程度、功耗效率、延遲、未來(lái)升級空間或性能方面有一些令人不滿(mǎn)意的折衷。硬件加速器與匹配的成像DSP是嵌入式設備的選擇之一，但這一組合效率低下，會(huì )產(chǎn)生不必要的功耗。除了開(kāi)發(fā)困難，軟件還必須在DSP和加速器之間進(jìn)行分區。僅卸載卷積層會(huì )顯著(zhù)增加數據傳送負擔，并影響效率。另外，硬件在流片時(shí)便已固定，所以這些加速器將不具備未來(lái)的升級空間。

　　符合嵌入式應用需要的神經(jīng)網(wǎng)絡(luò )DSP解決方案要滿(mǎn)足以下要求：易于開(kāi)發(fā)、能夠處理龐大的數據量、未來(lái)具有升級空間、有效地使用能源并實(shí)現延遲最小化。

? ?Tensilica Vision C5數字信號處理器(DSP)

　　Cadence Tensilica Vision C5 DSP是致力于神經(jīng)網(wǎng)絡(luò )處理并適用于多處理器架構的面向視覺(jué)和融合傳感器應用優(yōu)化的DSP解決方案。這一解決方案具有存儲器結構共享、允許中斷、同步隊列和同步多處理器調試等特性。Vision C5 DSP可以實(shí)現全神經(jīng)網(wǎng)絡(luò )層的計算加速(卷積層、全連接層、池化層和歸一化層)，而不僅僅是卷積層功能。因此，主視覺(jué)處理DSP的能力得以釋放，獨立運行圖像增強應用程序;而Vision C5 DSP則運行推理任務(wù)。通過(guò)移除硬件加速器的冗余數據傳輸，Vision C5 DSP的功耗遠低于現有的神經(jīng)網(wǎng)絡(luò )加速器。

　　Vision C5 DSP具備1TMAC/秒的計算能力，可以滿(mǎn)足神經(jīng)網(wǎng)絡(luò )不斷增長(cháng)的計算要求;計算精確，擁有多核心設計架構，支持多TMAC嵌入式解決方案。Vision C5 DSP針對的是經(jīng)常運行多個(gè)神經(jīng)網(wǎng)絡(luò )的應用。由于其可編程特性，該解決方案具有未來(lái)升級空間，并且能夠隨著(zhù)設計的改變而支持新分層。

用ARM Mali GPU驅動(dòng)實(shí)現移動(dòng)VR

　　ARM認為移動(dòng)產(chǎn)品形態(tài)是更容易被客戶(hù)接受的產(chǎn)品形態(tài)。VR包括AR(增強現實(shí))都是很好的能夠拉動(dòng)高端手機市場(chǎng)的應用場(chǎng)景，這類(lèi)應用對性能的要求非常高，而且性能不只是來(lái)自于GPU，也來(lái)自于CPU，包括AR可能還需要攝像頭的參與，所以VR/AR是全系統的運算方案。

　　在高端的VR游戲運算的情況下，需要很強的GPU、CPU處理能力以及系統設計，所以對整個(gè)硬件的要求是非常高的;而在VR的360°視頻播放的應用場(chǎng)景中，除了對GPU有要求以外，對視頻編/解碼器也有較高的要求，需要高分辨率，配合VR設備得到一個(gè)沉浸式的體驗。