Arm 推出精銳超級分辨率技術(shù)
加入技術(shù)交流群
作者： Arm 開(kāi)發(fā)者生態(tài)系統戰略總監 Peter Hodges
本文引用地址：http://dyxdggzs.com/article/202407/461098.htm近日，Arm 推出了 Arm 精銳超級分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)，這是一款面向移動(dòng)設備進(jìn)行優(yōu)化升級的出色開(kāi)源超級分辨率 （下文簡(jiǎn)稱(chēng)“超分”） 解決方案。本文將為你介紹我們所采用的方法，并歡迎你一同加入我們的技術(shù)探索旅程。
制作精良的游戲能夠帶領(lǐng)玩家踏上一段動(dòng)人的旅程。游戲開(kāi)發(fā)者套件里有許多工具可以為此增添助力，例如引人入勝的音樂(lè )、富有想象力的操控模式和圖形效果等。就圖形技術(shù)而言，手游中圖像的精細程度令人震撼。游戲被渲染到包含數百萬(wàn)像素的屏幕上，并以驚人的 60Hz 或更高的刷新率顯示呈現。
推動(dòng)游戲開(kāi)發(fā)更上一層樓是行業(yè)永無(wú)止境的追求?，F代手游通過(guò)復雜的光照和著(zhù)色器，不斷突破極限，以實(shí)現開(kāi)發(fā)者的愿景。然而代價(jià)在于，這不僅加重了 GPU 的負載，還會(huì )消耗更多電力。即使是在高端 PC 上，我們也認識到超分技術(shù)正是我們所追尋的答案。
Arm 精銳超級分辨率技術(shù)
通過(guò)超分技術(shù)，一幀的內容得以在某些階段先以較低分辨率渲染，然后應用該技術(shù)從低分辨率放大到高分辨率。這一技術(shù)并非在幀渲染的每個(gè)環(huán)節都使用，否則可能會(huì )在渲染全屏效果或用戶(hù)界面時(shí)產(chǎn)生不美觀(guān)的瑕疵。然而，在管線(xiàn)的早期階段，該技術(shù)可以發(fā)揮顯著(zhù)作用，并作為流程的一環(huán)提供抗鋸齒效果。
圖：將超分技術(shù)集成到幀中
后處理技術(shù)示例
在眾多可用的解決方案中，AMD 超級分辨率銳畫(huà)技術(shù) 2 (FSR 2) 引起了我們的關(guān)注。作為 GPUOpen 的一部分，該開(kāi)源項目始于 2016 年，采用相對寬松的 MIT 許可證，旨在提供可移植的解決方案，以緩解 PC 和游戲主機之間存在的性能差異。這引發(fā)了我們的關(guān)注和思考：優(yōu)秀的移動(dòng)端解決方案應該具備哪些特性？
超分技術(shù)的類(lèi)型
超分技術(shù)主要分為空間類(lèi)和時(shí)域類(lèi)。最先問(wèn)世和被開(kāi)發(fā)者采用的是空間類(lèi)技術(shù)。
空間類(lèi)超分會(huì )逐幀生成結果，其工作原理理解起來(lái)更加簡(jiǎn)單，對游戲引擎的要求也相對較低，例如 FSR 1 和驍龍游戲超級分辨率 (GSR) 就是這一類(lèi)的代表。但該技術(shù)的缺點(diǎn)在于，開(kāi)發(fā)者在選擇渲染分辨率時(shí)不能過(guò)于激進(jìn)，否則最終圖像可能會(huì )出現模糊。不過(guò)，這種技術(shù)的算力成本相對較低。
而時(shí)域類(lèi)超分則更為復雜，它通過(guò)整合多個(gè)幀的信息來(lái)生成最終結果。通常來(lái)說(shuō)，它能夠從較低分辨率生成更高質(zhì)量的圖像。但這對游戲引擎提出了額外的輸入要求。例如，必須提供深度和運動(dòng)矢量信息，并且最好有反應性遮罩，以便處理如粒子效果等缺乏深度或運動(dòng)信息的元素。
邁向時(shí)域類(lèi)超分技術(shù)
我們決定直接選用時(shí)域類(lèi)超分技術(shù)，來(lái)應對常見(jiàn)的圖形性能挑戰，并為手游開(kāi)發(fā)者帶來(lái)優(yōu)勢。我們以 AMD FSR 2 為基礎，它能夠提供不錯的效果，但實(shí)現成本相對較高，僅適用于 PC 和高端游戲主機。我們的解決方案源自 FSR 2，因此開(kāi)發(fā)者能夠繼續使用熟悉的 API 和配置選項。
在研究過(guò)程中，我們采用了大家熟悉的小餐館場(chǎng)景，并且增加了更多的局部重疊光源和主光源衰減，以此模擬實(shí)際的計算挑戰，大約需要渲染 280 萬(wàn)個(gè)三角形。
圖：小餐館場(chǎng)景由 NVIDIA 提供，并基于 Creative Commons CC-BY-4.0 許可協(xié)議進(jìn)行發(fā)布
針對搭載 Arm Immortalis-G720 GPU 和采用 2800x1260 顯示分辨率的商用移動(dòng)設備，我們對收集的結果進(jìn)行分析后，發(fā)現 GPU 性能得到了顯著(zhù)提升。
圖：使用 Arm ASR、FSR 2、FSR 1 和 GSR 時(shí)的
原生分辨率和提升性能的幀率分析
同樣重要的是，這項技術(shù)能夠穩定保持在相對較低的溫度下，渲染出高質(zhì)量的結果。而以原生分辨率進(jìn)行渲染時(shí)，不可避免地會(huì )出現明顯的發(fā)熱升溫，這會(huì )有損游戲中的用戶(hù)體驗，并縮短游戲時(shí)間。
Arm ASR 的性能表現
Arm ASR 的出色性能得益于一系列高效的著(zhù)色器代碼，不僅減輕了 GPU 的負載，也降低了帶寬需求。
圖：FSR 2 和 Arm ASR 的 GPU 性能分析
性能的提升往往也同樣意味著(zhù)節省能耗，由此可以延長(cháng)電池續航時(shí)間，這對于用戶(hù)的日常使用是一大利好。在我們與 MediaTek 的協(xié)作中，證實(shí)了這一推測，在搭載天璣 9300 芯片的手機上進(jìn)行了測試并得到了以下結果。
圖：原生全分辨率 (1080p)、Arm ASR 質(zhì)量、平衡和性能模式下 從 540p 提升到 1080p，以及原生半分辨率 (540p) 的功耗對比
Arm 游戲內容團隊一直在努力制作一款虛幻引擎 (Unreal Engine) 演示，以挑戰未來(lái)移動(dòng)端 GPU 的性能極限。我們也期待將 Arm ASR 應用于此類(lèi)內容演示中。
圖：由 Arm 內容團隊提供的 Mori 演示畫(huà)面
這個(gè)演示場(chǎng)景中包含了許多精致入微的細節，這正是因為我們在 Arm ASR 中支持了穩健對比度自適應銳化 (RCAS) 技術(shù)，AMD FSR 1 和 FSR 2 也采用了這項技術(shù)。效果顯而易見(jiàn)：
圖：Mori 場(chǎng)景中的放大部分
與開(kāi)源社區共享成果
我們對這項工作成果深感自豪，并希望基于 MIT 開(kāi)源許可協(xié)議與開(kāi)發(fā)者社區進(jìn)行成果共享，使得每一位開(kāi)發(fā)者都能親身感受 Arm ASR 的優(yōu)勢，并在自己的項目中嘗試應用。如果你希望成為早期采用者，請掃描以下二維碼或者點(diǎn)擊閱讀原文，與我們聯(lián)系。
評論