游戲技術(shù)的未來(lái)？——淺談DLSS技術(shù)

2018年，隨著(zhù)Nvidia的一項革命性技術(shù)的推出——光線(xiàn)追蹤。Nvidia顯卡正式拋棄了GTX的命名，開(kāi)始以RTX作為命名前綴。由于光線(xiàn)追蹤技術(shù)占用了大量顯卡算力，就算是配備了專(zhuān)門(mén)用于處理光線(xiàn)追蹤的RT Core的RTX20系顯卡，在開(kāi)啟了光線(xiàn)追蹤之后，幀數也會(huì )暴跌，為了應對這種情況，Nvidia為此專(zhuān)門(mén)開(kāi)發(fā)了DLSS 1.0（Deep Learning Super Sampling）技術(shù)。

其實(shí)，RTX系列顯卡，除了配備專(zhuān)門(mén)用于處理光追的RT Core以外，還配備了用于處理光追降噪的Tensor Core，Tensor Core是一個(gè)專(zhuān)精于A(yíng)I深度學(xué)習的核心，Nvidia便基于Tensor Core的AI算力，推出了深度學(xué)習超采樣（DLSS）技術(shù)。由于Tensor Core的處理壓力相對較小，Tensor Core經(jīng)常處于低負載工作中，于是基于Tensor Core的深度學(xué)習技術(shù)就變?yōu)榱丝赡?。?jiǎn)單來(lái)講，DLSS技術(shù)就是給AI一個(gè)低分辨率的圖像，靠AI強行“腦補”出高分辨率的畫(huà)面內容，降低了CUDA流處理器處理圖形的壓力。由于傳統的插值超分辨率算法是通過(guò)已有的像素，猜出中間像素，從而完成過(guò)渡提高了分辨率。比如說(shuō)，現在已知有黑白兩個(gè)像素信息，那么在中間插入一個(gè)灰色像素就可以完成圖像過(guò)渡，進(jìn)而提高分辨率。但是，這種算法的缺點(diǎn)也顯而易見(jiàn)，因為黑白像素之間，也可能是個(gè)藍色，甚至于紅色像素。對于這種情況，傳統插值就無(wú)能為力了。這時(shí)，就需要DLSS 1.0技術(shù)來(lái)救場(chǎng)了，比如說(shuō)，我說(shuō)“大象”，基本上所有人的腦內都能出現一頭大象的模糊形象，這個(gè)過(guò)程，就類(lèi)似于我們今天要談的DLSS 1.0技術(shù)。DLSS 1.0技術(shù)是一種使用低分辨率圖像由AI“猜”出高分辨率圖像的技術(shù)，是一種AI匹配算法。所謂的匹配，就是利用Tensor Core的深度學(xué)習能力，讓AI看很多很多1080P的游戲畫(huà)面，和8K超清的游戲畫(huà)面，讓AI自己對比統計，最終強行得到一個(gè)規律：1080p和8K的畫(huà)面有什么區別，這種畫(huà)面情況下，兩個(gè)像素之間最有可能是什么像素，從而完成插值。DLSS本身是幾乎實(shí)時(shí)的，但是訓練是要耗費很大計算力的。聽(tīng)上去DLSS 1.0技術(shù)是一種完美調和了畫(huà)質(zhì)與性能這對魚(yú)與熊掌——在減小GPU渲染壓力的同時(shí)，還解放了一部分用于抗鋸齒運算的CUDA流處理器，進(jìn)一步加強了顯卡的圖形運算能力。但是，您從上面的描述中也可能會(huì )發(fā)現，DLSS 1.0是要強行讓AI自己在大量的訓練中，從沒(méi)有規律中自己強行總結出規律，這種情況下，總結出的規律，可能大部分時(shí)間中是適用的，但是在游戲的畫(huà)面的渲染中，畫(huà)面變化極快，渲染速度可能是每秒幾十、幾百幀。這時(shí)候DLSS 1.0就會(huì )出現大量“猜錯”的情況，直接導致畫(huà)面劣化，動(dòng)態(tài)畫(huà)面出現大量偽影。而且，由于需要大量的游戲畫(huà)面進(jìn)行訓練，而各家的游戲畫(huà)面風(fēng)格千奇百怪，這就需要各家游戲制作方根據自己的游戲情況單獨訓練，使得推廣極其麻煩。

為了解決這些問(wèn)題，Nvidia在2020年發(fā)布了全新的技術(shù)——DLSS 2.0。之所以說(shuō)DLSS 2.0是全新的技術(shù)，是因為雖然DLSS 1.0與DLSS 2.0單從名字上看是簡(jiǎn)單的升級迭代，但是，DLSS 2.0所運用的技術(shù)，與DLSS 1.0則完全不同。非要說(shuō)相同點(diǎn)，那就是二者都運用了AI深度學(xué)習技術(shù)，但是實(shí)現原理完全不同。與DLSS 1.0不同，DLSS 2.0不再依靠低分辨率圖像，AI腦補出高分辨率，而是采用了類(lèi)似于計算攝影中的多幀合成采樣的方式實(shí)現。

Nvidia把一個(gè)畫(huà)面分成ABCD若干區域，在第一幀渲染的時(shí)候只對AB區域采樣，第二幀渲染的時(shí)候只對CD采樣，之后再將這兩幀的采集內容合并，就輸出一個(gè)正常畫(huà)面（實(shí)際的算法肯定比這個(gè)復雜得多，這里只是舉一個(gè)例子）。通過(guò)這種方式，就能只采樣目標分辨率的1/2甚至于1/4的實(shí)際分辨率，就能獲得一個(gè)接近目標分辨率的畫(huà)面表現。從而實(shí)現在畫(huà)面質(zhì)量損失很低情況下，獲得一個(gè)巨大的幀數提升。DLSS 2.0也有它的問(wèn)題，這種采樣方式，在處理靜態(tài)圖片的時(shí)候，提升很大，甚至由于多次采樣，DLSS 2.0開(kāi)啟后的圖像質(zhì)量比原生的圖像還要高。但是，一旦畫(huà)面動(dòng)起來(lái)，由于分別采樣，像素就很有可

注意圖中幀數的提升

能發(fā)生錯位，從而出現大量鬼影，傳統的TAA抗鋸齒算法就是為了解決這個(gè)問(wèn)題，而在DLSS 2.0 中，Nvidia對TAA算法做出了改進(jìn)，融合進(jìn)了DLSS 2.0中。在傳統的TAA算法中，對于偽像的消除，是采用人工調試的方法，而DLSS 2.0之中則換成了AI實(shí)時(shí)演算，大大提升了多幀合成的質(zhì)量。所以，在DLSS 2.0中，每一個(gè)像素都是真實(shí)存在的，沒(méi)有AI“猜”的成分。因此DLSS 2.0在呈現靜態(tài)畫(huà)面時(shí)，甚至比原生畫(huà)面還要清晰，雖然，一旦畫(huà)面動(dòng)起來(lái)還是有一定的質(zhì)量劣化現象，但是，能在保證一定的畫(huà)面質(zhì)量的前提下，大幅節約顯卡算力已經(jīng)非常令人滿(mǎn)意了。

回到本文題目的疑問(wèn)：DLSS技術(shù)是不是游戲技術(shù)的未來(lái)呢？筆者認為，在一定程度上來(lái)說(shuō)，是的。雖然它現在還有許多的問(wèn)題，比如，在低分辨率下（2K分辨率以下）畫(huà)面劣化還是有一些嚴重，在鬼影消除方面依舊有一些瑕疵。但是在可以預先的未來(lái)，隨著(zhù)2K及以上分辨率顯示器的普及，以及顯卡算力升級逐漸放緩，多從軟件算法上找出路的確是一條可以行得通的道路。同時(shí)，這也是一些入門(mén)級甜品卡用戶(hù)，想用低成本享受接近旗艦級顯卡體驗的一條可行的方法。

自1968年，首次提出用于渲染的光線(xiàn)投射算法以來(lái)，人們一直致力于在虛擬世界中還原一個(gè)真實(shí)的世界。1972年，第一家使用光線(xiàn)追蹤的商業(yè)動(dòng)畫(huà)公司成立。隨著(zhù)Nvidia發(fā)布RTX系列顯卡以來(lái)，早已廣泛用于電影和電視節目制作的光線(xiàn)追蹤技術(shù)第一次走入了PC之中，面對隨之而來(lái)暴漲的計算量，DLSS技術(shù)應運而生，從最初滿(mǎn)是瑕疵的DLSS 1.0，到如今已經(jīng)差強人意的DLSS 2.3，我們從中窺探到了一條圖形渲染的全新賽道，無(wú)論這條路的終點(diǎn)是不是未來(lái)，但是走在這條路上的每一個(gè)工程師，都是值得我們肯定的開(kāi)拓者。