只用一張RTX 4090顯卡，開(kāi)發(fā)者用AI視頻生成技術(shù)模擬《超級馬里奧兄弟》

近期，AI 技術(shù)在游戲開(kāi)發(fā)領(lǐng)域取得了令人矚目的進(jìn)展。

繼谷歌的 GameNGen AI 模型展示了使用圖像擴散技術(shù)生成可玩版《毀滅戰士》（Doom）的能力后，一個(gè)新研究項目又將目光投向了另一款經(jīng)典游戲——任天堂的《超級馬里奧兄弟》（Super Mario Bros）。

這個(gè)項目展示了 AI 如何通過(guò)視頻生成技術(shù)來(lái)模擬這款 1985 年發(fā)行的經(jīng)典游戲，為未來(lái)的游戲開(kāi)發(fā)開(kāi)辟了新的可能性。

公開(kāi)資料顯示，MarioVGG 項目主要由 GitHub 用戶(hù)歐尼·周（Ernie Chew）和布瑞恩·林（Brian Lim）管理，其相關(guān)論文由加密貨幣相關(guān)的 AI 公司 Virtuals Protocol 發(fā)表。

該項目主要利用機器學(xué)習技術(shù)，通過(guò)研究游戲視頻和輸入數據，來(lái)推斷游戲的物理規則和游戲動(dòng)態(tài)。

研究人員使用了一個(gè)包含 280 個(gè)游戲關(guān)卡的公開(kāi)數據集，游戲畫(huà)面超過(guò) 737000 幀。

為了簡(jiǎn)化游戲情況，他們只關(guān)注兩種潛在輸入：向右跑和向右跑并跳躍。經(jīng)過(guò)約 48 小時(shí)的訓練（使用單塊 RTX 4090 顯卡），模型就能夠從靜態(tài)的初始游戲圖像和文本輸入生成新的視頻幀序列。

MarioVGG 采用了文本到視頻生成的方法來(lái)重現《超級馬里奧兄弟》。模型通過(guò)學(xué)習游戲畫(huà)面，能夠根據玩家的文本輸入（“跑”或“跳”）生成相應的游戲畫(huà)面序列。

具體來(lái)說(shuō)，模型只需要接收一個(gè)初始的游戲畫(huà)面幀和所需動(dòng)作的文本描述（例如“跳躍”），然后學(xué)習生成一系列可視化描述所需動(dòng)作的幀。

為了提高效率，研究人員將輸出幀的分辨率從原始 NES（注：Nintendo Entertainment System，是任天堂生產(chǎn)的第一代家用游戲機）的 256×240 降低到了 64×48 或 128×96。

此外，他們將 35 幀的視頻時(shí)間壓縮為僅 7 個(gè)生成幀，這些幀以均勻的間隔分布，從而創(chuàng )造出比實(shí)際游戲畫(huà)質(zhì)更粗糙的游戲視頻。

盡管采用了這些方法，MarioVGG 模型仍然面臨著(zhù)接近實(shí)時(shí)視頻生成的挑戰。研究人員只用了一張 RTX 4090 顯卡，需要大約 6 秒鐘才能生成 6 幀視頻序列，視頻長(cháng)度僅僅超過(guò)半秒，這還是在極其有限的幀率下。

研究人員承認這“對于交互式視頻游戲來(lái)說(shuō)既不實(shí)用也不友好”，但他們希望未來(lái)的優(yōu)化可以改善這一速率。

盡管存在上述限制，MarioVGG 仍然展現出了一些令人印象深刻的特性。

首先，模型能夠純粹從訓練數據中學(xué)習游戲的物理規則，包括馬里奧從懸崖邊跌落時(shí)的重力效果，以及在遇到障礙物時(shí)停止前進(jìn)。

其次，雖然 MarioVGG 主要關(guān)注模擬馬里奧的動(dòng)作，但它也能有效地為馬里奧生成新的障礙物，這些障礙物“與游戲的圖形語(yǔ)言相一致”。

此外，MarioVGG 能夠生成獨特的馬里奧關(guān)卡，只有第一幀輸入來(lái)自真實(shí)游戲狀態(tài)。

然而，MarioVGG 也面臨著(zhù)一些顯著(zhù)的挑戰，比如研究人員觀(guān)察到，輸入動(dòng)作文本并不總是被模型所遵守。

有時(shí)還會(huì )出現明顯的視覺(jué)問(wèn)題，如馬里奧有時(shí)會(huì )穿過(guò)障礙物和敵人、顏色閃爍、在幀之間縮小/增大，或在多個(gè)幀中完全消失后又重新出現。

模型并不懂得游戲邏輯，即使在馬里奧死掉之后，它還是會(huì )繼續渲染視頻幀，而不是回到最后的檢查點(diǎn)。此外，關(guān)卡和物體的生成也不可控，只能通過(guò)程序化生成。

MarioVGG 項目為未來(lái)游戲開(kāi)發(fā)開(kāi)辟了新的可能性，展示了 AI 如何通過(guò)學(xué)習視頻數據來(lái)理解和重現復雜的游戲機制。

研究人員希望這代表著(zhù)“產(chǎn)生和展示可靠和可控的視頻游戲生成器”的第一步，甚至可能在未來(lái)“完全使用視頻生成模型取代游戲開(kāi)發(fā)和游戲引擎”。

然而，要實(shí)現這一愿景，還需要解決諸如實(shí)時(shí)性能、畫(huà)面質(zhì)量、游戲邏輯一致性等一系列挑戰。例如，如何在生成的游戲中決定終止狀態(tài)，這仍然是一個(gè)開(kāi)放的研究問(wèn)題。

盡管如此，考慮到 MarioVGG 項目?jì)H使用了相對較小的訓練數據集和單個(gè)消費級圖形處理器（GPU，Graphics Processing Unit），其取得的成果已經(jīng)相當令人印象深刻。

Virtual Protocols 公司在推特上樂(lè )觀(guān)地表示：“無(wú)限交互世界的時(shí)代已經(jīng)到來(lái)?！?/span>

總的來(lái)說(shuō)，雖然視頻生成制作游戲的方法還無(wú)法完全替代傳統的游戲開(kāi)發(fā)方法，但它為游戲產(chǎn)業(yè)注入了新的活力，讓我們得以一窺 AI 驅動(dòng)的游戲未來(lái)。

這些新項目為游戲設計和開(kāi)發(fā)提供了新的思路，展示了 AI 如何通過(guò)學(xué)習視頻數據來(lái)理解和重現復雜的游戲機制。

未來(lái)，我們可能會(huì )看到，隨著(zhù)技術(shù)的發(fā)展有望出現更多 AI 輔助的游戲開(kāi)發(fā)工具，甚至是完全由 AI 生成的游戲世界。