用語(yǔ)言建模世界：UC伯克利多模態(tài)世界模型利用語(yǔ)言預測未來(lái)（2）

研究者引入了 HomeGrid 來(lái)評估一個(gè)環(huán)境中的智能體。在這個(gè)環(huán)境中，智能體除了任務(wù)指令外還會(huì )收到語(yǔ)言提示。
HomeGrid 是一個(gè)具有指令和多樣化提示的具有挑戰性的視覺(jué)網(wǎng)格世界。HomeGrid 中的提示模擬了智能體可能從人類(lèi)那里學(xué)到或從文本中獲取的知識，提供了對解決任務(wù)有幫助但不是必需的信息：
未來(lái)觀(guān)察：描述了智能體未來(lái)可能觀(guān)察到的情況，比如「盤(pán)子在廚房里」。

Correction：提供了基于智能體當前行為的交互式反饋，比如「轉身」。

Dynamics：描述了環(huán)境的動(dòng)態(tài)變化，比如「踩踏板打開(kāi)垃圾桶」。

HomeGrid 環(huán)境將與代碼一起發(fā)布，以鼓勵大家進(jìn)一步在這個(gè)方向上進(jìn)行研究。
盡管智能體沒(méi)有明確地接受有關(guān)文本對應于什么觀(guān)察結果的明確監督，但 Dynalang 通過(guò)未來(lái)預測目標學(xué)會(huì )了將各種類(lèi)型的語(yǔ)言與環(huán)境相聯(lián)系。Dynalang 的性能優(yōu)于基于語(yǔ)言的 IMPALA 和 R2D2，這兩種方法在使用不同類(lèi)型的語(yǔ)言上遇到困難，通常在超出指令范圍的語(yǔ)言任務(wù)上表現更差。

Messenger 中的游戲手冊
研究者在 Messenger 游戲環(huán)境中進(jìn)行評估，以測試智能體如何從更長(cháng)、更復雜的文本中學(xué)習，這需要對文本和視覺(jué)觀(guān)察進(jìn)行多次推理。智能體必須對描述每個(gè)任務(wù)動(dòng)態(tài)的文本手冊進(jìn)行推理，并將其與環(huán)境中實(shí)體的觀(guān)察結果結合起來(lái)，以確定哪些實(shí)體應該接收消息，哪些應該避免。Dynalang 的表現優(yōu)于 IMPALA、R2D2 以及使用專(zhuān)門(mén)架構對文本和觀(guān)察進(jìn)行推理的任務(wù)特定 EMMA 基線(xiàn)，特別是在最困難的第三階段。