NeurIPS 2022 | 一窺人工智能大一統與理論研究的最新進(jìn)展（1）

人工智能走向大一統

The Big Convergence of AI

01

針對強化學(xué)習的掩碼隱空間重建

論文鏈接：

https://www.microsoft.com/en-us/research/publication/mask-based-latent-reconstruction-for-reinforcement-learning/

視覺(jué)狀態(tài)表征的質(zhì)量對基于視覺(jué)的強化學(xué)習（vision-based reinforcement learning）至關(guān)重要。為了學(xué)習高效的狀態(tài)表征，微軟亞洲研究院的研究員們創(chuàng )新性地將基于掩碼的建模技術(shù)（mask-based modeling）應用到強化學(xué)習中，以促進(jìn)其狀態(tài)表征學(xué)習。此前基于掩碼的建模技術(shù)已經(jīng)在 CV 和 NLP 領(lǐng)域中大放異彩，而這項工作是將其應用到強化學(xué)習領(lǐng)域幫助策略學(xué)習的首次探索。

具體地，研究員們提出了一種簡(jiǎn)單而有效的自監督方法，即基于掩碼的隱空間重建 (mask-based latent reconstruction，簡(jiǎn)稱(chēng)為 MLR)。MLR 通過(guò)從具有時(shí)空掩碼的視覺(jué)狀態(tài)中預測其在隱空間中的完整表征，從而使神經(jīng)網(wǎng)絡(luò )在學(xué)習狀態(tài)表征時(shí)能夠更好地利用上下文信息，編碼更多策略學(xué)習所需要的語(yǔ)義信息。大量基準實(shí)驗表明，MLR 顯著(zhù)提高了強化學(xué)習算法的樣本效率（sample efficiency），在多個(gè)連續和離散的強化學(xué)習環(huán)境中取得了 SOTA 的性能。

圖1：基于掩碼的隱空間重建（MLR）的框架示意圖

02

基于滑動(dòng)語(yǔ)言模型的句子評分轉換器

論文鏈接：

https://www.microsoft.com/en-us/research/publication/transcormer-transformer-for-sentence-scoring-with-sliding-language-modeling/

句子評分旨在評估一個(gè)句子的最大似然估計，被廣泛應用于許多自然語(yǔ)言任務(wù)的場(chǎng)景中，包括重排序、語(yǔ)言可接受性等。過(guò)去用于解決句子評分的工作主要以?xún)煞N經(jīng)典語(yǔ)言模型為主：因果語(yǔ)言模型（causal language modeling, CLM）和掩碼語(yǔ)言模型（masked language modeling, MLM）。然而，這些工作都存在一定的瓶頸：CLM 雖然只需要計算一次但卻只利用了單向信息；MLM 能夠利用雙向語(yǔ)義，但每次只能預測部分單詞而不得不需要多次推理。

因此，微軟亞洲研究院的研究員們提出了一種基于滑動(dòng)語(yǔ)言模型的 Transformer 模型 Transcormer，并在其中設計了一種三流自注意力機制用于維護滑動(dòng)語(yǔ)言模型。利用這樣的設計，Transcormer 可以確保模型能夠利用雙向信息進(jìn)行預測的同時(shí)，只需一次計算即可得到所有單詞的概率?；瑒?dòng)語(yǔ)言模型在計算句子評分時(shí)，Transcormer 還可以避免 CLM 只能利用單向信息的缺點(diǎn)以及 MLM 需要多次計算的不足。實(shí)驗結果表明，Transcormer 在句子評分任務(wù)上能夠取得比其他方法更好的結果。

圖2：Transcormer 結構示意圖：左側為前向流，右側為后向流，中間為詢(xún)問(wèn)流。其中，前向流用于收集前向語(yǔ)義，后向流用于收集后向語(yǔ)義，而詢(xún)問(wèn)流用于捕獲當前位置在其之前的前向流語(yǔ)義和其之后的后向流語(yǔ)義

03

周邊視覺(jué)注意力網(wǎng)絡(luò )

論文鏈接：

https://www.microsoft.com/en-us/research/publication/peripheral-vision-transformer/

人類(lèi)擁有周邊視覺(jué)這種特殊的視覺(jué)處理系統。具體來(lái)說(shuō)，我們的整個(gè)視野可以根據到凝視中心的距離被劃分為多個(gè)輪廓區域，而周邊視覺(jué)使我們能夠感知不同區域的各種視覺(jué)特征。受該生物學(xué)啟發(fā)，微軟亞洲研究院的研究員們開(kāi)始探索在深度神經(jīng)網(wǎng)絡(luò )中模擬周邊視覺(jué)進(jìn)行視覺(jué)識別的方法。

研究員們所設計的 PerViT 網(wǎng)絡(luò )，可以將輪廓區域通過(guò)位置編碼結合到多頭自注意力機制中，使網(wǎng)絡(luò )掌握如何將視野劃分為不同輪廓區域的方法，并能夠從不同區域中提取相應的特征。研究員們系統地研究了機器感知模型的內部工作原理，發(fā)現網(wǎng)絡(luò )學(xué)習感知視覺(jué)數據的方式與人類(lèi)視覺(jué)相似。在 ImageNet-1K 上對 PerViT 網(wǎng)絡(luò )評估的結果顯示，PerViT 在不同模型大小上的圖像分類(lèi)性能均優(yōu)于基線(xiàn)，證明了該方法的有效性。

圖3：人類(lèi)周邊視覺(jué)（上）與基于注意力的神經(jīng)網(wǎng)絡(luò )（下）相結合以進(jìn)行視覺(jué)識別的示意圖

04

VRL3：由數據驅動(dòng)的視覺(jué)深度強化學(xué)習框架

論文鏈接：

https://www.microsoft.com/en-us/research/publication/vrl3-a-data-driven-framework-for-visual-deep-reinforcement-learning/

在強化學(xué)習，尤其是機器人系統的訓練中，新數據樣本的采集往往十分昂貴。為了實(shí)現經(jīng)濟，高效，服務(wù)于大眾的泛用性強化學(xué)習和機器人技術(shù)，研究員們嘗試結合利用多種數據來(lái)源，大幅提高訓練效率。研究員們設計了一個(gè)全新的數據驅動(dòng)的學(xué)習框架 VRL3。VRL3 使用了三階段的訓練方式，整合了非強化學(xué)習的大規模圖像數據集，有限的人類(lèi)專(zhuān)家示范以及在線(xiàn)強化學(xué)習數據，并加以充分利用，其可在基于視覺(jué)輸入的深度強化學(xué)習任務(wù)尤其是模擬機器人任務(wù)上，以驚人的樣本效率進(jìn)行學(xué)習。

相比之前的最先進(jìn)方法，在極富挑戰性的 Adroit 機械手基準測試中最難的任務(wù)上，VRL3 可極其顯著(zhù)地將樣本效率提高24倍，并以10倍更快計算速度和3倍更少參數需求完成訓練。在達到極高性能的同時(shí)，VRL3 追求大道至簡(jiǎn)的設計理念，用簡(jiǎn)單易懂的設計思路和代碼實(shí)現。這項研究向實(shí)現高效、便攜、低成本可廣泛服務(wù)于大眾的強化學(xué)習和機器人系統邁出了關(guān)鍵一步。

圖4：VRL3 模型設計圖