73歲Hinton老爺子構思下一代神經(jīng)網(wǎng)絡(luò )：屬于無(wú)監督對比學(xué)習

在近期舉行的第 43 屆國際信息檢索年會(huì ) (ACM SIGIR2020) 上，Geoffrey Hinton 做了主題為《The Next Generation of Neural Networks》的報告。

Geoffrey Hinton 是谷歌副總裁、工程研究員，也是 Vector Institute 的首席科學(xué)顧問(wèn)、多倫多大學(xué) Emeritus 榮譽(yù)教授。2018 年，他與 Yoshua Bengio、Yann LeCun 因對深度學(xué)習領(lǐng)域做出的巨大貢獻而共同獲得圖靈獎。

自 20 世紀 80 年代開(kāi)始，Geoffrey Hinton 就開(kāi)始提倡使用機器學(xué)習方法進(jìn)行人工智能研究，他希望通過(guò)人腦運作方式探索機器學(xué)習系統。受人腦的啟發(fā)，他和其他研究者提出了「人工神經(jīng)網(wǎng)絡(luò )」（artificial neural network），為機器學(xué)習研究奠定了基石。

那么，30 多年過(guò)去，神經(jīng)網(wǎng)絡(luò )的未來(lái)發(fā)展方向在哪里呢？Hinton 在此次報告中回顧了神經(jīng)網(wǎng)絡(luò )的發(fā)展歷程，并表示下一代神經(jīng)網(wǎng)絡(luò )將屬于無(wú)監督對比學(xué)習。

Hinton 的報告主要內容如下：

人工神經(jīng)網(wǎng)絡(luò )最重要的待解難題是：如何像大腦一樣高效執行無(wú)監督學(xué)習。

目前，無(wú)監督學(xué)習主要有兩類(lèi)方法。

第一類(lèi)的典型代表是 BERT 和變分自編碼器（VAE），它們使用深度神經(jīng)網(wǎng)絡(luò )重建輸入。但這類(lèi)方法無(wú)法很好地處理圖像問(wèn)題，因為網(wǎng)絡(luò )最深層需要編碼圖像的細節。

另一類(lèi)方法由 Becker 和 Hinton 于 1992 年提出，即對一個(gè)深度神經(jīng)網(wǎng)絡(luò )訓練兩個(gè)副本，這樣在二者的輸入是同一圖像的兩個(gè)不同剪裁版本時(shí)，它們可以生成具備高度互信息的輸出向量。這類(lèi)方法的設計初衷是，使表征脫離輸入的不相關(guān)細節。

Becker 和 Hinton 使用的優(yōu)化互信息方法存在一定缺陷，因此后來(lái) Pacannaro 和 Hinton 用一個(gè)判別式目標替換了它，在該目標中一個(gè)向量表征必須在多個(gè)向量表征中選擇對應的一個(gè)。

隨著(zhù)硬件的加速，近期表征對比學(xué)習變得流行，并被證明非常高效，但它仍然存在一個(gè)主要缺陷：要想學(xué)習具備 N bits 互信息的表征向量對，我們需要對比正確的對應向量和 2 N 個(gè)不正確的向量。

在演講中，Hinton 介紹了一種處理該問(wèn)題的新型高效方式。此外，他還介紹了實(shí)現大腦皮層感知學(xué)習的簡(jiǎn)單途徑。

接下來(lái)，我們來(lái)看 Hinton 演講的具體內容。

為什么我們需要無(wú)監督學(xué)習？

在預測神經(jīng)網(wǎng)絡(luò )的未來(lái)發(fā)展之前，Hinton 首先回顧了神經(jīng)網(wǎng)絡(luò )的發(fā)展進(jìn)程。

演講一開(kāi)始，Hinton 先介紹了三種學(xué)習任務(wù)：監督學(xué)習、強化學(xué)習和無(wú)監督學(xué)習，并重點(diǎn)介紹了無(wú)監督學(xué)習的必要性。

為什么我們需要無(wú)監督學(xué)習呢？

Hinton 從生物學(xué)的角度做出了詮釋。他指出，人類(lèi)大腦有 10^14 個(gè)神經(jīng)元突觸，而生命的長(cháng)度僅有 10^9 秒，因此人類(lèi)無(wú)法完全依賴(lài)監督學(xué)習方式完成所有神經(jīng)元訓練，因而需要無(wú)監督學(xué)習的輔助。

受此啟發(fā)，構建智能模型也需要無(wú)監督學(xué)習。

無(wú)監督學(xué)習的發(fā)展歷程

無(wú)監督學(xué)習經(jīng)過(guò)怎樣的發(fā)展呢？Hinton 為我們介紹了無(wú)監督學(xué)習中的常見(jiàn)目標函數。

緊接著(zhù)，Hinton 詳細介紹了自編碼器。

Hinton 表示，自編碼器是一種利用監督學(xué)習實(shí)現無(wú)監督學(xué)習的方式，其目標是使最后的重建結果與數據相匹配。編碼器將數據向量轉換為代碼，解碼器基于代碼生成數據。

在高屋建瓴地介紹了自編碼器的定義、訓練深度自編碼器之前的難點(diǎn)和現狀之后，Hinton 著(zhù)重介紹了兩種自編碼器類(lèi)型：變分自編碼器和 BERT 自編碼器。

使用深度神經(jīng)網(wǎng)絡(luò )重建輸入：VAE 和 BERT

BERT 和變分自編碼器（VAE）是無(wú)監督學(xué)習的一類(lèi)典型代表，它們使用深度神經(jīng)網(wǎng)絡(luò )重建輸入。

變分自編碼器由韋靈思和 Kingma 于 2013 年提出，它使用多層編碼器選擇實(shí)數代碼，然后用多層解碼器重建數據。VAE 的基本構造如下圖所示：

BERT

是 2018 年谷歌提出的語(yǔ)言表征模型，基于所有層的左、右語(yǔ)境來(lái)預訓練深度雙向表征。

語(yǔ)境信息對 BERT 非常重要，它利用遮蔽語(yǔ)言模型（masked language model，MLM）允許表征融合左右兩側的語(yǔ)境，從而預訓練深度雙向 Transformer。

Hinton 舉了一個(gè)例子：「She scromed him with the frying pan」。在這個(gè)句子中，即使你不知道 scromed 的意思，也可以根據上下文語(yǔ)境進(jìn)行推斷。

視覺(jué)領(lǐng)域也是如此。然而，BERT 這類(lèi)方法無(wú)法很好地應用到視覺(jué)領(lǐng)域，因為網(wǎng)絡(luò )最深層需要編碼圖像的細節。

Becker 和 Hinton 提出最大化互信息方法

那么自編碼器和生成模型有沒(méi)有什么替代方案呢？Hinton 表示，我們可以嘗試不再解釋感官輸入（sensory input）的每個(gè)細節，而專(zhuān)注于提取空間或時(shí)序一致性的特征。與自編碼器不同，這種方法的好處在于可以忽略噪聲。

然后，Hinton 詳細介紹了他與 Suzanna Becker 在 1992 年提出的一種提取空間一致性特征的方法。該方法的核心理念是對輸入的兩個(gè)非重疊塊（non-overlapping patch）表示之間的顯式互信息進(jìn)行最大化處理。Hinton 給出了提取空間一致性變量的簡(jiǎn)單示例，如下圖所示：

經(jīng)過(guò)訓練，Hinton 指出唯一的空間一致性特征是「不一致性」（The Only Spatially Coherent Property is Disparity），所以這也是必須要提取出來(lái)的。

他表示這種最大化互信息的方法存在一個(gè)棘手的問(wèn)題，并做出以下假設，即如果只學(xué)習線(xiàn)性映射，并且對線(xiàn)性函數進(jìn)行優(yōu)化，則變量將成為分布式的。不過(guò)，這種假設并不會(huì )導致太多問(wèn)題。

以往研究方法回顧

在這部分中，Hinton 先后介紹了 LLE、LRE、SNE、t-SNE 等方法。

局部線(xiàn)性嵌入方法（Locally Linear Embedding, LLE）

Hinton 介紹了 Sam T. Roweis 和 Lawrence K. Saul 在 2000 年 Science 論文《Nonlinear Dimensionality Reduction by Locally Linear Embedding》中提到的局部線(xiàn)性嵌入方法，該方法可以在二維圖中顯示高維數據點(diǎn)，并且使得非常相似的數據點(diǎn)彼此挨得很近。

但需要注意的是，LLE 方法會(huì )導致數據點(diǎn)重疊交融（curdling）和維度崩潰（dimension collapse）問(wèn)題。

下圖為 MNIST 數據集中數字的局部線(xiàn)性嵌入圖，其中每種顏色代表不同的數字：

此外，這種長(cháng)字符串大多是一維的，并且彼此之間呈現正交。

從線(xiàn)性關(guān)系嵌入（LRE）到隨機鄰域嵌入（SNE）

在這部分中，Hinton 介紹了從線(xiàn)性關(guān)系嵌入（Linear Relational Embedding, LRE）到隨機鄰域嵌入（Stochastic Neighbor Embedding, SNE）方法的轉變。他表示，只有「similar-to」關(guān)系存在時(shí)，LRE 才轉變成 SNE。

同時(shí)，Hinton 指出，可以將 LRE 目標函數用于降維（dimensionality reduction）。

下圖為 SNE 的示意圖，其中高維空間的每個(gè)點(diǎn)都有選擇其他點(diǎn)作為其鄰域的條件概率，并且鄰域分布基于高維成對距離（pairwise distance）。

從隨機鄰域嵌入（SNE）到 t 分布隨機鄰域嵌入（t-SNE）

t 分布隨機鄰域嵌入（t-distributed stochastic neighbor embedding, t-SNE）是 SNE 的一種變體，原理是利用一個(gè) student-distribution 來(lái)表示低維空間的概率分布。

Hinton 在下圖中展示了 MNIST 數據集中數字的 t-SNE 嵌入圖，每種顏色代表不同的數字：

在介紹完這些方法之后，Hinton 提出了兩個(gè)問(wèn)題：1）方差約束在優(yōu)化非線(xiàn)性或非參數映射時(shí)為何表現糟糕？2）典型相關(guān)分析或線(xiàn)性判別分析的非線(xiàn)性版本為何不奏效？并做出了解答。

最后，Hinton 提出使用對比損失（contrastive loss）來(lái)提取空間或時(shí)間一致性的向量表示，并介紹了他與 Ruslan Salakhutdinov 在 2004 年嘗試使用對比損失的探索，以及 Oord、Li 和 Vinyals 在 2018 年使用對比損失復現這種想法，并用它發(fā)現時(shí)間一致性的表示。

Hinton 表示，當前無(wú)監督學(xué)習中使用對比損失一種非常流行的方法。

無(wú)監督對比學(xué)習的最新實(shí)現 SimCLR

在演講最后，Hinton 重點(diǎn)介紹了其團隊使用對比損失提取一致性表示的最新實(shí)現 SimCLR，這是一種用于視覺(jué)表示的對比學(xué)習簡(jiǎn)單框架，它不僅優(yōu)于此前的所有工作，也優(yōu)于最新的對比自監督學(xué)習算法。

下圖為 SimCLR 的工作原理圖：

那么 SimCLR 在 ImageNet 上的 Top-1 準確率表現如何呢？下圖展示了 SimCLR 與此前各類(lèi)自監督方法在 ImageNet 上的 Top-1 準確率對比（以 ImageNet 進(jìn)行預訓練），以及 ResNet-50 的有監督學(xué)習效果。

Hinton 表示，經(jīng)過(guò) ImageNet 上 1% 圖片標簽的微調，SimCLR 可以達到 85.8％的 Top-5 準確率——在只用 AlexNet 1% 標簽的情況下性能超越后者。