Nature重磅：Hinton、LeCun、Bengio三巨頭權威科普深度學(xué)習

　　將遞歸神經(jīng)網(wǎng)絡(luò )(RNN)生成的標題作為額外輸入，深度卷積神經(jīng)網(wǎng)絡(luò )(CNN)會(huì )從測試圖片中提取表征，再利用訓練好的RNN將圖像中高級( high-level )表征「翻譯成 」標題(上圖)。當RNN一邊生成單詞(黑體所示)，一邊能將注意力集中在輸入圖像的不同位置(中間和底部;塊狀越亮，給予的注意力越多)的時(shí)候，我們發(fā)現，它能更好地將圖像「翻譯成」標題。

　　當前的卷積神經(jīng)網(wǎng)絡(luò )由10~20層ReLUs，數百萬(wàn)個(gè)權值及數十億個(gè)連接組成。兩年前，訓練如此龐大的網(wǎng)絡(luò )可能需要數周時(shí)間，而隨著(zhù)硬件、軟件和算法并行化(algorithm parallelization)的進(jìn)步，訓練時(shí)間已經(jīng)縮短至幾個(gè)小時(shí)。

　　卷積神經(jīng)網(wǎng)絡(luò )的視覺(jué)系統良好表現促使包括谷歌、Facebook、微軟、IBM、雅虎、推特和Adobe在內的多數主要科技公司以及數量激增的創(chuàng )業(yè)公司開(kāi)始啟動(dòng)研發(fā)項目，部署基于卷積神經(jīng)網(wǎng)絡(luò )的圖像識別產(chǎn)品和服務(wù)。

　　卷積神經(jīng)網(wǎng)絡(luò )易于在芯片或現場(chǎng)可編程門(mén)列陣(FPGA)中得以高效實(shí)現。為了實(shí)現智能手機、相機、機器人和無(wú)人駕駛汽車(chē)上的實(shí)時(shí)視覺(jué)應用，NVIDIA、Mobileye、因特爾、高通和三星等許多公司都正在開(kāi)發(fā)卷積神經(jīng)網(wǎng)絡(luò )芯片。

　　分布式表征和語(yǔ)言處理

　　深度學(xué)習理論顯示，與不適用分布式表征的經(jīng)典學(xué)習算法相比，深度網(wǎng)絡(luò )有兩處異常明顯的優(yōu)勢。這些優(yōu)勢源于節點(diǎn)權重(the power of composition)以及底層數據生成分布具有適當的組成結構。第一，學(xué)習分布式表征能夠將通過(guò)訓練而學(xué)習獲得的特性值泛化為新的組合(例如，n元特征有2n 組合可能)。第二，深度網(wǎng)絡(luò )中的表征層相互組合帶來(lái)了另一個(gè)指數級優(yōu)勢的潛力(指數性的深度)。

　　多層神經(jīng)網(wǎng)絡(luò )的隱藏層學(xué)會(huì )以一種易于預測目標輸出的方式來(lái)再現網(wǎng)絡(luò )輸入。一個(gè)很好的示范就是訓練多層神經(jīng)網(wǎng)絡(luò )根據局部文本中的前述語(yǔ)句預測下一個(gè)詞。文本的每個(gè)詞表示成網(wǎng)絡(luò )中的N分之一向量，也就是說(shuō)，每個(gè)成分的值為1，余下的為0。在第一層中，每個(gè)字創(chuàng )建一個(gè)不同模式的激活或單詞向量(如圖4所示)。在語(yǔ)言模型中，網(wǎng)絡(luò )中的其他層學(xué)習如何將輸入的單詞向量轉化成輸出單詞向量來(lái)預測下一個(gè)單詞，也能用來(lái)預測詞匯表中單詞作為文本中下一個(gè)單詞出現的概率。正如學(xué)習分布表征符號文本最初展示的那樣，網(wǎng)絡(luò )學(xué)習了包含許多激活節點(diǎn)(active components )、且每一個(gè)節點(diǎn)都可被解釋成一個(gè)單詞獨立特征的單詞向量。這些語(yǔ)義學(xué)特征并沒(méi)有在輸入時(shí)被清晰表現出來(lái)。而是在學(xué)習過(guò)程中被發(fā)現的，并被作為將輸入與輸出符號結構化關(guān)系分解為微規則(micro-rules)的好方法。當詞序列來(lái)自一個(gè)大的真實(shí)文本語(yǔ)料庫，單個(gè)微規則并不可靠時(shí)，學(xué)習單詞向量也一樣表現良好。當網(wǎng)絡(luò )被訓練用于預測新文本中的下一個(gè)詞時(shí)，一些單詞向量非常相似，比如Tuesday和Wednesday，Sweden和Norway 。這種表征被稱(chēng)為分布式表征，因為它們的元素(特性)并非相互排斥，且它們構造信息與觀(guān)測到的數據變化相對應。這些單詞向量由所習得的特性組成，這些特性并非由科學(xué)家們事先決定而是由神經(jīng)網(wǎng)絡(luò )自動(dòng)發(fā)現?，F在，從文本中習得的單詞向量表征被非常廣泛地使用于自然語(yǔ)言應用。

　　表征問(wèn)題是邏輯啟發(fā)與神經(jīng)網(wǎng)絡(luò )啟發(fā)認知范式爭論的核心問(wèn)題。在邏輯啟發(fā)范式中，一個(gè)符號實(shí)體表示某一事物，因為其唯一的屬性與其他符號實(shí)體相同或者不同。它并不包含與使用相關(guān)的內部結構，而且為理解符號含義，就必須與審慎選取的推理規則的變化相聯(lián)系。相比之下，神經(jīng)網(wǎng)絡(luò )使用大量活動(dòng)載體( big activity vectors)、權重矩陣和標量非線(xiàn)性，實(shí)現一種快速「直覺(jué) 」推斷，它是輕松常識推理的基礎。

　　在介紹神經(jīng)語(yǔ)言模型前，語(yǔ)言統計模型的標準方法并沒(méi)有使用分布式表征：它是基于計算短符號序列長(cháng)度N(稱(chēng)為N-grams，N元文法)出現的頻率。N-grams可能出現的次數與VN一致，這里的V指的是詞匯量的大小，考慮到詞匯量大的文本，因此需要更龐大的一個(gè)語(yǔ)料庫。N-grams把每一個(gè)詞作為一個(gè)原子單位，因此它不能在語(yǔ)義緊密相關(guān)的單詞序列中，一概而論，但是，神經(jīng)語(yǔ)言模型可以實(shí)現上述功能，因為它們將每個(gè)單詞與真實(shí)特征值的向量關(guān)聯(lián)起來(lái)，并且語(yǔ)義相關(guān)的單詞在該向量空間中更為貼近。

　　圖4|已完成學(xué)習的單詞向量的可視化展現

　　左邊介紹了為了建模語(yǔ)言而習得的詞匯表征，通過(guò)使用 t-SNE算法[103]非線(xiàn)性映射至二維空間中以便于觀(guān)察。右邊是一個(gè)由實(shí)現英-法互翻的遞歸神經(jīng)網(wǎng)絡(luò )學(xué)習短語(yǔ)的二維空間表示。由圖可知，語(yǔ)義或排序相似的單詞表征映射較為接近 。詞匯的分布式表征通過(guò)使用反向傳播獲得，以此來(lái)學(xué)習每個(gè)單詞的表征形式及預測目標數量的功能，比如序列中的后續單詞(如語(yǔ)言建模)或者翻譯文字的全部序列(機器翻譯)。

　　遞歸神經(jīng)網(wǎng)絡(luò )

　　最初引入反向傳播時(shí)，最令人激動(dòng)的應用便是訓練遞歸神經(jīng)網(wǎng)絡(luò )(簡(jiǎn)稱(chēng)RNNs)。對于那些需要序列連續輸入的任務(wù)(比如，語(yǔ)音和語(yǔ)言)，RNNs是上乘之選(圖5)。RNNs一次處理一個(gè)輸入序列元素，同時(shí)維護隱式單元中隱含著(zhù)該序列過(guò)去所有元素的歷史信息的「狀態(tài)向量」。當我們考慮隱式單元在不同的離散時(shí)間步長(cháng)的輸出，就好像它們是在多層網(wǎng)絡(luò )深處的不同神經(jīng)元的輸出(圖五，右)如何利用反向傳播訓練RNNs，一目了然。

　　RNNs是非常強大的動(dòng)力系統，但訓練它們也被證實(shí)存在一些問(wèn)題，因為反向傳播梯度在每個(gè)時(shí)間間隔內或增長(cháng)或下降，因此，一段時(shí)間之后通常會(huì )導致結果激增或者降為零。

　　因先進(jìn)的架構和訓練的方式，RNNs不僅被證實(shí)擅長(cháng)預測文本中下一個(gè)字符或句子中下一個(gè)單詞，還可應用于更加復雜的任務(wù)。例如，某時(shí)刻閱讀英文句子中的單詞后，一個(gè)英語(yǔ)的「編碼器」網(wǎng)絡(luò )將被生成，從而幫助隱式單元的最終狀態(tài)向量很好地表征句子所傳達的思想。這種「思想向量(thought vector)」可以作為一個(gè)集大成的法語(yǔ)「編碼器」網(wǎng)絡(luò )的初始化隱式狀態(tài)(或額外的輸入)，其輸出為法語(yǔ)翻譯首單詞的概率分布。如果從概率分布中選擇一個(gè)特定首單詞作為編碼網(wǎng)絡(luò )的輸入，將會(huì )輸出翻譯句子中第二個(gè)單詞的概率分布，依此類(lèi)推，直到停止選擇為止?？傮w而言，這一過(guò)程是根據英語(yǔ)句子的概率分布而生成的法語(yǔ)單詞序列。這種近乎直接的機器翻譯方法的表現很快和最先進(jìn)(state-of-the-art)的方法不相上下，同時(shí)引發(fā)人們對于理解句子是否需要使用推理發(fā)掘內部符號表示質(zhì)疑。這與日常推理中涉及到根據合理結論類(lèi)推的觀(guān)點(diǎn)是匹配的。

　　除了將法語(yǔ)句子翻譯成英語(yǔ)句子，還可以學(xué)習將圖片內容「翻譯」為英語(yǔ)句子(如圖3)。編碼器是一種在最后隱層將像素轉換為活動(dòng)向量的深度卷積網(wǎng)絡(luò )。解碼器是一種類(lèi)似機器翻譯和神經(jīng)網(wǎng)絡(luò )語(yǔ)言模型的遞歸神經(jīng)網(wǎng)絡(luò )。近年來(lái)，引發(fā)了人們對深度學(xué)習該領(lǐng)域的熱議。RNNs一旦展開(kāi)(如圖5)，可被視作是所有層共享同樣權值的深度前饋神經(jīng)網(wǎng)絡(luò )。雖然它們的主要目的是長(cháng)期學(xué)習的依賴(lài)性，但有關(guān)理論和經(jīng)驗的例證表明很難學(xué)習并長(cháng)期儲存信息。

　　為了解決這一問(wèn)題，一個(gè)擴展網(wǎng)絡(luò )存儲的想法出現。第一種方案是采用了特殊隱式單元的LSTM，該自然行為便是長(cháng)期的保存輸入。一種類(lèi)似累加器和門(mén)控神經(jīng)元的稱(chēng)作記憶細胞的特殊單元：它通過(guò)在下一個(gè)時(shí)間步長(cháng)擁有一個(gè)權值并聯(lián)接到自身，從而拷貝自身狀態(tài)的真實(shí)值和累積外部信號，但這種自聯(lián)接是另一個(gè)學(xué)習并決定何時(shí)清除記憶內容的單元的乘法門(mén)所操控。

　　LSTM網(wǎng)絡(luò )最終被證明比傳統的遞歸神經(jīng)網(wǎng)絡(luò )(RNNs)更為有效，尤其是，每一個(gè)時(shí)間步長(cháng)內有若干層時(shí)，整個(gè)語(yǔ)音識別系統能夠完全一致地將聲學(xué)轉錄為字符序列。目前，LSTM網(wǎng)絡(luò )及其相關(guān)形式的門(mén)控單元同樣也用于編碼與解碼網(wǎng)絡(luò )，并在機器翻譯中表現良好。

　　過(guò)去幾年里，幾位學(xué)者提出一些不同的方案來(lái)增強RNNs存儲器模塊。這些建議包括，神經(jīng)圖靈機——通過(guò)加入RNNs可讀可寫(xiě)的“類(lèi)似磁帶”的存儲來(lái)增強網(wǎng)絡(luò )，而記憶網(wǎng)絡(luò )中的常規網(wǎng)絡(luò )通過(guò)聯(lián)想記憶來(lái)增強。記憶網(wǎng)絡(luò )在標準的問(wèn)答基準測試中表現良好，記憶是用來(lái)記住稍后要求回答問(wèn)題的事例。

　　除了簡(jiǎn)單記憶化、神經(jīng)圖靈機和記憶網(wǎng)絡(luò )被用于通常需要推理和符號操作的任務(wù)以外，還可以教神經(jīng)圖靈機「算法」。除此以外，他們可以從未排序的輸入符號序列(其中每個(gè)符號都有與其在列表中對應的表明優(yōu)先級的真實(shí)值)中，學(xué)習輸出一個(gè)排序的符號序列?？梢杂柧氂洃浘W(wǎng)絡(luò )用來(lái)追蹤一個(gè)設定與文字冒險游戲和故事的世界的狀態(tài)，回答一些需要復雜推理的問(wèn)題。在一個(gè)測試例子中，網(wǎng)絡(luò )能夠正確回答15句版的《指環(huán)王》中諸如「Frodo現在在哪?」的問(wèn)題。

　　圖5 |一個(gè)遞歸神經(jīng)網(wǎng)絡(luò )在時(shí)間中展開(kāi)的計算和涉及的相關(guān)計算

　　人工神經(jīng)元(例如，隱式樣單元分組節點(diǎn)在時(shí)間t的標準值下)獲得其他神經(jīng)元的輸入——在之前的步驟中(黑色區域呈現，代表一步延遲，如左)。這樣，一個(gè)遞歸神經(jīng)網(wǎng)絡(luò )可由xt的輸入序列元素，映射到一個(gè)輸出序列與元素ot，每次ot值取決于所有前面的xt?(t?≤t)。相同的參數(U,V矩陣W)在每步中使用。許多其他結構是可行的，包括一個(gè)變體的網(wǎng)絡(luò )可以生成的輸出序列(例如，詞語(yǔ))，每一個(gè)都作為下次的輸入步驟。反向傳播算法(圖1)可以直接應用于計算機圖形展開(kāi)網(wǎng)絡(luò )，并對所有的標準陳述和參數，計算其總誤差的導數(例如，生成正確的輸出序列的對數概率)。

　　深度學(xué)習的未來(lái)

　　無(wú)監督學(xué)習促進(jìn)了人們重燃對深度學(xué)習的興趣，但是，有監督學(xué)習的成功蓋過(guò)了無(wú)監督學(xué)習。雖然我們沒(méi)有關(guān)注這方面的評論，但是，從長(cháng)遠來(lái)看，我們還是期望無(wú)監督學(xué)習能夠變得更加重要。(因為)人類(lèi)和動(dòng)物的學(xué)習方式大多為無(wú)監督學(xué)習：我們通過(guò)觀(guān)察世界來(lái)發(fā)現它的結果，而不是被告知每個(gè)對象的名稱(chēng)。

　　人類(lèi)視覺(jué)是一個(gè)智能的、基于特定方式的利用小或大分辨率的視網(wǎng)膜中央窩與周?chē)h(huán)繞區域對光線(xiàn)采集成像的活躍的過(guò)程。我們希望機器視覺(jué)能夠在未來(lái)獲得巨大進(jìn)步，這些進(jìn)步來(lái)自于那些端對端的訓練系統，并集合卷積神經(jīng)網(wǎng)絡(luò )(ConvNets)和遞歸神經(jīng)網(wǎng)絡(luò )(RNNs)，利用強化學(xué)習來(lái)決定走向。結合了深度學(xué)習和強化學(xué)習的系統尚處在嬰兒期，但是，在分類(lèi)任務(wù)上，它們已經(jīng)超越了被動(dòng)視覺(jué)系統，并在嘗試學(xué)習操作視頻游戲方面，產(chǎn)生了令人印象深刻的結果。

　　未來(lái)幾年，理解自然語(yǔ)言會(huì )是深度學(xué)習產(chǎn)生巨大影響的另一個(gè)領(lǐng)域。我們預測，當它們學(xué)習了某時(shí)刻選擇性地加入某部分的策略，那些使用遞歸神經(jīng)網(wǎng)絡(luò )(RNNs)的系統將會(huì )更好地理解句子或整個(gè)文檔。

　　最終，人工智能的重大進(jìn)步將來(lái)自將表征學(xué)習與復雜推理結合起來(lái)的系統。盡管深度學(xué)習和簡(jiǎn)單推理已經(jīng)用于語(yǔ)音和手寫(xiě)識別很長(cháng)一段時(shí)間了，我們仍需要通過(guò)大量向量操作的新范式替換基于規則的字符表達操作。