Hinton，Lecun和Bengio三巨頭聯(lián)手再發(fā)萬(wàn)字長(cháng)文：深度學(xué)習的昨天、今天和明天

轉自：新智元

2018年，ACM（國際計算機學(xué)會(huì )）決定將計算機領(lǐng)域的最高獎項圖靈獎頒給Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton，以表彰他們在計算機深度學(xué)習領(lǐng)域的貢獻。

這也是圖靈獎第三次同時(shí)頒給三位獲獎?wù)摺?/p>

用于計算機深度學(xué)習的人工神經(jīng)網(wǎng)絡(luò )在上世紀80年代就已經(jīng)被提出，但是在當時(shí)科研界由于其缺乏理論支撐，且計算力算力有限，導致其一直沒(méi)有得到相應的重視。

是這三巨頭一直在堅持使用深度學(xué)習的方法，并在相關(guān)領(lǐng)域進(jìn)行了深入研究。通過(guò)實(shí)驗發(fā)現了許多驚人的成果，并為證明深度神經(jīng)網(wǎng)絡(luò )的實(shí)際優(yōu)勢做出了貢獻。

所以說(shuō)他們是深度學(xué)習之父毫不夸張。

在A(yíng)I界，當Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton 這三位大神同時(shí)出場(chǎng)的時(shí)候，一定會(huì )有什么大事發(fā)生。

最近，深度學(xué)習三巨頭受ACM通訊雜志之邀，共同針對深度學(xué)習的話(huà)題進(jìn)行了一次深度專(zhuān)訪(fǎng)，提綱挈領(lǐng)地回顧了深度學(xué)習的基本概念、最新的進(jìn)展，以及未來(lái)的挑戰。

廣大的AI開(kāi)發(fā)者們，看了高人指點(diǎn)之后是不是對于未來(lái)之路更加明晰了？下面我們來(lái)看看他們都聊了些什么。

深度學(xué)習的興起

在2000年代早期，深度學(xué)習引入的一些元素，讓更深層的網(wǎng)絡(luò )的訓練變得更加容易，也因此重新激發(fā)了神經(jīng)網(wǎng)絡(luò )的研究。

GPU和大型數據集的可用性是深度學(xué)習的關(guān)鍵因素，也得到了具有自動(dòng)區分功能、開(kāi)源、靈活的軟件平臺（如Theano、Torch、Caffe、TensorFlow等）的增強作用。訓練復雜的深度網(wǎng)絡(luò )、重新使用最新模型及其構建塊也變得更加容易。而更多層網(wǎng)絡(luò )的組合允許更復雜的非線(xiàn)性，在感知任務(wù)中取得了意料之外的結果。

深度學(xué)習深在哪里？有人認為，更深層次的神經(jīng)網(wǎng)絡(luò )可能更加強大，而這種想法在現代深度學(xué)習技術(shù)出現之前就有了。但是，這樣的想法其實(shí)是由架構和訓練程序的不斷進(jìn)步而得來(lái)的，并帶來(lái)了與深度學(xué)習興起相關(guān)的顯著(zhù)進(jìn)步。

更深層的網(wǎng)絡(luò )能夠更好地概括「輸入-輸出關(guān)系類(lèi)型」，而這不僅只是因為參數變多了。深度網(wǎng)絡(luò )通常比具有相同參數數量的淺層網(wǎng)絡(luò )具有更好的泛化能力。例如，時(shí)下流行的計算機視覺(jué)卷積網(wǎng)絡(luò )架構類(lèi)別是ResNet系列，其中最常見(jiàn)的是ResNet-50，有50層。

圖源：知乎@臭咸魚(yú)

深度網(wǎng)絡(luò )之所以能夠脫穎而出，是因為它利用了一種特定形式的組合性，其中一層的特征以多種不同的方式組合，這樣在下一層就能夠創(chuàng )建更多的抽象特征。

無(wú)監督的預訓練。當標記訓練示例的數量較小，執行任務(wù)所需的神經(jīng)網(wǎng)絡(luò )的復雜性也較小時(shí)，能夠使用一些其他信息源來(lái)創(chuàng )建特征檢測器層，再對這些具有有限標簽的特征檢測器進(jìn)行微調。在遷移學(xué)習中，信息源是另一種監督學(xué)習任務(wù)，具有大量標簽。但是也可以通過(guò)堆疊自動(dòng)編碼器來(lái)創(chuàng )建多層特征檢測器，無(wú)需使用任何標簽。

線(xiàn)性整流單元的成功之謎。早期，深度網(wǎng)絡(luò )的成功，是因為使用了邏輯sigmoid非線(xiàn)性函數或與之密切相關(guān)的雙曲正切函數，對隱藏層進(jìn)行無(wú)監督的預訓練。

長(cháng)期以來(lái)，神經(jīng)科學(xué)一直假設線(xiàn)性整流單元，并且已經(jīng)在 RBM 和卷積神經(jīng)網(wǎng)絡(luò )的某些變體中使用。讓人意想不到的是，人們驚喜地發(fā)現，非線(xiàn)性整流通過(guò)反向傳播和隨機梯度下降，讓訓練深度網(wǎng)絡(luò )變得更加便捷，無(wú)需進(jìn)行逐層預訓練。這是深度學(xué)習優(yōu)于以往對象識別方法的技術(shù)進(jìn)步之一。

語(yǔ)音和物體識別方面的突破。聲學(xué)模型將聲波轉換為音素片段的概率分布。Robinson、Morgan 等人分別使用了晶片機和DSP芯片，他們的嘗試均表明，如果有足夠的處理能力，神經(jīng)網(wǎng)絡(luò )可以與最先進(jìn)的聲學(xué)建模技術(shù)相媲美。

2009年，兩位研究生使用 NVIDIA GPU ，證明了預訓練的深度神經(jīng)網(wǎng)絡(luò )在 TIMIT 數據集上的表現略?xún)?yōu)于 SOTA。這一結果重新激起了神經(jīng)網(wǎng)絡(luò )中幾個(gè)主要語(yǔ)音識別小組的興趣。2010 年，在不需要依賴(lài)說(shuō)話(huà)者訓練的情況下，基本一致的深度網(wǎng)絡(luò )能在大量詞匯語(yǔ)音識別方面擊敗了 SOTA 。2012 年，谷歌顯著(zhù)改善了 Android 上的語(yǔ)音搜索。這是深度學(xué)習顛覆性力量的早期證明。

大約在同一時(shí)間，深度學(xué)習在 2012 年 ImageNet 競賽中取得了戲劇性的勝利，在識別自然圖像中的一千種不同類(lèi)別的物體時(shí)，其錯誤率幾乎減半。這場(chǎng)勝利的關(guān)鍵在于，李飛飛及其合作者為訓練集收集了超過(guò)一百萬(wàn)張帶標簽的圖像，以及Alex Krizhevsky 對多個(gè) GPU 的高效使用。

深度卷積神經(jīng)網(wǎng)絡(luò )具有新穎性，例如，ReLU能加快學(xué)習，dropout能防止過(guò)度擬合，但它基本上只是一種前饋卷積神經(jīng)網(wǎng)絡(luò )，Yann LeCun 和合作者多年來(lái)一直都在研究。

計算機視覺(jué)社區對這一突破的反應令人欽佩。證明卷積神經(jīng)網(wǎng)絡(luò )優(yōu)越性的證據無(wú)可爭議，社區很快就放棄了以前的手工設計方法，轉而使用深度學(xué)習。

深度學(xué)習近期的主要成就

三位大神選擇性地討論了深度學(xué)習的一些最新進(jìn)展，如軟注意力（soft attention）和Transformer 架構。

深度學(xué)習的一個(gè)重****展，尤其是在順序處理方面，是乘法交互的使用，尤其是軟注意力的形式。這是對神經(jīng)網(wǎng)絡(luò )工具箱的變革性補充，因為它將神經(jīng)網(wǎng)絡(luò )從純粹的矢量轉換機器，轉變?yōu)槟軌騽?dòng)態(tài)選擇對哪些輸入進(jìn)行操作的架構，并且將信息存儲在關(guān)聯(lián)存儲器中。這種架構的關(guān)鍵特性是，它們能有效地對不同類(lèi)型的數據結構進(jìn)行操作。

軟注意力可用于某一層的模塊，可以動(dòng)態(tài)選擇它們來(lái)自前一層的哪些向量，從而組合，計算輸出。這可以使輸出獨立于輸入的呈現順序（將它們視為一組），或者利用不同輸入之間的關(guān)系（將它們視為圖形）。

Transformer 架構已經(jīng)成為許多應用中的主導架構，它堆疊了許多層“self-attention”模塊。同一層中對每個(gè)模塊使用標量積來(lái)計算其查詢(xún)向量與該層中其他模塊的關(guān)鍵向量之間的匹配。匹配被歸一化為總和1，然后使用產(chǎn)生的標量系數來(lái)形成前一層中其他模塊產(chǎn)生的值向量的凸組合。結果向量形成下一計算階段的模塊的輸入。

模塊可以是多向的，以便每個(gè)模塊計算幾個(gè)不同的查詢(xún)、鍵和值向量，從而使每個(gè)模塊有可能有幾個(gè)不同的輸入，每個(gè)輸入都以不同的方式從前一階段的模塊中選擇。在此操作中，模塊的順序和數量無(wú)關(guān)緊要，因此可以對向量集進(jìn)行操作，而不是像傳統神經(jīng)網(wǎng)絡(luò )中那樣對單個(gè)向量進(jìn)行操作。例如，語(yǔ)言翻譯系統在輸出的句子中生成一個(gè)單詞時(shí)，可以選擇關(guān)注輸入句子中對應的一組單詞，與其在文本中的位置無(wú)關(guān)。

未來(lái)的挑戰

深度學(xué)習的重要性以及適用性在不斷地被驗證，并且正在被越來(lái)越多的領(lǐng)域采用。對于深度學(xué)習而言，提升它的性能表現有簡(jiǎn)單直接的辦法——提升模型規模。

通過(guò)更多的數據和計算，它通常就會(huì )變得更聰明。比如有1750億參數的GPT-3大模型（但相比人腦中的神經(jīng)元突觸而言仍是一個(gè)小數目）相比只有15億參數的GPT-2而言就取得了顯著(zhù)的提升。

但是三巨頭在討論中也透露到，對于深度學(xué)習而言仍然存在著(zhù)靠提升參數模型和計算無(wú)法解決的缺陷。

比如說(shuō)與人類(lèi)的學(xué)習過(guò)程而言，如今的機器學(xué)習仍然需要在以下幾個(gè)方向取得突破：

1、監督學(xué)習需要太多的數據標注，而無(wú)模型強化學(xué)習又需要太多試錯。對于人類(lèi)而言，像要學(xué)習某項技能肯定不需要這么多的練習。

2、如今的系統對于分布變化適應的魯棒性比人類(lèi)差的太遠，人類(lèi)只需要幾個(gè)范例，就能夠快速適應類(lèi)似的變化。

3、如今的深度學(xué)習對于感知而言無(wú)疑是最為成功的，也就是所謂的系統1類(lèi)任務(wù)，如何通過(guò)深度學(xué)習進(jìn)行系統2類(lèi)任務(wù)，則需要審慎的通用步驟。在這方面的研究令人期待。

在早期，機器學(xué)習的理論學(xué)家們始終關(guān)注于獨立相似分布假設，也就是說(shuō)測試模型與訓練模型服從相同的分布。而不幸的是，在現實(shí)世界中這種假設并不成立：比如說(shuō)由于各種代理的行為給世界帶來(lái)的變化，就會(huì )引發(fā)不平穩性；又比如說(shuō)總要有新事物去學(xué)習和發(fā)現的學(xué)習代理，其智力的界限就在不斷提升。

所以現實(shí)往往是即便如今最厲害的人工智能，從實(shí)驗室投入到實(shí)際應用中時(shí)，其性能仍然會(huì )大打折扣。

所以三位大神對于深度學(xué)習未來(lái)的重要期待之一，就是當分布發(fā)生變化時(shí)能夠迅速適應并提升魯棒性（所謂的不依賴(lài)于分布的泛化學(xué)習），從而在面對新的學(xué)習任務(wù)時(shí)能夠降低樣本數量。

如今的監督式學(xué)習系統相比人類(lèi)而言，在學(xué)習新事物的時(shí)候需要更多的事例，而對于無(wú)模型強化學(xué)習而言，這樣的情況更加糟糕——因為相比標注的數據而言，獎勵機制能夠反饋的信息太少了。

所以，我們該如何設計一套全新的機械學(xué)習系統，能夠面對分布變化時(shí)具備更好的適應性呢？

從同質(zhì)層到代表實(shí)體的神經(jīng)元組

如今的證據顯示，相鄰的神經(jīng)元組可能代表了更高級別的向量單元，不僅能夠傳遞標量，而且能夠傳遞一組坐標值。這樣的想法正是膠囊架構的核心，在單元中的元素與一個(gè)向量相關(guān)聯(lián)，從中可以讀取關(guān)鍵向量、數值向量（有時(shí)也可能是一個(gè)查詢(xún)向量）。

適應多個(gè)時(shí)間尺度

大多數神經(jīng)網(wǎng)絡(luò )只有兩個(gè)時(shí)間尺度：權重在許多示例中適應得非常慢，而行為卻在每個(gè)新輸入中對于變化適應得非?？焖?。通過(guò)添加快速適應和快速衰減的“快速權重”的疊加層，則會(huì )讓計算機具備非常有趣的新能力。

尤其是它創(chuàng )建了一個(gè)高容量的短期存儲，可以允許神經(jīng)網(wǎng)絡(luò )執行真正的遞歸，，其中相同的神經(jīng)元可以在遞歸調用中重復使用，因為它們在更高級別調用中的活動(dòng)向量可以重建稍后使用快速權重中的信息。

多時(shí)間尺度適應的功能在元學(xué)習（meta-learning）中正在逐漸被采納。

更高層次的認知

在考慮新的任務(wù)時(shí)，例如在具有不一樣的交通規則的城市中駕駛，甚至想象在月球上駕駛車(chē)輛時(shí)，我們可以利用我們已經(jīng)掌握的知識和通用技能，并以新的方式動(dòng)態(tài)地重新組合它們。

但是當我們采用已知的知識來(lái)適應一個(gè)新的設置時(shí)，如何避免已知知識對于新任務(wù)帶來(lái)的噪音干擾？開(kāi)始步驟可以采用Transformer架構和復發(fā)獨立機制Recurrent Independent Mechanisms）。

對于系統1的處理能力允許我們在計劃或者推測時(shí)猜測潛在的好處或者危險。但是在更高級的系統級別上，可能就需要AlphaGo的蒙特卡羅樹(shù)搜索的價(jià)值函數了。

機械學(xué)習依賴(lài)于歸納偏差或者先驗經(jīng)驗，以鼓勵在關(guān)于世界假設的兼容方向上學(xué)習。系統2處理處理的性質(zhì)和他們認知的神經(jīng)科學(xué)理論，提出了幾個(gè)這樣的歸納偏差和架構，可以來(lái)設計更加新穎的深度學(xué)習系統。那么如何訓練神經(jīng)網(wǎng)絡(luò )，能夠讓它們發(fā)現這個(gè)世界潛在的一些因果屬性呢？

在20世紀提出的幾個(gè)代表性的AI研究項目為我們指出了哪些研究方向？顯然，這些AI項目都想要實(shí)現系統2的能力，比如推理能力、將知識能夠迅速分解為簡(jiǎn)單的計算機運算步驟，并且能夠控制抽象變量或者示例。這也是未來(lái)AI技術(shù)前進(jìn)的重要方向。

聽(tīng)完三位的探討，大家是不是覺(jué)得在A(yíng)I之路上，光明無(wú)限呢？

參考資料：

https://cacm.acm.org/magazines/2021/7/253464-deep-learning-for-ai/fulltext