Nature重磅：Hinton、LeCun、Bengio三巨頭權威科普深度學(xué)習

　　一個(gè)典型的卷積網(wǎng)絡(luò )架構的每一層(水平)輸出(不是過(guò)濾器)應用到一個(gè)薩摩耶犬的圖像(圖2左下方，RGB輸入(紅綠藍)，下方右側)。 每一個(gè)長(cháng)方形圖片都是一張對應于學(xué)習到的輸出特征的特征地圖，這些特征可以在圖片的各個(gè)位置被偵測到。信息流是從下往上的，低級的特征充作導向性邊際檢測因子( edge detectors)，每個(gè)輸出圖像類(lèi)都會(huì )被計算出一個(gè)分值。ReLU，整流線(xiàn)性單元。

　　深度學(xué)習架構由簡(jiǎn)單模組多層堆疊而成，全部(或絕大部分)模組都從事學(xué)習，大部分會(huì )計算非線(xiàn)性的輸入輸出映射。堆疊架構中的每個(gè)模組都會(huì )轉換它的輸入，同時(shí)增強可選擇性和所呈現狀態(tài)的一致性。 通過(guò)多個(gè)非線(xiàn)性層面(例如，深度5-20層)，系統可以實(shí)現對于輸入數據的極其微小細節的敏感性功能 --- 例如，區別開(kāi)白色的狼和薩摩耶犬 --- 并且對于較大的無(wú)關(guān)變量會(huì )不敏感(例如，主體周?chē)沫h(huán)境、姿勢、光照條件和周?chē)矬w。)

　　訓練多層架構的反向傳播算法

　　從最早的模式識別開(kāi)始，研究者們就一直試圖用可訓練的多層網(wǎng)絡(luò )代替人工設計特征，盡管這種解決方案很簡(jiǎn)單，直到20世紀80年代中期，它才得到人們的廣泛認可。事實(shí)證明，多層架構可以通過(guò)簡(jiǎn)單的隨機梯度下降法得以訓練。只要模組是由它們的輸入值及其內部權重構成的相對平滑的函數(relatively smooth functions)，人們就可以使用反向傳播算法來(lái)計算梯度。20世紀70至80年代，幾個(gè)不同的研究小組分別發(fā)現這一方法確實(shí)可行、有用。

　　計算一個(gè)目標函數關(guān)于一個(gè)多層堆疊模組的權重梯度的反向傳播過(guò)程，只不過(guò)是導數鏈式法則的一個(gè)實(shí)際應用。其中關(guān)鍵之處在于，關(guān)于模組輸入值的函數的導數(或梯度)，可以借助關(guān)于該模組的輸出值(或序列模組的輸入值)的梯度反向計算出來(lái)(圖1)。反向傳播方程可在所有模組中傳播梯度時(shí)被反復應用，從頂部(top)(神經(jīng)網(wǎng)絡(luò )產(chǎn)生預測的那一層)輸出開(kāi)始，一直到底部(bottom)(被接收外部輸入的那一層)。這些梯度一經(jīng)計算，就可直接計算出關(guān)于每個(gè)模組權重的梯度。

　　深度學(xué)習的許多應用，都會(huì )使用前饋神經(jīng)網(wǎng)絡(luò )架構( feedforward neural network architectures)(圖1)——該架構可學(xué)習將一個(gè)固定大小的輸入映射到(例如，一幅圖像)到一個(gè)固定大小的輸出上(例如，每種分類(lèi)的概率)。從一層到下一層，單元組計算其前一層輸入的加權總和，并通過(guò)一個(gè)非線(xiàn)性函數輸出結果。目前，最受歡迎的非線(xiàn)性函數是整流線(xiàn)性單元(ReLU)，一個(gè)簡(jiǎn)單的半波整流器f(z) = max(z, 0)。在過(guò)去的幾十年里，神經(jīng)網(wǎng)絡(luò )使用的是更平滑的非線(xiàn)性，比如，tanh(z)或1 /(1 + exp(?z))，但ReLU在多層網(wǎng)絡(luò )中的學(xué)習速度通常更快，可允許在沒(méi)有無(wú)監督預訓練(without unsupervised pre-training)的情況下進(jìn)行深度監督網(wǎng)絡(luò )訓練。不在輸入或輸出層中的單元通常被稱(chēng)為隱層單元(hidden units)。隱層可被看作是以非線(xiàn)性方式變換輸入，從而使所有類(lèi)別在最后一層變得線(xiàn)性可分( linearly separable by the last layer)(圖1)。

　　20世紀90年代末，神經(jīng)網(wǎng)絡(luò )和反向傳播被機器學(xué)習社區大量遺棄，同時(shí)也被計算機視覺(jué)和語(yǔ)音識別領(lǐng)域忽略。人們普遍認為，學(xué)習有用的、多層級的、幾乎不靠先驗知識的特征提取器并不現實(shí)可行。尤其是，人們通常認為簡(jiǎn)單的梯度下降法會(huì )深陷局部極小的泥潭——在這種權重配置當中，除非進(jìn)行大的改動(dòng)，否則很難降低平均誤差。

　　實(shí)踐中，對大型網(wǎng)絡(luò )而言，局部極小幾乎不構成問(wèn)題。無(wú)論初始條件如何，系統基本總能得到質(zhì)量非常相似的解決方案。最近的理論和實(shí)證研究結果均有力地表明，總的來(lái)說(shuō)，局部極小不是一個(gè)嚴重問(wèn)題。相反，解空間( landscape)充滿(mǎn)了大量梯度為0的鞍點(diǎn)( saddle points )，且在多數維度中表面向上彎曲，少數維度中表面向下彎曲。分析結果似乎表明，向下彎曲的鞍點(diǎn)在整體中占比相對較小，但這些鞍點(diǎn)的目標函數值大多相近。因此，算法陷入這些鞍點(diǎn)(不能繼續尋優(yōu))，無(wú)關(guān)緊要。

　　2006年前后，加拿大高級研究所(CIFAR)聚集了一批研究人員，他們重燃了人們對深度前饋網(wǎng)絡(luò )的興趣。這些研究人員引入無(wú)監督學(xué)習程序——無(wú)需標記數據便可創(chuàng )建特征檢測器層。各層特征檢測器的學(xué)習目標便是在下一層重構或模擬特征檢測器(或原始輸入)的活動(dòng)。利用這種重構學(xué)習目標來(lái)「預訓練(pre-training)」幾層復雜度遞增的特征檢測器，深層網(wǎng)絡(luò )的權重可以被初始化為合理值。接著(zhù)，最終層的輸出單元可被添加到網(wǎng)絡(luò )頂端，整個(gè)深度系統可被微調至使用標準的反向傳播。在識別手寫(xiě)數字或檢測行人時(shí)，特別是當標記的數據量非常有限的時(shí)候，這一程序非常有效。

　　這種預訓練的方法的首次重要應用是在語(yǔ)音識別上，這之所以可行歸功于便于編程的GPUs的誕生，它讓研究人員可以用10到20倍的速度訓練神經(jīng)網(wǎng)絡(luò )。2009年，這個(gè)方法被用來(lái)計算一段聲音采樣中提取短時(shí)系數窗口對應的一系列概率值，這些概率值反映出由窗口中幀表示語(yǔ)音各個(gè)段落的可能性。在小詞匯表的標準語(yǔ)音識別測試上，這種方法的訓練效果打破紀錄，很快它又發(fā)展到打破大詞匯表的標準語(yǔ)音測試紀錄。

　　到2012年，2009年以來(lái)的各種深度網(wǎng)絡(luò )一直的得到多個(gè)主要語(yǔ)音研究小組持續開(kāi)發(fā)并被布局在安卓手機上。對于較小數據集來(lái)說(shuō)，無(wú)監督預訓練有助于防止過(guò)擬合( overfitting), 當標注數據樣本小( number of labelled examples is small)或需要遷移( in a transfer setting )——有很多源領(lǐng)域的標注數據樣本但缺少目標領(lǐng)域的標注數據樣本——的時(shí)候，深度網(wǎng)絡(luò )的泛化( generalization)效果顯著(zhù)提升。深度學(xué)習重新獲得認識，人們發(fā)現，預訓練階段只是小規模數據集的必需品。

　　然而，還有一種特殊類(lèi)型的深度前饋網(wǎng)絡(luò )( deep feedforward network)，不僅更易訓練而且泛化能力要比那些相鄰兩層完全相連的神經(jīng)網(wǎng)絡(luò )強大很多。這就是卷積神經(jīng)網(wǎng)絡(luò ) (ConvNet)。 在神經(jīng)網(wǎng)絡(luò )「失寵 」的日子里，卷積神經(jīng)網(wǎng)絡(luò )在實(shí)踐運用中獲得許多成功，最近已被計算機視覺(jué)領(lǐng)域廣泛采用。

　　卷積神經(jīng)網(wǎng)絡(luò )

　　卷積神經(jīng)網(wǎng)絡(luò )最初是用來(lái)處理多維數組數據，比如，一張由三個(gè)2D數組組成、包含三個(gè)彩色通道像素強度的彩色圖像。大量的數據模式都是多個(gè)數組形式：1D用來(lái)表示信號和序列信號包括人類(lèi)語(yǔ)言;2D用來(lái)表示圖片或聲音;3D代表視頻或有聲音的圖像。卷積神經(jīng)網(wǎng)絡(luò )利用自然信號特征的核心理念是：局部連接(local connections)，權重共享，池化(pooling)和多網(wǎng)絡(luò )層的使用。

　　典型的卷積神經(jīng)網(wǎng)絡(luò )的架構(圖二)包括一系列階段：最初的幾個(gè)階段由卷積層和池化層組成，卷積層的單元被組織到特征圖(feature map)中，每個(gè)單元通過(guò)一組被稱(chēng)作濾波器(filter bank)的權值被連接到前一層的特征圖的局部數據塊。接下來(lái)，得到的局部加權和會(huì )傳遞至一個(gè)非線(xiàn)性函數，例如ReLU。同一個(gè)特征圖中的所有單元共享相同的濾波器，不同特征圖使用不同濾波器。采用這種架構有兩方面的原因。首先，在諸如圖像這樣的數組數據中，數值與附近數值之間通常是高度相關(guān)的，容易生成易被探測到的局部特征(motif)。其次，圖像和其他類(lèi)似信號的局部統計特征通常又與位置無(wú)關(guān)，易言之，出現在某處的某個(gè)特征也可能出現在其他任何地方，因此，不同位置的單元會(huì )共享同樣的權值并且可以探測相同模式。數學(xué)上，由一個(gè)特征圖完成的過(guò)濾操作是一個(gè)離線(xiàn)的卷積，卷積神經(jīng)網(wǎng)絡(luò )由此得名。

　　和卷積層用來(lái)探測前一層中特征之間的局部連接不同，池化層的作用則是對語(yǔ)義相似的特征進(jìn)行合并。由于構成局部主題的特征之間的相對位置關(guān)系不是一成不變的，可以通過(guò)粗粒度檢測每個(gè)特征的位置來(lái)實(shí)現較可靠的主題識別。一個(gè)池化層單元通常會(huì )計算一個(gè)或幾個(gè)特征圖中一個(gè)局部塊的最大值，相鄰的池化單元則會(huì )移動(dòng)一列或一行從小塊讀取輸入，這種設計不僅減少了數據表征需要的維數，而且也能對數據小規模的偏移、扭曲保持不變。兩到三個(gè)卷積層，非線(xiàn)性層和池化層被疊加起來(lái)，后面再加上更多的卷積和全連接層。在卷積神經(jīng)網(wǎng)絡(luò )的反向傳播算法和在一般深度網(wǎng)絡(luò )上一樣簡(jiǎn)單，能讓所有濾波器中的權值得到訓練。

　　多數自然信號都是分級組合而成，通過(guò)對較低層信號組合能夠獲得較高層的信號特征，而深度神經(jīng)網(wǎng)絡(luò )充分利用了上述特性。在圖像中，線(xiàn)條組合形成圖案，圖案形成部件，部件組成物體。類(lèi)似的層次結構存在于由聲音到電話(huà)中的語(yǔ)音及文本形成過(guò)程，音素組成音節，音節組成單詞，單詞組成句子。當輸入數據在前一層中的位置有變化的時(shí)候，池化操作讓這些特征表示對變化具有魯棒性。

　　卷積神經(jīng)網(wǎng)絡(luò )中的層次的卷積和匯聚的靈感直接來(lái)源于視覺(jué)神經(jīng)科學(xué)中的簡(jiǎn)單細胞和復雜細胞的經(jīng)典概念，并且其整體架構讓人想起視覺(jué)皮層腹側通路的LGN-V1-V2-V4-IT層次結構。當向卷積神經(jīng)網(wǎng)絡(luò )模型和猴子同時(shí)展示相同的畫(huà)面時(shí)，卷積神經(jīng)網(wǎng)絡(luò )的高級單元被激活，解釋了猴子顳下皮層隨機設置的160個(gè)神經(jīng)元的變化。卷積神經(jīng)網(wǎng)絡(luò )有著(zhù)神經(jīng)認知機的基礎，兩者的體系結構有些類(lèi)似，但是，卷積神經(jīng)網(wǎng)絡(luò )沒(méi)有諸如反向傳播的那種端對端的監督學(xué)習算法。原始的1D卷積神經(jīng)網(wǎng)絡(luò )被稱(chēng)為「延時(shí)神經(jīng)網(wǎng)絡(luò )(time-delay neural net )」，用于識別語(yǔ)音和簡(jiǎn)單的單詞。

　　早在20世紀90年代初，卷積網(wǎng)絡(luò )就已有非常廣泛的應用 ，最開(kāi)始延時(shí)神經(jīng)網(wǎng)絡(luò )被用在語(yǔ)音識別和文檔閱讀上。文本閱讀系統使用了受過(guò)訓練的延時(shí)神經(jīng)網(wǎng)絡(luò )以及一個(gè)實(shí)現了語(yǔ)言約束的概率模型。到20世紀90年代末，該系統能夠讀取美國超過(guò)十分之一的支票。隨后，微軟發(fā)明了許多基于卷積神經(jīng)網(wǎng)絡(luò )的光學(xué)字符識別和手寫(xiě)識別系統。卷積神經(jīng)網(wǎng)絡(luò )在20世紀90年代初就被嘗試用于包括臉、手、面部識別的自然圖像目標檢測中。

　　使用深層卷積網(wǎng)絡(luò )進(jìn)行圖像識別

　　從21世紀初開(kāi)始，卷積神經(jīng)網(wǎng)絡(luò )就被成功用于檢測、分割和物體識別以及圖像各區域。這些應用都使用了豐富的標簽數據，比如，交通標志識別、生物圖像(特別是神經(jīng)鏈接組學(xué)方面)分割、面部探測、文本、行人和自然圖像中的人體的檢測。近些年來(lái)，卷積神經(jīng)網(wǎng)絡(luò )的一項重要成功應用就是人臉識別。

　　值得注意的是，圖像可以在像素級別上被標記，這樣就能被用于諸如自主移動(dòng)機器人(autonomous mobile robots)和無(wú)人駕駛汽車(chē)等技術(shù)中。像Mobileye和NVIDIA 這些公司正在將這些基于卷積神經(jīng)網(wǎng)絡(luò )的方法應用于即將面世的汽車(chē)視覺(jué)系統中。其他重要的應用程序涉及到自然語(yǔ)言理解和語(yǔ)音識別。

　　盡管取得了這些成就，但在2012年ImageNet競爭之前，卷積神經(jīng)網(wǎng)絡(luò )在很大程度上并未獲得主流計算機視覺(jué)和機器學(xué)習團體的青睞。當深層卷積網(wǎng)絡(luò )被應用于來(lái)源于包含1000個(gè)不同類(lèi)型約100萬(wàn)個(gè)圖像的數據集中，它們取得了驚人的成果，錯誤率僅是當時(shí)最佳方法的一半。該成功源于高效利用了GPUs和ReLUs、一項新的被稱(chēng)為「dropout 」的正規化技術(shù)( regularization technique )以及分解現有樣本產(chǎn)生更多訓練樣本的技術(shù)。成功給計算機視覺(jué)領(lǐng)域帶來(lái)一場(chǎng)革命。如今，卷積神經(jīng)網(wǎng)絡(luò )幾乎覆蓋所有識別和探測任務(wù)，在有些任務(wù)中，其表現接近人類(lèi)水平。最近一個(gè)令人震驚的例子，利用卷積神經(jīng)網(wǎng)絡(luò )結合遞歸網(wǎng)絡(luò )模塊來(lái)生成圖像標題( image captions )(如圖3)。

　　圖3 |從圖像到文本