初學(xué)者必看！深度學(xué)習入門(mén)指南

前言

機器學(xué)習技術(shù)為現代社會(huì )的許多領(lǐng)域提供了強大的技術(shù)支持：從網(wǎng)絡(luò )搜索到社交網(wǎng)絡(luò )的內容過(guò)濾，再到電子商務(wù)網(wǎng)站的產(chǎn)品推薦。機器學(xué)習技術(shù)正越來(lái)越多的出現在消費級產(chǎn)品上，比如照相機和智能手機。 機器學(xué)習系統可用于識別圖像中的對象，將語(yǔ)音轉換成文本，選擇搜索結果的相關(guān)項，以及匹配新聞、帖子或用戶(hù)感興趣的其他東西。 類(lèi)似的應用越來(lái)越多，它們都使用了一種叫做深度學(xué)習的技術(shù)。

深度學(xué)習(也稱(chēng)為深層結構學(xué)習、層次學(xué)習或深度機器學(xué)習)是基于對數據中的高級抽象進(jìn)行建模的算法，它屬于機器學(xué)習的分支。最簡(jiǎn)單的例子，你可以有兩組神經(jīng)元：接收輸入信號的神經(jīng)元和發(fā)送輸出信號的神經(jīng)元。當輸入層接收到輸入時(shí)，它將輸入的修改版本傳遞給下一層。在深層網(wǎng)絡(luò )中，輸入和輸出層之間有很多層(層并不是由神經(jīng)元構成，這里只是為了幫助你思考)，這些層允許算法使用多個(gè)處理層，這些層包含了多個(gè)線(xiàn)性和非線(xiàn)性變換。

近來(lái)，深度學(xué)習技術(shù)使得機器學(xué)習發(fā)生了革命性的變化，并出現了很多偉大的成果。 它們大大改進(jìn)了語(yǔ)音識別、視覺(jué)對象識別、對象檢測以及許多其他領(lǐng)域(如藥物發(fā)現和基因組學(xué))的技術(shù)。 “深度學(xué)習”這個(gè)術(shù)語(yǔ)最早由Dechter(1986)引入機器學(xué)習，由Aizenberg等人(2000)引入人工神經(jīng)網(wǎng)絡(luò )(NN)。 深度學(xué)習的進(jìn)一步普及得益于由Alex Krizhevsky發(fā)明的被稱(chēng)為“AlexNet”的卷積網(wǎng)絡(luò )架構的出現。“AlexNet”在2012年的ImageNet比賽中擊敗了其他所有的圖像處理算法，開(kāi)創(chuàng )了在圖像處理中使用深度學(xué)習架構的先河。

深度學(xué)習架構

1. 生成式深度架構，旨在描述用于模式分析或合成目的的觀(guān)測數據或可見(jiàn)數據的高階相關(guān)特性，以及描述可見(jiàn)數據及其關(guān)聯(lián)類(lèi)的聯(lián)合統計分布的特征。在后一種情況下，使用貝葉斯規則可以將這種類(lèi)型的架構變成辨別式深度架構。

2. 辨別式深度架構，旨在直接提供模式分類(lèi)的辨別力，通常通過(guò)描述基于可見(jiàn)數據種類(lèi)的后驗分布來(lái)描述。

3. 混合式深度架構，其目的是辨別，但通常輔以通過(guò)更好的優(yōu)化或規則化的生成架構的結果，或者是其辨別標準被用來(lái)學(xué)習類(lèi)別1中的任何一個(gè)深度生成模型的參數

盡管深度學(xué)習架構的分類(lèi)很復雜，但在實(shí)踐中經(jīng)常用到的有深度前饋網(wǎng)絡(luò )、卷積網(wǎng)絡(luò )和循環(huán)網(wǎng)絡(luò )。

深度前饋網(wǎng)絡(luò )

前饋網(wǎng)絡(luò )，通常被稱(chēng)為前饋神經(jīng)網(wǎng)絡(luò )或多層感知器(MLP)，它是典型的深度學(xué)習模式。

前饋網(wǎng)絡(luò )的目標是逼近某個(gè)函數f。例如，對于一個(gè)分類(lèi)器，y=f(x)表示的是將輸入x映射到類(lèi)別y。前饋網(wǎng)絡(luò )定義了一個(gè)映射 y=f(x;θ)，并學(xué)習能產(chǎn)生最佳逼近函數的參數θ的值。

簡(jiǎn)單來(lái)說(shuō)，網(wǎng)絡(luò )可以定義為輸入、隱藏和輸出節點(diǎn)的組合。數據從輸入節點(diǎn)流入，在隱藏節點(diǎn)中進(jìn)行處理，然后通過(guò)輸出節點(diǎn)產(chǎn)生輸出。信息流經(jīng)從x評估的函數，通過(guò)用于定義f的中間計算，最后到輸出y。該網(wǎng)絡(luò )中沒(méi)有反饋連接，其中模型的輸出反饋到自身，因此模型被稱(chēng)為前饋網(wǎng)絡(luò )。該模型如圖[1]所示。

圖[1]：前饋神經(jīng)網(wǎng)絡(luò )

卷積神經(jīng)網(wǎng)絡(luò )

在機器學(xué)習中，卷積神經(jīng)網(wǎng)絡(luò )(CNN或ConvNet)是一種前饋人工神經(jīng)網(wǎng)絡(luò )，其神經(jīng)元之間的連接模式是受動(dòng)物視覺(jué)皮層組織的啟發(fā)而發(fā)明出來(lái)的。

個(gè)別皮質(zhì)神經(jīng)元對受限區域的刺激響應稱(chēng)為感受野。不同神經(jīng)元的感受野部分重疊，這使得這些感受野像瓦片一樣平鋪。

單個(gè)神經(jīng)元對其感受野內的刺激的反應可以用卷積運算近似地數學(xué)化。卷積網(wǎng)絡(luò )的靈感來(lái)自于生物學(xué)，是多層感知器的變體。它在圖像和視頻識別、推薦系統和自然語(yǔ)言處理中具有廣泛的應用。

LeNet是第一個(gè)卷積神經(jīng)網(wǎng)絡(luò )，它推動(dòng)了深度學(xué)習領(lǐng)域的發(fā)展。自1988年以來(lái)，Yann LeCun的這項開(kāi)創(chuàng )性工作多次成功迭代后成為了LeNet5。當時(shí)的LeNet架構主要用于字符識別，如閱讀郵政編碼、數字等等。

圖[2]：一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò )模型

ConvNet有四個(gè)主要組件，如圖2所示：

1.卷積層

2.激活函數

3.池化層

4.完全連接層

卷積層

卷積層基于術(shù)語(yǔ)“卷積”，它是對兩個(gè)變量執行數學(xué)運算(f*g)，以產(chǎn)生第三個(gè)變量。 它與互相關(guān)類(lèi)似。 卷積層的輸入是一幅 m x m x r 的圖像，其中m是圖像的高度和寬度，r是通道數，例如，對于RGB圖像，r = 3 。 卷積層有大小為n x n x q的k個(gè)過(guò)濾器(或內核)，其中n小于圖像的維度，并且q小于等于通道數r，并且每個(gè)內核都可以不同。

激活函數

要實(shí)現復雜的映射函數，需要有非線(xiàn)性的激活函數，這樣引入非常重要的非線(xiàn)性屬性，使之能夠近似于任何函數。激活函數對于壓縮來(lái)自神經(jīng)元的無(wú)界線(xiàn)性加權和也是非常重要的。這對于避免在處理層次上積累高值非常重要。有很多經(jīng)常被用到的激活函數，比如Sigmoid、tanh和ReLU。

池化層

池化是一個(gè)基于樣本的離散化過(guò)程。它的目標是對輸入表示(圖像、隱藏層輸出矩陣等等)進(jìn)行降采樣，減少其維度，并允許對包含在子區域中的特征進(jìn)行假設。

這樣做的部分原因是為了提供一種抽象的表示形式來(lái)避免過(guò)度擬合。同樣，它通過(guò)減少要學(xué)習的參數個(gè)數來(lái)降低計算成本，并為內部表示提供基本的轉化恒定性。

比較突出的池化技術(shù)有：最大池化，最小池化和平均池化。

圖[3]：2*2過(guò)濾器的最大池化示例

完全連接層

術(shù)語(yǔ)“完全連接”意味著(zhù)上一層中的每個(gè)神經(jīng)元都連接到下一層的每個(gè)神經(jīng)元。完全連接層是傳統的多層感知器，它使用softmax激活函數或輸出層中的任何其他類(lèi)似函數。

循環(huán)神經(jīng)網(wǎng)絡(luò )

在傳統的神經(jīng)網(wǎng)絡(luò )中，我們假設所有的輸入(和輸出)是相互獨立的。但是對于許多的任務(wù)來(lái)說(shuō)，這是一個(gè)很糟糕的假設。如果你想預測一個(gè)句子中的下一個(gè)單詞，你最好知道哪些前面的單詞是什么。 RNN之所以稱(chēng)為循環(huán)，因為它們對序列的每個(gè)元素執行相同的任務(wù)，而輸出依賴(lài)于先前的計算。還有一種理解RNN的方法，我們可以認為它有“記憶”的，它會(huì )捕獲到截至目前計算出來(lái)的所有信息。

RNN中有循環(huán)，這使得在讀入輸入時(shí)能夠跨神經(jīng)元傳遞信息。在圖[4]中，x_t是某種輸入，A是RNN的一部分，h_t是輸出。RNN有一些特殊的類(lèi)型，比如LSTM、雙向RNN，GRU等等。

圖[4]：RNN模型

RNN可用于NLP、機器翻譯、語(yǔ)言建模、計算機視覺(jué)、視頻分析、圖像生成、圖像字幕等，這是因為在RNN中可以放置任意數量的輸入和輸出，并讓它們一一對應、多對多對應。它架構存在多種形式，如圖[5]所示。

圖[5]：RNN描述了對矢量序列的操作

應用

在深度學(xué)習領(lǐng)域已經(jīng)有了很多的研究，并且有很多特別的問(wèn)題都使用深度學(xué)習模型得到了解決。這里有一些深度學(xué)習方面的優(yōu)秀應用：

黑白圖像彩色化

深度學(xué)習可用于參照照片中的對象及其上下文來(lái)對圖像進(jìn)行著(zhù)色，就像人類(lèi)進(jìn)行著(zhù)色一樣。這個(gè)應用需使用非常大的卷積神經(jīng)網(wǎng)絡(luò )和監督層，通過(guò)添加顏色來(lái)重現圖像。

機器翻譯

文本翻譯可以在沒(méi)有對序列進(jìn)行任何預處理的情況下進(jìn)行，它允許算法學(xué)習單詞之間的依賴(lài)關(guān)系及其與另一種語(yǔ)言之間的映射。大型LSTM循環(huán)神經(jīng)網(wǎng)絡(luò )的堆疊網(wǎng)絡(luò )可用于機器翻譯。

照片中物體的分類(lèi)及檢測

該任務(wù)是將照片中的對象歸類(lèi)到已知的對象組中去。在樣例評測中，通過(guò)使用非常大的卷積神經(jīng)網(wǎng)絡(luò )能夠獲得非常好的結果。 Alex Krizhevsky等人在ImageNet分類(lèi)中取得的突破性成果，被稱(chēng)為AlexNet。

自動(dòng)手寫(xiě)生成

給定一個(gè)手寫(xiě)示例語(yǔ)料庫，然后為給定的單詞或短語(yǔ)生成新的筆跡。在筆跡樣本被創(chuàng )建時(shí)，筆跡將作為一系列的坐標提供給筆。通過(guò)這個(gè)語(yǔ)料庫，算法會(huì )學(xué)習筆的運動(dòng)與字母之間的關(guān)系，然后生成新的示例。

自動(dòng)打游戲

在這個(gè)應用中，模型將學(xué)習如何僅基于屏幕上的像素點(diǎn)來(lái)玩電腦游戲。這在深度增強模型領(lǐng)域中是一個(gè)非常難的任務(wù)，因為這個(gè)，DeepMind(現在是Google的一部分)贏(yíng)得了很高的聲譽(yù)。

生成模型聊天機器人

使用基于序列的模型來(lái)創(chuàng )建聊天機器人，該機器人在很多真實(shí)的對話(huà)數據集上進(jìn)行訓練，并學(xué)會(huì )生成自己的答案。要了解更多的詳細信息，請訪(fǎng)問(wèn)這個(gè)鏈接。

總結

從本文可以得到這樣的結論：深度學(xué)習模型可以用于各種任務(wù)，因為它能夠模擬人腦。截止目前，專(zhuān)家們已經(jīng)在這方面做了大量的研究，而且在不久將還有許多研究工作要做。盡管目前還存在信任問(wèn)題，但在不久的將來(lái)，這個(gè)問(wèn)題將會(huì )變得更加明朗。