深度學(xué)習初學(xué)者必須了解的基本知識

　　深度學(xué)習是計算機領(lǐng)域中目前非?；鸬脑?huà)題，不僅在學(xué)術(shù)界有很多論文，在業(yè)界也有很多實(shí)際運用。本篇博客主要介紹了三種基本的深度學(xué)習的架構，并對深度學(xué)習的原理作了簡(jiǎn)單的描述。

簡(jiǎn)介

　　機器學(xué)習技術(shù)在當代社會(huì )已經(jīng)發(fā)揮了很大的作用：從網(wǎng)絡(luò )搜索到社交網(wǎng)絡(luò )中的內容過(guò)濾到電子商務(wù)網(wǎng)站的個(gè)性化推薦，它正在快速的出現在用戶(hù)的消費品中，如攝像機和智能手機。機器學(xué)習系統可以用來(lái)識別圖像中的物體，將語(yǔ)音轉變成文字，匹配用戶(hù)感興趣的新聞、消息和產(chǎn)品等，也可以選擇相關(guān)的搜索結果。這些應用越來(lái)越多的使用一種叫做“深度學(xué)習(Deep Learning)”的技術(shù)。

　　深度學(xué)習(Deep Learning)(也稱(chēng)為深度結構學(xué)習【Deep Structured Learning】、層次學(xué)習【Hierarchical Learning】或者是深度機器學(xué)習【Deep Machine Learning】)是一類(lèi)算法集合，是機器學(xué)習的一個(gè)分支。它嘗試為數據的高層次摘要進(jìn)行建模。以一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)，假設你有兩組神經(jīng)元，一個(gè)是接受輸入的信號，一個(gè)是發(fā)送輸出的信號。當輸入層接收到輸入信號的時(shí)候，它將輸入層做一個(gè)簡(jiǎn)單的修改并傳遞給下一層。在一個(gè)深度網(wǎng)絡(luò )中，輸入層與輸出層之間可以有很多的層(這些層并不是由神經(jīng)元組成的，但是它可以以神經(jīng)元的方式理解)，允許算法使用多個(gè)處理層，并可以對這些層的結果進(jìn)行線(xiàn)性和非線(xiàn)性的轉換。

　　譯者補充：深度學(xué)習的思想與人工神經(jīng)網(wǎng)絡(luò )思想是一致的?？偟膩?lái)說(shuō)，神經(jīng)網(wǎng)絡(luò )是一種機器學(xué)習架構，所有的個(gè)體單元以權重的方式連接在一起，且這些權重是通過(guò)網(wǎng)絡(luò )來(lái)訓練的，那么它就可以稱(chēng)之為神經(jīng)網(wǎng)絡(luò )算法。人工神經(jīng)網(wǎng)絡(luò )算法的思想來(lái)源于模仿人類(lèi)大腦思考的方式。人類(lèi)大腦是通過(guò)神經(jīng)系統得到輸入信號再作出相應反映的，而接受外部刺激的方式是用神經(jīng)元接受神經(jīng)末梢轉換的電信號。那么，我們希望通過(guò)人造神經(jīng)元的方式模擬大腦的思考，這就產(chǎn)生了人工神經(jīng)網(wǎng)絡(luò )了。人工神經(jīng)元組成了人工神經(jīng)網(wǎng)絡(luò )的計算單元，而人工神經(jīng)網(wǎng)絡(luò )結構描述了這些神經(jīng)元的連接方式。我們可以采用層的方式組織神經(jīng)元，層與層之間可以互相連接。以前受制于很多因素，我們無(wú)法添加很多層，而現在隨著(zhù)算法的更新、數據量的增加以及GPU的發(fā)展，我們可以用很多的層來(lái)開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò )，這就產(chǎn)生了深度神經(jīng)網(wǎng)絡(luò )。而深度學(xué)習其實(shí)就是深度神經(jīng)網(wǎng)絡(luò )的一個(gè)代名詞。

　　近些年來(lái)，深度學(xué)習通過(guò)在某些任務(wù)中極佳的表現正在改革機器學(xué)習。深度學(xué)習方法在會(huì )話(huà)識別、圖像識別、對象偵測以及如藥物發(fā)現和基因組學(xué)等領(lǐng)域表現出了驚人的準確性。但是，“深度學(xué)習”這個(gè)詞語(yǔ)很古老，它在1986年由Dechter在機器學(xué)習領(lǐng)域提出，然后在2000年有Aizenberg等人引入到人工神經(jīng)網(wǎng)絡(luò )中。而現在，由于A(yíng)lex Krizhevsky在2012年使用卷積網(wǎng)絡(luò )結構贏(yíng)得了ImageNet比賽之后受到大家的矚目。

深度學(xué)習架構

　　1. 生成式深度架構(Generative deep architectures)，主要是用來(lái)描述具有高階相關(guān)性的可觀(guān)測數據或者是可見(jiàn)的對象的特征，主要用于模式分析或者是總和的目的，或者是描述這些數據與他們的類(lèi)別之間的聯(lián)合分布。(其實(shí)就是類(lèi)似與生成模型)

　　2. 判別式深度架構(Discriminative deep architectures)，主要用于提供模式分類(lèi)的判別能力，經(jīng)常用來(lái)描述在可見(jiàn)數據條件下物體的后驗類(lèi)別的概率。(類(lèi)似于判別模型)

　　3. 混合深度架構(Hybrid deep architectures)，目標是分類(lèi)，但是和生成結構混合在一起了。比如以正在或者優(yōu)化的方式引入生成模型的結果，或者使用判別標注來(lái)學(xué)習生成模型的參數。

　　盡管上述深度學(xué)習架構的分類(lèi)比較復雜，其實(shí)實(shí)際中對應的模型的例子就是深度前饋網(wǎng)絡(luò )，卷積網(wǎng)絡(luò )和遞歸神經(jīng)網(wǎng)絡(luò )(Deep feed-forward networks, Convolution networks and Recurrent Networks)。

深度前饋網(wǎng)絡(luò )(Deep feed-forward networks)

　　深度前饋網(wǎng)絡(luò )也叫做前饋神經(jīng)網(wǎng)絡(luò )，或者是多層感知機(Multilayer Perceptrons，MLPs)，是深度學(xué)習模型中的精粹。

　　前饋網(wǎng)絡(luò )的目標是近似某些函數。例如，對于一個(gè)分類(lèi)器，y=f(x)來(lái)說(shuō)，它將一個(gè)輸入值x變成對應的類(lèi)別y。前饋網(wǎng)絡(luò )就是定義一個(gè)映射y=f(x;θ)，并學(xué)習出參數θ使得產(chǎn)生最好的函數近似。

　　簡(jiǎn)而言之，神經(jīng)網(wǎng)絡(luò )可以定義成輸入層，隱含層和輸出層。其中，輸入層接受數據，隱含層處理數據，輸出層則輸出最終結果。這個(gè)信息流就是接受x，通過(guò)處理函數f，在達到輸出y。這個(gè)模型并沒(méi)有任何的反饋連接，因此被稱(chēng)為前饋網(wǎng)絡(luò )。模型如下圖所示:

卷積神經(jīng)網(wǎng)絡(luò )(Convolution Neural Networks)

　　在機器學(xué)習中，卷積神經(jīng)網(wǎng)絡(luò )(簡(jiǎn)稱(chēng)CNN或者ConvNet)是一種前饋神經(jīng)網(wǎng)絡(luò )，它的神經(jīng)元的連接是啟發(fā)于動(dòng)物視覺(jué)皮層。單個(gè)皮質(zhì)神經(jīng)元可以對某個(gè)有限空間區域的刺激作出反應。這個(gè)有限空間可以稱(chēng)為接受域。不同的神經(jīng)元的接受域可以重疊，從組成了所有的可見(jiàn)區域。那么，一個(gè)神經(jīng)元對某個(gè)接受域內的刺激作出反應，在數學(xué)上可以使用卷積操作來(lái)近似。也就是說(shuō)，卷積神經(jīng)網(wǎng)絡(luò )是受到生物處理的啟發(fā)，設計使用最少的預處理的多層感知機的變體。

　　卷積神經(jīng)網(wǎng)絡(luò )在圖像和視頻識別、推薦系統以及自然語(yǔ)言處理中都有廣泛的運用。

　　LeNet是早期推動(dòng)深度學(xué)習發(fā)展的卷積神經(jīng)網(wǎng)絡(luò )之一。這是Yann LeCun從1988年以來(lái)進(jìn)行的許多詞的成功迭代后得到的開(kāi)創(chuàng )性工作，稱(chēng)之為L(cháng)eNet5。在當時(shí)，LeNet架構主要用來(lái)進(jìn)行字符識別的工作，如讀取郵編，數字等。卷積神經(jīng)網(wǎng)絡(luò )主要包含四塊：

　　卷積層(Convolutional Layer)

　　激活函數(Activation Function)

　　池化層(Pooling Layer)

　　全連接層(Fully Connected Layer)

　　卷積層(Convolutional Layer)

　　卷積層是基于單詞“卷積(Convolution)”而來(lái)，這是一種數學(xué)上的操作，它是對兩個(gè)變量f*g進(jìn)行操作產(chǎn)生第三個(gè)變量。它和互相關(guān)(cross-correlation)很像。卷積層的輸入是一個(gè)m×m×r圖像，其中m是圖像的高度和寬度，r是通道的數量，例如，一個(gè)RGB圖像的通道是3，即r=3。卷積層有k個(gè)濾波器【filters】(或者稱(chēng)之為核【kernel】)，其大小是n×n×q，這里的n是比圖像維度小的一個(gè)數值，q既可以等于通道數量，也可以小于通道數量，具體根據不同的濾波器來(lái)定。濾波器的大小導致了

激活函數(Activation Function)

　　為了實(shí)現復雜的映射函數，我們需要使用激活函數。它可以帶來(lái)非線(xiàn)性的結果，而非線(xiàn)性可以使得我們很好的擬合各種函數。同時(shí)，激活函數對于壓縮來(lái)自神經(jīng)元的無(wú)界線(xiàn)性加權和也是重要的。

　　激活函數很重要，它可以避免我們把大的數值在高層次處理中進(jìn)行累加。激活函數有很多，常用的有sigmoid，tanh和ReLU。

池化層(Pooling Layer)

　　池化是一個(gè)基于樣本的離散化過(guò)程。其目的上降低輸入表示的采樣(這里的輸入可以是圖像，隱層的輸出等)，減少它們的維度，并允許我們假設特征已經(jīng)被包含在了子區域中。

　　這部分的作用是通過(guò)提供一種抽象的形式表示來(lái)幫助過(guò)擬合表示。同樣的，它也通過(guò)減少了參數的數量降低了計算的復雜度并為內部的表示提供一個(gè)基本的不變性的轉換。

　　目前最常用的池化技術(shù)有Max-Pooling、Min-Pooling和Average-Pooling。下圖是2*2濾波器的Ma-Pooling操作示意圖。

全連接層(Fully Connected Layer)

　　“全連接”的意思是指先前的層里面的所有的神經(jīng)元都與后一個(gè)層里面的所有的神經(jīng)元相連。全連接層是一種傳統的多層感知機，在輸出層，它使用softmax激活函數或者其他激活函數。

遞歸神經(jīng)網(wǎng)絡(luò )(Recurrent Neural Networks)

　　在傳統的神經(jīng)網(wǎng)絡(luò )中，我們假設所有的輸入之間相互獨立。但是對于很多任務(wù)來(lái)說(shuō)，這并不是一個(gè)好的主意。如果你想知道一個(gè)句子中下一個(gè)單詞是什么，你最好知道之前的單詞是什么。RNN之所以叫RNN就是它對一個(gè)序列中所有的元素都執行相同的任務(wù)，所有的輸出都依賴(lài)于先前的計算。另一種思考RNN的方式是它會(huì )記住所有之前的計算的信息。

　　一個(gè)RNN里面有很多循環(huán)，它可以攜帶從輸入中帶來(lái)的信息。如下圖所示，x_t是一種輸入，A是RNN里面的一部分，h_t是輸出。本質(zhì)上，您可以從句子中輸入文字，甚至還可以從字符串中輸入x_t格式的字符，通過(guò)RNN可以提供一個(gè)h_t。 RNN的一些類(lèi)型是LSTM，雙向RNN，GRU等。

　　由于任何輸入和輸出都可以在RNN中變成一對一或者多對多的形式，RNN可以用在自然語(yǔ)言處理、機器翻譯、語(yǔ)言模型、圖像識別、視頻分析、圖像生成、驗證碼識別等領(lǐng)域。下圖展示了RNN可能的結構以及對模型的解釋。

應用

　　深度學(xué)習有很多應用，很多特別的問(wèn)題也可以通過(guò)深度學(xué)習解決。一些深度學(xué)習的應用舉例如下：

黑白圖像的著(zhù)色

　　深度學(xué)習可以用來(lái)根據對象及其情景來(lái)為圖片上色，而且結果很像人類(lèi)的著(zhù)色結果。這中解決方案使用了很大的卷積神經(jīng)網(wǎng)絡(luò )和有監督的層來(lái)重新創(chuàng )造顏色。

機器翻譯

　　深度學(xué)習可以對未經(jīng)處理的語(yǔ)言序列進(jìn)行翻譯，它使得算法可以學(xué)習單詞之間的依賴(lài)關(guān)系，并將其映射到一種新的語(yǔ)言中。大規模的LSTM的RNN網(wǎng)絡(luò )可以用來(lái)做這種處理。

圖像中的對象分類(lèi)與檢測

　　這種任務(wù)需要將圖像分成之前我們所知道的某一種類(lèi)別中。目前這類(lèi)任務(wù)最好的結果是使用超大規模的卷積神經(jīng)網(wǎng)絡(luò )實(shí)現的。突破性的進(jìn)展是Alex Krizhevsky等人在ImageNet比賽中使用的AlexNet模型。

自動(dòng)產(chǎn)生手寫(xiě)體

　　這種任務(wù)是先給定一些手寫(xiě)的文字，然后嘗試生成新的類(lèi)似的手寫(xiě)的結果。首先是人用筆在紙上手寫(xiě)一些文字，然后根據寫(xiě)字的筆跡作為語(yǔ)料來(lái)訓練模型，并最終學(xué)習產(chǎn)生新的內容。

自動(dòng)玩游戲

　　這項任務(wù)是根據電腦屏幕的圖像，來(lái)決定如何玩游戲。這種很難的任務(wù)是深度強化模型的研究領(lǐng)域，主要的突破是DeepMind團隊的成果。

聊天機器人

　　一種基于sequence to sequence的模型來(lái)創(chuàng )造一個(gè)聊天機器人，用以回答某些問(wèn)題。它是根據大量的實(shí)際的會(huì )話(huà)數據集產(chǎn)生的。

結論

　　從本篇博客來(lái)看，由于模仿了人類(lèi)大腦，深度學(xué)習可以運用在很多領(lǐng)域中。目前有很多領(lǐng)域都在研究使用深度學(xué)習解決問(wèn)題。盡管目前信任是個(gè)問(wèn)題，但是它終將被解決。