CNN(卷積神經(jīng)網(wǎng)絡(luò ))、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò ))、DNN(深度神經(jīng)網(wǎng)絡(luò ))的內部網(wǎng)絡(luò )結構的區別

先說(shuō)DNN，從結構上來(lái)說(shuō)他和傳統意義上的NN（神經(jīng)網(wǎng)絡(luò )）沒(méi)什么區別，但是神經(jīng)網(wǎng)絡(luò )發(fā)展時(shí)遇到了一些瓶頸問(wèn)題。一開(kāi)始的神經(jīng)元不能表示異或運算，科學(xué)家通過(guò)增加網(wǎng)絡(luò )層數，增加隱藏層可以表達。并發(fā)現神經(jīng)網(wǎng)絡(luò )的層數直接決定了它對現實(shí)的表達能力。但是隨著(zhù)層數的增加會(huì )出現局部函數越來(lái)越容易出現局部最優(yōu)解的現象，用數據訓練深層網(wǎng)絡(luò )有時(shí)候還不如淺層網(wǎng)絡(luò )，并會(huì )出現梯度消失的問(wèn)題。我們經(jīng)常使用sigmoid函數作為神經(jīng)元的輸入輸出函數，在BP反向傳播梯度時(shí)，信號量為1的傳到下一層就變成0.25了，到最后面幾層基本無(wú)法達到調節參數的作用。值得一提的是，最近提出的高速公路網(wǎng)絡(luò )和深度殘差學(xué)習避免梯度消失的問(wèn)題。DNN與NN主要的區別在于把sigmoid函數替換成了ReLU，maxout，克服了梯度消失的問(wèn)題。下圖附有深度網(wǎng)絡(luò )DNN結構圖

  深度學(xué)習的深度沒(méi)有固定的定義，2006年Hinton解決了局部最優(yōu)解問(wèn)題，將隱含層發(fā)展到7層，這達到了深度學(xué)習上所說(shuō)的真正深度。不同問(wèn)題的解決所需要的隱含層數自然也是不相同的，一般語(yǔ)音識別4層就可以，而圖像識別20層屢見(jiàn)不鮮。但隨著(zhù)層數的增加，又出現了參數爆炸增長(cháng)的問(wèn)題。假設輸入的圖片是1K*1K的圖片，隱含層就有1M個(gè)節點(diǎn)，會(huì )有10^12個(gè)權重需要調節，這將容易導致過(guò)度擬合和局部最優(yōu)解問(wèn)題的出現。為了解決上述問(wèn)題，提出了CNN。

  CNN最大的利用了圖像的局部信息。圖像中有固有的局部模式（比如輪廓、邊界，人的眼睛、鼻子、嘴等）可以利用，顯然應該將圖像處理中的概念和神經(jīng)網(wǎng)絡(luò )技術(shù)相結合，對于CNN來(lái)說(shuō)，并不是所有上下層神經(jīng)元都能直接相連，而是通過(guò)“卷積核”作為中介。同一個(gè)卷積核在所有圖像內是共享的，圖像通過(guò)卷積操作后仍然保留原先的位置關(guān)系。卷積神經(jīng)網(wǎng)絡(luò )隱含層，通過(guò)一個(gè)例子簡(jiǎn)單說(shuō)明卷積神經(jīng)網(wǎng)絡(luò )的結構。假設m-1=1是輸入層，我們需要識別一幅彩色圖像，這幅圖像具有四個(gè)通道ARGB（透明度和紅綠藍，對應了四幅相同大小的圖像），假設卷積核大小為100*100，共使用100個(gè)卷積核w1到w100（從直覺(jué)來(lái)看，每個(gè)卷積核應該學(xué)習到不同的結構特征）。用w1在A(yíng)RGB圖像上進(jìn)行卷積操作，可以得到隱含層的第一幅圖像；這幅隱含層圖像左上角第一個(gè)像素是四幅輸入圖像左上角100*100區域內像素的加權求和，以此類(lèi)推。同理，算上其他卷積核，隱含層對應100幅“圖像”。每幅圖像對是對原始圖像中不同特征的響應。按照這樣的結構繼續傳遞下去。CNN中還有max-pooling等操作進(jìn)一步提高魯棒性。

 一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò )結構，注意到最后一層實(shí)際上是一個(gè)全連接層。在這個(gè)例子里，我們注意到輸入層到隱含層的參數個(gè)數瞬間降低到了，這使得我們能夠用已有的訓練數據得到良好的模型。適用于圖像識別，正是由于模型限制參數了個(gè)數并挖掘了局部結構的這個(gè)特點(diǎn)，順著(zhù)同樣的思路，利用語(yǔ)音語(yǔ)譜結構中的局部信息，CNN照樣能應用在語(yǔ)音識別中。CNN結構圖如下：

  全連接的DNN還存在著(zhù)另一個(gè)問(wèn)題——無(wú)法對時(shí)間序列上的變化進(jìn)行建模。然而，樣本出現的時(shí)間順序對于自然語(yǔ)言處理、語(yǔ)音識別、手寫(xiě)體識別等應用非常重要。對了適應這種需求，就出現了另一種神經(jīng)網(wǎng)絡(luò )結構——循環(huán)神經(jīng)網(wǎng)絡(luò )RNN。在普通的全連接網(wǎng)絡(luò )或CNN中，每層神經(jīng)元的信號只能向上一層傳播，樣本的處理在各個(gè)時(shí)刻獨立，因此又被成為前向神經(jīng)網(wǎng)絡(luò )(Feed-forward Neural Networks)。而在RNN中，神經(jīng)元的輸出可以在下一個(gè)時(shí)間戳直接作用到自身，即第i層神經(jīng)元在m時(shí)刻的輸入，除了（i-1）層神經(jīng)元在該時(shí)刻的輸出外，還包括其自身在（m-1）時(shí)刻的輸出！表示成圖就是這樣的：

 我們可以看到在隱含層節點(diǎn)之間增加了互連。為了分析方便，我們常將RNN在時(shí)間上進(jìn)行展開(kāi)，得到如圖6所示的結構

RNN可以看成一個(gè)在時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò )，它的深度是時(shí)間的長(cháng)度！正如我們上面所說(shuō)，“梯度消失”現象又要出現了，只不過(guò)這次發(fā)生在時(shí)間軸上。對于t時(shí)刻來(lái)說(shuō)，它產(chǎn)生的梯度在時(shí)間軸上向歷史傳播幾層之后就消失了，根本就無(wú)法影響太遙遠的過(guò)去。因此，之前說(shuō)“所有歷史”共同作用只是理想的情況，在實(shí)際中，這種影響也就只能維持若干個(gè)時(shí)間戳。為了解決時(shí)間上的梯度消失，機器學(xué)習領(lǐng)域發(fā)展出了長(cháng)短時(shí)記憶單元。