Deep Learning(深度學(xué)習)神經(jīng)網(wǎng)絡(luò )為啥可以識別呢？

　　今天看到一些感興趣的東西，現在總結了給大家分享一下，如果有錯，希望大家指正批評，謝謝!那就開(kāi)始進(jìn)入正題。

　　先從簡(jiǎn)單的說(shuō)起來(lái)吧!

　　一、基本變換：層

　　一般的神經(jīng)網(wǎng)絡(luò )是由一層一層堆疊而成的，但是每層究竟在做啥呢?

　　我從三個(gè)方面述說(shuō)一下：

　　數學(xué)公式

　　Y=a*(W*X+b)11

　　其中Y是輸出量，X是輸入量，a()是一個(gè)激活函數，W是權重矩陣，b是偏置向量。每一層都是通過(guò)該公式簡(jiǎn)單的得到輸出Y。

　　數學(xué)理解

　　通過(guò)如下5種對輸入空間(輸入向量的集合)的操作，完成輸入空間—>輸出空間的變換(矩陣的行空間到列空間)。

　　注：用“空間”二字是指被分類(lèi)的并不是單個(gè)事物，而是一類(lèi)事物?？臻g是指這類(lèi)事物所有個(gè)體的集合。

　　升維/降維

　　放大/縮小

　　旋轉

　　平移

　　“彎曲”

　　這5種操作中，1,2,3的操作由 W*X完成的，4的操作是由+b完成的，5的操作則是由 a()來(lái)實(shí)現。

　　每層的數學(xué)理解：

　　用線(xiàn)性變換跟隨著(zhù)非線(xiàn)性變化，將輸入空間投向另一個(gè)空間。11

　　物理理解

　　對 W*X的理解就是通過(guò)組合形成新物質(zhì)，a()又符合了我們所處的世界都是非線(xiàn)性的特點(diǎn)。

　　假想情景： X是二維向量，維度是碳原子和氧原子的數量 [C;O]，數值且定為 [1;1]。若確定 Y是三維向量，就會(huì )形成如下網(wǎng)絡(luò )的形狀 (神經(jīng)網(wǎng)絡(luò )的每個(gè)節點(diǎn)表示一個(gè)維度)。通過(guò)改變權重的值，可以獲得若干個(gè)不同物質(zhì)。右側的節點(diǎn)數決定了想要獲得多少種不同的新物質(zhì)(矩陣的行數)。

　　若權重 W 的數值如(1)，那么網(wǎng)絡(luò )的輸出Y就會(huì )是三個(gè)新物質(zhì)，[二氧化碳，臭氧，一氧化碳]。

　　若減少右側的一個(gè)節點(diǎn)，并改變權重 W 至(2)，那輸出Y就會(huì )是兩個(gè)新物質(zhì)， [ O_{0.3} ;CO_{1.5}]。

　　若再加一層，就是再次通過(guò)組合 [CO2;O3;CO] 這三種基礎物質(zhì)，形成若干個(gè)更高層的物質(zhì)。

　　若希望通過(guò)層網(wǎng)絡(luò )能夠從[C, O]空間轉變到 [CO2;O3;CO]空間的話(huà)，那么網(wǎng)絡(luò )的學(xué)習過(guò)程就是將 W 的數值變成盡可能接近(1)的過(guò)程 。

　　重要的是這種組合思想，組合成的東西在神經(jīng)網(wǎng)絡(luò )中并不需要有物理意義,可以是抽象概念。

　　每層神經(jīng)網(wǎng)絡(luò )的物理理解：

　　通過(guò)現有的不同物質(zhì)的組合形成新物質(zhì)。11

　　二、理解角度

　　現在我們知道了每一層的行為，但這種行為又是如何完成識別任務(wù)的呢?

　　數學(xué)視角：“線(xiàn)性可分”

　　一維情景

　　以分類(lèi)為例，當要分類(lèi)正數、負數、零，三類(lèi)的時(shí)候，一維空間的直線(xiàn)可以找到兩個(gè)超平面(比當前空間低一維的子空間。當前空間是平面的話(huà)，超平面就是點(diǎn))分割這三類(lèi)。但面對像分類(lèi)奇數和偶數無(wú)法找到可以區分它們的點(diǎn)的時(shí)候，我們借助 x % 2(除2取余)的轉變，把x變換到另一個(gè)空間下來(lái)比較0和非0，從而分割奇偶數。

　　二維情景

　　平面的四個(gè)象限也是線(xiàn)性可分。但下圖的紅藍兩條線(xiàn)就無(wú)法找到一超平面去分割。

　　神經(jīng)網(wǎng)絡(luò )的解決方法依舊是轉換到另外一個(gè)空間下，用的是所說(shuō)的5種空間變換操作。比如下圖就是經(jīng)過(guò)放大、平移、旋轉、扭曲原二維空間后，在三維空間下就可以成功找到一個(gè)超平面分割紅藍兩線(xiàn) (同SVM的思路一樣)。

　　上面是一層神經(jīng)網(wǎng)絡(luò )可以做到的空間變化。若把Y當做新的輸入再次用這5種操作進(jìn)行第二遍空間變換的話(huà)，網(wǎng)絡(luò )也就變?yōu)榱硕?。最終輸出是：

　　Y=a2(W2*(a1*(W1*X +b1))+b2)11

　　設想當網(wǎng)絡(luò )擁有很多層時(shí)，對原始輸入空間的“扭曲力”會(huì )大幅增加，如下圖，最終我們可以輕松找到一個(gè)超平面分割空間。

　　該Gif圖太大，無(wú)法上傳，請讀者自行想象空間變換

　　當然也有如下圖失敗的時(shí)候，關(guān)鍵在于“如何扭曲空間”。所謂監督學(xué)習就是給予神經(jīng)網(wǎng)絡(luò )網(wǎng)絡(luò )大量的訓練例子，讓網(wǎng)絡(luò )從訓練例子中學(xué)會(huì )如何變換空間。每一層的權重 W 就控制著(zhù)如何變換空間，我們最終需要的也就是訓練好的神經(jīng)網(wǎng)絡(luò )的所有層的權重矩陣。這里有非常棒的可視化空間變換Demo，一定要打開(kāi)嘗試并感受這種扭曲過(guò)程。 更多內容請看Neural Networks, Manifolds, and Topology.

　　線(xiàn)性可分視角：神經(jīng)網(wǎng)絡(luò )的學(xué)習就是學(xué)習如何利用矩陣的線(xiàn)性變換加激活函數的非線(xiàn)性變換，將原始輸入空間投向線(xiàn)性可分/稀疏的空間去分類(lèi)/回歸。

　　增加節點(diǎn)數：增加維度，即增加線(xiàn)性轉換能力。

　　增加層數：增加激活函數的次數，即增加非線(xiàn)性轉換次數。

　　物理視角：“物質(zhì)組成”

　　類(lèi)比：

　　回想上文由碳氧原子通過(guò)不同組合形成若干分子的例子。若從分子層面繼續迭代這種組合思想，可以形成DNA，細胞，組織，器官，最終可以形成一個(gè)完整的人。繼續迭代還會(huì )有家庭，公司，國家等。這種現象在身邊隨處可見(jiàn)。并且原子的內部結構與太陽(yáng)系又驚人的相似。不同層級之間都是以類(lèi)似的幾種規則再不斷形成新物質(zhì)。你也可能聽(tīng)過(guò)分形學(xué)這三個(gè)字?？赏ㄟ^(guò)觀(guān)看從1米到150億光年來(lái)感受自然界這種層級現象的普遍性。

　　人臉識別情景：

　　我們可以模擬這種思想并應用在畫(huà)面識別上。由像素組成菱角，再組成五官，最后到不同的人臉。每一層代表不同的物質(zhì)層面 (如分子層)。每層的 W存儲著(zhù)如何組合上一層的物質(zhì)從而形成若干新物質(zhì)。 如果我們完全掌握一架飛機是如何從分子開(kāi)始一層一層形成的，拿到一堆分子后，我們就可以判斷他們是否可以以此形成方式，形成一架飛機。 附：Tensorflow playground展示了數據是如何“流動(dòng)”的?！? 

　　物質(zhì)組成視角：神經(jīng)網(wǎng)絡(luò )的學(xué)習過(guò)程就是學(xué)習物質(zhì)組成方式的過(guò)程。

　　增加節點(diǎn)數：增加同一層物質(zhì)的種類(lèi)，比如118個(gè)元素的原子層就有118個(gè)節點(diǎn)。

　　增加層數：增加更多層級，比如分子層，原子層，器官層，并通過(guò)判斷更抽象的概念來(lái)識別物體。

　　三、“深層”的思考：真的只有這些原因嗎?

　　按照上文在理解視角中所述的觀(guān)點(diǎn)，可以想出下面兩條理由關(guān)于為什么更深的網(wǎng)絡(luò )會(huì )更加容易識別，增加容納變異體(variation)(紅蘋(píng)果、綠蘋(píng)果)的能力、魯棒性(robust)。

　　數學(xué)視角：變異體(variation)很多的分類(lèi)的任務(wù)需要高度非線(xiàn)性的分割曲線(xiàn)。不斷的利用那5種空間變換操作將原始輸入空間像“捏橡皮泥一樣”在高維空間下捏成更為線(xiàn)性可分/稀疏的形狀：可視化空間變換。

　　物理視角：通過(guò)對“抽象概念”的判斷來(lái)識別物體，而非細節。比如對“飛機”的判斷，即便人類(lèi)自己也無(wú)法用語(yǔ)言或者若干條規則來(lái)解釋自己如何判斷一個(gè)飛機。因為人腦中真正判斷的不是是否“有機翼”、“能飛行”等細節現象，而是一個(gè)抽象概念。層數越深，這種概念就越抽象，所能涵蓋的變異體就越多，就可以容納戰斗機，客機等很多種不同種類(lèi)的飛機。

　　然而深層神經(jīng)網(wǎng)絡(luò )的驚人表現真的只有這些原因嗎? 為什么神經(jīng)網(wǎng)絡(luò )過(guò)深后，預測的表現又變差? 而且這時(shí)變差的原因是由于“過(guò)深”嗎?(何凱明老師已經(jīng)有給出詳細解釋?zhuān)锌瘴野焉疃葰埐罹W(wǎng)絡(luò )總結給貼出來(lái)>=·=<)