人工智能之卷積神經(jīng)網(wǎng)絡(luò )(CNN)
加入技術(shù)交流群
前言：人工智能機器學(xué)習有關(guān)算法內容，請參見(jiàn)公眾號“科技優(yōu)化生活”之前相關(guān)文章。人工智能之機器學(xué)習主要有三大類(lèi):1)分類(lèi);2)回歸;3)聚類(lèi)。今天我們重點(diǎn)探討一下卷積神經(jīng)網(wǎng)絡(luò )(CNN)算法。 ^_^
本文引用地址：http://dyxdggzs.com/article/201806/381807.htm20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現其獨特的網(wǎng)絡(luò )結構可以有效地降低反饋神經(jīng)網(wǎng)絡(luò )的復雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò )CNN(Convolutional Neural Networks)。
1980年，K.Fukushima提出的新識別機是卷積神經(jīng)網(wǎng)絡(luò )的第一個(gè)實(shí)現網(wǎng)絡(luò )。隨后，更多的科研工作者對該網(wǎng)絡(luò )進(jìn)行了改進(jìn)。其中，具有代表性的研究成果是Alexander和Taylor提出的“改進(jìn)認知機”，該方法綜合了各種改進(jìn)方法的優(yōu)點(diǎn)并避免了耗時(shí)的誤差反向傳播。
現在，CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的研究熱點(diǎn)之一，特別是在模式分類(lèi)領(lǐng)域，由于該網(wǎng)絡(luò )避免了對圖像的復雜前期預處理，可以直接輸入原始圖像，因而得到了更為廣泛的應用。
CNN概念:
在機器學(xué)習中，卷積神經(jīng)網(wǎng)絡(luò )CNN(Convolutional Neural Network)是一種前饋神經(jīng)網(wǎng)絡(luò )，它的人工神經(jīng)元可以響應一部分覆蓋范圍內的周?chē)鷨卧?，可以應用于語(yǔ)音識別、圖像處理和圖像識別等領(lǐng)域。
CNN引入意義:
在全連接神經(jīng)網(wǎng)絡(luò )中(下面左圖)，每相鄰兩層之間的每個(gè)神經(jīng)元之間都是有邊相連的。當輸入層的特征維度變得很高時(shí)，這時(shí)全連接網(wǎng)絡(luò )需要訓練的參數就會(huì )增大很多，計算速度就會(huì )變得很慢。
而在卷積神經(jīng)網(wǎng)絡(luò )CNN中(下面右圖)，卷積層的神經(jīng)元只與前一層的部分神經(jīng)元節點(diǎn)相連，即它的神經(jīng)元間的連接是非全連接的，且同一層中某些神經(jīng)元之間的連接的權重w和偏移b是共享的，這樣大量地減少了需要訓練參數的數量。
CNN核心思想：
CNN模型限制參數了個(gè)數并挖掘了局部結構。主要用來(lái)識別位移、縮放及其他形式扭曲不變性的二維圖形。局部感受視野，權值共享以及時(shí)間或空間亞采樣這三種思想結合起來(lái)，獲得了某種程度的位移、尺度、形變不變性。通過(guò)“卷積核”作為中介。同一個(gè)卷積核在所有圖像內是共享的，圖像通過(guò)卷積操作后仍然保留原先的位置關(guān)系。
CNN實(shí)質(zhì)：
CNN在本質(zhì)上是一種輸入到輸出的映射，它能夠學(xué)習大量的輸入與輸出之間的映射關(guān)系，而不需要任何輸入和輸出之間的精確的數學(xué)表達式，只要用已知的模式對卷積網(wǎng)絡(luò )加以訓練，網(wǎng)絡(luò )就具有輸入輸出對之間的映射能力。卷積網(wǎng)絡(luò )執行的是有導師訓練，所以其樣本集是由形如：(輸入向量，理想輸出向量)的向量對構成的。所有這些向量對，都應該是來(lái)源于網(wǎng)絡(luò )即將模擬的系統的實(shí)際“運行”結果。它們可以是從實(shí)際運行系統中采集來(lái)的。在開(kāi)始訓練前，所有的權都應該用一些不同的小隨機數進(jìn)行初始化?！靶‰S機數”用來(lái)保證網(wǎng)絡(luò )不會(huì )因權值過(guò)大而進(jìn)入飽和狀態(tài)而導致訓練失敗;“不同”用來(lái)保證網(wǎng)絡(luò )可以正常地學(xué)習。
CNN基本結構:
卷積神經(jīng)網(wǎng)絡(luò )CNN的結構一般包含下面幾層：
1) 輸入層：用于數據的輸入。
2) 卷積層：卷積層是卷積核在上一級輸入層上通過(guò)逐一滑動(dòng)窗口計算而得，卷積核中的每一個(gè)參數都相當于傳統神經(jīng)網(wǎng)絡(luò )中的權值參數，與對應的局部像素相連接，將卷積核的各個(gè)參數與對應的局部像素值相乘之和，得到卷積層上的結果。一般地，使用卷積核進(jìn)行特征提取和特征映射。
l 特征提?。好總€(gè)神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來(lái);
l 特征映射：網(wǎng)絡(luò )的每個(gè)計算層由多個(gè)特征映射組成，每個(gè)特征映射是一個(gè)平面，平面上所有神經(jīng)元的權值相等。特征映射結構采用影響函數核小的sigmoid函數作為卷積網(wǎng)絡(luò )的激活函數，使得特征映射具有位移不變性。此外，由于一個(gè)映射面上的神經(jīng)元共享權值，因而減少了網(wǎng)絡(luò )自由參數的個(gè)數。
卷積神經(jīng)網(wǎng)絡(luò )中的每一個(gè)卷積層都緊跟著(zhù)一個(gè)用來(lái)求局部平均與二次提取的計算層，這種特有的兩次特征提取結構減小了特征分辨率。
3) 激勵層：由于卷積也是一種線(xiàn)性運算，因此需要增加非線(xiàn)性映射。使用的激勵函數一般為ReLu函數：f(x)=max(x,0)。
4) 池化層：進(jìn)行下采樣，對特征圖稀疏處理，減少數據運算量。通過(guò)卷積層獲得了圖像的特征之后，理論上可以直接使用這些特征訓練分類(lèi)器(如softmax)，但這樣做將面臨巨大的計算量挑戰，且容易產(chǎn)生過(guò)擬合現象。為了進(jìn)一步降低網(wǎng)絡(luò )訓練參數及模型的過(guò)擬合程度，需要對卷積層進(jìn)行池化/采樣(Pooling)處理。池化/采樣的方式通常有以下兩種：a)Max-Pooling: 選擇Pooling窗口中的最大值作為采樣值;b)Mean-Pooling: 將Pooling窗口中的所有值相加取平均，以平均值作為采樣值。
5) 全連接層：CNN尾部進(jìn)行重新擬合，減少特征信息的損失。
6) 輸出層：用于最后輸出結果。
CNN訓練過(guò)程:
1)向前傳播階段：
a)從樣本集中取一個(gè)樣本(X,Yp)，將X輸入網(wǎng)絡(luò );
b)計算相應的實(shí)際輸出Op。
在本階段，信息從輸入層經(jīng)過(guò)逐級的變換，傳送到輸出層。這個(gè)過(guò)程也是網(wǎng)絡(luò )在完成訓練后正常運行時(shí)執行的過(guò)程。在此過(guò)程中，網(wǎng)絡(luò )執行的是計算，實(shí)際上就是輸入與每層的權值矩陣相點(diǎn)乘，得到最后的輸出結果：
Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))
2)向后傳播階段：
a)計算實(shí)際輸出Op與相應的理想輸出Yp的差;
b)按極小化誤差的方法反向傳播調整權矩陣。
CNN優(yōu)點(diǎn):
1) 輸入圖像和網(wǎng)絡(luò )的拓撲結構能很好的吻合;
2) 盡管使用較少參數，仍然有出色性能;
3) 避免了顯式的特征抽取，而隱式地從訓練數據中進(jìn)行學(xué)習;
4) 特征提取和模式分類(lèi)同時(shí)進(jìn)行，并同時(shí)在訓練中產(chǎn)生，網(wǎng)絡(luò )可以并行學(xué)習;
5) 權值共享減少網(wǎng)絡(luò )的訓練參數，降低了網(wǎng)絡(luò )結構的復雜性，適用性更強;
6) 無(wú)需手動(dòng)選取特征，訓練好權重，即得特征，分類(lèi)效果好;
7) 可以直接輸入網(wǎng)絡(luò )，避免了特征提取和分類(lèi)過(guò)程中數據重建的復雜度。
CNN缺點(diǎn):
1) 需要調整參數;
2) 需要大樣本量，訓練最好要GPU;
3) 物理含義不明確，神經(jīng)網(wǎng)絡(luò )本身就是一種難以解釋的 “黑箱模型”。
CNN常用框架:
1) Caffe:源于Berkeley的主流CV工具包，支持C++,python,matlab; Model Zoo中有大量預訓練好的模型供使用;
2) Torch: Facebook用的卷積神經(jīng)網(wǎng)絡(luò )工具包,通過(guò)時(shí)域卷積的本地接口，使用非常直觀(guān); 定義新網(wǎng)絡(luò )層簡(jiǎn)單;
3) TensorFlow：Google的深度學(xué)習框架;TensorBoard可視化很方便;數據和模型并行化好，速度快。
CNN應用場(chǎng)景：
應用場(chǎng)景包括機器學(xué)習、語(yǔ)音識別、文檔分析、語(yǔ)言檢測和圖像識別等領(lǐng)域。
特別強調的是：CNN在圖像處理和圖像識別領(lǐng)域取得了很大的成功，在國際標準的ImageNet數據集上，許多成功的模型都是基于CNN的。CNN相較于傳統的圖像處理算法的好處之一在于：避免了對圖像復雜的前期預處理過(guò)程，可以直接輸入原始圖像。
結語(yǔ):
卷積神經(jīng)網(wǎng)絡(luò )CNN是近年發(fā)展起來(lái)，并引起廣泛重視的一種高效識別方法。卷積神經(jīng)網(wǎng)絡(luò )以其局部權值共享的特殊結構在模式識別方面有著(zhù)獨特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò )，權值共享降低了網(wǎng)絡(luò )的復雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò )這一特點(diǎn)避免了特征提取和分類(lèi)過(guò)程中數據重建的復雜度。CNN算法在人工智能之機器學(xué)習、語(yǔ)音識別、文檔分析、語(yǔ)言檢測和圖像識別等領(lǐng)域等領(lǐng)域有著(zhù)廣泛應用。
評論