<dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><small id="yhprb"></small><dfn id="yhprb"></dfn><small id="yhprb"><delect id="yhprb"></delect></small><small id="yhprb"></small><small id="yhprb"></small> <delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"></dfn><dfn id="yhprb"></dfn><s id="yhprb"><noframes id="yhprb"><small id="yhprb"><dfn id="yhprb"></dfn></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><small id="yhprb"></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn> <small id="yhprb"></small><delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn>

新聞中心

EEPW首頁(yè) > 消費電子 > 設計應用 > CNN各種網(wǎng)絡(luò )概述-從LeNet到AlexNet

CNN各種網(wǎng)絡(luò )概述-從LeNet到AlexNet

作者: 時(shí)間:2018-07-24 來(lái)源:網(wǎng)絡(luò ) 收藏

演化脈絡(luò )

本文引用地址:http://dyxdggzs.com/article/201807/383659.htm

下圖所示CNN結構演化的歷史,起點(diǎn)是神經(jīng)認知機模型,已經(jīng)出現了卷積結構,但是第一個(gè)CNN模型誕生于1989年,1998年誕生了LeNet。隨著(zhù)ReLU和dropout的提出,以及GPU和大數據帶來(lái)的歷史機遇,CNN在12年迎來(lái)了歷史突破。12年之后,CNN的演化路徑可以總結為四條:1)更深的網(wǎng)絡(luò ),2)增強卷積模的功能以及上訴兩種思路的融合,3)從分類(lèi)到檢測,4)增加新的功能模塊。

開(kāi)始-LeNet

1998年,LeCun提出LeNet,并成功應用于美國手寫(xiě)數字識別。但很快,CNN的鋒芒被SVM和手工設計的局部特征蓋過(guò)。

轉折點(diǎn)-AlexNet

AlexNet 之所以能夠成功,深度學(xué)習之所以能夠重回歷史舞臺,原因在于:

非線(xiàn)性激活函數:ReLU

防止過(guò)擬合的方法:Dropout,Data augmentation

大數據訓練:百萬(wàn)級ImageNet圖像數據

其他:GPU實(shí)現,LRN歸一化層的使用

第一條演化路徑:網(wǎng)絡(luò )變深

VGGNet 可以看成是加深版本的 AlexNet,參見(jiàn) Karen Simonyan 和 Andrew Zisserman 的論文《Very Deep Convolutional Networks for Large-Scale Visual Recognition》。

VGGNet 和下文中要提到的 GoogLeNet 是2014年 ImageNet 競賽的第二名和第一名,Top-5錯誤率分別為7.32%和6.66%。VGGNet 也是5個(gè)卷積組、2層全連接圖像特征、1層全連接分類(lèi)特征,可以看作和 AlexNet 一樣總共8個(gè)部分。

第二條演化路徑:增強卷積模塊

首先要說(shuō)起 NIN(Network in Network)的思想(詳見(jiàn) Min Lin 和 Qiang Chen 和 Shuicheng Yan 的論文《Network In Network》),它對傳統的卷積方法做了兩點(diǎn)改進(jìn):將原來(lái)的線(xiàn)性卷積層(linear convolution layer)變?yōu)槎鄬痈兄矸e層(multilayer perceptron);將全連接層的改進(jìn)為全局平均池化。

MIN使得卷積神經(jīng)網(wǎng)絡(luò )向另一個(gè)演化分支—增強卷積模塊的功能的方向演化,2014年誕生了 GoogLeNet(即 Inception V1)。谷歌公司提出的 GoogLeNet 是2014年 ILSVRC 挑戰賽的冠軍,它將 Top-5的錯誤率降低到了6.67%。GoogLeNet 的更多內容詳見(jiàn) Christian Szegedy 和 Wei Liu 等人的論文《Going Deeper with Convolutions》。

ResNet依然是:沒(méi)有最深,只有更深(152層)。聽(tīng)說(shuō)目前層數已突破一千。ResNet主要的創(chuàng )新在殘差網(wǎng)絡(luò ),這也是現在火熱的AlphaGo Zero主要技術(shù)之一。如圖11所示,其實(shí)這個(gè)網(wǎng)絡(luò )的提出本質(zhì)上還是要解決層次比較深的時(shí)候無(wú)法訓練的問(wèn)題。這種借鑒了Highway Network思想的網(wǎng)絡(luò )相當于旁邊專(zhuān)門(mén)開(kāi)個(gè)通道使得輸入可以直達輸出,而優(yōu)化的目標由原來(lái)的擬合輸出H(x)變成輸出和輸入的差H(x)-x,其中H(X)是某一層原始的的期望映射輸出,x是輸入。



關(guān)鍵詞:

評論


相關(guān)推薦

技術(shù)專(zhuān)區

關(guān)閉
国产精品自在自线亚洲|国产精品无圣光一区二区|国产日产欧洲无码视频|久久久一本精品99久久K精品66|欧美人与动牲交片免费播放
<dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><small id="yhprb"></small><dfn id="yhprb"></dfn><small id="yhprb"><delect id="yhprb"></delect></small><small id="yhprb"></small><small id="yhprb"></small> <delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"></dfn><dfn id="yhprb"></dfn><s id="yhprb"><noframes id="yhprb"><small id="yhprb"><dfn id="yhprb"></dfn></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><small id="yhprb"></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn> <small id="yhprb"></small><delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn>