手把手快速實(shí)現 Resnet 殘差模型實(shí)戰

作者 | 李秋鍵

出品 | AI科技大本營(yíng)（ID:rgznai100）

引言：隨著(zhù)深度學(xué)習的發(fā)展，網(wǎng)絡(luò )模型的深度也隨之越來(lái)越深，但隨著(zhù)網(wǎng)絡(luò )模型深度的加深，往往會(huì )曾在這隨著(zhù)模型深度的加大，模型準確率反而下降的問(wèn)題，而深度殘差模型的提出就是為了解決這個(gè)問(wèn)題。

一般來(lái)講，網(wǎng)絡(luò )的層數越深，提取到的特征越豐富，模型對目標函數的擬合能力越強。但過(guò)深的網(wǎng)絡(luò )容易導致過(guò)擬合，且由于梯度消失等問(wèn)題，深層的網(wǎng)絡(luò )難以訓練。深度殘差網(wǎng)絡(luò )Resnet由卷積神經(jīng)網(wǎng)絡(luò )發(fā)展變換得來(lái)。2015年，由微軟研究院Kaiming He等提出的深度殘差網(wǎng)絡(luò )通過(guò)引入恒等路徑使權重參數有效傳遞與更新，解決了卷積神經(jīng)網(wǎng)絡(luò )層數加深導致的過(guò)擬合、權重衰減、梯度消失等問(wèn)題，性能表現優(yōu)異。

在深層次的網(wǎng)絡(luò )中訓練時(shí)，由于反向傳播的連乘機制，常常會(huì )出現在越靠近輸入層的地方出現梯度消失。Resnet將網(wǎng)絡(luò )結構調整為，將靠近輸入層的網(wǎng)絡(luò )層進(jìn)行短接到輸出層。這樣網(wǎng)絡(luò )就被設計成只需要擬合輸入x和目標輸出的殘差y-x的模型，這也是模型被稱(chēng)為Resnet的原因。這樣即使是多加了一層，那模型的效果也不會(huì )變差，因為新加的層會(huì )被短接到兩層以后，相當于是學(xué)習了個(gè)恒等映射，而跳過(guò)的兩層只需要擬合上層輸出與目標之間的殘差即可。

故今天我們將實(shí)現python搭建resnet模型輔助我們理解殘差網(wǎng)絡(luò )： 

Resnet基本介紹

深度殘差網(wǎng)絡(luò )的結構包括輸入層、卷積層、多個(gè)殘差模塊、激活函數、批標準化層、全局平均池化層、正則化層和多標簽分類(lèi)層。其中卷積層可以有效地提取特征圖的局部特征，減少了可訓練的權重參數。卷積層將卷積核與上層輸入數據卷積運算后疊加一個(gè)偏置，得出的結果經(jīng)過(guò)激活函數計算得到的輸出特征值作為下層的輸入。批標準化層可以減小樣本數據和特征的差異，減輕初始化參數的依賴(lài)，使訓練的收斂速度更快。其優(yōu)化了方差的大小和均值的位置，對可訓練參數進(jìn)行正態(tài)分布處理并進(jìn)行歸一化處理，使得數據更均勻的分布在0~1，增強了模型的泛化能力。

殘差模塊的引入有效地解決了深度卷積網(wǎng)絡(luò )的退化問(wèn)題，提升模型的特征提取能力。殘差模塊包含由多層堆疊卷積組成的殘差路徑和短路路徑。由于在卷積運算的過(guò)程中不同的卷積步長(cháng)會(huì )改變輸出特征圖的維度，如果卷積運算沒(méi)有改變輸入特征圖的維度，可采用恒等映射型殘差模塊。恒等映射型殘差模塊的短路路徑將輸入特征圖恒等輸出，并將其與殘差路徑的輸出特征圖相加，得到殘差模塊的輸出特征圖。如果卷積運算改變了輸入特征圖的維度，則無(wú)法將短路路徑和殘差路徑的輸出特征圖直接相加，需通過(guò)降采樣型殘差模塊，在短路路徑上進(jìn)行1×1卷積運算降采樣以保持短路路徑與殘差路徑輸出特征圖維度相同后，兩者方可相加。

（1）Relu緩解的梯度消失和Resnet緩解的梯度消失有何不同？

Relu解決的使用sigmoid等激活函數時(shí)造成的梯度消失，原因在于sigmoid激活函數值域范圍為0到1，當輸出值特別大或特別小時(shí)，根據圖像特點(diǎn)可知此時(shí)的梯度接近于0，從而造成梯度消失。而relu激活函數不存在這種情況。

但是即使使用Relu激活函數，當網(wǎng)絡(luò )層數加深時(shí)，多個(gè)深度網(wǎng)絡(luò )反向傳播鏈式傳遞的多個(gè)參數連乘仍然會(huì )出現梯度消失。故使用Resnet來(lái)改善網(wǎng)絡(luò )深度造成的梯度消失，使用殘差模塊和短接模塊進(jìn)行訓練，當模型效果已經(jīng)達到期望值時(shí)，使得新加入的層直接學(xué)習恒等映射，并不會(huì )使得模型效果變差。

（2）Resnet是如何解決梯度消失的？

Resnet將網(wǎng)絡(luò )結構調整為，將靠近輸入層的網(wǎng)絡(luò )層進(jìn)行短接到輸出層。這樣網(wǎng)絡(luò )就被設計成只需要擬合輸入x和目標輸出的殘差y-x的模型。這樣即使是多加了一層，那模型的效果也不會(huì )變差，因為新加的層會(huì )被短接到兩層以后，相當于是學(xué)習了個(gè)恒等映射，反向傳播時(shí)對后面的參數依賴(lài)減少，使得跳過(guò)的兩層只需要擬合上層輸出與目標之間的殘差即可。從而緩解連乘參數多帶來(lái)的梯度消失問(wèn)題。

Resnet模型搭建

為了從代碼層面理解模型，下面用pytorch簡(jiǎn)單搭建手寫(xiě)字體識別模型。

這里程序的設計分為以下幾個(gè)步驟，分別為預準備、模型搭建以及訓練等幾個(gè)步驟。

2.1 模型預準備

這里包括的預準備首先包括GPU或CPU訓練的選擇，迭代次數、batch一次訓練樣本數，學(xué)習率。然后通過(guò)pytorch中的transforms對數據變換，包括數據增強和轉為T(mén)ensor等格式以及讀入訓練和測試數據等，代碼如下：

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')num_epochs = 100batch_size = 32learning_rate = 0.001transform = transforms.Compose([    transforms.Pad(4),    transforms.RandomHorizontalFlip(),    transforms.RandomCrop(32),    transforms.ToTensor()])train_datatset = torchvision.datasets.MNIST(root='./data/',                                              train=True,                                              transform=transform,                                              download=True,                                              )test_datatset = torchvision.datasets.MNIST(root='./data/',                                             train=False,                                             transform=transforms.ToTensor()                                             )train_loader = torch.utils.data.DataLoader(    dataset=train_datatset,    batch_size=batch_size,    shuffle=True)test_loader = torch.utils.data.DataLoader(    dataset=test_datatset,    batch_size=batch_size,    shuffle=True)

2.2 殘差模塊

構建殘差神經(jīng)網(wǎng)絡(luò )模型，與一般神經(jīng)網(wǎng)絡(luò )搭建類(lèi)似，但需要判斷輸出是否為短接加和。代碼如下：

class ResidualBlock(nn.Module):    def __init__(self, in_channels, out_channels, stride=1, downsample=None):        super(ResidualBlock, self).__init__()        self.conv1 = conv3x3(in_channels, out_channels, stride)        self.bn1 = nn.BatchNorm2d(out_channels)        self.relu = nn.ReLU(inplace=True)        self.conv2 = conv3x3(out_channels, out_channels)        self.bn2 = nn.BatchNorm2d(out_channels)        self.downsample = downsample
    def forward(self, x):        residual = x        out = self.conv1(x)        out = self.bn1(out)        out = self.relu(out)        out = self.conv2(out)        out = self.bn2(out)        if self.downsample:            residual = self.downsample(x)        out += residual        out = self.relu(out)        return out

2.3 Resnet模型搭建

構建Resnet整體網(wǎng)絡(luò )模型。代碼如下：

class ResNet(nn.Module):    def __init__(self, block, layers, num_classes=10):        super(ResNet, self).__init__()        self.in_channels = 16        self.conv = conv3x3(1, 16)        self.bn = nn.BatchNorm2d(16)        self.relu = nn.ReLU(inplace=True)        self.layer1 = self.make_layer(block, 16, layers[0])        self.layer2 = self.make_layer(block, 32, layers[1], 2)        self.layer3 = self.make_layer(block, 64, layers[2], 2)        self.avg_pool = nn.AvgPool2d(8)        self.fc = nn.Linear(64, num_classes)    def make_layer(self, block, out_channels, blocks, stride=1):        downsample = None        if (stride != 1) or (self.in_channels != out_channels):            downsample = nn.Sequential(                conv3x3(self.in_channels, out_channels, stride=stride),                nn.BatchNorm2d(out_channels)            )        layers = []        layers.append(block(self.in_channels, out_channels, stride, downsample))        self.in_channels = out_channels        for i in range(1, blocks):            layers.append(block(self.in_channels, out_channels))        return nn.Sequential(*layers)    def forward(self, x):        out = self.conv(x)        out = self.bn(out)        out = self.relu(out)        out = self.layer1(out)        out = self.layer2(out)        out = self.layer3(out)        out = self.avg_pool(out)        out = out.view(out.size(0), -1)        out = self.fc(out)        return outmodel = ResNet(ResidualBlock, [2, 2, 2]).to(device)

2.4 模型訓練

同一般網(wǎng)絡(luò )模型訓練相同，包括數據轉為GPU讀入格式，模型計算輸出，設置損失函數計算損失，梯度置零初始化，誤差反向傳播和參數更新等，代碼如下：

for epoch in range(num_epochs):    for i, (images, labels) in enumerate(train_loader):        images = images.to(device)        labels = labels.to(device)        outputs = model(images)        loss = criterion(outputs, labels)        optimizer.zero_grad()        loss.backward()        optimizer.step()        if (i + 1) % 100 == 0:            print("Epoch[{}/{}], Step[{}/{}] Loss: {:.4f}"                  .format(epoch + 1, num_epochs, i + 1, total_step, loss.item()))            losss.append(loss.item())

完整代碼：

鏈接：https://pan.baidu.com/s/1PwDHFI70k7pzpMdATulG_g提取碼：k2kq

李秋鍵，CSDN博客專(zhuān)家，CSDN達人課作者。碩士在讀于中國礦業(yè)大學(xué)，開(kāi)發(fā)有taptap競賽獲獎等。