這7 個(gè)深度學(xué)習實(shí)用技巧，你掌握了嗎？

　　▌ 兩全其美的辦法

　　最近已經(jīng)證明，可以得到兩全其美的結果：從 Adam 到SGD的高性能高速訓練! 這個(gè)想法是，實(shí)際上由于在訓練的早期階段SGD對參數調整和初始化非常敏感。 因此，我們可以通過(guò)使用Adam來(lái)開(kāi)始訓練，這將節省相當長(cháng)的時(shí)間，而不必擔心初始化和參數調整。 那么，一旦Adam獲得較好的參數，我們可以切換到SGD +動(dòng)量?jì)?yōu)化，以達到最佳性能!

　　Adam vs SGD 性能

　　▌ 3-如何處理不平衡數據

　　在很多情況下，都要處理不平衡的數據，特別是實(shí)際應用程序中。 一個(gè)簡(jiǎn)單而實(shí)際的例子如下：訓練您的深度網(wǎng)絡(luò )以預測視頻流中是否有人持有致命武器。 但是在你的訓練數據中，你只有50個(gè)拿著(zhù)武器的人的視頻和1000個(gè)沒(méi)有武器的人的視頻! 如果你只是用這些數據來(lái)訓練你的網(wǎng)絡(luò )，那么你的模型肯定會(huì )非常偏向于預測沒(méi)有人有武器!

　　你可以做用以下的方法來(lái)解決它：

　　在損失函數中使用類(lèi)權重。 本質(zhì)上就是，讓實(shí)例不足的類(lèi)在損失函數中獲得較高的權重，因此任何對該類(lèi)的錯分都將導致?lián)p失函數中非常高的錯誤。

　　過(guò)度采樣：重復一些實(shí)例較少的訓練樣例，有助于平衡分配。 如果可用的數據很小，這個(gè)方法最好。

　　欠采樣：一些類(lèi)的訓練實(shí)例過(guò)多，可以簡(jiǎn)單地跳過(guò)一些實(shí)例。 如果可用數據非常大，這個(gè)方法最好。

　　為少數類(lèi)增加數據?？梢詾樯贁殿?lèi)創(chuàng )建更多的訓練實(shí)例! 例如，在前面檢測致命武器的例子中，你可以改變屬于具有致命武器的類(lèi)別的視頻的顏色和光照等。

　　▌ 4-遷移學(xué)習

　　正如我們所看到的，深層網(wǎng)絡(luò )需要大量的數據。遺憾的是，對于許多新的應用程序來(lái)說(shuō)，這些數據可能很難得到并且開(kāi)銷(xiāo)很大。 如果我們希望模型表現良好，可能需要數萬(wàn)或數十萬(wàn)個(gè)新的訓練樣例來(lái)進(jìn)行訓練。 如果數據集不易獲取，則必須全部手動(dòng)收集并標記。

　　這就是遷移學(xué)習的起點(diǎn)。 通過(guò)遷移學(xué)習，我們不需要太多的數據! 這個(gè)想法是從一個(gè)在數百萬(wàn)圖像上訓練過(guò)的網(wǎng)絡(luò )開(kāi)始的，比如在ImageNet上預訓練的ResNet。 然后，我們將“重新調整ResNet模型，只重新訓練最后幾層。

　　我們將ResNet從數百萬(wàn)圖像中學(xué)到的信息(圖像特征)進(jìn)行微調，以便將其應用于不同的任務(wù)。 因為跨域的圖像的特征信息經(jīng)常是非常相似的所以這個(gè)方法是可行的，但是這些特征的分析根據應用而不同。

　　一個(gè)基本的遷移學(xué)習示例

　　▌ 5 – 用數據增強提高性能

　　前面已經(jīng)說(shuō)過(guò)：更多的數據=更好的表現。 除了遷移學(xué)習之外，另一種快速而簡(jiǎn)單提高模型的性能的方法是數據增強。 數據增強是使用原始類(lèi)別標簽的同時(shí)，改變數據集的原始圖像以合成一些新的訓練示例。例如，用于圖像數據增強的常見(jiàn)方式包括：

　　水平和/或垂直旋轉翻轉圖像

　　改變圖像的亮度和顏色

　　隨機模糊圖像

　　隨機從圖像裁剪塊

　　基本上，你可以進(jìn)行任何改變，改變圖像的外觀(guān)但不改變整體內容，例如你可以使用藍色狗的照片，但你仍然應該能夠清楚地看到，這是一個(gè)狗的照片。

　　數據增強

　　▌ 6-通過(guò)集成提升模型!

　　在機器學(xué)習中，集成訓練多個(gè)模型，然后將它們組合在一起以獲得更高的性能。 這個(gè)想法是在相同的數據集上對同一任務(wù)訓練多個(gè)深度網(wǎng)絡(luò )模型。 然后，模型的結果可以通過(guò)投票進(jìn)行組合，即具有最高票數的類(lèi)勝出。

　　為了確保所有模型不同，可以使用隨機權重初始化和隨機數據增強。眾所周知，由于使用了多個(gè)模型，因此集成通常比單個(gè)模型更精確，從而從不同角度完成任務(wù)。在實(shí)際應用中，尤其是競賽中，幾乎所有頂級模型都使用集合方式。

　　集成模型

　　▌ 7-加快剪枝

　　我們知道模型精度隨深度而增加，但速度又如何呢? 更多的層意味著(zhù)更多的參數，更多的參數意味著(zhù)更多的計算，更多的內存消耗和更慢的速度。理想情況下，我們希望在提高速度的同時(shí)保持高精度。我們可以通過(guò)剪枝來(lái)做到這一點(diǎn)。

　　深度神經(jīng)網(wǎng)絡(luò )剪枝策略

　　這個(gè)想法是，網(wǎng)絡(luò )中的許多參數是多余的，對輸出沒(méi)有太大貢獻。 如果可以根據貢獻值對網(wǎng)絡(luò )中的神經(jīng)元進(jìn)行排名，那么就可以從網(wǎng)絡(luò )中移除低排名的神經(jīng)元，從而形成更小更快的網(wǎng)絡(luò )。 可以根據神經(jīng)元權重的L1 / L2均值(平均激活)、一些驗證集上神經(jīng)元不為零的次數以及其他方法來(lái)進(jìn)行排序。 獲得更快/更小的網(wǎng)絡(luò )對于在移動(dòng)設備上運行深度學(xué)習網(wǎng)絡(luò )非常重要。

　　修剪網(wǎng)絡(luò )的最基本的方法是簡(jiǎn)單地放棄某些卷積濾波器。 最近文章表明，這樣做是相當成功的。 這項工作中的神經(jīng)元排名相當簡(jiǎn)單：每個(gè)濾波器的權重按照L1規范排名。 在每個(gè)修剪迭代中，對所有的過(guò)濾器進(jìn)行排序，在所有層中修剪m個(gè)排名最低的過(guò)濾器，重新訓練和重復!

　　最近的另一篇分析殘差網(wǎng)絡(luò )結構的論文中提出了修剪“過(guò)濾器”的關(guān)鍵特點(diǎn)。 作者指出，在刪除層的時(shí)候，具有殘差快捷連接(例如ResNets)的網(wǎng)絡(luò )比不使用任何快捷連接(例如VGG或AlexNet)的網(wǎng)絡(luò )在保持良好的準確性方面更為穩健。這個(gè)有趣的發(fā)現具有重大的實(shí)際意義，因為它告訴我們，在修剪網(wǎng)絡(luò )進(jìn)行部署和應用時(shí)，網(wǎng)絡(luò )設計至關(guān)重要(例如ResNets)。 所以使用最新最好的方法總是很好的!