一種改進(jìn)的可遷移深度學(xué)習模型*

摘 要：本文設計了一種改進(jìn)的可遷移深度學(xué)習模型。該模型能夠在離開(kāi)可靠的訓練環(huán)境（其中存在標簽）并被置于純粹的無(wú)標簽數據的領(lǐng)域時(shí)，輸出依然可以持續得到改善，這種訓練方式可以降低對監督學(xué)習的依賴(lài)程度。

關(guān)鍵詞：可遷移；深度學(xué)習；無(wú)標簽

*基金項目：湖南省教育廳科學(xué)研究課題“基于深度學(xué)習的智能無(wú)人機目標檢測算法研究”(20C0105)；

湖南省自然科學(xué)基金項目《基于高光譜特征信息融合的油菜籽品質(zhì)參數反演與建?！罚?021JJ60093）；

校級培育項目“基于深度學(xué)習的目標檢測算法研究”(22mypy15)

1 引言

隨著(zhù)深度學(xué)習的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò )在圖像識別上取得了很大突破 , 基于深度學(xué)習的圖像識別方法避免了傳統圖像處理時(shí)最費時(shí)費力的特征提取部分，設計者只需要關(guān)注網(wǎng)絡(luò )結構的設計，網(wǎng)絡(luò )自動(dòng)提取的特征越好，圖像分類(lèi)的準確率就越高。然而，上述分類(lèi)模型的訓練都需要帶大量標簽圖像樣本作為訓練集，模型的性能?chē)乐匾蕾?lài)標簽圖像數據集的質(zhì)量和規模，人工標簽大量圖像數據集的成本高 ^[1]；面對互聯(lián)網(wǎng)上出現的海量圖像，圖像標簽的難度大大增加。為了提高數據分析的精度，深度學(xué)習技術(shù)的應用需要大量計算，由于模型結構越來(lái)越復雜，計算量成指數增長(cháng) ^[2]，如何優(yōu)化深度學(xué)習的神經(jīng)網(wǎng)絡(luò )模型是需要著(zhù)重解決的問(wèn)題。

2 基于弱監督的可遷移深度學(xué)習模型設計

與控制算法類(lèi)似，有監督的深度學(xué)習算法 ^[3] 通過(guò)一個(gè)目標函數利用反饋。這個(gè)目標函數的輸出作為輸入（或“控制信號”）給反向傳播進(jìn)行自我修正。我們解決的主要問(wèn)題是為深度學(xué)習算法找到一種方法，當它進(jìn)入可靠的訓練環(huán)境（其中存在標簽），遇到純粹的無(wú)標簽數據的區域時(shí)，還能繼續改善其輸出。在這種環(huán)境中，機器必須減少對監督的依賴(lài)。因此我們設計了一種基于弱監督的可遷移學(xué)習模型。此模型是將一個(gè)預先訓練好的模型用于另一個(gè)學(xué)習任務(wù)的過(guò)程（可能是在一個(gè)不同的、 不相關(guān)的區域）。這樣在一個(gè)新的數據集上完全訓練一個(gè)模型所需的計算時(shí)間和數據就會(huì )大大減少。預訓練網(wǎng)絡(luò )中的多個(gè)低層可以重新應用于另一個(gè)數據集，在那里它們可以重新得到訓練。在重新訓練的過(guò)程中，預訓練模型的最后一層可以針對新的數據集進(jìn)行微調。

基于弱監督的可遷移學(xué)習模型的核心在于數據的導入和在神經(jīng)網(wǎng)絡(luò )中的循環(huán)方法。收集高質(zhì)量和足夠大的真實(shí)世界數據集來(lái)進(jìn)行訓練，具有挑戰性并且高耗時(shí)。本學(xué)習模型通過(guò)要求一個(gè)相對較小的數據集來(lái)減輕這一負擔，并以有效的方式使用該數據集來(lái)改進(jìn)模型?；谌醣O督可遷移深度學(xué)習模型的數據流圖如圖 1 所示。

對于復雜的數據集或有相似數據的數據集，基于弱監督的可遷移學(xué)習是一種初始化神經(jīng)網(wǎng)絡(luò )的有效方法，并使其有更大的機會(huì )獲得更高的初始精度。初始生成的第 0 代數據集可以用小規模的數據點(diǎn)組成，這些數據點(diǎn)會(huì )被標注標簽。由機器讀取原始的、未標記的數據被分割成適當大小的可用處理模塊，以滿(mǎn)足可用的處理能力。然后將相似的每一組數據集都假定為有效的數據，分批送入神經(jīng)網(wǎng)絡(luò )。直觀(guān)地說(shuō)，原始的、無(wú)標簽的數據由神經(jīng)網(wǎng)絡(luò )處理，用來(lái)確定每個(gè)數據點(diǎn)的標簽。一旦這個(gè)新數據被標記，符合預定義標簽的數據點(diǎn)就會(huì )與第 0 代數據相結合。然后，模型在新一代數據集上進(jìn)行訓練。這種數據融合對于模型的整體改進(jìn)能力至關(guān)重要，測試產(chǎn)生的結果優(yōu)于不加區分地處理所有未標注的數據。一旦創(chuàng )建了新一代的數據集，它就會(huì )被流回，用更大、更準確、更強大的標簽數據集合重新調整模型。這個(gè)過(guò)程將重復進(jìn)行，使模型得到改善，使得數據集得到增長(cháng)?？蛇w移學(xué)習模型使用一個(gè) CNN（卷積神經(jīng)網(wǎng)絡(luò )），這個(gè) CNN 很簡(jiǎn)單：它由兩個(gè)卷積層組成，每個(gè)卷積層都被重新激活。卷積層之后是一個(gè) 2×2 的最大池子層，反過(guò)來(lái)又反饋到一個(gè)全連接的、重新激活的層，然后分配一個(gè) softmax 分類(lèi)器。

為了提高代碼的速度和避免用可能的錯誤預測來(lái)稀釋訓練集，模型預測每批數據的標簽，并在由第 0 代數據和新預測的數據合成的訓練集中進(jìn)行訓練。附加的預測被存儲在一個(gè)先進(jìn)先出（FIFO）的隊列式數據結構中。這樣一來(lái)，模型對以前樣本的記憶和訓練，在新的批次出現之前至少會(huì )停留幾個(gè)迭代。同時(shí)，預置的第 0 代數據仍然是永久性的，每次迭代代碼都會(huì )將第 0 代和隊列的內容一起進(jìn)行訓練。學(xué)習循環(huán)的另一個(gè)關(guān)鍵點(diǎn)是其不確定性的樣本提取。在 FIFO 隊列中預測的上一批訓練數據追加到第 0 代之前，代碼會(huì )檢查每個(gè)樣本的前兩個(gè)標簽的概率。如果一個(gè)樣本的前兩個(gè)標簽概率相同或在一定范圍內，那么在追加到 0 代之前，該樣本將從訓練集中提取出來(lái)。在這些情況下，附加的批次較??；提取后留下的空白沒(méi)有被新的數據重新填補。因此，該模型避免了在不確定的預測上進(jìn)行訓練。這已被證明可以提高平均和最大的訓練精度?；谌醣O督的可遷移深度學(xué)習的算法如圖 2 所示。

圖2 基于弱監督的可遷移深度學(xué)習的算法

3 實(shí)驗測試

MNIST 數據集是由 LeCun 等人開(kāi)發(fā)的，用于評估手寫(xiě)數字分類(lèi)問(wèn)題的機器學(xué)習模型 ^[4]。該數據集是由美國國家標準與技術(shù)研究所（NIST）提供的一些掃描文件數據集構建的。數字的圖像取自各種掃描文件，尺寸標準化并居中。該數據集已被研究人員廣泛使用，因此可以對性能進(jìn)行明確的衡量。這使得它成為評估模型的優(yōu)秀數據集，使開(kāi)發(fā)者能夠專(zhuān)注于機器學(xué)習 ^[5]。數據集中每張圖片是一個(gè) 28×28 像素的正方形。一個(gè)標準的分割數據集被用來(lái)評估和比較模型，其中 10 000 張圖片被用來(lái)訓練一個(gè)模型，另一組 5 000 張圖片被用來(lái)測試。

圖3 載入MNIST數據集的樣本圖像

基于弱監督的可遷移學(xué)習模型測試從加載 MNIST 數據集開(kāi)始。數據被分流到兩個(gè)不同的類(lèi)別：小于 5 的數字（L5）和大于或等于 5 的數字（G5）。L5 數據集用于預訓練模型的權重；然后這些權重將被轉移到模型上，該模型將不斷學(xué)習如何標記 G5 數字。在轉移了基于 L5 的權重后，代碼首次將模型引入一小批 G5 數據中。將這批初始數據的規模定在 200 個(gè)左右，這是讓模型對 G5 數字有必要的認識和理解的最小數量。該模型在這些數字的原始、正確的標簽上進(jìn)行訓練。這個(gè)由 300 個(gè) 樣本組成的原始數據集連同其標簽被稱(chēng)為第 0 代。這就是持續學(xué)習的開(kāi)始。一旦模型對數據集有了一些了解，代碼就會(huì )進(jìn)入一個(gè)循環(huán)，其中模型會(huì )處理一批又一批原始的、沒(méi)有標簽的數據。模型預測每批數據的標簽，并在由第 0 代樣本和新猜測的樣本組成的聯(lián)合訓練集中進(jìn)行訓練。學(xué)習循環(huán)的下一次迭代將下一批 G5 數據追加到這個(gè)訓練集上。一個(gè)小的初始數據集可以在其整個(gè)運行過(guò)程中進(jìn)行訓練。迄今為止改進(jìn)最大的遷移學(xué)習方法使用了 35 代，初始 0 代大小為 100 張圖像，隨后幾代的數據子集為 400 張圖像。同時(shí)將此算法在 CIFAR-10 數據集上進(jìn)行訓練，圖 4 顯示在兩個(gè)數據集上訓練的準確率。

圖4 基于弱監督的可遷移學(xué)習模型測試準確率圖

如圖 4 所示，每一代初始模型的測試準確率開(kāi)始為 56.70%，但在進(jìn)行了 35 代遷移學(xué)習后，模型的準確率提高到 92.5%。而且在 CIFAR-10 數據集的準確率也由最初的 49% 提升到 91.2%。實(shí)驗證明了一個(gè)小的初始數據集可以用來(lái)創(chuàng )建一個(gè)隨著(zhù)時(shí)間推移不斷改進(jìn)和學(xué)習的模型。

4 結論

本文的研究表明，在一個(gè)相對較小的、初始標記的圖像數據集的情況下，可以采用一個(gè)改進(jìn)的弱監督可遷移學(xué)習模型，該模型可以通過(guò)一些未標記的圖像來(lái)改進(jìn)自己，節省初始數據集的訓練時(shí)間。由于該模型開(kāi)始時(shí)的準確度相對較低，只有在更多的無(wú)標簽數據集中才能得到改善，因此系統必須能夠在模型有時(shí)間改善之前處理不合格的標簽數據。

參考文獻：

[1] 周強.面向圖像分類(lèi)的遷移學(xué)習算法研究[D].北京:北京郵電大學(xué),2021.

[2] 魏文怡.基于深度學(xué)習的無(wú)人機目標識別方法研究[D].南京:南京航空航天大學(xué),2019.

[3] Weiss K,Khoshgoftaar T M,Wang D D.A survey of transfer learning[J].Journal of Big Data,2016,3(1):1-40.

[4] ZHAOＲ,YANＲQ,CHEN Z H,et al.Deep learning and its applications to machine health monitoring[J].Mechani-cal Systems and Signal Processing,2019(115):213－237.

[5] 卜文銳.基于MNIST數據集的參數最優(yōu)化算法比較研究[J].電子技術(shù)與軟件工程.2021(11):187-188.

(注：本文轉載自《電子產(chǎn)品世界》雜志2022年10月期)