AI講座：自編碼器——神奇的ML瑞士刀

1   神奇的自編碼器

在之前各期里，所舉的范例模型都是基于邏輯回歸（Logistic regression）的線(xiàn)性分類(lèi)器（Linear classifier）。其訓練方法是采取監督式學(xué)習（Supervised Learning）模式。在本期里， 將進(jìn)一步介紹非監督式學(xué)習（Unsupervised Learning）模式，并以小而美的自編碼器（Autoencoder，簡(jiǎn)稱(chēng)：AE）為例。自編碼器是一種小而美的ML 模型，它的用途非常多，所以有“ML 瑞士刀”之稱(chēng)。例如，Pawer Sobel 就稱(chēng)之為：深度學(xué)習瑞士刀。

他在該文章里寫(xiě)道：“當談到在一個(gè)充滿(mǎn)機器學(xué)習問(wèn)題的世界中生存時(shí)，有一種演算法可能像瑞士刀一樣通用，它是一種自動(dòng)編碼器?！?/p>

2   復習：分類(lèi)器（Classifier）

首先來(lái)復習您已經(jīng)熟悉的邏輯回歸（分類(lèi)器）模型。例如，有一群鴨和雞，我們收集了它們的兩項特征是：頭冠大小與腳蹼大小。如下圖所示：

這是監督式學(xué)習模式，我們給予目標值（T），也就是貼上分類(lèi)標簽（Label）。也就是，在Z 空間里設定了兩個(gè)目標值，如下：

接下來(lái)，就可按下“學(xué)習”，ML 模型就尋找出最棒的W&B 來(lái)表達上述的對應關(guān)系。于是，輸出很棒的預測值（Z）：

可以看出，已經(jīng)尋找出很棒的W&B 了，預測值（Z）非常接近于目標值（T）了，呈現出的理想的空間對應關(guān)系：

這是一個(gè)簡(jiǎn)單的分類(lèi)模型。

3   增添一個(gè)新分類(lèi)器

剛才的分類(lèi)器（取名為分類(lèi)器-1）已經(jīng)輸出了預測值（Z）。接下來(lái)，我們做一項巧妙的組合：設計一個(gè)新的分類(lèi)器（取名為分類(lèi)器-2），并且拿這個(gè)Z 值做為新模型的輸入值（ZX），如下圖：

這是一個(gè)簡(jiǎn)單的分類(lèi)模型，其公式是：ZX * Wr +Br = ZY。接下來(lái)，就可按下“學(xué)習”，這回歸模型尋找出Wr&Br 得出一條回歸線(xiàn)，并輸出其預測值（Z）：

于是，我們共有兩段空間對應關(guān)系：1）分類(lèi)器-1的空間對應；2）分類(lèi)器-2 的空間對應?，F在，將兩者連接起來(lái)，形成下述的整合對應關(guān)系：

其中，值得留意的是：這兩段的空間對應是獨立訓練（學(xué)習）的。然而，現在的ML 是可以多層一起學(xué)習的，也就是通稱(chēng)的深度學(xué)習（Deep learning）。

4   組合成為深度學(xué)習模型

剛才的分類(lèi)器-1 和分類(lèi)器-2 都是單層的神經(jīng)網(wǎng)絡(luò )?，F在將兩個(gè)模型融合為一，成為一個(gè)多層的神經(jīng)網(wǎng)絡(luò )。使用Excel 來(lái)呈現其數據關(guān)聯(lián)，如下圖：

此時(shí)，中間層通稱(chēng)為隱藏層（Hidden layer）。上圖里的Wh 和Bh 就是隱藏層的權重和位移；而Wo 和Bo則是輸出層的權重和位移。由于是監督式學(xué)習模式，所以在Y 空間里設定了兩個(gè)目標值（也就是上圖中的標簽），如下圖所示：

接下來(lái)，按下“學(xué)習”，這個(gè)多層模型就開(kāi)始學(xué)習，尋找出最好的Wh&Bh，以及最好的Wo&Bo，并且，輸出其預測值（Y）：

其空間對應關(guān)系如下圖所示：

在這個(gè)模型里，我們貼上了標簽，所以是監督式學(xué)習模式。

5   設計出自編碼器（Autoencoder）

上一小節的多層分類(lèi)模型，是人為的貼上分類(lèi)標簽，所以屬于監督式學(xué)習。反之，如果不需要人去貼標簽，就稱(chēng)為非監督式學(xué)習了。于是，想一想：如果沒(méi)有人去貼標簽，那么這個(gè)模型又如何學(xué)習呢？于是，ML 專(zhuān)家們就想到一個(gè)方法，就是：用輸入值（X）來(lái)作為Y 空間的目標值（T），如下圖：

其中，目標值（T）就等于輸入值（X）。由于人們不必去煩惱各筆資料該貼上什么標簽了。因此這個(gè)新模型，就屬于非監督式學(xué)習了。由于用自己的輸入值當作目標值，所以又稱(chēng)為自編碼器（Autoencoder）。此時(shí)，X 空間與Y 空間的對應關(guān)系如下：

接下來(lái)，按下“學(xué)習”，這個(gè)多層模型就開(kāi)始學(xué)習，尋找出最好的Wh&Bh，以及最好的Wo&Bo，并且，輸出其預測值（Y）：

此時(shí)的空間對應關(guān)系是：

這就是神奇的AE（Autoencoder）模型。它的結構很簡(jiǎn)單，而用途卻非常多，所以被稱(chēng)之為：小而美的神奇ML 瑞士刀。到底他有哪些神奇之處呢？在下一期里，將會(huì )為您詳細解說(shuō)。

（本文來(lái)源于《電子產(chǎn)品世界》雜志2021年9月期）