學(xué)貫中西(7):介紹生成對抗網(wǎng)路(GAN)

1   GAN與NFT的結合

在上一期里，我們說(shuō)明了天字第一號模型：分類(lèi)器。接著(zhù)本期就來(lái)看看它的一項有趣應用：GAN(generative adversarial networks，生成對抗網(wǎng)絡(luò ))。自從2014 年問(wèn)世以來(lái)，GAN 在電腦生成藝術(shù)(generative art) 領(lǐng)域，就開(kāi)始涌現了許多極具吸引力的創(chuàng )作和貢獻。GAN 如同生成藝術(shù)的科技畫(huà)筆，使用GAN 進(jìn)行創(chuàng )作特別令人振奮，常常創(chuàng )作出很特別的效果，給人們許多驚喜的感覺(jué)，例如圖1。

圖1

近年來(lái)，非同質(zhì)化代幣NFT(non-fungible token)，可以讓藝術(shù)創(chuàng )作者發(fā)行其創(chuàng )作品，使得電腦生成藝術(shù)和NFT 結合起來(lái)，成為一條鳥(niǎo)語(yǔ)花香的新領(lǐng)域。換句話(huà)說(shuō)，NFT 讓生成藝術(shù)獲得了很好地表達機會(huì )，它將在NFT 的土壤里成長(cháng)茁壯、無(wú)盡繁榮。

2   從分類(lèi)器到GAN模型

GAN 是由蒙特利爾大學(xué)的Ian Goodfellow在2014 年提出來(lái)的神經(jīng)網(wǎng)路模型。GAN 通常包含兩個(gè)角色，兩者互相較量( 對抗)，但又展現出教學(xué)相長(cháng)，共同成長(cháng)的美好機制和效果。這兩個(gè)角色就是：判別者(discriminator) 與生成者(generator)。其中判別者的實(shí)現架構就是上一期所介紹的分類(lèi)器。所以分類(lèi)器在GAN 里扮演很重要的角色就是判別者。這判別者(D) 是老師角色，而生成者(G) 則是學(xué)生角色。

老師引導學(xué)生創(chuàng )作，兩者互相較量( 對抗)，但又展現出教學(xué)相長(cháng)的效果。例如，在圖像渲染的應用上，它們的功能分別如下所述。

●   G( 學(xué)生) 負責生成圖片。它接收一個(gè)隨機噪聲(z)，或者其他條件( 如黑白底圖或邊框)，然后基于這個(gè)噪聲或條件來(lái)生成新圖片。

●   D( 老師) 負責辨別一張圖片的真或假。它的輸入是一張圖片，進(jìn)行辨別之后，輸出其判斷為真品或假品的概率。如果輸出值愈接近于1，代表其為真品的概率愈大；而當輸出值愈接0，代表其為假品的概率愈大。

在GAN 模型的訓練過(guò)程中，我們會(huì )拿真品來(lái)輸入給D，也會(huì )拿由G 生成的假品來(lái)輸入給D。其目的是要訓練D，以便提升它判斷圖片真或假的能力。如果D 判斷正確，表示G( 學(xué)生) 生成的新作品( 假品) 被D 識破了，這意味著(zhù)G 的作品不夠逼真，此時(shí)G 就會(huì )依據D 的反饋而調整其參數，因而G 就成長(cháng)了。反之，如果D判斷錯誤，表示D的辨別能力不足，例如被G騙了( 將假品誤判為真品)，于是D 就會(huì )調整其參數，因而D 也成長(cháng)了。這樣的訓練過(guò)程，持續重復下去，GAN 里的兩個(gè)角色，互相較量( 對抗)，展現出了教學(xué)相長(cháng)的美好效果。最后，G 大幅成長(cháng)了，繪制出來(lái)非常逼真的作品( 假品) 了。

圖2

3   解說(shuō)<教學(xué)相長(cháng)>的情境

話(huà)說(shuō)有一位學(xué)生(G)，想從老師(D) 學(xué)習畫(huà)漫畫(huà)( 例如龍貓故事的插畫(huà))。但是這位老師并不會(huì )畫(huà)漫畫(huà)，那么他( 她) 又如何教學(xué)生畫(huà)漫畫(huà)呢? 在教學(xué)的過(guò)程中，兩者都是從零開(kāi)始，一起成長(cháng)。這可以說(shuō)是一個(gè)教學(xué)相長(cháng)的過(guò)程（如圖3- 圖）。一開(kāi)始，老師和學(xué)生，兩者都是從零開(kāi)始。

1.雖然老師不會(huì )畫(huà)，但它會(huì )拿學(xué)生作品來(lái)與龍貓漫畫(huà)書(shū)來(lái)做特征對比。

2.如果學(xué)生作品沒(méi)有龍貓漫畫(huà)的重要特征，就會(huì )感覺(jué)畫(huà)得不像。

3.于是，學(xué)生開(kāi)始作畫(huà)了。

4.老師發(fā)現了學(xué)生作品里沒(méi)有龍貓漫畫(huà)的重要特征：胡須。

5.老師就要求學(xué)生加以改善。

6.老師又發(fā)現學(xué)生作品里少了龍貓漫畫(huà)的另一項特征：娃娃哭時(shí)嘴巴張很大。

7.老師就要求學(xué)生加以改進(jìn)。

8.兩者互相較量，又協(xié)同創(chuàng )新、教學(xué)相長(cháng)。

圖3

圖4

圖5

圖6

圖7

圖8

圖9

圖10

圖11

然后，持續不斷地改進(jìn)下去，就會(huì )止于至善。圖12里，左圖是鑒賞者所握有的原圖，而右圖則是創(chuàng )作者所生成的創(chuàng )作品?？梢钥闯鰜?lái)了，透過(guò)生成對抗協(xié)同創(chuàng )新，所生成的作品已經(jīng)幾可亂真了。

圖12

4   范例解說(shuō)：學(xué)習畢加索的畫(huà)作風(fēng)格

此范例使用百度飛槳(PaddlePaddle) 框架而設計來(lái)的GAN 模型。它可以自己觀(guān)察畢加索(Picasso) 的畫(huà)作而自我學(xué)習。并且渲染很接近原圖的彩色作品了。其目標是：訓練了一個(gè)GAN 模型，學(xué)習畢加索的畫(huà)風(fēng)。其作法：采取Lab 顏色空間，將*.jpg 圖像，分解為L(cháng)、a、b 三通道。將單通道 L 輸入給G( 生成者)，由G 自己生成兩通道：new_a 和new_b。然后將[L, new_a,new_b] 匯合成為一張新的*.jpg 圖像。

在您的電腦上，需要安裝飛槳模型框架，以及相關(guān)的套件。然后準備訓練資料：即10 張畢加索的畫(huà)作(*.jpg)。

圖13

圖片大小不拘，GAN 會(huì )自動(dòng)調整為256 x 256 大小。接下來(lái)，就以這10 張圖像作為訓練數據，在飛槳環(huán)境里，對這GAN 模型展開(kāi)訓練。訓練完畢了，就可以來(lái)檢測一下了?，F拿畢加索的一張畫(huà)作原圖如圖14。

圖14

這模型會(huì )先取出圖像的L 通道，也就是一張黑白底圖。

圖15

于是GAN 就基于張黑白底圖，自動(dòng)生成new_a 和new_b 兩通道的值，最后匯合出極為接近逼真的新圖像，如圖16。

圖16

于是，這個(gè)GAN 模型學(xué)習了畢加索的畫(huà)作風(fēng)格。您也可以把您自己的任何彩色(JPG) 圖片，取出L 通道，輸入給這訓練好的模型。它就會(huì )重新彩繪出畢加索的色彩風(fēng)格了。此外，您還可以繼續拿莫內、梵高等的畫(huà)作讓它學(xué)習，就能將您的圖像彩繪出這些名家的混合風(fēng)格了。

4   結語(yǔ)

本文首先說(shuō)明GAN 在電腦生成藝術(shù)領(lǐng)域里，將提供更精彩的貢獻，然后說(shuō)明了GAN 的架構。GAN 里的重要角色之一就是判別者(D)，它就是分類(lèi)器，這在上一期里已經(jīng)詳細介紹過(guò)了，請您復習之。至于生成者(G)的架構，就請您期待本專(zhuān)欄的下一期繼續解說(shuō)GAN 的更多魅力。

（本文來(lái)源于《電子產(chǎn)品世界》雜志2022年5月期）