博弈中的一名玩家稱(chēng)為生成器, 它的主要工作是生成樣本, 并盡量使得其看上去與訓(xùn)練樣本一致.。另外一名玩家稱(chēng)為判別器, 它的目的是準(zhǔn)確判斷輸入樣本是否屬于真實(shí)的訓(xùn)練樣本. 一個(gè)常見(jiàn)的比喻是將這兩個(gè)網(wǎng)絡(luò)想象成偽鈔制造者與警察. GAN的訓(xùn)練過(guò)程類(lèi)似于偽鈔制造者盡可能提高偽鈔制作水平以騙過(guò)警察, 而警察則不斷提高鑒別能力以識(shí)別偽鈔. 隨著GAN的不斷訓(xùn)練, 偽鈔制作者與警察的能力都會(huì)不斷提高。

圖 1 生成式對(duì)抗網(wǎng)絡(luò)

相比以往的生成模型, GAN模型具有以下幾點(diǎn)明顯的優(yōu)勢(shì): 一是數(shù)據(jù)生成的復(fù)雜度與維度線(xiàn)性相關(guān), 對(duì)于較大維度的樣本生成, 僅需增加神經(jīng)網(wǎng)絡(luò)的輸出維度, 不會(huì)像傳統(tǒng)模型一樣面臨指數(shù)上升的計(jì)算量; 二是對(duì)數(shù)據(jù)的分布不做顯性的限制, 從而避免了人工設(shè)計(jì)模型分布的需要; 三是GAN生成的手寫(xiě)數(shù)字, 人臉, CIFAR-10等樣本較VAE, PixelCNN等生成模型更為清晰.

圖 2 GAN與傳統(tǒng)方法的數(shù)據(jù)填補(bǔ)效果

圖 3 iGAN的生成樣例

GAN突出的生成能力不僅可用于生成各類(lèi)圖像和自然語(yǔ)言數(shù)據(jù), 還啟發(fā)和推動(dòng)了各類(lèi)半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)任務(wù)的發(fā)展. 結(jié)合GAN, 研究者在數(shù)據(jù)填報(bào), 圖像翻譯, 數(shù)據(jù)合成, 模仿學(xué)習(xí)等諸多方面取得了突破性的進(jìn)展.

圖 4 圖對(duì)圖翻譯

圖 5 使用GAN合成數(shù)據(jù)訓(xùn)練機(jī)械臂

然而, 原始GAN模型也存在許多問(wèn)題, 包括收斂困難, 無(wú)法生成離散數(shù)據(jù), 難以評(píng)價(jià)等. 本文對(duì)GAN近年來(lái)的發(fā)展進(jìn)行了綜述, 對(duì)GAN在生成機(jī)制, 判別機(jī)制兩方面的改進(jìn)進(jìn)行了介紹, 并梳理了其應(yīng)用領(lǐng)域. 在此基礎(chǔ)上, 本文還探討了GAN與平行思想的關(guān)系.

圖 6 本文組織結(jié)構(gòu)