一般認(rèn)為GAN是2014年由Ian Goodfellow等人提出的，但有人發(fā)現(xiàn)同樣的想法早在2010年，就被一位芬蘭的電氣工程師提出了，引發(fā)關(guān)于“怎樣才算是第一個(gè)發(fā)明者”的討論。

Ian Goodfellow于2014年提出的GAN，至今已經(jīng)是計(jì)算機(jī)視覺(jué)領(lǐng)域最重要、使用最廣泛的概念之一。

學(xué)術(shù)界流傳的一則GAN誕生的傳說(shuō)。據(jù)說(shuō)是因?yàn)橐惶焱砩螴an Goodfellow在酒吧在喝高的狀態(tài)下與同事討論學(xué)術(shù)問(wèn)題，突然靈光一閃，提出了GAN初步的想法，當(dāng)時(shí)并沒(méi)有得到同事的認(rèn)可。

后來(lái)從酒吧回去發(fā)現(xiàn)女朋友已經(jīng)睡了，于是熬夜寫了代碼，發(fā)現(xiàn)還真有效果。經(jīng)過(guò)一番研究后，GAN就誕生了。

GAN的主要靈感來(lái)源于博弈論中零和博弈的思想，由一個(gè)生成網(wǎng)絡(luò)與一個(gè)判別網(wǎng)絡(luò)組成，二者不斷博弈：生成網(wǎng)絡(luò)從潛在空間（latent space）中隨機(jī)采樣作為輸入，其輸出結(jié)果需要盡量模仿訓(xùn)練集中的真實(shí)樣本。判別網(wǎng)絡(luò)的輸入則為真實(shí)樣本或生成網(wǎng)絡(luò)的輸出，其目的是將生成網(wǎng)絡(luò)的輸出從真實(shí)樣本中盡可能分辨出來(lái)。而生成網(wǎng)絡(luò)則要盡可能地欺騙判別網(wǎng)絡(luò)。兩個(gè)網(wǎng)絡(luò)相互對(duì)抗、不斷調(diào)整參數(shù)，最終目的是使判別網(wǎng)絡(luò)無(wú)法判斷生成網(wǎng)絡(luò)的輸出結(jié)果是否真實(shí)。

有人比Ian Goodfellow早4年就提出了GAN？

正當(dāng)大家都已經(jīng)認(rèn)為GAN等于Ian Goodfellow的時(shí)候，Reddit上有人挖墳，稱其實(shí)早在Ian提出GAN這一概念的4年前，就已經(jīng)有人提出了非常類似的概念。

Reddit討論地址：

https://www.reddit.com/r/MachineLearning/comments/bnqm0p/d_gans_were_invented_in_2010/

這位叫做Olli Niemitalo的芬蘭電氣工程師，會(huì)在自己的博客上記錄他時(shí)不時(shí)冒出的一些想法。2010年2月24日，他記錄了一種訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)以在可變上下文內(nèi)、生成缺失數(shù)據(jù)的方法。

博客鏈接：

http://yehar.com/blog/?p=167#2010-02-24

在博客中他寫到：圖像可能丟失像素，那么如何通過(guò)周圍已知的像素，去恢復(fù)丟失的像素呢？

他提出的方法是一種叫做“生成器”的神經(jīng)網(wǎng)絡(luò)，在給定周圍像素作為輸入的情況下，生成缺失像素。（看，在2010年，Olli就已經(jīng)提到了generator這個(gè)概念?。?/p>

那么接下來(lái)的問(wèn)題就是，該如何訓(xùn)練這樣的網(wǎng)絡(luò)呢？

比如一個(gè)草原的照片上有一塊污漬，我們知道被蓋住的部分（缺失的數(shù)據(jù)）也是草，那么我們就可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)用草去修復(fù)，并可以根據(jù)生成的草，與原始數(shù)據(jù)之間的均方根差（RMSD），對(duì)神經(jīng)網(wǎng)絡(luò)的成果進(jìn)行評(píng)分。

但如果生成器遇到不屬于訓(xùn)練集的圖像，那么神經(jīng)網(wǎng)絡(luò)就不可能將所有葉子（尤其是缺失部分的中心位置的數(shù)據(jù)）放在恰當(dāng)?shù)奈恢谩Ｈ绻善鞯慕Y(jié)果看起來(lái)不理想，就會(huì)遭受懲罰。

看，生成/對(duì)抗，都有了！接下來(lái)，他還畫了一個(gè)流程圖：

解釋一下上圖。給定一個(gè)分類器網(wǎng)絡(luò)，使之同時(shí)和生成器進(jìn)行訓(xùn)練。分類器網(wǎng)絡(luò)以隨機(jī)、或交替順序給出生成的原始數(shù)據(jù)。

接著，分類器需要猜測(cè)在周圍圖像上下文的上下文中，輸入是原始數(shù)據(jù)or生成數(shù)據(jù)，并給猜測(cè)結(jié)果打分。原始數(shù)據(jù)給1分，生成數(shù)據(jù)給0分。

生成器網(wǎng)絡(luò)的目的就是獲得盡可能高的分?jǐn)?shù)。隨著生成器網(wǎng)絡(luò)不斷學(xué)會(huì)獲得高分，最終能夠生成逼真的、人眼區(qū)分不出真假的圖像。

看到這里，很多Reddit網(wǎng)友不淡定了，紛紛感慨“這個(gè)人是誰(shuí)？”“可惜他不出名，要不然blahblah”：

MasterSama：Olli是數(shù)百萬(wàn)領(lǐng)先他們時(shí)代卻籍籍無(wú)名的例子之一。但我仍然認(rèn)為雖然Ian可能不是第一個(gè)提出GAN的人，卻是第一個(gè)讓GAN火起來(lái)的。

whymauri：同意MasterSama。我上課的時(shí)候聽過(guò)一個(gè)說(shuō)法，沒(méi)有任何一個(gè)科學(xué)發(fā)明是以最早發(fā)現(xiàn)它的那個(gè)科學(xué)家命名的。

alexmlamb：先入為主的感情來(lái)說(shuō)，我并不想承認(rèn)兩者是相同的。但我可能不得不承認(rèn)兩者的相似度高的讓人不可思議。

GAN之父的頭銜從來(lái)不缺質(zhì)疑，其中就包括LSTM之父

中國(guó)古話說(shuō)，文無(wú)第一武無(wú)第二。在學(xué)術(shù)領(lǐng)域，永遠(yuǎn)不缺乏爭(zhēng)論。

比如今年圖靈獎(jiǎng)的歸屬，包括南京大學(xué)人工智能學(xué)院院長(zhǎng)周志華教授在內(nèi)的許多學(xué)界人士，均發(fā)出質(zhì)疑為什么圖靈獎(jiǎng)得主不是LSTM之父Jürgen Schmidhuber？他也是深度學(xué)習(xí)領(lǐng)域的大家啊。

LSTM之父Jürgen Schmidhuber聲稱，他在92年提出了一種PM（Predictability Minimization）模型，其與GAN有一些相似之處，所以稱Ian Goodfellow的“GAN之父”的說(shuō)法是站不住腳的。

最后，無(wú)奈之下的Goodfellow只好在論文的最終版本里加入了GAN和PM不同之處的比較，這才有了第一篇GAN論文的誕生。

為此，Schmidhuber和Ian不僅在郵件中展開了激烈的爭(zhēng)論，甚至在2016 NIPS大會(huì)上，趁Ian正在做GAN的tutorial的時(shí)候，Schmidhuber站起來(lái)打斷演講。首先介紹了一下自己92年提出的PM模型，介紹了PM模型的原理和實(shí)現(xiàn)過(guò)程等等，然后反問(wèn)Ian如何看待GAN和PM的相似點(diǎn)。

Ian當(dāng)場(chǎng)直接明說(shuō)他們之前已經(jīng)在郵件里討論了這個(gè)問(wèn)題，不想牽扯到NIPS大會(huì)上來(lái)浪費(fèi)廣大聽眾的時(shí)間。

Ian的言論贏得了在場(chǎng)大佬的多次掌聲。一位五十多歲的長(zhǎng)者試圖碾壓三十出頭的小伙子，但被小伙子反殺，場(chǎng)面一度十分尷尬。

點(diǎn)子一文不值，做出成果的人才有話語(yǔ)權(quán)？

人工智能、機(jī)器人、空間科學(xué)工程師John Cooper在Twitter闡述了他對(duì)此事的觀點(diǎn)：點(diǎn)子一文不值，做出成果的人才有話語(yǔ)權(quán)。

Ian也在下面回復(fù)，從側(cè)面認(rèn)可“做永遠(yuǎn)比說(shuō)有價(jià)值”：如果你有確切的想法可行，并且領(lǐng)域知識(shí)能夠認(rèn)識(shí)到它應(yīng)該有效，那實(shí)際上就確實(shí)有價(jià)值。制作第一個(gè)能運(yùn)作的GAN只花了大約1個(gè)小時(shí)，寫論文只花了2個(gè)星期。這絕對(duì)是一個(gè)“99％靈感，1％汗水”的故事。

言外之意就是“我做出來(lái)了，就這么一點(diǎn)工作量，你呢？”

Keras之父Fran?ois Chollet回復(fù)說(shuō)：這對(duì)學(xué)術(shù)界來(lái)說(shuō)是一個(gè)大問(wèn)題。通常需要數(shù)十人（如果不是數(shù)百人），花費(fèi)很多年心血才能正確地發(fā)展一個(gè)想法。然而，榮譽(yù)要?dú)w功于第一篇學(xué)術(shù)論文的第一作者（無(wú)論學(xué)術(shù)界之外的現(xiàn)有技術(shù)如何）。

事實(shí)上，如果我們翻開維基百科對(duì)GAN的定義，就會(huì)看到其實(shí)Wiki提到了Olli Niemitalod在2010年的博客。不僅如此，還列舉了從1990年到2017年，所有和GAN相似的概念。

比如92年Schmidhuber的可預(yù)測(cè)性最小化；2012Yan Zhou等將對(duì)抗原理應(yīng)用于SVM；2013年Li、Gauci和Gross采用了在競(jìng)爭(zhēng)環(huán)境中推斷模型提出“圖靈學(xué)習(xí)”；直到2014年，Ian Goodfellow向公眾介紹了GAN的概念，對(duì)今后的人工智能領(lǐng)域產(chǎn)生了巨大影響。

大神的成就總會(huì)被人記住。而即使一個(gè)默默無(wú)聞的人，也可能會(huì)在10年后被人提到進(jìn)行熱議。

Ian也好，Schmidhuber也好，科學(xué)家做出的成果的重要性和原創(chuàng)性，總會(huì)有人認(rèn)可、有人質(zhì)疑。但無(wú)論如何，大神們總有相似之處，那就是堅(jiān)持！

正如Ian所說(shuō)：我把整個(gè)GAN理念放在一起只需要大約30秒鐘。但這是建立在我花了4年時(shí)間攻讀相關(guān)領(lǐng)域的博士學(xué)位，加上在攻讀博士學(xué)位之前、用了2年作為業(yè)余愛(ài)好的基礎(chǔ)之上。

臺(tái)上30秒，臺(tái)下需6年！