如何基本不用GAN把照片生成簡筆畫？這個(gè)項(xiàng)目就做到了。

先前，機(jī)器之心報(bào)道過簡筆畫生成人臉。而 AI 從人臉生成簡筆畫的效果如何呢？ 先看幾張效果圖！

《老友記》多人照片轉(zhuǎn)換效果：

還有男神基努 · 里維斯

效果是不是出奇的好？更有意思的是，這種創(chuàng)作線稿的方法并沒有使用大多數(shù)類似工具會(huì)用到的生成對抗網(wǎng)絡(luò) GAN。 目前，該項(xiàng)目在 Reddit 上已經(jīng)有超高熱度，項(xiàng)目名為 ArtLine，github star 量也已經(jīng)超過 700。如果你想嘗試一下自己的照片，項(xiàng)目作者 Vijish Madhavan 也把代碼放在了 Google Colab 上，運(yùn)行即可。

項(xiàng)目鏈接：

https://github.com/vijishmadhavan/ArtLine

Colab 地址：https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb

技術(shù)細(xì)節(jié) 效果驚艷的 ArtLine 都用到了什么技術(shù)呢？這里有詳細(xì)的技術(shù)細(xì)節(jié)介紹，包括自注意機(jī)制、逐步調(diào)整圖片大小以及生成器損失函數(shù)。 自注意機(jī)制借鑒的相關(guān)研究是 Ian Goodfellow 等人的論文《Self-Attention Generative Adversarial Networks 》。

論文：https://arxiv.org/pdf/1805.08318.pdf 項(xiàng)目作者介紹，生成器是經(jīng)過頻譜歸一化和自注意機(jī)制預(yù)訓(xùn)練的 UNET，也借鑒了 Jason Antic 的 DeOldify 項(xiàng)目，從而獲得有關(guān)面部特征的適當(dāng)細(xì)節(jié)。 DeOldify 項(xiàng)目地址：https://github.com/jantic/DeOldify 看到這里，也許有讀者會(huì)質(zhì)疑，不是說沒有用到 GAN 嗎？項(xiàng)目作者給出的解釋是，GAN did not make much of a difference so I was happy with No GAN. 在逐步增加圖片大小上，作者分別借鑒了英偉達(dá)與首爾國立大學(xué)的兩項(xiàng)相關(guān)研究：

論文：https://arxiv.org/pdf/1710.10196.pdf

論文：https://arxiv.org/pdf/1707.02921.pdf

在這個(gè)項(xiàng)目中，圖像尺寸逐漸增加，學(xué)習(xí)率也得到了調(diào)整。逐步調(diào)整圖片大小，可以幫助模型更好地泛化，因?yàn)樗梢钥吹礁嗖煌膱D像。 該項(xiàng)目使用到的最后一項(xiàng)技術(shù)源于 2016 年斯坦福大學(xué)李飛飛團(tuán)隊(duì)的研究論文《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》。

論文鏈接：https://arxiv.org/pdf/1603.08155.pdf 這項(xiàng)研究提出利用感知損失函數(shù)來訓(xùn)練圖像轉(zhuǎn)換中的前饋網(wǎng)絡(luò)，結(jié)果表明，在風(fēng)格遷移任務(wù)中，該研究得到了與其他方法類似的效果，但運(yùn)行速度提升了數(shù)個(gè)數(shù)量級(jí)。 轉(zhuǎn)換效果雖好，但項(xiàng)目作者表示，該項(xiàng)目依然存在著以下一些局限：

獲得良好的輸出效果取決于燈光、背景、陰影和照片質(zhì)量。一開始通常會(huì)獲得好的輸出效果，但也可能出現(xiàn)問題。模型需要調(diào)整以適應(yīng)所有用戶；

模型會(huì)混淆陰影與頭發(fā)，這也是項(xiàng)目作者正努力解決的問題；

500px 以下的低質(zhì)量圖片輸出效果不佳；

由于項(xiàng)目作者并非碼農(nóng)，代碼和實(shí)現(xiàn)會(huì)比較困難，未來更新版本將會(huì)改進(jìn)。

關(guān)于 ArtLine 轉(zhuǎn)換中未用到 GAN，網(wǎng)友表達(dá)了驚嘆贊許之詞！

責(zé)任編輯：lq