別急，先來看一幅畫。

這是獲得2018年國際機(jī)器人藝術(shù)大賽（RobotArt）的第一名的“藝術(shù)家”CloudPainter帶來的作品，使用機(jī)器學(xué)習(xí)來重新詮釋塞尚的印象派畫作。

很多人認(rèn)為藝術(shù)創(chuàng)造力是人類獨(dú)有的天賦，而近年來AI也能創(chuàng)作出如上圖一樣的畫作，似乎在向人們證明，算法在繪畫、素描和雕刻方面的表現(xiàn)并不算差，甚至具有人性化的精確度。

最近發(fā)表的一篇論文更證實了這一點。來自美國馬里蘭大學(xué)和Adobe Research的研究員們開發(fā)出一個新穎的機(jī)器學(xué)習(xí)系統(tǒng)——LPaintB，能夠在一分鐘之內(nèi)將手繪圖在達(dá)芬奇、梵高和弗美爾之間進(jìn)行迅速的轉(zhuǎn)換。

隨著非真實感渲染技術(shù)的發(fā)展，包括基于筆畫和繪畫渲染，特殊設(shè)計或手工設(shè)計的方法可以通過應(yīng)用啟發(fā)式來越來越真實地模擬繪畫過程。這些算法雖然可以產(chǎn)生令人信服的結(jié)果，但很難將它們擴(kuò)展到其他的樣式。為了解決這個問題，研究員專注于構(gòu)建一個畫畫小能手，可以通過模仿參考圖象來訓(xùn)練繪畫技能，用相同的或轉(zhuǎn)換的樣式再現(xiàn)參考圖像。

研究人員結(jié)合了自我監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，其中未標(biāo)記的數(shù)據(jù)與少量標(biāo)記數(shù)據(jù)結(jié)合使用以提高學(xué)習(xí)準(zhǔn)確性，從而在有限的參考圖像的基礎(chǔ)上從頭開始訓(xùn)練智能體。通過建模系統(tǒng)的動作狀態(tài)（即畫筆配置，如長度、方向和畫筆大?。?，并通過將錯誤的目標(biāo)狀態(tài)替換為最終狀態(tài)，生成了一個帶有正向獎勵的配對語料庫，并將其提供給AI 模型使它學(xué)會了以目標(biāo)的藝術(shù)風(fēng)格繪制參考圖像。

第一行是原始圖片，第二行是AI改變風(fēng)格的圖片

結(jié)果看起來不錯但過程并不是一帆風(fēng)順。研究人員指出，通常情況下，系統(tǒng)采樣的行動中只有一小部分能夠獲得正面獎勵。他們使用強(qiáng)化學(xué)習(xí)試圖解決這一問題，該技術(shù)使用目標(biāo)狀態(tài)作為配對數(shù)據(jù)來訓(xùn)練策略。但是正因為用于訓(xùn)練它的配對數(shù)據(jù)只包含正面獎勵的行動和一系列連續(xù)動作的狀態(tài)，結(jié)果生成的策略并不是特別強(qiáng)大，這使得難以從不良行為中恢復(fù)負(fù)面獎勵。

解決這一問題需要再次進(jìn)行強(qiáng)化學(xué)習(xí)：在參數(shù)空間增加噪聲，這種參數(shù)空間中的動作有助于提高模型舉一反三的能力，并通過獎勵優(yōu)化模型的行動。

最終的AI框架，可以使用描述筆劃大小，顏色和位置信息的參數(shù)執(zhí)行繪制操作，并對畫布做出相應(yīng)的更新，使用獎勵函數(shù)評估當(dāng)前狀態(tài)和目標(biāo)狀態(tài)之間的差距。為了編譯訓(xùn)練數(shù)據(jù)集，研究人員以不同比例的特定樣式從參考圖像中隨機(jī)抽取補(bǔ)丁，并抽樣出固定數(shù)量的補(bǔ)丁。

他們將這些補(bǔ)丁輸入至模型中，經(jīng)過一個小時的培訓(xùn)后，系統(tǒng)能夠在不到一分鐘的時間內(nèi)，在配備16核處理器和Nvidia GTX 1080圖形芯片的PC上重現(xiàn)1000 x 800和800 x 800圖像。

除了在畫作大師之間進(jìn)行風(fēng)格轉(zhuǎn)換，該算法還能讓普通照片擁有油畫般質(zhì)感

研究人員指出，訓(xùn)練模型的泛化能力高度依賴于訓(xùn)練數(shù)據(jù)，他們的方法基于一個非常基本的繪畫環(huán)境，但自我監(jiān)督和強(qiáng)化學(xué)習(xí)的結(jié)合極大地提高了策略的效率和表現(xiàn)。接下來團(tuán)隊將會在筆刷參數(shù)上做出更細(xì)致的規(guī)劃，如筆刷大小、顏色和位置；并致力于構(gòu)建基于模型的強(qiáng)化學(xué)習(xí)框架，使模型可以構(gòu)建到繪圖模擬器中。