本文總結(jié)了2018年下半年，最火的開源框架、模型，以及社區(qū)。同時(shí)還提到一個(gè)有趣的現(xiàn)象，每20分鐘就有一篇AI論文現(xiàn)世。最后作者為推薦3本經(jīng)典深度學(xué)習(xí)教程。

代筆們，槍手們，小心了！會改文風(fēng)的AI來了！

日前，在加拿大蒙特利爾舉辦的AI頂會NeurIPS 2018上，來自密歇根大學(xué)和谷歌大腦的研究人員提出了一種新的面向NLP任務(wù)的機(jī)器學(xué)習(xí)新架構(gòu)，不僅能夠根據(jù)給定的實(shí)例生成句子，而且能夠在保留句子意思的情況下，改變句子表達(dá)的感情、時(shí)態(tài)、復(fù)雜度等屬性。

論文鏈接：

https://papers.nips.cc/paper/7757-content-preserving-text-generation-with-attribute-controls.pdf

研究人員稱，這一技術(shù)有望可能用于多種用途，比如復(fù)述、小組會議、機(jī)器翻譯、對話系統(tǒng)等。該系統(tǒng)可以作為今年前不久微軟推出的NLP弱結(jié)構(gòu)關(guān)系推理工具的有力補(bǔ)充。

研究人員表示，“我們通過本文解決了對句子屬性的修改問題，在無需平行數(shù)據(jù)的情況下首次成功對句子的多個(gè)屬性進(jìn)行了修改?！?/p>

本文中介紹的AI系統(tǒng)可以改變句子的感情色彩，即褒貶義、正負(fù)面感情色彩的改變。數(shù)據(jù)集來自Yelp用戶點(diǎn)評內(nèi)容和IMDB影片評論

該團(tuán)隊(duì)首先解決感情控制問題。研究數(shù)據(jù)基于兩大用戶生成的文本數(shù)據(jù)集：點(diǎn)評應(yīng)用Yelp評論數(shù)據(jù)集的過濾版本，以及IMDB網(wǎng)站上的大量電影評論進(jìn)行，這兩個(gè)數(shù)據(jù)集的句子數(shù)量分別達(dá)到44.7萬和30萬，用于訓(xùn)練系統(tǒng)。

在訓(xùn)練之后，研究人員使用12.8萬條Yelp餐廳評論和3.6萬條IMDB電影評論的測試數(shù)據(jù)集，嘗試從具有負(fù)面情緒的句子中生成具有正面情緒的文本片段，反之亦然。

BLEU是評估機(jī)器翻譯文本質(zhì)量的標(biāo)準(zhǔn)化指標(biāo)，本文中提出的AI系統(tǒng)在BLEU評估中的表現(xiàn)勝過了兩種當(dāng)前效果最好的文本生成方法。

此外，這個(gè)系統(tǒng)始終能夠生成與輸入句子相關(guān)的、語法正確的句子。在某種程度上，參與亞馬遜Mechanical Turk項(xiàng)目的人認(rèn)為模型生成的輸出比以前的方法得到的輸出的真實(shí)度更高。

該模型生成的句子非常連貫自然。比如，它將“柜臺后面的人并不友好”轉(zhuǎn)換成了“柜臺上的人非常友好和樂于助人?！痹诹硪粋€(gè)例子中，該模型把“這是關(guān)于這部電影，還有一個(gè)有趣的方面”，變成了這部電影“沒有值得關(guān)注的質(zhì)量”。

令人更加印象深刻的是，另一項(xiàng)測試中的研究人員使用該系統(tǒng)同時(shí)控制句子的多種屬性，包括情緒，時(shí)態(tài)，聲音和情緒等。在對多倫多BookCorpus數(shù)據(jù)集的200萬個(gè)文本片段的數(shù)據(jù)集進(jìn)行訓(xùn)練之后，模型能夠?qū)頃r(shí)句子中的指示性情緒（“John將無法住在營地里”），轉(zhuǎn)換為條件時(shí)態(tài)中的虛擬語氣（“John不能住在營地“）。

如上圖所示，系統(tǒng)可以同時(shí)修改輸入句子的多個(gè)屬性，如感情、時(shí)態(tài)、主動(dòng)/被動(dòng)式以及肯定/否定等

研究人員表示，“本文表明，我們的轉(zhuǎn)換模型通過各種實(shí)驗(yàn)和指標(biāo)有效地反映了條件信息。以前的成果主要是關(guān)于句子單個(gè)屬性的控制，并在兩種模式之間進(jìn)行轉(zhuǎn)換，本文中的模型應(yīng)用很容易擴(kuò)展到多屬性的轉(zhuǎn)換場景。在這個(gè)框架下，未來方向是轉(zhuǎn)換句子紅具有連續(xù)值的屬性，以及范圍更大的語義和句法屬性?！?/p>

量度標(biāo)準(zhǔn)與實(shí)驗(yàn)結(jié)果

表1：情感條件句子生成的定量評估。 屬性兼容性表示生成的句子的標(biāo)簽的準(zhǔn)確性，由預(yù)訓(xùn)練后的分類器來量度。句子內(nèi)容的保留程度由（BLEU-1（B-1）和BLEU-4（B-4）分?jǐn)?shù)）評估。 根據(jù)預(yù)訓(xùn)練的分類器量度生成“困惑度”指標(biāo)，來評估輸出句子的流暢度。 對于準(zhǔn)確性和內(nèi)容兼容性指標(biāo)，數(shù)值越高更好，對于困惑度，數(shù)字越低越好。

表2：對于模型生成的句子的人類評估結(jié)果。 表中數(shù)字分?jǐn)?shù)表示由真人判斷為具有適當(dāng)屬性標(biāo)簽和內(nèi)容的句子占輸出的百分比。流利度評分采用5分制

表3：將古英語翻譯成現(xiàn)代英語的示例。表中seq2seq模型受并行數(shù)據(jù)監(jiān)控。研究人員在無監(jiān)督（無并行數(shù)據(jù)）和半監(jiān)督（成對和不成對數(shù)據(jù)）條件下對模型進(jìn)行測試