谷歌在不久前的I/O大會(huì)上推出了輔助人們高效撰寫(xiě)郵件的智能寫(xiě)作助手。在深度神經(jīng)網(wǎng)絡(luò)的幫助下，它可以根據(jù)用戶(hù)很少的輸入信息就推斷出接下來(lái)想要寫(xiě)入文本，就如知心好友一般默契無(wú)間了！我們先來(lái)感受一下在它的幫助下寫(xiě)郵件多么暢快：

智能寫(xiě)作是基于一年前谷歌發(fā)布的智能回復(fù)功能進(jìn)一步研發(fā)而成的。先前的智能回復(fù)功能通過(guò)分析郵件內(nèi)容來(lái)幫助用戶(hù)快速撰寫(xiě)回復(fù)郵件使用戶(hù)在移動(dòng)端處理郵件的效率有了大幅的提升。

它基于人類(lèi)語(yǔ)言中的層級(jí)結(jié)構(gòu)，從字母到單詞、從短語(yǔ)到句子、從段落到章節(jié)和整篇完整表達(dá)的內(nèi)容。研究人員們訓(xùn)練出了了一系列層級(jí)模塊用于學(xué)習(xí)、記憶和識(shí)別一種特定的模式。在足夠多樣本的訓(xùn)練下層級(jí)模型取得了比LSTM更好的效果，并具有了一定的語(yǔ)音表達(dá)能力。下圖中藍(lán)色字體就是模型分析郵件后為用戶(hù)生成出備選的恢復(fù)內(nèi)容。

但從智能回復(fù)到智能寫(xiě)作助手的研發(fā)過(guò)程中，除了迅速響應(yīng)大規(guī)模用戶(hù)的需求、還需要兼顧公平和用戶(hù)的隱私。

首先在用戶(hù)撰寫(xiě)郵件時(shí)，為了不使用戶(hù)感受到明顯的延遲，其響應(yīng)需要在100ms以?xún)?nèi)，這要求在模型的效率和復(fù)雜度上做有效的權(quán)衡；目前Gmail擁有14億以上的用戶(hù)，所以模型需要有足夠的容量滿(mǎn)足各種不同用戶(hù)的個(gè)性化需求；除了速度和規(guī)模外，還需要防止這一功能由于訓(xùn)練數(shù)據(jù)產(chǎn)生偏見(jiàn)，并且也要符合嚴(yán)格的隱私規(guī)定，防止用戶(hù)的隱私信息泄露。由于研究人員不可以進(jìn)入email中，所以所有的機(jī)器學(xué)習(xí)系統(tǒng)都是運(yùn)行在他們不可讀的數(shù)據(jù)集上的。

尋找合適的模型

典型的語(yǔ)言生成模型包括N-Gram、神經(jīng)詞袋和循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，它們通過(guò)先前詞匯預(yù)測(cè)后續(xù)詞匯或者句子。然而在郵件中，模型只有當(dāng)前郵件對(duì)話(huà)這一單一的信號(hào)來(lái)預(yù)測(cè)后續(xù)的詞匯。為了更好的理解用戶(hù)想要表達(dá)的內(nèi)容，模型同時(shí)還會(huì)分析郵件標(biāo)題和之前郵件的內(nèi)容。

這種需要疊加上下文的文本分析會(huì)帶來(lái)一個(gè)seq2seq機(jī)器翻譯同樣的問(wèn)題，其中源序列是主題和先前郵件內(nèi)容的組合、目標(biāo)序列則是目前用戶(hù)正在撰寫(xiě)的郵件。它雖然在但是卻無(wú)法滿(mǎn)足嚴(yán)格的時(shí)間要求。為了改進(jìn)這一點(diǎn)，研究人員們將詞袋模型和循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型結(jié)合起來(lái)，實(shí)現(xiàn)了比seq2seq更快的的速度，但只在預(yù)測(cè)質(zhì)量上做出了輕微的犧牲。

如上圖所示，在這一混合模型中標(biāo)題和先前的郵件先用詞向量平均處理，而后將他們輸入到接下來(lái)的循環(huán)神經(jīng)網(wǎng)絡(luò)中去解碼。

加速模型訓(xùn)練和服務(wù)

為了加速模型的訓(xùn)練和調(diào)參，研究人員們使用了自家的大殺器TPU,只需要不到一年就能在幾十億的樣本上實(shí)現(xiàn)收斂。

雖然訓(xùn)練速度提高了，但在實(shí)際使用時(shí)候的速度才是用戶(hù)最為關(guān)心的指標(biāo)。通過(guò)將CPU的計(jì)算請(qǐng)求分配到TPU上得到了迅速的推理結(jié)果，同時(shí)由于CPU的算力得到了釋放，使得單機(jī)可以提供服務(wù)的用戶(hù)數(shù)量大幅增加。

公平性和隱私

對(duì)于機(jī)器學(xué)習(xí)來(lái)說(shuō)，公平性和隱私是至關(guān)重要的問(wèn)題。語(yǔ)言模型可以折射出人類(lèi)的認(rèn)知偏見(jiàn)，這樣會(huì)生成一系列不希望的句子補(bǔ)全。這些偏見(jiàn)和聯(lián)系主要來(lái)自于語(yǔ)言數(shù)據(jù)，這對(duì)于構(gòu)建一個(gè)無(wú)偏模式是巨大的挑戰(zhàn)。于是研究人員們通過(guò)各種方式不斷減弱訓(xùn)練過(guò)程中潛在的偏見(jiàn)。同時(shí)智能寫(xiě)作助手是構(gòu)建于數(shù)十一個(gè)樣本上的訓(xùn)練結(jié)果，只有同時(shí)被多個(gè)用戶(hù)確認(rèn)的通用結(jié)果才會(huì)被模型記住。

語(yǔ)言模型中一種常見(jiàn)的性別偏見(jiàn)

在未來(lái)這一模型會(huì)被持續(xù)改進(jìn)，并嘗試著加入一些先進(jìn)的模型架構(gòu)（例如transformer和RNMT+等）和先進(jìn)的訓(xùn)練技術(shù)，同時(shí)在生產(chǎn)中部署更多的先進(jìn)模型來(lái)滿(mǎn)足實(shí)時(shí)性和要求。個(gè)人語(yǔ)言模型會(huì)在隨后加入以更精確的滿(mǎn)足個(gè)人的寫(xiě)作風(fēng)格和表達(dá)習(xí)慣。