人工智能（AI）研究組織OpenAI重磅推出了最新的語言模型DALL·E和圖像識別系統(tǒng)CLIP。

這兩個模型是OpenAI第三代語言生成器的一個分支。兩種神經(jīng)網(wǎng)絡(luò)都旨在生成能夠理解圖像和相關(guān)文本的模型。OpenAI希望這些升級后的語言模型能夠以接近人類解釋世界的方式來解讀圖像。

2020年5月，OpenAI發(fā)布了迄今為止全球規(guī)模最大的預(yù)訓(xùn)練語言模型GPT-3。GPT-3具有1750億參數(shù)，訓(xùn)練所用的數(shù)據(jù)量達(dá)到45TB。對于所有任務(wù)，應(yīng)用GPT-3無需進(jìn)行任何梯度更新或微調(diào)，僅需要與模型文本交互為其指定任務(wù)和展示少量演示即可使其完成任務(wù)。

GPT-3在許多自然語言處理數(shù)據(jù)集上均具有出色的性能，包括翻譯、問答和文本填空任務(wù)，還包括一些需要即時推理或領(lǐng)域適應(yīng)的任務(wù)等，已在很多實際任務(wù)上大幅接近人類水平。

新發(fā)布的語言模型DALL·E，是GPT-3的120億參數(shù)版本，可以按照自然語言文字描述直接生成對應(yīng)圖片！

這個新系統(tǒng)的名稱DALL·E，來源于藝術(shù)家薩爾瓦多·達(dá)利（Salvador Dali）和皮克斯的機器人英雄瓦力（WALL-E）的結(jié)合。新系統(tǒng)展示了“為一系列廣泛的概念”創(chuàng)造圖像的能力，可從文字標(biāo)題直接創(chuàng)建圖像以表達(dá)概念。通過從文本描述而不是標(biāo)簽數(shù)據(jù)生成圖像，可以為模型提供了更多有關(guān)含義的上下文。

開發(fā)人員將DALL·E稱為“轉(zhuǎn)換語言模型”（transformer language model），能夠?qū)⑽谋竞蛨D像作為單個數(shù)據(jù)流接收。這種訓(xùn)練程序使得DALL·E不僅可以從零開始生成圖像，而且還可以重新生成現(xiàn)有圖像的任何矩形區(qū)域……。以一種與文本提示一致的方式。

這種語言模型能夠反映人類語言的微妙之處，包括 “將不同的想法結(jié)合起來合成物體的能力”。例如，在DALL·E模型中輸入“牛油果形狀的扶手椅”，它就可以生成這樣的圖片：

DALL·E還擴展了被稱為“零樣本推理”（zero-shotreasoning）的GPT-3功能，這是一種強大的常識性機器學(xué)習(xí)形式。DALL·E將這一功能擴展到了視覺領(lǐng)域，并且在以正確的方式提示時能夠執(zhí)行多種圖像到圖像的翻譯任務(wù)。

圖像識別系統(tǒng)CLIP的通用性比當(dāng)前針對單個任務(wù)的系統(tǒng)更好，可以用網(wǎng)上公開的文字圖像配對數(shù)據(jù)集來訓(xùn)練。CLIP系統(tǒng)可用于對比語言-圖像預(yù)訓(xùn)練，通過從網(wǎng)絡(luò)圖像中收集的自然語言監(jiān)督學(xué)習(xí)視覺概念。OpenAI表示CLIP的工作方式是提供要識別的視覺類別的名稱。

當(dāng)將其應(yīng)用于圖像分類基準(zhǔn)時，可以指示模型執(zhí)行一系列基準(zhǔn)，而無需針對每個測試進(jìn)行優(yōu)化。OpenAI表示：“通過不直接針對基準(zhǔn)進(jìn)行優(yōu)化，我們證明它變得更具代表性?！?CLIP方法可將“穩(wěn)健性差距”縮小多達(dá)75％。

OpenAI 聯(lián)合創(chuàng)始人、首席科學(xué)家 Ilya Sutskever認(rèn)為，人工智能的長期目標(biāo)是構(gòu)建多模態(tài)神經(jīng)網(wǎng)絡(luò)，即AI能夠?qū)W習(xí)不同模態(tài)之間的概念（文本和視覺領(lǐng)域為主），從而更好地理解世界，而 DALL·E 和 CLIP 使我們更接近“多模態(tài) AI 系統(tǒng)”這一目標(biāo)。

未來，我們將擁有同時理解文本和圖像的模型。人工智能將能夠更好地理解語言，因為它可以看到單詞和句子的含義。
編輯：hfy