本文提出了一個(gè)統(tǒng)一的框架，其中包括文本到圖像生成模型和圖像到文本生成模型，該研究不僅為改進(jìn)圖像和文本理解提供了見(jiàn)解，而且為多模態(tài)模型的融合提供了一個(gè)有前途的方向。

多模態(tài)研究的一個(gè)重要目標(biāo)就是提高機(jī)器對(duì)于圖像和文本的理解能力。特別是針對(duì)如何在兩種模型之間實(shí)現(xiàn)有意義的交流，研究者們付出了巨大努力。舉例來(lái)說(shuō)，圖像描述（image captioning）生成應(yīng)當(dāng)能將圖像的語(yǔ)義內(nèi)容轉(zhuǎn)換輸出為可被人們理解的連貫文本。相反，文本 - 圖像生成模型也可利用文本描述的語(yǔ)義來(lái)創(chuàng)建逼真的圖像。

這就會(huì)帶來(lái)一些同語(yǔ)義相關(guān)的有趣問(wèn)題：對(duì)于給定的圖像，哪種文本描述最準(zhǔn)確地描述了圖像？同樣地，對(duì)于給定的文本，最有意義的圖像實(shí)現(xiàn)方式又是哪種？針對(duì)第一個(gè)問(wèn)題，一些研究宣稱(chēng)最佳的圖像描述應(yīng)該是既自然且還能還原視覺(jué)內(nèi)容的信息。而對(duì)于第二個(gè)問(wèn)題，有意義的圖像應(yīng)該是高質(zhì)量的、多樣性的且忠于文本內(nèi)容的。

不論怎樣，在人類(lèi)交流的推動(dòng)下，包含文本 - 圖像生成模型及圖像 - 文本生成模型的交互任務(wù)可以幫助我們選擇最準(zhǔn)確的圖像文本對(duì)。

如圖 1 所示，在第一個(gè)任務(wù)中，圖像 - 文本模型是信息發(fā)送者，文本 - 圖像模型是信息接收者。發(fā)送者的目標(biāo)是使用自然語(yǔ)言將圖像的內(nèi)容傳達(dá)給接收者，以便其理解該語(yǔ)言并重建真實(shí)的視覺(jué)表征。一旦接收者可以高保真地重建原始圖像信息，則表明信息已傳遞成功。研究者認(rèn)為這樣生成的文本描述即為最優(yōu)的，通過(guò)其產(chǎn)生的圖像也最近似于原始圖像。

這一規(guī)律受到人們使用語(yǔ)言進(jìn)行交流的啟發(fā)。試想如下情形：在一個(gè)緊急呼救的場(chǎng)景中，警察通過(guò)電話獲知車(chē)禍的情況和受傷人員的狀況。這本質(zhì)上涉及現(xiàn)場(chǎng)目擊者的圖像描述過(guò)程。警方需要根據(jù)語(yǔ)言描述在腦海中重建環(huán)境場(chǎng)景，以組織恰當(dāng)?shù)木仍袆?dòng)。顯然，最好的文本描述應(yīng)該是該場(chǎng)景重建的最佳指南。

第二個(gè)任務(wù)涉及文本重建：文本 - 圖像模型成為信息發(fā)送者，圖像 - 文本模型則成為信息接收者。一旦兩個(gè)模型就文本層面上信息內(nèi)容達(dá)成一致，那么用于傳達(dá)信息的圖像媒介即為重現(xiàn)源文本的最優(yōu)圖像。

本文中，來(lái)自慕尼黑大學(xué)、西門(mén)子公司等機(jī)構(gòu)的研究者提出的方法，同智能體間通信緊密相關(guān)。語(yǔ)言是智能體之間交換信息的主要方法。可我們?nèi)绾未_定第一個(gè)智能體與第二個(gè)智能體對(duì)什么是貓或什么是狗這樣的問(wèn)題有相同的理解呢？

論文地址：https://arxiv.org/abs/2212.12249

本文所想要探求的想法是讓第一個(gè)智能體分析圖像并生成描述該圖像的文本，而后第二個(gè)智能體獲取該文本并據(jù)此來(lái)模擬圖像。其中，后一個(gè)過(guò)程可以被認(rèn)為是一個(gè)具象化體現(xiàn)的過(guò)程。該研究認(rèn)為，如果第二個(gè)智能體模擬的圖像與第一個(gè)智能體接收到的輸入圖像相似（見(jiàn)圖 1），則通信成功。

在實(shí)驗(yàn)中，該研究使用現(xiàn)成的模型，特別是近期開(kāi)發(fā)的大規(guī)模預(yù)訓(xùn)練模型。例如，F(xiàn)lamingo 和 BLIP 是圖像描述模型，可以基于圖像自動(dòng)生成文本描述。同樣地，基于圖像 - 文本對(duì)所訓(xùn)練的圖像生成模型可以理解文本的深層語(yǔ)義并合成高質(zhì)量的圖像，例如 DALL-E 模型和潛在擴(kuò)散模型 (SD) 即為這種模型。

此外，該研究還利用 CLIP 模型來(lái)比較圖像或文本。CLIP 是一種視覺(jué)語(yǔ)言模型，可將圖像和文本對(duì)應(yīng)起來(lái)表現(xiàn)在共享的嵌入空間（embedding space）中。該研究使用手動(dòng)創(chuàng)建的圖像文本數(shù)據(jù)集，例如 COCO 和 NoCaps 來(lái)評(píng)估生成的文本的質(zhì)量。圖像和文本生成模型具有允許從分布中采樣的隨機(jī)分量，因而可以從一系列候選的文本和圖像中選擇最佳的。不同的采樣方法，包括核采樣，均可以被用于圖像描述模型，而本文采用核采樣作為基礎(chǔ)模型，以此來(lái)顯示本文所使用方法的優(yōu)越性。

方法概覽

本文框架由三個(gè)預(yù)訓(xùn)練的 SOTA 神經(jīng)網(wǎng)絡(luò)組成。第一，圖像 - 文本生成模型；第二，文本 - 圖像生成模型；第三，由圖像編碼器和文本編碼器組成的多模態(tài)表示模型，它可以將圖像或文本分別映射到其語(yǔ)義嵌入中。

通過(guò)文本描述的圖像重建

如圖 2 左半部分所示，圖像重建任務(wù)是使用語(yǔ)言作為指令重建源圖像，此過(guò)程的效果實(shí)現(xiàn)將促使描述源場(chǎng)景的最佳文本生成。首先，源圖像 x 被輸送到 BLIP 模型以生成多個(gè)候選文本 y_k。例如，一只小熊貓?jiān)跇?shù)林中吃樹(shù)葉。生成的文本候選集合用 C 表示，然后文本 y_k 被發(fā)送到 SD 模型以生成圖像 x’_k。這里 x’_k 是指基于小熊貓生成的圖像。隨后，使用 CLIP 圖像編碼器從源圖像和生成的圖像中提取語(yǔ)義特征:和。

然后計(jì)算這兩個(gè)嵌入向量之間的余弦相似度，目的是找到候選的文本描述 y_s, 即

其中 s 為最接近源圖像的圖像索引。

該研究使用 CIDEr（圖像描述度量指標(biāo)）并參照人類(lèi)注解來(lái)評(píng)估最佳文本。由于對(duì)生成的文本質(zhì)量感興趣，該研究將 BLIP 模型設(shè)定為輸出長(zhǎng)度大致相同的文本。這樣就能保證進(jìn)行相對(duì)公平的比較，因?yàn)槲淖值拈L(zhǎng)度與可傳遞圖像中信息量的多少呈正相關(guān)。在這項(xiàng)工作中，所有模型都會(huì)被凍結(jié)，不會(huì)進(jìn)行任何微調(diào)。

通過(guò)圖像實(shí)現(xiàn)文本重建

圖 2 中右側(cè)部分顯示了與上一節(jié)描述過(guò)程的相反過(guò)程。BLIP 模型需要在 SD 的引導(dǎo)下猜測(cè)源文本，SD 可以訪問(wèn)文本但只能以圖像的格式呈現(xiàn)其內(nèi)容。該過(guò)程始于使用 SD 為文本 y 生成候選圖像 x_k ，生成的候選圖像集用 K 來(lái)表示。使用 SD 生成圖像會(huì)涉及隨機(jī)采樣過(guò)程，其中每一次生成過(guò)程都可能會(huì)以在巨大的像素空間中得到不同的有效圖像樣本為終點(diǎn)。這種采樣多樣性會(huì)提供一個(gè)候選池來(lái)為篩選出最佳圖像。隨后，BLIP 模型為每個(gè)采樣圖像 x_k 生成一個(gè)文本描述 y’_k。這里 y’_k 指的是初始文本一只小熊貓?jiān)谏掷锱佬小Ｈ缓笤撗芯渴褂?CLIP 文本編碼器提取源文本和生成文本的特征，分別用和表示。此任務(wù)的目的是尋找匹配文本 y 語(yǔ)義的最佳候選圖像 x_s。為此，該研究需要比較生成文本和輸入文本之間的距離，然后選擇出配對(duì)文本距離最小的圖像，即

該研究認(rèn)為圖像 x_s 可以最好地描繪出文本描述 y，因?yàn)樗梢砸宰钚〉男畔p失將內(nèi)容傳遞給接收者。此外，該研究將與文本 y 相對(duì)應(yīng)的圖像視為 y 的參考表示（reference presentation），并將最佳圖像量化為它與參考圖像的接近程度。實(shí)驗(yàn)結(jié)果圖 3 中的左側(cè)圖表顯示了兩個(gè)數(shù)據(jù)集上圖像重建質(zhì)量和描述文本質(zhì)量之間的相關(guān)性。對(duì)于每個(gè)給定圖像，重建圖像質(zhì)量（在 x 軸中顯示）越好，文本描述質(zhì)量（在 y 軸中顯示的）也越好。 圖 3 的右側(cè)圖表揭示了恢復(fù)的文本質(zhì)量和生成的圖像質(zhì)量之間的關(guān)系：對(duì)于每個(gè)給定的文本，重建的文本描述（顯示在 x 軸上）越好，圖像質(zhì)量（顯示在 y 軸上）就越好。

圖 4（a）和（b）顯示了圖像重建質(zhì)量和基于源圖像的平均文本質(zhì)量之間的關(guān)系。圖 4（c）和（d）顯示了文本距離（text distance）與重建圖像質(zhì)量之間的相關(guān)性。

表 1 顯示出該研究的采樣方法在每個(gè)度量標(biāo)準(zhǔn)下都優(yōu)于核采樣，模型的相對(duì)增益可以高達(dá) 7.7%。

圖 5 顯示了兩個(gè)重建任務(wù)的定性示例。

審核編輯 ：李倩