新的研究正在通過一個文本引導(dǎo)的圖像編輯工具來提升生成式 AI 的創(chuàng)造性潛能。這項創(chuàng)新性的研究提出了一個使用即插即用擴(kuò)散特征（PnP DFs）的框架，可引導(dǎo)實現(xiàn)逼真而精確的圖像生成。通過這項研究，視覺內(nèi)容創(chuàng)作者只需一張?zhí)崾緢D片和幾個描述性詞語，就能將圖像轉(zhuǎn)化為視覺內(nèi)容。

可靠輕松編輯并生成內(nèi)容的能力有助于藝術(shù)家、設(shè)計師和創(chuàng)作者不斷擴(kuò)展創(chuàng)意的可能性。這也將為那些依賴動畫、視覺設(shè)計和圖像編輯的行業(yè)賦能。

這項研究的首席作者、魏茲曼科學(xué)研究院博士研究生 Narek Tumanyan 表示：“最新的文本到圖像生成模型標(biāo)志著數(shù)字內(nèi)容創(chuàng)作進(jìn)入了一個新時代。然而，將它們應(yīng)用于現(xiàn)實世界的主要挑戰(zhàn)在于缺乏用戶可控性，這在很大程度上局限于‘僅通過輸入文本來引導(dǎo)圖像生成’。我們的工作是最早為用戶提供圖像布局控制權(quán)的方法之一?！?/p>

生成式 AI 的最新突破為開發(fā)強(qiáng)大的文本到圖像模型提供了新方法。然而，復(fù)雜性、模糊性以及對定制內(nèi)容的需求限制了當(dāng)前渲染技術(shù)的發(fā)展。

這項研究引入了一種新方法，使用 PnP DFs 來改進(jìn)圖像編輯和生成過程，使創(chuàng)作者對最終產(chǎn)物有更大的控制權(quán)。

研究人員從一個簡單的問題入手：擴(kuò)散模型如何表現(xiàn)并捕捉圖像的形狀或輪廓？研究探索了圖像在生成過程中不斷演變的內(nèi)部表征，并研究了這些表征如何對形狀和語義信息進(jìn)行編碼。

這種新方法通過理解如何在預(yù)訓(xùn)練的文本到圖像模型中編碼空間信息來控制生成的圖像布局，而無需訓(xùn)練新的擴(kuò)散模型或?qū)ζ溥M(jìn)行微調(diào)。在生成過程中，模型從引導(dǎo)圖像中提取擴(kuò)散特征，并將其注入到整個過程中的每一個步驟，從而對新圖像的結(jié)構(gòu)進(jìn)行精細(xì)控制。

通過融合這些空間特征，擴(kuò)散模型可以完善新圖像，使其與引導(dǎo)結(jié)構(gòu)相匹配。它會反復(fù)進(jìn)行此過程，更新圖像特征，直到生成一張既保留引導(dǎo)圖像布局、又與文本提示相匹配的最終圖像。

作者寫道：“這就產(chǎn)生了一種簡單而有效的方法，即從引導(dǎo)圖像中提取的特征直接注入到轉(zhuǎn)化圖像的生成過程中，無需進(jìn)行訓(xùn)練或微調(diào)。”

這種方法為更先進(jìn)的可控生成和操作方法鋪平了道路。

視頻. 在 2023 年國際計算機(jī)視覺與模式識別會議（CVPR）上展示的“文本驅(qū)動的圖像到圖像翻譯的即插即用擴(kuò)散特征”研究概述

研究人員使用 cuDNN 加速的 PyTorch 框架在單個 NVIDIA A100 GPU 上開發(fā)并測試了這個 PNP 模型。該團(tuán)隊表示，GPU 的大容量使他們能夠?qū)Ｗ⒂陂_發(fā)方法。作為 NVIDIA 應(yīng)用研究加速器計劃的參與者，這些研究人員獲得了一塊 A100 GPU。

該框架部署在 A100 上，能夠在大約 50 秒內(nèi)從引導(dǎo)圖像和文本轉(zhuǎn)換為一個新圖像。

該過程不僅有高效，而且可靠，能準(zhǔn)確地生成令人驚嘆的圖像。除圖像外，它還適用于轉(zhuǎn)化草圖、繪圖和動畫，并能修改照明、色彩和背景。

圖 1.該方法的示例結(jié)果，保留了引導(dǎo)折紙圖像的結(jié)構(gòu)，同時與目標(biāo)提示的描述相匹配（來源：Tumanyan, Narek 等人/CVPR 2023）

他們的方法還優(yōu)于現(xiàn)有的文本到圖像模型，在保留引導(dǎo)布局和偏離其外觀之間實現(xiàn)了卓越的平衡。

圖 2.示例結(jié)果，將該模型與 P2P、DiffuseIT、SDedit 和 VQ+CLIP 模型進(jìn)行三種不同噪聲水平的比較（來源：Tumanyan, Narek 等人/CVPR 2023）

然而，該模型確實存在一些局限性。當(dāng)編輯任意顏色的圖像區(qū)域時，它的表現(xiàn)并不理想，因為該模型無法從輸入圖像中提取語義信息。

目前，研究人員正在致力于將這種方法擴(kuò)展到文本引導(dǎo)的視頻編輯中。同時，該研究還證明對于其他利用擴(kuò)散模型分析圖像內(nèi)部表征的研究也具有重要價值。

例如，有一項研究正在利用該團(tuán)隊的研究成果來改進(jìn)計算機(jī)視覺任務(wù)，例如語義點對應(yīng)。另一項研究則專注于擴(kuò)展文本到圖像生成的控制，包括物體的形狀、位置和外觀。

這項研究已在 GitHub 上開源。