擴(kuò)散模型正在不斷的「攻城略地」。

擴(kuò)散模型并不是一個嶄新的概念，早在2015年就已經(jīng)被提出。其核心應(yīng)用領(lǐng)域包括音頻建模、語音合成、時間序列預(yù)測、降噪等。

那么它在視頻領(lǐng)域表現(xiàn)如何？先前關(guān)于視頻生成的工作通常采用諸如GAN、VAE、基于流的模型。

在視頻生成領(lǐng)域，研究的一個重要里程碑是生成時間相干的高保真視頻。來自谷歌的研究者通過提出一個視頻生成擴(kuò)散模型來實現(xiàn)這一里程碑，顯示出非常有希望的初步結(jié)果。本文所提出的模型是標(biāo)準(zhǔn)圖像擴(kuò)散架構(gòu)的自然擴(kuò)展，它可以從圖像和視頻數(shù)據(jù)中進(jìn)行聯(lián)合訓(xùn)練，研究發(fā)現(xiàn)這可以減少小批量梯度的方差并加快優(yōu)化速度。

為了生成更長和更高分辨率的視頻，該研究引入了一種新的用于空間和時間視頻擴(kuò)展的條件采樣技術(shù)，該技術(shù)比以前提出的方法表現(xiàn)更好。

論文地址：https://arxiv.org/pdf/2204.03458.pdf

論文主頁：https://video-diffusion.github.io/

研究展示了文本條件視頻生成的結(jié)果和無條件視頻生成基準(zhǔn)的最新結(jié)果。例如生成五彩斑斕的煙花：

其他生成結(jié)果展示：

這項研究有哪些亮點呢？首先谷歌展示了使用擴(kuò)散模型生成視頻的首個結(jié)果，包括無條件和有條件設(shè)置。先前關(guān)于視頻生成的工作通常采用其他類型的生成模型，如 GAN、VAE、基于流的模型和自回歸模型。

其次該研究表明，可以通過高斯擴(kuò)散模型的標(biāo)準(zhǔn)公式來生成高質(zhì)量的視頻，除了直接的架構(gòu)更改以適應(yīng)深度學(xué)習(xí)加速器的內(nèi)存限制外，幾乎不需要其他修改。該研究訓(xùn)練生成固定數(shù)量的視頻幀塊的模型，并且為了生成比該幀數(shù)更長的視頻，他們還展示了如何重新調(diào)整訓(xùn)練模型的用途，使其充當(dāng)對幀進(jìn)行塊自回歸的模型。

方法介紹

圖像擴(kuò)散模型中的標(biāo)準(zhǔn)架構(gòu)是U-Net，它是一種被構(gòu)造為空間下采樣通道的神經(jīng)網(wǎng)絡(luò)架構(gòu)，空間上采樣通道緊隨其后，其中殘差連接到下采樣通道激活。這種神經(jīng)網(wǎng)絡(luò)由2D卷積殘差塊的層構(gòu)建而成，并且每個這種卷積塊的后面是空間注意力塊。

研究者建議將這一圖像擴(kuò)散模型架構(gòu)擴(kuò)展至視頻數(shù)據(jù)，給定了固定數(shù)量幀的塊，并且使用了在空間和時間上分解的特定類型的 3D U-Net。

首先，研究者通過將每個 2D卷積改成space-only 3D卷積對圖像模型架構(gòu)進(jìn)行修改，比如將每個3x3卷積改成了1x3x3卷積，即第一個軸（axis）索引視頻幀，第二和第三個索引空間高度和寬度。每個空間注意力塊中的注意力仍然為空間上的注意力，也即第一個軸被視為批處理軸（batch axis）。

其次，在每個空間注意力塊之后，研究者插入一個時間注意力塊，它在第一個軸上執(zhí)行注意力并將空間軸視為批處理軸。他們在每個時間注意力塊中使用相對位置嵌入，如此網(wǎng)絡(luò)不需要絕對視頻時間概念即可區(qū)分幀的順序。3D U-Net 的模型架構(gòu)可視圖如下所示。

我們都知道，得益于分解時空注意力的計算效率，在視頻transformers中使用它是一個很好的選擇。研究者使用的分解時空架構(gòu)是自身視頻生成設(shè)置獨有的，它的一大優(yōu)勢是可以直接 mask 模型以在獨立圖像而非視頻上運行，其中只需刪除每個時間注意力塊內(nèi)部的注意力操作并修復(fù)注意力矩陣以在每個視頻時間步精確匹配每個鍵和問詢向量。

這樣做的好處是允許聯(lián)合訓(xùn)練視頻和圖像生成的模型。研究者在實驗中發(fā)現(xiàn)，這種聯(lián)合訓(xùn)練對樣本質(zhì)量非常重要。

新穎的條件生成梯度方法

研究者的主要創(chuàng)新是設(shè)計了一種新的、用于無條件擴(kuò)散模型的條件生成方法，稱之為梯度方法，它修改了模型的采樣過程以使用基于梯度的優(yōu)化來改進(jìn)去噪數(shù)據(jù)上的條件損失。他們發(fā)現(xiàn)，梯度方法比現(xiàn)有方法更能確保生成樣本與條件信息的一致性。

研究者使用該梯度方法將自己的模型自回歸地擴(kuò)展至更多的時間步和更高的分辨率。

下圖左為利用梯度方法的視頻幀，圖右為利用自回歸擴(kuò)展基線替代（replacement）方法的幀?？梢钥吹剑褂锰荻确椒ú捎玫囊曨l比基線方法具有更好的時間相干性。

實驗結(jié)果

研究者對無條件、文本-條件視頻生成模型進(jìn)行了評估。文本-條件視頻生成是在一個包含 1000 萬個字幕視頻數(shù)據(jù)集上進(jìn)行訓(xùn)練，視頻空間分辨率為 64x64 ；對于無條件視頻生成，該研究在現(xiàn)有基準(zhǔn) [36] 上訓(xùn)練和評估模型。

無條件視頻建模該研究使用 Soomro 等人[36]提出的基準(zhǔn)對無條件視頻生成模型進(jìn)行評估。表 1 展示了該研究所提模型生成的視頻的感知質(zhì)量得分，并與文獻(xiàn)中的方法進(jìn)行了比較，發(fā)現(xiàn)本文方法大大提高了SOTA。

視頻、圖像模型聯(lián)合訓(xùn)練：表 2 報告了針對文本-條件的 16x64x64 視頻的實驗結(jié)果。

無分類器指導(dǎo)的效果：表3 表明無分類器指導(dǎo) [13] 在文本-視頻生成方面的有效性。正如預(yù)期的那樣，隨著指導(dǎo)權(quán)重的增加，類 Inception Score 的指標(biāo)有明顯的改進(jìn)，而類 FID 的指標(biāo)隨著引導(dǎo)權(quán)重的增加先改善然后下降。

表 3 報告的結(jié)果驗證了無分類器指導(dǎo) [13] 在文本-視頻生成方面的有效性。正如預(yù)期的那樣，隨著引導(dǎo)權(quán)重的增加，類 Inception Score （IS）的指標(biāo)有明顯的改進(jìn)，而類 FID 的指標(biāo)隨著引導(dǎo)權(quán)重的增加先改善然后下降。這一現(xiàn)象在文本-圖像生成方面也有類似的發(fā)現(xiàn)[23]。

圖 3 顯示了無分類器指導(dǎo) [13] 對文本-條件視頻模型的影響。與在文本條件圖像生成 [23] 和類條件圖像生成 [13, 11] 上使用無分類器指導(dǎo)的其他工作中觀察到的類似，添加指導(dǎo)提高了每個圖像的樣本保真度。

針對較長序列的自回歸視頻擴(kuò)展：3.1節(jié)提出了基于擴(kuò)散模型的條件采樣梯度法，這是對[35]中替換方法的改進(jìn)。表4展示了使用這兩種技術(shù)生成較長視頻的結(jié)果，由結(jié)果可得本文提出的方法在感知質(zhì)量分?jǐn)?shù)方面確實優(yōu)于替換方法。

審核編輯 ：李倩