點(diǎn)贊再看，養(yǎng)成習(xí)慣，微信公眾號搜索【JackCui-AI】關(guān)注這個(gè)愛發(fā)技術(shù)干貨的程序員。本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收錄，有一線大廠面試完整考點(diǎn)、資料以及我的系列文章。

1 前言

天空，是攝像中的一個(gè)關(guān)鍵元素。

游戲的天空，我們可以隨意調(diào)節(jié)，可以是晴空萬里，也可以是風(fēng)雨交加。

現(xiàn)實(shí)的天空，我們也可以使用算法進(jìn)行調(diào)整，算法效果逼真（效果如下）：

萬里星空、皓月千里、電閃雷鳴，各種天氣特效，算法一鍵生成。

甚至，可以生成電影特效中才有的，移動(dòng)城堡，天空之城。

這么好玩的 AI 算法，你想學(xué)嗎？

老規(guī)矩，今天，繼續(xù)手把手教學(xué)。

算法原理、環(huán)境搭建、效果實(shí)現(xiàn)，一條龍服務(wù)，盡在下文！

2 SkyAR

SkyAR 是一種用于視頻中天空置換與協(xié)調(diào)的視覺方法，該方法能夠在風(fēng)格可控的視頻中自動(dòng)生成逼真的天空背景。

該算法是一種完全基于視覺的解決方案，它的好處就是可以處理非靜態(tài)圖像，同時(shí)不受拍攝設(shè)備的限制，也不需要用戶交互，可以處理在線或離線視頻。

使用單卡 NVIDIA Titan XP GPU，SkyAR 處理 640 x 320 的視頻，可以達(dá)到 24 fps 的實(shí)時(shí)處理速度。

算法主要由三個(gè)核心組成：

• 天空摳圖網(wǎng)絡(luò)（Sky Matting Network）：就是一種 Matting 圖像分隔，用于檢測視頻幀中天空區(qū)域的視頻，可以精確地獲得天空蒙版。
• 運(yùn)動(dòng)估計(jì)（Motion Estimation）：恢復(fù)天空運(yùn)動(dòng)的運(yùn)動(dòng)估計(jì)器，使生成的天空與攝像機(jī)的運(yùn)動(dòng)同步。
• 圖像融合（Image Blending）：將用戶指定的天空模板混合到視頻幀中。除此之外，還用于重置和著色，使混合結(jié)果在其顏色和動(dòng)態(tài)范圍內(nèi)更具視覺逼真感。

完整框架如下圖：

天空摳圖網(wǎng)絡(luò)：用來檢測視頻幀中的天空區(qū)域。與以往將此過程定義為二元像素級分類（前景 vs 天空）問題的方法不同，該研究設(shè)計(jì)了一種基于深度學(xué)習(xí)的由粗到細(xì)的預(yù)測 pipeline，以產(chǎn)生更精確的檢測結(jié)果和更悅目的混合效果。

運(yùn)動(dòng)估計(jì)：用于恢復(fù)天空的移動(dòng)。虛擬攝像機(jī)捕獲的天空視頻需要在真實(shí)攝像機(jī)的運(yùn)動(dòng)下進(jìn)行渲染和同步。該研究假設(shè)天空以及天空中的物體（例如，太陽、云等）位于無窮遠(yuǎn)，并用 Affine 矩陣建模它們相對于前景的運(yùn)動(dòng)。

圖像融合：在預(yù)測天空蒙版時(shí)，輸出像素值越高，表示像素屬于天空背景的概率越高。在常規(guī)方法中，通常利用圖像遮罩方程，將新合成的視頻幀與背景進(jìn)行線性組合，以作為它們的像素級組合權(quán)重。

但由于前景色和背景色可能具有不同的色調(diào)和強(qiáng)度，因此直接進(jìn)行上述方法可能會(huì)導(dǎo)致不切實(shí)際的結(jié)果。因此，研究人員應(yīng)用重新著色和重新照明技術(shù)將顏色和強(qiáng)度從背景轉(zhuǎn)移到前景。

更詳細(xì)的內(nèi)容，可以直接看 paper：

https://arxiv.org/abs/2010.11800

3 效果測試

Github 項(xiàng)目地址：

https://github.com/jiupinjia/...

第一步，安裝依賴庫。

根據(jù) Requirements.txt 安裝依賴庫即可，很簡單。

第二步，下載訓(xùn)練好的模型權(quán)重文件。

下載地址（需翻墻）：

https://drive.google.com/file.../_7mym6DL9LXhHQlJmJaV0J/view

第三步，配置文件修改。

在 config 目錄下，有一些配置文件，可以根據(jù)自己的情況更改視頻和天空模版。

{

ckptdir 為權(quán)重文件的解壓后的目錄，datadir 為輸入視頻的目錄，skybox 為使用的天空模版。

生成效果保存到 output/_dir 目錄中。

修改好配置文件，使用指令直接運(yùn)行：

python skymagic.py --path ./config/config-canyon-galaxy.json

--path 指定使用的配置文件。

運(yùn)行效果：

處理速度很快，一會(huì)兒就處理完了。

更多效果展示：

我將程序進(jìn)行了打包，東西都已配置完成，可以直接使用。

下載地址（提取碼：jack）：

https://pan.baidu.com/s/1sjwS...

4 最后

硬核的 AI 算法有很多，關(guān)注我?guī)阃孓D(zhuǎn)各種好玩的算法，我是 Jack Cui，我們下期見！

作者：Jack Cui
原文：https://mp.weixin.qq.com/s/we...
關(guān)注作者公眾號，獲取更多有趣AI應(yīng)用~

系列篇

• 太強(qiáng)了！基于深度學(xué)習(xí)的文本自動(dòng)解密算法
• 程序員脫發(fā)秘籍，Hairstyle Transfer 你值得擁有！

更多AIoT領(lǐng)域有趣的算法應(yīng)用及產(chǎn)品請關(guān)注有趣的AIoT應(yīng)用專欄。

審核編輯：符乾江