在人工智能和計(jì)算機(jī)視覺中，數(shù)據(jù)采集成本高、耗時長，并且基于人的標(biāo)記容易出錯。模型的準(zhǔn)確性還受到數(shù)據(jù)不足和不平衡以及改進(jìn)深度學(xué)習(xí)模型所需的時間延長的影響。它總是要求在現(xiàn)實(shí)世界中重新獲取數(shù)據(jù)。

基于人工智能培訓(xùn)的數(shù)據(jù)收集、準(zhǔn)備和準(zhǔn)確可靠的軟件解決方案的開發(fā)是一個極其艱苦的過程。所需的投資成本抵消了部署該系統(tǒng)的預(yù)期收益。

用合成數(shù)據(jù)代替真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練是縮小數(shù)據(jù)差距、加速模型訓(xùn)練的一種方法 天空發(fā)動機(jī) 提供了一個 AI 平臺，將深度學(xué)習(xí)轉(zhuǎn)移到虛擬現(xiàn)實(shí)中?？梢允褂?a href="http://www.socialnewsupdate.com/analog/" target="_blank">模擬生成合成數(shù)據(jù)，其中合成圖像帶有可直接用于訓(xùn)練 AI 模型的注釋。

合成數(shù)據(jù)現(xiàn)在可以直接導(dǎo)出到 NVIDIA 遷移學(xué)習(xí)工具包 （ TLT ）上運(yùn)行， TLT 是一個人工智能訓(xùn)練工具箱，通過抽象出人工智能/ DL 框架的復(fù)雜性來簡化訓(xùn)練。這使您能夠更快地構(gòu)建生產(chǎn)質(zhì)量模型，而不需要任何人工智能專業(yè)知識。有了 SKY ENGINE AI 平臺和 TLT ，您可以快速迭代和構(gòu)建 AI 。

在這篇文章中，您將學(xué)習(xí)如何通過獲取預(yù)先說明的合成數(shù)據(jù)并在 TLT 上對其進(jìn)行訓(xùn)練來利用合成數(shù)據(jù)的威力。我演示了一個簡單的檢查用例，使用分段來識別電信塔上的天線。

關(guān)于天空引擎人工智能方法

SKY ENGINE 推出了一個用于虛擬現(xiàn)實(shí)深度學(xué)習(xí)的全棧 AI 平臺，這是下一代用于圖像和視頻分析應(yīng)用的主動學(xué)習(xí) AI 系統(tǒng)。 SKY ENGINE 人工智能平臺可以使用一個專有的、專用的模擬系統(tǒng)生成數(shù)據(jù)，在這個系統(tǒng)中，圖像已經(jīng)經(jīng)過注釋，可以進(jìn)行深入學(xué)習(xí)。

輸出數(shù)據(jù)流可以包括以下任一項(xiàng)：

所選模式中的渲染圖像或其他模擬傳感器數(shù)據(jù)

對象邊界框

三維邊界框

語義遮罩

二維或三維骨架

深度貼圖

法向量映射

天空引擎人工智能還包括先進(jìn)的領(lǐng)域適應(yīng)算法，可以了解真實(shí)數(shù)據(jù)的特點(diǎn)的例子。它們保證了推理過程中任何經(jīng)過訓(xùn)練的人工智能模型的高質(zhì)量性能。

圖 1 天空引擎 AI 平臺用戶界面預(yù)覽。

天空引擎模擬系統(tǒng)支持物理驅(qū)動的傳感器模擬（相機(jī)、熱視覺、紅外、激光雷達(dá)、雷達(dá)等） 傳感器數(shù)據(jù)融合。它與深度學(xué)習(xí)管道緊密結(jié)合，以確保進(jìn)化。在訓(xùn)練過程中，天空引擎人工智能可以發(fā)現(xiàn)模糊的情況，從而降低人工智能模型的準(zhǔn)確性。它可以獲得更多的圖像數(shù)據(jù)來反映那些深層次學(xué)習(xí)精度可以瞬間提高的問題情境。天空引擎 AI 通過每一個執(zhí)行的實(shí)驗(yàn)學(xué)到了更多。

天空引擎 AI 提供了一個完全實(shí)現(xiàn)、測試和優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)花園。提供的模型專用于流行的計(jì)算機(jī)視覺任務(wù)，如目標(biāo)檢測和語義分割。它們還可以作為更復(fù)雜的拓?fù)浣Y(jié)構(gòu)，用于三維位置和姿態(tài)估計(jì)、三維幾何推理或表示學(xué)習(xí)。

天空引擎人工智能還包括先進(jìn)的領(lǐng)域適應(yīng)算法，可以了解實(shí)際數(shù)據(jù)的特點(diǎn)，并確保訓(xùn)練模型推理的性能。天空引擎 AI 不需要復(fù)雜的渲染和成像知識，因此入門門檻非常低。它有一個 Python API ，包括大量的幫助程序來快速構(gòu)建和配置環(huán)境。

神經(jīng)網(wǎng)絡(luò)優(yōu)化

SKY ENGINE AI 平臺可以生成數(shù)據(jù)集，并支持深度學(xué)習(xí)模型的培訓(xùn)，該模型可以使用來自任何來源的輸入數(shù)據(jù)。在 NVIDIA TLT 和 AI 驅(qū)動推理中訓(xùn)練 AI 模型的輸入流可以有效地包括使用智能手機(jī)獲得的低質(zhì)量圖像、來自 CCTV 攝像機(jī)或安裝在無人機(jī)上的攝像機(jī)的數(shù)據(jù)。

您可以在云上部署用于電信網(wǎng)絡(luò)性能優(yōu)化的分析模塊，包括數(shù)據(jù)存儲和多 GPU 擴(kuò)展。在這個領(lǐng)域，大多數(shù)由機(jī)器學(xué)習(xí)驅(qū)動的軟件項(xiàng)目都無法達(dá)到解決方案部署的最后階段。這可能是因?yàn)闄C(jī)器學(xué)習(xí)能力高度依賴于輸入數(shù)據(jù)的質(zhì)量。 SKY ENGINE 提供的人工智能模型的開發(fā)以及對合成數(shù)據(jù)的深入培訓(xùn)，是一個具有可預(yù)測的項(xiàng)目開發(fā)和在多個工業(yè)業(yè)務(wù)流程中保證部署的解決方案。

電信設(shè)備檢測與分類

計(jì)算機(jī)視覺的一個常見任務(wù)是對感興趣的設(shè)備進(jìn)行定位和分類。在這篇文章中，我提出了一個基于 MaskRCNN 的 NVIDIA TLT 環(huán)境的神經(jīng)網(wǎng)絡(luò)優(yōu)化過程，用于電信塔天線實(shí)例的包圍盒定位。你使用來自天空引擎 AI 的合成數(shù)據(jù)來訓(xùn)練 MaskRCNN 模型。高層工作流程如下：

生成帶注釋的合成數(shù)據(jù)。

根據(jù) NVIDIA TLT-MaskRCNN 模型的要求將數(shù)據(jù)格式轉(zhuǎn)換為 COCO 。

配置 NGC 環(huán)境和數(shù)據(jù)預(yù)處理。

在合成數(shù)據(jù)上訓(xùn)練和評估 MaskRCNN 模型。

使用訓(xùn)練好的人工智能模型對合成和真實(shí)的電信塔進(jìn)行推理。

給出了電信塔的真實(shí)示例，我使用 SE 呈現(xiàn)引擎創(chuàng)建了一個帶注釋的合成數(shù)據(jù)集。

要使用 SKY ENGINE AI 啟動標(biāo)記數(shù)據(jù)的自動生成并準(zhǔn)備數(shù)據(jù)源對象，必須定義基本工具（如空渲染器上下文）以及合成場景資源所在的路徑。

在這個渲染場景中，我隨機(jī)化了以下內(nèi)容：

給定電信塔上天線的數(shù)目

光的方向

攝像機(jī)的位置

攝像機(jī)的水平視野

背景圖

在許多項(xiàng)目中， SKY 引擎返回的樣本洗牌不夠。一個例子是渲染過程遵循攝影機(jī)軌跡。因此，我建議在將數(shù)據(jù)劃分為訓(xùn)練集和測試集之前對其進(jìn)行額外的洗牌。

生成圖像后，利用 SKY 引擎的數(shù)據(jù)輸出模塊將圖像轉(zhuǎn)換為 COCO 格式。這是 NVIDIA TLT 框架所要求的。根據(jù)文檔準(zhǔn)備好配置文件后，可以使用 TensorFlow 后端運(yùn)行 TLT 預(yù)訓(xùn)練掩碼 RCNN 模型的培訓(xùn)：

!tlt mask_rcnn train -e $SPECS_DIR/maskrcnn_train_telco_resnet50.txt \
 -d $USER_EXPERIMENT_DIR/experiment_telco_anchors \
 -k $KEY \
 --gpus1 

最后一步，運(yùn)行一個經(jīng)過訓(xùn)練的深度學(xué)習(xí)模型，對真實(shí)數(shù)據(jù)進(jìn)行推理，以查看該模型是否準(zhǔn)確地執(zhí)行了感興趣的任務(wù)。

!tlt mask_rcnn inference -i $DATA_DIR/valid_images \
 -o $USER_EXPERIMENT_DIR/se_telco_maskrcnn_inference_synth \
 -e $SPECS_DIR/maskrcnn_train_telco_resnet50.txt \
 -m $USER_EXPERIMENT_DIR/experiment_telco_anchors/model.step-20000.tlt \
 -l $SPECS_DIR/telco_labels.txt \
 -t 0.5 \
 -b 1 \
 -k $KEY \
 --include_mask 

概括

在本文中，我演示了如何使用 SKY ENGINE 的合成數(shù)據(jù)，并使用 NVIDIA TLT 對其進(jìn)行訓(xùn)練和優(yōu)化，從而減少數(shù)據(jù)收集和注釋工作。我提出了一個用于電信行業(yè)的單天空引擎人工智能用例。

關(guān)于作者

Jakub Pietrzak 是 Sky Engine AI 的首席技術(shù)官。他負(fù)責(zé) GPU 加速研究、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)算法開發(fā)。他是一名計(jì)算機(jī)視覺魔術(shù)師，在機(jī)器學(xué)習(xí)、光線跟蹤和數(shù)字圖像處理方面有 15 年以上的經(jīng)驗(yàn)。 Jakub 曾為歐洲最大的電影制片廠開發(fā)深度學(xué)習(xí)動力運(yùn)動捕捉系統(tǒng)，并參與了華沙腫瘤中心的醫(yī)學(xué)影像研究項(xiàng)目。他的博士學(xué)位。 Jakub 探索了在合成數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)的思想，以及虛擬現(xiàn)實(shí)中機(jī)器學(xué)習(xí)問題的再創(chuàng)造。

審核編輯：郭婷