電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>基于FPGA的披薩切片角度計算器

基于FPGA的披薩切片角度計算器

2512817 2023-06-16 | zip | 0.00 MB | 次下載 | 免費

資料介紹

描述

介紹

嗨，在這個項目中，我想向您展示如何構(gòu)建一個基于 FPGA 加速 Yolov3 網(wǎng)絡(luò)的披薩切片角度計算器。披薩配料由 Yolov3 網(wǎng)絡(luò)分析。根據(jù) Yolo 輸出，計算出意大利辣香腸熱圖。此熱圖用于計算將比薩餅切成兩半的完美角度。最佳切割角度的結(jié)果投影在披薩附近。Avnet 的 Ultra96-V2 板用于所有計算。GoPro Hero 相機用于從意大利辣香腸比薩餅中捕捉圖像。相機和投影儀連接到 Ultra96-V2 板。我使用了定制的 HDMI 板，但您可以使用 USB 網(wǎng)絡(luò)攝像頭進行圖像捕捉。來自相機的傳入圖像會調(diào)整大小，這是通過可編程邏輯 (PL) 加速器完成的。Yolov3對象檢測網(wǎng)絡(luò)，DPU ) 執(zhí)行比薩餅和意大利辣香腸檢測。#projectofthemonth

系統(tǒng)總覽

在你開始之前

項目文檔分為“入門”、“從數(shù)據(jù)集到DPU精靈”和“切片器程序”三個部分。“入門”部分描述了在 Ultra96V2 板上運行基于 Yolo 的披薩切片機所需的步驟。“從數(shù)據(jù)集到 DPU elf”一節(jié)描述了從自定義數(shù)據(jù)集到 DPU elf 文件的整個開發(fā)過程。該項目的這一部分最耗時，因為賽靈思文檔和示例僅涵蓋了整個開發(fā)過程的一部分。目前，這部分正在建設(shè)中，但結(jié)合項目源代碼，它是您自定義 Xilinx DPU 項目的良好起點。就在這個項目在 hackster 上發(fā)布前幾個小時，LogicTronix 發(fā)布了這個教程，其中涵蓋了 Yolov3 到 DPU 精靈編譯的某些部分。最后但同樣重要的是，您可以在“切片器程序”部分找到實現(xiàn) Pizza 切片器應(yīng)用程序的 Python 代碼的詳細描述。

入門

下載 Ultra96V2 的 PYNQ V2.6映像
從這個黑客教程安裝 PYNQ-DPU
為了提高 OpenCV 的速度，我在 Tengine 支持下重建了 OpenCV。這提高了基于 ARM 處理器的系統(tǒng)的整體性能。
克隆我的項目存儲庫以構(gòu)建 FPGA 硬件。我使用了定制的 HDMI 板，因此 Pizza-base-without-hdmi.tcl 創(chuàng)建了帶有 pl 圖像調(diào)整器和 DPU 的 Ultra96-V2 板，沒有 HDMI 輸入/輸出。
從 Vitis ai docker 運行 compile-caffe.sh 腳本。該腳本使用預(yù)訓(xùn)練的 Caffe 模型。我還將用于 DPU 量化和編譯的測試圖像放入存儲庫中。
復(fù)制板上的FPGA *.bin 文件和DPU *.elf 文件。但一切都在與披薩切片機 jupyter notebook 相同的目錄中。
使用我的 repo 中的披薩切片機 jupyter notebook 并測試 yolov3 網(wǎng)絡(luò)并切片一些披薩。

?

從數(shù)據(jù)集到 DPU 精靈

遺憾的是，Xilinx 的 Zoo 模型沒有提供用于比薩檢測的預(yù)訓(xùn)練網(wǎng)絡(luò)，所以我不得不從頭開始構(gòu)建網(wǎng)絡(luò)。下圖顯示了在 Xilinx DPU 上運行 Yolo 網(wǎng)絡(luò)所需的步驟。

從數(shù)據(jù)集到 DPU 精靈的工作流程

詳細的工作流程：

圖片：首先我必須得到一些意大利辣香腸披薩的圖片。我使用了來自 Google 的 22 張圖片，后來我添加了一些來自 GoPro 的真實圖片。所有圖像都已調(diào)整大小并裁剪為 320x320 像素。
圖像注釋：圖像注釋的一個很好的工具是Microsoft VoTT 。對于披薩切片機應(yīng)用程序，使用了披薩和意大利辣香腸的邊界框。VoTT 可以導(dǎo)出不同格式的數(shù)據(jù)集，我使用Pascal VOC 格式進行導(dǎo)出。
數(shù)據(jù)增強：訓(xùn)練一個只有 22 張圖像的網(wǎng)絡(luò)對于網(wǎng)絡(luò)推理來說不是很健壯。為了提高訓(xùn)練數(shù)據(jù)集和魯棒性，來自roboflow ai的數(shù)據(jù)增強工作流程. 用來。這是一種修改小型數(shù)據(jù)集并添加一些預(yù)處理圖像進行訓(xùn)練的簡單方法。使用每個數(shù)據(jù)集限制為 1000 張圖像的免費帳戶，可以構(gòu)建一個小型數(shù)據(jù)集。對于這個用例，旋轉(zhuǎn)和飽和是模擬真實世界場景的好方法。很酷的是，roboflow 在預(yù)處理步驟中更新注釋。我的最終數(shù)據(jù)集包含大約 800 張披薩圖像，慢慢地我餓了…… 需要將預(yù)處理的數(shù)據(jù)集導(dǎo)出到 Pascal VOC（Xilinx DPU 編譯）和 Yolo 數(shù)據(jù)集（用于訓(xùn)練）。生成多種輸出格式的可能性是 roboflow 的另一個重要功能。
網(wǎng)絡(luò)訓(xùn)練：YOLO 網(wǎng)絡(luò)是用darknet訓(xùn)練的。對于訓(xùn)練，使用了Google Colab GPU 筆記本。培訓(xùn)筆記本可在我的 GitHub 存儲庫中找到。我在我的 Colab 筆記本中添加了對 yolov2-tiny、yolov3-tiny 和 yolov4-tiny 訓(xùn)練的支持。訓(xùn)練后，您可以比較不同的網(wǎng)絡(luò)及其輸出。用于該項目的預(yù)訓(xùn)練網(wǎng)絡(luò)可在我的 GitHub 存儲庫中獲得。
Darknet to Caffe convert：要將 Yolo 網(wǎng)絡(luò)與 Xilinx DPU 一起使用，必須將網(wǎng)絡(luò)轉(zhuǎn)換為 Caffe 格式。這一步很棘手。幾乎沒有關(guān)于如何將暗網(wǎng)輸出轉(zhuǎn)換為與 Xilinx Vitis ai 編譯器兼容的 Caffe 模型的文檔。Xilinx 在Vitis-Ai存儲庫中提供了 xilinx-caffe 版本。我構(gòu)建了一個docker 容器，它構(gòu)建了 xilinx-caffe 版本，該容器能夠?qū)稻W(wǎng)模型轉(zhuǎn)換為 caffe 模型。要轉(zhuǎn)換暗網(wǎng)模型（*cfg 和 *weights），請使用convert.py腳本，該腳本位于Vitis-AI/AI-Model-Zoo/caffe-xilinx/scripts/如果一切正常，您將獲得一個 *.prototxt 和一個 *.caffe 模型
編譯DPU elf：最后一步，DPU elf文件的量化和編譯需要一些準(zhǔn)備。需要一個 Vivado 硬件項目，其中包括 DPU IP、Pascal 驗證數(shù)據(jù)集、Caffe 網(wǎng)絡(luò)和 Vitis-AI docker 容器。這僅對 Ultra96-V2 板 DPU 上的 Yolo 網(wǎng)絡(luò)有效，對于其他網(wǎng)絡(luò)類型，要求可能有所不同。需要在 Vitis Ai docker 容器內(nèi)執(zhí)行以下步驟。但在我們能夠編譯模型之前，我們必須更改 *.prototxt 文件的第一個“層”。請參閱項目 GitHub Repo和Xilinx 教程。量化步驟需要有效的網(wǎng)絡(luò)輸入數(shù)據(jù)。為了讓第一層的圖像加載器運行起來，我們需要 ms coco 數(shù)據(jù)集格式的圖像。幸運的是，roboflow 可以以 coco 格式導(dǎo)出數(shù)據(jù)集（參見“數(shù)據(jù)增強”步驟）。對于量化，可以使用來自 roboflow 的測試圖像。Roboflow 自動將數(shù)據(jù)集拆分為測試、訓(xùn)練和有效部分。完整的編譯代碼、測試圖像和 DPU 配置是我 repo 的一部分。除了網(wǎng)絡(luò)層適配之外，DPU 編譯器還需要一些有關(guān) DPU 的信息，這些信息在硬件設(shè)計中實現(xiàn)。配置存儲在 JSON 文件中。JSON 文件分為兩部分，一是 CPU 架構(gòu)和 DPU 類型，另一部分是 DPU 配置（Cores、Softmax 等）。這個 JSON 文件可以使用 DELT 工具生成。DELT 工具將 *.hwh 文件轉(zhuǎn)換為 JSON 文件，可用于編譯。有關(guān)更多信息，請參閱此賽靈思論壇帖子。我的自定義 JSON 文件是我的repo的一部分。如果你準(zhǔn)備好了一切，你就可以量化和編譯 DPU 精靈了。從您的自定義網(wǎng)絡(luò)。如果一切成功，就會生成dpu.elf文件。該文件可以使用 PYNQ-DPU python 框架加載。

切片程序

最后一部分解釋了 Pizza Slicer 代碼。該程序是用python3編寫的，并使用jupyter notebook來控制程序。源代碼

前三個單元格涵蓋了所有 Python 導(dǎo)入和 FPGA/DPU 文件加載。

Python 導(dǎo)入、FPGA bin 和 DPU 文件加載

生成切片蒙版。找到最佳角度的問題以幾何方式解決。我使用了 180 個蒙版，將 320 x 320 的圖像分成兩部分。注釋代碼，啟用繪制切片 mak 的 matplotlib 圖。

生成切片蒙版

為 Yolov3 網(wǎng)絡(luò)加載錨點。Yolov3 使用一組固定的錨點來生成邊界框。這些錨點用于評估函數(shù)。

yolov3 主播

評估函數(shù)將 Yolov3 輸出轉(zhuǎn)換為框、類和分?jǐn)?shù)。這是必需的，因為所有其他步驟都需要邊界框格式的輸出。

評價功能

用于相機輸入和投影儀輸出的 HDMI 設(shè)置。該代碼與 PYNQ HDMI 接口兼容。此時可以設(shè)置自定義輸入/輸出。

輸入/輸出設(shè)置

第一步中裁剪來自相機的輸入圖像，以選擇感興趣區(qū)域 (ROI)。我的 GoPro 攝像機輸出 720p 圖像，因此 ROI 設(shè)置為 440 x 440 像素，裁剪是在軟件中完成的。如果您的相機沒有固定在投影儀上，并且需要進行一些調(diào)整以使比薩餅適合 ROI 中間，這將非常有用。ROI 圖像數(shù)據(jù)被傳輸?shù)?FPGA 圖像縮放器，數(shù)據(jù)傳輸由一些 DMA 任務(wù)完成。為了啟用從 python 內(nèi)存到 PL 內(nèi)存的數(shù)據(jù)傳輸，使用了 pynq.buffer。PL 圖像縮放器的輸出用作 DPU 輸入。PL resizer 的源代碼來自這個PYNQ-Helloworld GitHub repo. PL resizer 可以處理自定義輸入/輸出圖像，輸入/輸出圖像的設(shè)置可以通過寄存器進行設(shè)置。必須設(shè)置四個寄存器值： 0x10：輸入圖像高度；0x18 輸入圖像寬度；0x20 輸出圖像高度；0x28 輸出圖像寬度

圖像捕捉、裁剪和調(diào)整大小

DPU init 和 DPU Task 啟動。評估函數(shù)將原始 Yolov3 網(wǎng)絡(luò)輸出轉(zhuǎn)換為邊界框格式。

DPU 初始化和評估

評估函數(shù)的輸出被傳遞到排序過程。重復(fù)的比薩檢測被刪除，只使用比薩的最高置信度。如果置信度高于 0.5，則使用 Pepperoni 檢測。

重新排序原始的 Yolo 輸出

基于排序過程，在 320 x320 uint8 數(shù)組中繪制了一個虛擬披薩。邊界框坐標(biāo)用于在邊界框內(nèi)繪制一個橢圓。橢圓的內(nèi)部用 1 填充，外部用 0 填充。每個意大利辣香腸近似值都添加到 320 x 320 基本數(shù)組中。基本數(shù)組元素是一個披薩邊界框近似。披薩基數(shù)組之外的意大利辣香腸檢測將被忽略。結(jié)果是一個意大利辣香腸熱圖。

生成意大利辣香腸熱圖

意大利辣香腸熱圖，覆蓋意大利辣香腸切片也被模擬（較亮的區(qū)域）。這就是為什么使用對象檢測網(wǎng)絡(luò)而不是分割網(wǎng)絡(luò)的原因之一。使用目標(biāo)檢測網(wǎng)絡(luò)和橢圓區(qū)域近似覆蓋意大利辣香腸可以進行模擬。

意大利辣香腸熱圖與輸入圖像

3D 意大利辣香腸熱圖，重疊的意大利辣香腸區(qū)域被繪制為尖峰。該圖非常清楚地顯示了在橢圓區(qū)域近似和層添加之后如何組合熱圖數(shù)據(jù)。

3D 近似熱圖

在計算意大利辣香腸熱圖后，必須定義最佳切割角度。這個問題是通過對意大利辣香腸熱圖應(yīng)用蒙版來解決的。掩碼將熱圖值的一半設(shè)置為零。應(yīng)用掩碼后，所有元素都被匯總。該值與原始意大利辣香腸熱圖中的所有元素的一半進行比較。二分搜索算法試圖最小化從掩碼總和到半熱圖總和的差異。我使用了我們只需要從 0 到 180 度搜索的事實，因為掩碼圍繞數(shù)組的中心旋轉(zhuǎn)。這種搜索非常有效，并且極大地減少了計算次數(shù)。