大家好，接下來會為大家開一個樹莓派5和YOLO的連載文章。

內(nèi)容包括四個部分：

在樹莓派5上使用YOLO進(jìn)行物體和動物識別-入門指南

在樹莓派5上開啟YOLO人體姿態(tài)估計識別之旅

YOLO物體檢測在樹莓派AI Hat+上 | 如何編寫自定義Python代碼

YOLO姿態(tài)估計在樹莓派AI Hat+上 | 編寫自定義Python代碼

今天是第二部分：樹莓派5上使用YOLO進(jìn)行人體姿態(tài)估計識別之旅

如果大家對這個專題感興趣，記得關(guān)注樹莓派開發(fā)者，這樣你將會第一時間收到我們的內(nèi)容更新通知。

你是否曾想涉足計算機(jī)視覺領(lǐng)域？那么在樹莓派這樣一款低功耗、便攜式的硬件設(shè)備上嘗試如何？

在本指南中，我們將在樹莓派5上，借助OpenCV和YOLO姿態(tài)估計模型家族進(jìn)行相關(guān)設(shè)置。我們將探討一些可用的不同YOLO模型，以及如何優(yōu)化這些模型以獲得更流暢的幀率（FPS），還會介紹如何使用模型生成的關(guān)鍵點(diǎn)數(shù)據(jù)，以便將姿態(tài)估計應(yīng)用到你的下一個項目中。這是我們近期制作的最有趣的指南之一，讓我們開始吧！

對于需要相關(guān)資料的外部讀者，這里是我們的項目代碼壓縮文件夾，其中包含運(yùn)行姿態(tài)估計所需的所有腳本。

考驗?zāi)阌⒄Z聽力的時候到了，你可以選擇觀看視頻演示。

目錄：

所需物品

硬件組裝

安裝樹莓派操作系統(tǒng)

設(shè)置虛擬環(huán)境并安裝YOLO

運(yùn)行姿態(tài)估計

更換YOLO模型

提高處理速度

太空入侵者演示及后續(xù)方向

致謝

項目壓縮文件下載

太空入侵者演示

要跟隨本指南進(jìn)行操作，你需要準(zhǔn)備以下物品：

樹莓派5 - 4GB或8GB型號均可。雖然理論上也可以在樹莓派4上完成，但速度遠(yuǎn)于樹莓派5，體驗不佳，因此我們未在樹莓派4上進(jìn)行測試。

樹莓派攝像頭 - 我們使用的是攝像頭模塊V3

轉(zhuǎn)接線 - 樹莓派5配備的是不同尺寸的CSI攝像頭線，而你的攝像頭可能配備的是較舊的較粗線，因此請仔細(xì)檢查。攝像頭模塊V3肯定需要轉(zhuǎn)接線

散熱方案 - 我們使用的是主動散熱器（計算機(jī)視覺會讓你的樹莓派達(dá)到性能極限）

電源

Micro SD卡 - 容量至少為16GB

顯示器和Micro-HDMI轉(zhuǎn)HDMI線

鼠標(biāo)和鍵盤

*所需物品可以直接聯(lián)系我們進(jìn)行購買。

硬件組裝

硬件組裝過程相對簡單。將線纜較粗的一端連接到攝像頭，較細(xì)的一端連接到樹莓派5。這些連接器上有一個標(biāo)簽 - 將其抬起，然后將線纜插入插槽。確保線纜插入整齊后，將標(biāo)簽壓回原位以固定線纜。

注意，這些連接器只能以一個方向插入，且較為脆弱，因此請避免過度彎曲（稍微彎曲一點(diǎn)沒問題）。

安裝樹莓派操作系統(tǒng)

首先，我們需要將樹莓派操作系統(tǒng)安裝到Micro SD卡上。使用樹莓派成像工具，選擇樹莓派5作為設(shè)備，樹莓派操作系統(tǒng)（64位）作為操作系統(tǒng)，以及你的MicroSD卡作為存儲設(shè)備。

下載樹莓派操作系統(tǒng)：https://www.raspberrypi.com/software/

注意：將樹莓派操作系統(tǒng)安裝到MicroSD卡上會清除卡上的所有數(shù)據(jù)。

下載并安裝操作系統(tǒng)可能需要幾分鐘時間。安裝完成后，將卡插入樹莓派并啟動。樹莓派將進(jìn)行首次安裝設(shè)置，請確保將其連接到互聯(lián)網(wǎng)。

設(shè)置虛擬環(huán)境并安裝庫

隨著2023年Bookworm操作系統(tǒng)的推出，我們現(xiàn)在需要使用虛擬環(huán)境（或venv），因為它們是在樹莓派上提供一個獨(dú)立的空間，我們可以在其中進(jìn)行實驗而不會損害樹莓派操作系統(tǒng)或其他項目。本指南提供了所有所需的命令和說明，但如果你需要幫助，虛擬環(huán)境有其自己的指南。

要創(chuàng)建虛擬環(huán)境，請打開一個新的終端窗口并輸入：

python3 -m venv--system-site-packagesyolo_pose

創(chuàng)建venv后，我們可以通過輸入以下命令進(jìn)入：

sourceyolo_pose/bin/activate

執(zhí)行上述操作后，你會在綠色文本的左側(cè)看到虛擬環(huán)境的名稱 - 這意味著我們正在其中正確工作。如果你需要重新進(jìn)入此環(huán)境（例如，如果你關(guān)閉了終端窗口，你將退出環(huán)境），只需再次輸入上述source命令即可。

現(xiàn)在，我們處于虛擬環(huán)境中，可以開始安裝所需的軟件包。首先，通過輸入以下三行命令確保PIP（Python軟件包管理器）是最新的：

sudoapt updatesudo apt install python3-pip -ypip install -U pip

然后，使用以下命令安裝Ultralytics軟件包：

pip install ultralytics[export]

Ultralytics的優(yōu)秀團(tuán)隊是最新YOLO模型的主要開發(fā)者和維護(hù)者之一。他們的這個軟件包將承擔(dān)大部分繁重的工作，并安裝OpenCV以及我們運(yùn)行YOLO所需的所有基礎(chǔ)設(shè)施。

此過程還將安裝大量其他軟件包，因此可能會失敗。如果你的安裝失?。〞@示一大片紅色文本），只需再次輸入Ultralytics安裝命令，它應(yīng)該會繼續(xù)。在極少數(shù)情況下，可能需要重復(fù)輸入安裝命令幾次。

安裝完成后，重啟樹莓派。如果你想成為高級用戶，可以在shell中輸入：

reboot

我們還有一件事要做，那就是設(shè)置Thonny以使用我們剛剛創(chuàng)建的虛擬環(huán)境。Thonny是我們將運(yùn)行所有代碼的程序，我們需要讓它從同一個venv中運(yùn)行，以便它可以訪問我們安裝的庫。

首次打開Thonny時，它可能處于簡化模式，你會在右上角看到“切換到常規(guī)模式”。如果存在此選項，請點(diǎn)擊它并關(guān)閉Thonny以重新啟動。

現(xiàn)在，通過選擇“運(yùn)行”>“配置解釋器”進(jìn)入解釋器選項菜單。在“Python可執(zhí)行文件”選項下，有一個帶三個點(diǎn)的按鈕。選擇它并導(dǎo)航到我們剛剛創(chuàng)建的虛擬環(huán)境中的Python可執(zhí)行文件。

該文件位于home/pi/yolo_pose/bin下，在此文件中，你需要選擇名為“python3”的文件。點(diǎn)擊確定，你現(xiàn)在將在此venv中工作。

無論何時打開Thonny，它都將自動在此環(huán)境中運(yùn)行。你可以通過從同一解釋器選項菜單中“Python可執(zhí)行文件”下的下拉菜單中選擇它來更改工作環(huán)境。如果你想退出虛擬環(huán)境，請選擇bin/python3選項。

運(yùn)行姿態(tài)估計

現(xiàn)在，我們已經(jīng)安裝了所需的庫，并且Thonny正在虛擬環(huán)境中運(yùn)行，我們可以運(yùn)行姿態(tài)估計腳本了。繼續(xù)并將項目壓縮文件夾解壓到桌面等方便的位置。

在那里，你將找到我們將使用的第一個腳本“pose demo.py”。在Thonny中打開它并點(diǎn)擊綠色的大運(yùn)行按鈕。首次運(yùn)行此腳本時，它可能會自動安裝一些額外所需的內(nèi)容，幾秒鐘后，你應(yīng)該會看到一個預(yù)覽窗口出現(xiàn)，其中正在運(yùn)行你的姿態(tài)估計。

此時應(yīng)該會發(fā)生幾件事。首先，YOLO將嘗試檢測人類，如果識別到一個人，它會在其周圍繪制一個方框，并在頂部顯示置信度評分。重要的是，它將在它認(rèn)為你身體的一些關(guān)鍵部位放置點(diǎn)（這些點(diǎn)稱為關(guān)鍵點(diǎn)），并在這些點(diǎn)之間繪制線條以估計人的姿態(tài)和方向。右上角還將顯示此腳本運(yùn)行的FPS（我們稍后將提高它）。

就這樣！通過這幾個簡單的步驟，我們已經(jīng)讓樹莓派運(yùn)行姿態(tài)估計了！

更換YOLO模型

到目前為止，我們一直在運(yùn)行YOLO11，而這個Ultralytics軟件包的美妙之處在于，我們只需在代碼中替換一行即可完全更改模型。我們可以使用它來運(yùn)行更高級的YOLO11模型，甚至是舊模型。你只需要更改設(shè)置中的這一行：

# Load our YOLO11 modelmodel= YOLO("yolo11n-pose.pt")

此行當(dāng)前使用的是nano模型，它是YOLO11中最小、功能最弱但速度最快的模型。我們可以通過更改“11”后面的單個字母來更改此行以運(yùn)行此模型的不同尺寸版本，如下所示。如果你將此行更改為另一個模型尺寸并運(yùn)行它，腳本將自動下載新模型（對于較大的模型，可能達(dá)到數(shù)百M(fèi)B）。

這些模型之間的差異在于姿態(tài)估計性能和FPS之間的權(quán)衡。模型越大，它越擅長估計可能未被攝像頭捕捉到的身體部位，以及更復(fù)雜的角度和畫面中有更多人的幀，但你可能只能期望每10秒處理一幀！我們將在下一步中提高它。

另一方面，nano模型運(yùn)行速度最快，未經(jīng)優(yōu)化時約能達(dá)到1.5 FPS，但它沒有較大模型的處理能力。對于姿態(tài)估計，大多數(shù)情況下nano模型就足夠了，因為它通常能滿足你的需求，但如果你需要更強(qiáng)大的功能，請繼續(xù)增大模型尺寸以滿足你的需求。

在此行中，我們還可以更改正在運(yùn)行的YOLO版本。如果你想，可以回退到舊模型，或者利用新模型。本指南最終會過時，如果Ultralytics發(fā)布了YOLO13，你應(yīng)該只需將此行更改為以下內(nèi)容即可開始使用更新的YOLO版本：

# Load our YOLO11 modelmodel= YOLO("yolo13n-pose.pt")

另外請注意，一些較舊的YOLO模型名稱中包含“v”。例如，YOLO8稱為：

# Load our YOLO11 modelmodel= YOLO("yolov8n-pose.pt")

提高處理速度

我們可以采取兩種方法來提高樹莓派上的FPS，而最有效的方法是將模型轉(zhuǎn)換為稱為NCNN的格式。這是一種更優(yōu)化以在樹莓派等基于ARM的處理器上運(yùn)行的模型格式。打開名為“ncnn conversion.py”的腳本，你將找到以下內(nèi)容：

fromultralyticsimportYOLO# Load a YOLO11n PyTorch modelmodel = YOLO("yolo11n-pose.pt")# Export the model to NCNN formatmodel.export(format="ncnn", imgsz=640) # creates 'yolov11n-pose_ncnn_model'

要使用此腳本，首先指定你想要轉(zhuǎn)換的模型。這使用我們在上一節(jié)中討論的相同命名約定。然后，指定模型格式“ncnn”作為輸出格式以及分辨率。目前保持默認(rèn)的640。首次運(yùn)行此腳本時，它將下載更多所需的內(nèi)容，但實際轉(zhuǎn)換應(yīng)該只需幾秒鐘。

完成后，在腳本所在的文件夾中，你將找到一個名為“yolo11n-pose_ncnn_model”之類的新文件夾。復(fù)制此文件名并返回到我們之前的演示腳本。

現(xiàn)在，你需要通過將模型行更改為它剛剛創(chuàng)建的文件夾的名稱來告訴腳本使用我們創(chuàng)建的模型。它應(yīng)該如下所示：

# Load our YOLO11 modelmodel= YOLO("yolo11n-pose_ncnn_model")

如果你運(yùn)行腳本，它應(yīng)該與之前完全一樣地工作，但由于NCNN轉(zhuǎn)換，F(xiàn)PS提高了4倍。

我們可以做的另一件事來提高FPS是降低處理分辨率。這是我們將運(yùn)行YOLO模型的分辨率，像素越少意味著處理每幀所需的時間越少。

雖然轉(zhuǎn)換為NCNN是免費(fèi)的FPS提升，但降低分辨率確實會犧牲一些能力。較低的分辨率會略微降低姿態(tài)估計的準(zhǔn)確性（雖然不太明顯），并且它最大的影響是降低了可以估計姿態(tài)的距離。默認(rèn)分辨率為640時，范圍相當(dāng)遠(yuǎn)，因此我們可以適當(dāng)降低一點(diǎn)。

為此，請打開我們剛剛使用的NCNN轉(zhuǎn)換腳本并在以下行中指定你想要的分辨率：

# Export the model to NCNN formatmodel.export(format="ncnn", imgsz=320) # creates 'yolov11n-pose_ncnn_model'

注意：這必須是32的倍數(shù)。因此，你不能將其設(shè)置為300，但可以設(shè)置為320。

我們發(fā)現(xiàn)，160到320范圍內(nèi)的分辨率在性能和速度之間取得了良好的平衡。

運(yùn)行轉(zhuǎn)換代碼，它將導(dǎo)出具有所需分辨率的模型。這樣做也會覆蓋任何之前導(dǎo)出的同名模型。

在演示腳本中，確保你像之前一樣指定了NCNN模型。還有一件重要的事情我們必須做，那就是告訴腳本要向模型輸入什么分辨率。在while true循環(huán)中，你將找到以下行。確保它與模型的分辨率匹配，對于此示例，我們導(dǎo)出的是320：

# Run YOLO model on the captured frame and store the results results= model.predict(frame, imgsz =320)

如果一切順利，你應(yīng)該會看到FPS再次顯著提高。根據(jù)需要調(diào)整此分辨率，但請記?。?/p>

它必須是32的倍數(shù)

你必須更改主腳本中的名稱以使用導(dǎo)出的模型

你必須將主腳本中的分辨率設(shè)置為與模型匹配

太空入侵者演示及后續(xù)方向

現(xiàn)在，我們的姿態(tài)估計已經(jīng)運(yùn)行，并且達(dá)到了合適的FPS，讓我們看看如何利用這些關(guān)鍵點(diǎn)做些什么。模型輸出的所有數(shù)據(jù)都存儲在“results”變量中。繼續(xù)并打開名為“keypoint acquisition.py”的腳本。此腳本與之前的演示腳本幾乎相同，只是在頂部添加了以下函數(shù)：

defget_keypoint_position(keypoint_num, axis='x'): """ Keypoint reference: 0: nose 5: left_shoulder 10: right_wrist 15: left_ankle 1: left_eye 6: right_shoulder 11: left_hip 16: right_ankle 2: right_eye 7: left_elbow 12: right_hip 3: left_ear 8: right_elbow 13: left_knee 4: right_ear 9: left_wrist 14: right_knee """ ifnot0<= keypoint_num <=?16:? ? ? ? raise?ValueError("Keypoint number must be between 0 and 16")? ? if?axis.lower()?not?in?['x',?'y']:? ? ? ? raise?ValueError("Axis must be 'x' or 'y'")? ? # Get the keypoint data? ? keypoint = results[0].keypoints.xyn[0][keypoint_num]? ? # Return x or y coordinate based on axis parameter? ? return?keypoint[0].item()?if?axis.lower() ==?'x'?else?keypoint[1].item()

此函數(shù)接受兩個輸入：你想要使用的關(guān)鍵點(diǎn)和你想在屏幕上獲取的其x或y坐標(biāo)。然后，它將接受此請求并從函數(shù)中提取該數(shù)據(jù)以輸出。它還包含一個映射參考，說明關(guān)鍵點(diǎn)編號對應(yīng)于身體上的哪個點(diǎn)。如果我們想調(diào)用函數(shù)來查找鼻子（關(guān)鍵點(diǎn)0）的位置以及它在x軸上的位置，我們將使用以下行：

nose_x= get_keypoint_position(0,'x')

這將返回鼻子在x軸上的相對位置，因此它將是一個0到1之間的數(shù)字。0將在屏幕的最左側(cè)，1將在屏幕的最右側(cè)。如果我們獲取的是y軸，它也將返回一個數(shù)字，其中0是屏幕的頂部，1是屏幕的底部。運(yùn)行腳本是獲得對此的直觀理解的最好方法。

這是YOLO運(yùn)行姿態(tài)估計與將其應(yīng)用到我們的項目中的橋梁，因為我們現(xiàn)在有一個Python腳本可以跟蹤身體特定部位的位置并返回其在攝像頭中的位置。作為一個可能的示例，我們（大致）創(chuàng)建了名為“space invaders.py”的腳本。這是關(guān)鍵點(diǎn)獲取腳本的修改版本，它使用鼻子在x軸上的位置來控制一個簡單的太空入侵者游戲。運(yùn)行此腳本并玩一玩！

這是使用一個名為Pygame的酷炫庫制作的，但不幸的是，這不是一個關(guān)于如何使用Pygame的教程。我們也沒有手動編寫此代碼，而是咨詢了一位Pygame專家，你也可以訪問他。像ChatGPT和Claude這樣的大型語言模型在編寫此類代碼方面很有經(jīng)驗，我們只是將關(guān)鍵點(diǎn)獲取代碼和一些文本要求它制作一個太空入侵者游戲粘貼在一起，它就為我們輸出了這段代碼。你可以做同樣的事情，但用于其他簡單游戲，如打磚塊和貪吃蛇！

很有可能它不會一次就完美，你可能會遇到錯誤，或者它可能太慢，或者顏色可能不對。但你可以簡單地要求它修復(fù)這個問題，它會盡力解決。它還可以分解并教你代碼的工作原理，就像你問一個人一樣。

你還可以做的不僅僅是控制視頻游戲，你還可以使用這些點(diǎn)來控制硬件，如伺服電機(jī)、馬達(dá)和電磁閥?；蛘吣憧梢园l(fā)揮創(chuàng)意，跟蹤肩膀的位置并制作一個引體向上或俯臥撐計數(shù)器。

無論你的項目是什么，你現(xiàn)在都有一個樹莓派，它可以分析視頻源，尋找人類，并輸出那個人身體上點(diǎn)的位置。而且我們能夠在我們謙遜的小樹莓派上運(yùn)行所有這些功能，這確實是一項了不起的成就。

如果你用這個制作了什么酷炫的東西，或者你需要任何幫助，請在我們的論壇上專門為本指南發(fā)布的帖子下方留言。

致謝

首先，我們要感謝OpenCV和COCO庫的眾多貢獻(xiàn)者、開發(fā)者和維護(hù)者?，F(xiàn)代計算機(jī)視覺領(lǐng)域的許多成果都建立在他們的努力之上。

我們還要感謝Joseph Redmon和Ultralytics開發(fā)并維護(hù)了許多這里使用的YOLO模型。它們是非常強(qiáng)大的模型，能夠在樹莓派等低功耗硬件上運(yùn)行，這絕非易事！