1. 項目簡介

1.1 色塊識別的重要性

顏色特征提?。侯伾且环N重要的視覺特征，尤其在背景較為單一的情況下，能夠快速區(qū)分目標(biāo)區(qū)域。

應(yīng)用場景：廣泛應(yīng)用于機器人導(dǎo)航、工業(yè)自動化、物體跟蹤等領(lǐng)域。

HSV 顏色空間：相比于 RGB 顏色空間，HSV 更適合用于顏色識別，因為它可以將顏色信息（Hue）、飽和度（Saturation）和亮度（Value）分離，便于設(shè)置閾值。

1.2 色塊識別的流程

獲取圖像。

將圖像從 BGR 轉(zhuǎn)換為 HSV 顏色空間。

創(chuàng)建二值掩碼，篩選出符合顏色范圍的像素。

使用形態(tài)學(xué)操作清除噪聲。

查找輪廓并篩選符合條件的色塊。

計算外接矩形和中心點。

繪制結(jié)果并輸出。

1.3 圖像處理的重要性

目標(biāo)檢測：圖像處理技術(shù)可以用于檢測圖像中的特定對象或特征。

應(yīng)用場景：廣泛應(yīng)用于物體識別、工業(yè)自動化、機器人導(dǎo)航、自動駕駛等領(lǐng)域。

常見任務(wù)：

邊緣檢測：提取圖像中的邊界信息。

直線檢測：識別圖像中的直線結(jié)構(gòu)。

圓檢測：識別圖像中的圓形結(jié)構(gòu)。

多邊形擬合：將輪廓擬合成多邊形以簡化形狀描述。

1.4 圖像處理的基本流程

初始化攝像頭：打開攝像頭設(shè)備并設(shè)置分辨率。

讀取圖像幀：從攝像頭中獲取實時視頻幀。

預(yù)處理：將圖像轉(zhuǎn)換為灰度圖、降噪等操作。

特征檢測：執(zhí)行邊緣檢測、霍夫變換等算法。

結(jié)果繪制：在原圖上繪制檢測到的特征。

顯示結(jié)果：將處理后的圖像輸出到屏幕。

1.5、源代碼地址

https://gitee.com/LockzhinerAI/LockzhinerVisionModule/tree/master/Cpp_example/C05_Finecolorandshape

2. API 文檔

2.1 頭文件

#include

2.2 生成掩碼

cv::inRange(src,lowerb,upperb,dst);

參數(shù)說明：

src：輸入圖像，可以是單通道或三通道的圖像。

lowerb：顏色下界，是一個Scalar對象，表示要查找的顏色的下限。

upperb：顏色上界，是一個Scalar對象，表示要查找的顏色的上限。

dst：輸出圖像，是一個單通道的8位無符號整數(shù)圖像，表示生成的掩碼。

返回值：

無

2.3 創(chuàng)建形態(tài)學(xué)操作所需的結(jié)構(gòu)元素核

cv::getStructuringElement(shape,ksize,anchor);

參數(shù)說明：

shape：核形狀，可以是RECT、CROSS、ELLIPSE等。

ksize：核大小，是一個Size對象，表示核的寬度和高度。

anchor：錨點，是一個Point對象，表示核的錨點位置。

返回值：

返回一個核，是一個Mat對象。

2.4 形態(tài)學(xué)操作：清除噪聲

cv::morphologyEx(src,dst,op,kernel,anchor,iterations,borderType,borderValue);

參數(shù)說明：

src：輸入圖像，可以是單通道或三通道的圖像。

dst：輸出圖像，是一個單通道的8位無符號整數(shù)圖像，表示生成的掩碼。

op：操作類型，可以是OPEN、CLOSE、GRADIENT、TOPHAT、BLACKHAT等。

kernel：核，是一個Mat對象，表示形態(tài)學(xué)操作的核。

anchor：錨點，是一個Point對象，表示核的錨點位置。

iterations：迭代次數(shù)，是一個整數(shù)，表示形態(tài)學(xué)操作的迭代次數(shù)。

borderType：邊界類型，可以是BORDER_CONSTANT、BORDER_REPLICATE、BORDER_REFLECT、BORDER_WRAP、BORDER_REFLECT_101等。

borderValue：邊界值，是一個Scalar對象，表示邊界區(qū)域的值。

返回值：

無

2.5 查找輪廓

cv::findContours(image,contours,hierarchy,mode,method,offset);

參數(shù)說明：

image：輸入圖像，可以是單通道或三通道的圖像。

contours：輸出參數(shù)，是一個vector>對象，表示輪廓的集合。

hierarchy：輸出參數(shù)，是一個vector對象，表示輪廓的層級關(guān)系。

mode：輪廓發(fā)現(xiàn)模式，可以是RETR_EXTERNAL、RETR_LIST、RETR_CCOMP、RETR_TREE等。

method：輪廓 approximation 方法，可以是CHAIN_APPROX_NONE、CHAIN_APPROX_SIMPLE、CHAIN_APPROX_TC89_L1、CHAIN_APPROX_TC89_KCOS等。

offset：輪廓偏移量，是一個Point對象，表示輪廓的偏移量。

返回值：

返回一個整數(shù)，表示輪廓的數(shù)量。

2.6 獲取輪廓的外接矩形

cv::boundingRect(points);

參數(shù)說明：

points：輸入?yún)?shù)，是一個vector對象，表示輪廓的點集合。

返回值：

返回一個Rect對象，表示輪廓的外接矩形。

2.7 計算矩陣矩

cv::moments(array,binaryImage);

參數(shù)說明：

array：輸入?yún)?shù)，是一個Mat對象，表示輸入的矩陣。

binaryImage：輸入?yún)?shù)，是一個布爾值，表示是否將輸入的矩陣轉(zhuǎn)換為二值矩陣。

返回值：

返回一個 Moments對象，表示矩陣的矩。

2.8 繪制矩形框

cv::rectangle(img,pt1,pt2,color,thickness,lineType,shift);

參數(shù)說明：

img：輸入?yún)?shù)，是一個Mat對象，表示輸入的圖像。

pt1：輸入?yún)?shù)，是一個Point對象，表示矩形的左上角點。

pt2：輸入?yún)?shù)，是一個Point對象，表示矩形的右下角點。

color：輸入?yún)?shù)，是一個Scalar對象，表示矩形的顏色。

thickness：輸入?yún)?shù)，是一個整數(shù)，表示矩形的線寬。

lineType：輸入?yún)?shù)，是一個整數(shù)，表示矩形的線類型。

shift：輸入?yún)?shù)，是一個整數(shù)，表示坐標(biāo)的精度。

返回值：

無

2.9 繪制圓

cv::circle(img,center,radius,color,thickness,lineType,shift);

參數(shù)說明：

img：輸入?yún)?shù)，是一個Mat對象，表示輸入的圖像。

center：輸入?yún)?shù)，是一個Point對象，表示圓心。

radius：輸入?yún)?shù)，是一個整數(shù)，表示圓的半徑。

color：輸入?yún)?shù)，是一個Scalar對象，表示圓的顏色。

thickness：輸入?yún)?shù)，是一個整數(shù)，表示圓的線寬。

lineType：輸入?yún)?shù)，是一個整數(shù)，表示圓的線類型。

shift：輸入?yún)?shù)，是一個整數(shù)，表示坐標(biāo)的精度。

返回值：

無

2.10 查找色塊函數(shù)（自定義）

std::vector<std::vector<cv::Point>>find_blobs(
constcv::Mat&image,
constcv::Scalar&lower_bound,
constcv::Scalar&upper_bound,
intmin_area=100,
intkernel_size=5);

參數(shù)說明：

image：輸入?yún)?shù)，是一個Mat對象，表示輸入的圖像。

lower_bound：輸入?yún)?shù)，是一個Scalar對象，表示顏色下界。

upper_bound：輸入?yún)?shù)，是一個Scalar對象，表示顏色上界。

min_area：輸入?yún)?shù)，是一個整數(shù)，表示最小面積。

kernel_size：輸入?yún)?shù)，是一個整數(shù)，表示核大小。

返回值：

返回一個vector>對象，表示找到的色塊的點集合。

2.11 高斯模糊

cv::GaussianBlur(src,dst,Size(3,3),0);

參數(shù)：

src：輸入圖像。

dst：輸出圖像。

Size(3, 3)：卷積核大小。

0：標(biāo)準(zhǔn)差。

返回值：

無。

2.12 邊緣檢測

cv::Canny(src,dst,50,150);

參數(shù)：

src：輸入圖像。

dst：輸出圖像。

50：低閾值。

150：高閾值。

apertureSize：Sobel 算子的孔徑大?。J為 3）。

L2gradient：是否使用 L2 范數(shù)計算梯度（默認為 false）。

返回值：

無。

2.13 對輪廓進行多邊形擬合

cv::approxPolyDP(contours[i],approx,epsilon,closed);

參數(shù)：

contours[i]：輪廓。

approx：多邊形頂點列表。

epsilon：精度參數(shù)，表示最大距離，用于控制多邊形擬合的精度。

closed：是否閉合多邊形（默認為 false）。

返回值：

無

2.14 使用概率霍夫變換檢測直線

cv::HoughLinesP(src,lines,1,CV_PI/180,50,50,10);

參數(shù)：

src：輸入圖像。

lines：檢測到的直線列表。

1：rho 分辨率。

CV_PI / 180：theta 分辨率。

50：最小線段長度。

50：最大線段間隔。

10：線段閾值。

返回值：

無

2.15 使用霍夫變化檢測圓型

cv::HoughCircles(src,circles,CV_HOUGH_GRADIENT,1,src.rows/8,200,100,0,0);

參數(shù)：

src：輸入圖像。

circles：檢測到的圓列表。

CV_HOUGH_GRADIENT：檢測方法。

1：rho 分辨率。

src.rows / 8：theta 分辨率。

200：最小圓半徑。

100：最大圓半徑。

0：圓心 x 坐標(biāo)。

0：圓心 y 坐標(biāo)。

返回值：

無

3. 綜合代碼介紹

3.1 流程圖

3.2 核心代碼解析

閾值分割

cv::inRange(hsv_image,lower_bound,upper_bound,mask);

形態(tài)學(xué)開運算

cv::Matkernel=cv::getStructuringElement(cv::MORPH_RECT,cv::Size(kernel_size,kernel_size));
cv::morphologyEx(mask,mask,cv::MORPH_OPEN,kernel);

輪廓查找

std::vector<std::vector<cv::Point>>contours;
cv::findContours(mask,contours,cv::RETR_EXTERNAL，cv::CHAIN_APPROX_SIMPLE);

篩選色塊

std::vector<std::vector<cv::Point>>filtered_contours;
for(constauto&contour:contours)
{
cv::Rectbounding_rect=cv::boundingRect(contour);
if(bounding_rect.area()>=min_area)
{
filtered_contours.push_back(contour);
}
}

3.3 完整代碼實現(xiàn)

#include
#include
#include
#include

std::vector<std::vector<cv::Point>>find_blobs(
constcv::Mat&image,
constcv::Scalar&lower_bound,
constcv::Scalar&upper_bound,
intmin_area=100,
intkernel_size=5)
{
// 轉(zhuǎn)換為 HSV 顏色空間
cv::Mathsv_image;
cv::cvtColor(image,hsv_image,cv::COLOR_BGR2HSV);

// 創(chuàng)建二值掩碼
cv::Matmask;
cv::inRange(hsv_image,lower_bound,upper_bound,mask);

// 形態(tài)學(xué)操作：清除噪聲
cv::Matkernel=cv::getStructuringElement(cv::MORPH_RECT,cv::Size(kernel_size,kernel_size));
cv::morphologyEx(mask,mask,cv::MORPH_OPEN,kernel);

// 查找輪廓
std::vector<std::vector<cv::Point>>contours;
cv::findContours(mask,contours,cv::RETR_EXTERNAL,cv::CHAIN_APPROX_SIMPLE);

// 篩選符合條件的色塊
std::vector<std::vector<cv::Point>>filtered_contours;
for(constauto&contour:contours)
{
cv::Rectbounding_rect=cv::boundingRect(contour);
if(bounding_rect.area()>=min_area)
{
filtered_contours.push_back(contour);
}
}
returnfiltered_contours;
}

intmain()
{
lockzhiner_vision_module::Editedit;
if(!edit.StartAndAcceptConnection())
{
std::cerr<<"Error: Failed to start and accept connection."<<std::endl;
returnEXIT_FAILURE;
}
std::cout<<"Device connected successfully."<<std::endl;

cv::VideoCapturecap;
intwidth=640; // 設(shè)置攝像頭分辨率寬度
intheight=480;// 設(shè)置攝像頭分辨率高度
cap.set(cv::CAP_PROP_FRAME_WIDTH,width);
cap.set(cv::CAP_PROP_FRAME_HEIGHT,height);

// 打開攝像頭設(shè)備
cap.open(0);// 參數(shù) 0 表示默認攝像頭設(shè)備
if(!cap.isOpened())
{
std::cerr<<"Error: Could not open camera."<<std::endl;
returnEXIT_FAILURE;
}

while(true)
{
cv::Matimage;// 存儲每一幀圖像
cap>>image; // 獲取新的一幀

if(image.empty())
{
std::cerr<<"Warning: Couldn't read a frame from the camera."<<std::endl;
continue;
}

// 定義顏色閾值（例如紅色）
cv::Scalarlower_red(170,100,100);// 紅色下界
cv::Scalarupper_red(179,255,255);// 紅色上界

// 調(diào)用 find_blobs 函數(shù)
intmin_area=100; // 最小面積閾值
intkernel_size=1;// 形態(tài)學(xué)操作核大小
std::vector<std::vector<cv::Point>>blobs=find_blobs(image,lower_red,upper_red,min_area,kernel_size);

// 繪制和打印檢測到的色塊，并篩選矩形
for(constauto&contour:blobs)
{
// 計算外接矩形框
cv::Rectbounding_rect=cv::boundingRect(contour);

// 近似多邊形擬合
std::vector<cv::Point>approx;
cv::approxPolyDP(contour,approx,cv::arcLength(contour,true)*0.02,true);

// 判斷是否為四邊形
if(approx.size()==4)
{
// 繪制矩形框
cv::rectangle(image,bounding_rect,cv::Scalar(0,255,0),2);

// 計算中心點
cv::Momentsmoments=cv::moments(contour);
intcx=moments.m10/moments.m00;
intcy=moments.m01/moments.m00;

// 繪制中心點
cv::circle(image,cv::Point(cx,cy),5,cv::Scalar(0,0,255),-1);

// 打印信息
std::cout<<"Red quadrilateral detected at ("<<cx<<", "<<cy
<<") with area "<<bounding_rect.area()<<std::endl;
}
}

// 顯示結(jié)果
edit.Print(image);
}

cap.release();
return0;
}

4. 編譯過程

4.1 編譯環(huán)境搭建

請確保你已經(jīng)按照開發(fā)環(huán)境搭建指南正確配置了開發(fā)環(huán)境。

同時以正確連接開發(fā)板。

4.2 Cmake介紹

# CMake最低版本要求
cmake_minimum_required(VERSION3.10)

project(test-Finecolorandshape)

set(CMAKE_CXX_STANDARD17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 定義項目根目錄路徑
set(PROJECT_ROOT_PATH"${CMAKE_CURRENT_SOURCE_DIR}/../..")
message("PROJECT_ROOT_PATH = "${PROJECT_ROOT_PATH})

include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")

# 定義 OpenCV SDK 路徑
set(OpenCV_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")
set(OpenCV_DIR"${OpenCV_ROOT_PATH}/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
set(OPENCV_LIBRARIES"${OpenCV_LIBS}")
# 定義 LockzhinerVisionModule SDK 路徑
set(LockzhinerVisionModule_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")
set(LockzhinerVisionModule_DIR"${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")
find_package(LockzhinerVisionModule REQUIRED)

# 尋找色塊和輪廓
add_executable(Test-Finecolorandshape Finecolorandshape.cc)
target_include_directories(Test-Finecolorandshape PRIVATE${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-Finecolorandshape PRIVATE${OPENCV_LIBRARIES}${LOCKZHINER_VISION_MODULE_LIBRARIES})

install(
TARGETS Test-Finecolorandshape
RUNTIME DESTINATION .
)

4.3 編譯項目

使用 Docker Destop 打開 LockzhinerVisionModule 容器并執(zhí)行以下命令來編譯項目

# 進入Demo所在目錄
cd/LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/C05_Find_color_and_shape
# 創(chuàng)建編譯目錄
rm-rfbuild &&mkdirbuild &&cdbuild
# 配置交叉編譯工具鏈
exportTOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"
# 使用cmake配置項目
cmake ..
# 執(zhí)行編譯項目
make-j8&&makeinstall

在執(zhí)行完上述命令后，會在build目錄下生成可執(zhí)行文件。

5. 例程運行示例

5.1 運行過程

chmod777Test-Finecolorandshape
./Test-Finecolorandshape

5.2 結(jié)果展示

6. 總結(jié)

本程序?qū)崿F(xiàn)了基于 OpenCV 的紅色四邊形檢測功能，具有以下特點：

高效性：通過顏色過濾、形態(tài)學(xué)處理和輪廓篩選，快速定位目標(biāo)。

靈活性：支持自定義顏色閾值、最小面積和形態(tài)學(xué)核大小，適應(yīng)不同場景需求。

易用性：代碼結(jié)構(gòu)清晰，模塊化設(shè)計便于擴展和維護。該程序可作為基礎(chǔ)框架，進一步應(yīng)用于更復(fù)雜的視覺任務(wù)，例如多目標(biāo)檢測、動態(tài)跟蹤等。通過調(diào)整顏色閾值和形狀篩選條件，還可擴展到其他顏色和形狀的檢測任務(wù)。