Opencv+ROS实现颜色识别应用

一、工具

二、原理

概念

本质

三、实践

添加发布话题

主要代码

四、成果

五、总结

一、工具

opencv+ros

ubuntu18.04

摄像头

二、原理

概念

彩色图像：RGB（红，绿，蓝）

HSV图像：H（色调）S（饱和度）V（亮度）

色调（H：hue）：用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。它们的补色是：黄色为60°，青色为180°,品红为300°；
饱和度（S：saturation）：取值范围为0.0～1.0，值越大，颜色越饱和。
亮度（V：value）：取值范围为0(黑色)～255(白色)。

但是在opencv中引用的范围有所不同，给出下表。

本质

颜色识别本质就是在图像上提取出你想要的颜色阈值，然后通过降噪优化模型，轮廓检测进行框选。

要点：

RGB转HSV
所需颜色阈值（hsv），并二值化
腐蚀操作除噪，Canny算法进行边缘检测
最后通过findContours（）函数找出轮廓坐标

三、实践

读取摄像头

    VideoCapture cap(video_device);  //dev/video0

RGB转HSV

cvtColor(frame, imghsv, COLOR_BGR2HSV);

直方图均衡化

split(imghsv, hsvSplit);
equalizeHist(hsvSplit[2], hsvSplit[2]);
merge(hsvSplit, imghsv);

直方图均衡化是一种简单有效的图像增强技术,用于增强动态范围偏小的图像的对比度

定义颜色阈值，这里选取红色

    Scalar lower_red(156, 43, 46);Scalar upper_red(180, 255, 255); // 定义红色的HSV范围inRange(imghsv, lower_red, upper_red, mask);//二值化红色部分

inRange()函数就是检测imghsv内所有像素是否在lower-upper之间，如果是则设为255，也就是白色。输出的是二值图。

用腐蚀，膨胀操作去噪点

  Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3));morphologyEx(mask, mask, MORPH_OPEN, kernel);//开运算morphologyEx(mask, mask, MORPH_CLOSE, kernel);//闭运算

腐蚀，膨胀操作的对象是二值化图像

腐蚀：变精细
膨胀：变粗矿
开运算：先腐蚀后膨胀消去一个黑图中的很多小白点
闭运算：先膨胀后腐蚀消去一个白图中的很多小黑点
梯度运算：膨胀-腐蚀

高斯滤波，Canny边缘检测

    GaussianBlur(mask, mask, Size(3, 3), 0);//高斯滤波Canny(mask, mask, 100, 250);//canny算子边缘检测

Canny（）函数参数表明：

第一个：InputArray类型的image，输入图像
第二个：OutputArray类型的edges，输出的边缘图
第三个：double类型的threshold1，第一个滞后性阈值
第四个：double类型的threshold2，第二个滞后性阈值

Canny过程为

高斯滤波获得平滑图像
计算每个像素点的梯度强度和方向
应用非极大值抑制，消除边缘检测带来的杂散响应
双阈值确定真实或潜在的边缘
抑制弱化边缘完成边缘检测

然后开始找轮廓

findContours()函数

findContours(mask,contours,hierarchy,RETR_EXTERNAL,CHAIN_APPROX_SIMPLE,Point());

第一个参数：输入图像

第二个参数：所有轮廓

第三个参数：表示第i个轮廓的后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号

第四个参数：RETR_EXTERNAL只检测最外围轮廓

第五个参数：CHAIN_APPROX_SIMPLE 仅保存轮廓的拐点信息

寻找最大轮廓

 vector<double> Area(contours.size());//寻找最大面积的轮廓for (int i = 1; i < contours.size(); i++) {Area[i] = contourArea(contours[i]);if (Area[i] > Area[max]) {max = i;}   }Rect boundRect = boundingRect(Mat(contours[max]));circle(frame, Point(boundRect.x + boundRect.width/2, boundRect.y + boundRect.height/2), 5, Scalar(0,0,255), -1);

boundingRect()函数

表示包围轮廓的最大矩形

返回四个参数

第一个：boundRect.x

第二个：boundRect.y

第三个：boundRect.width

第四个：boundRect.hight

左上角顶点的像素坐标值及矩形边界的宽和高

然后将矩形在原画面画出即可

ROS_INFO("x:%d,y:%d",boundRect.x+ boundRect.width/2, boundRect.y + boundRect.height/2);
rectangle(frame, Point(boundRect.x, boundRect.y), Point(boundRect.x + boundRect.width, boundRect.y + boundRect.height), Scalar( 0, 0, 255), 2);

添加发布话题

毕竟是在ros下编写的，我们要把像素坐标发布出去,这里自定义一个消息类型

boundingbox.msg

用来表示类和坐标值

主要代码

 while (ros::ok()) {  cap >> frame;  //摄像头画面赋给frameif(!frame.empty()) //画面是否正常{  /*对图片二次处理*/cvtColor(frame, imghsv, COLOR_BGR2HSV);// 将图像转换为HSV颜色空间split(imghsv, hsvSplit);equalizeHist(hsvSplit[2], hsvSplit[2]);merge(hsvSplit, imghsv);inRange(imghsv, lower_red, upper_red, mask);//二值化红色部分Mat kernel = getStructuringElement(MORPH_RECT, Size(5, 5));morphologyEx(mask, mask, MORPH_OPEN, kernel);//开运算morphologyEx(mask, mask, MORPH_CLOSE, kernel);//闭运算GaussianBlur(mask, mask, Size(5, 5), 0);//高斯滤波Canny(mask, mask, 150, 100);//canny算子边缘检测vector<vector<Point> > contours;vector<Vec4i> hierarchy;findContours(mask,contours,hierarchy,RETR_EXTERNAL,CHAIN_APPROX_SIMPLE,Point());  //ROS_INFO("个数为%d",int(contours.size()));vector<double> Area(contours.size());if(contours.size() > 0 ){//寻找最大面积的轮廓for (int i = 1; i < contours.size(); i++) {Area[i] = contourArea(contours[i]);if (Area[i] > Area[max]) {max = i;}   }Rect boundRect = boundingRect(Mat(contours[max]));circle(frame, Point(boundRect.x + boundRect.width/2, boundRect.y + boundRect.height/2), 5, Scalar(0,0,255), -1);ROS_INFO("x:%d,y:%d",boundRect.x+ boundRect.width/2, boundRect.y + boundRect.height/2);rectangle(frame, Point(boundRect.x, boundRect.y), Point(boundRect.x + boundRect.width, boundRect.y + boundRect.height), Scalar( 0, 0, 255), 2);detect_msg.Class = "red";detect_msg.xmin = boundRect.x;detect_msg.xmax=boundRect.x + boundRect.width;detect_msg.ymin=boundRect.y;detect_msg.ymax= boundRect.y + boundRect.height;}

四、成果

运行画面

查看话题

这里识别画面内所有红色区域

五、总结

写代码过程中还是遇到很多问题的，不知道是opencv版本不兼容的问题还是哪里我编写不细致，节点总是挂掉。

但还是能完成基本需求。

这里把报错留下，希望有大佬能帮帮我

OpenCV Error: Assertion failed (npoints >= 0 && (depth == CV_32F || depth == CV_32S)) in pointSetBoundingRect, file /build/opencv-L2vuMj/opencv-3.2.0+dfsg/modules/imgproc/src/shapedescr.cpp, line 466
terminate called after throwing an instance of 'cv::Exception'
what(): /build/opencv-L2vuMj/opencv-3.2.0+dfsg/modules/imgproc/src/shapedescr.cpp:466: error: (-215) npoints >= 0 && (depth == CV_32F || depth == CV_32S) in function pointSetBoundingRect

//应该是boundingRect()函数的问题，但不知道问题在哪

改良代码

根据上述问题，应该是计算最大面积时的问题，改成下述计算方法即可解决。

 if(	(!contours.empty() && !hierarchy.empty())){//寻找最大面积的轮廓while (itc != contours.end()){if( cv::contourArea(*itc) >  cv::contourArea(*max_c)) {max_c = itc;}itc++;}Rect boundRect = boundingRect(*max_c);circle(frame, Point(boundRect.x + boundRect.width/2, boundRect.y + boundRect.height/2), 5, Scalar(0,0,255), -1);rectangle(frame, Point(boundRect.x, boundRect.y), Point(boundRect.x + boundRect.width, boundRect.y + boundRect.height), Scalar( 0, 0, 255), 2);

欢迎评论区指正。