基于OpenCV视觉库让机械手根据视觉判断物体有无和分类抓取的例程

devtools/2024/11/30 8:07:46/

项目实例,在一个无人封闭的隔绝场景中,根据视觉判断物件的有无,通过机械手
进行物件分类提取,并且返回状态结果;
实际的场景是有一个类似采血的固件支架盘,上面很多采血管,采血管帽颜色可能不同,
也有可能支架盘上只有空位,没有放置采血管,需要机器操作。

图像的大小,支架和物件的位置、大小等等都基本保存一致不会经常的变化。


开始的思路是通过判断空位上的圆来做排除,遇到了局限性,比如光照不好的情况下,空位
并非是正常的圆,可能是缺的圆,而且因为视角的缘故,根本没法判断是圆了,于是只好放弃;

后来就进行二值化后判断多个圆,如果有多个圆的那应该是有物件的,二值化后显然无法
根据颜色来判断不同的提取对象,也是不行的;

最后还是觉得通过颜色来判断比较合理,因为不仅仅要获取物件的有无,还要判断物件的分类,
而且物件的大概位置不能错,因为要知道对应的位置上是否有插物件。

设计思路:
使用 HSV颜色模型来做。

HSV(Hue, Saturation, Value)是根据颜色的直观特性由A. R. Smith在1978年创建的一种颜色空间, 
也称六角锥体模型(Hexcone Model)。
HSV颜色模型是指H、S、V三维颜色空间中的一个可见光子集,它包含某个颜色域的所有颜色。

每一种颜色都是由色相(Hue,简H),饱和度(Saturation,简S)和色明度(Value,简V)所表示的。
这个模型中颜色的参数分别是:色调(H),饱和度(S),亮度(V)。

色调H参数表示色彩信息,即所处的光谱颜色的位置。该参数用一角度量来表示,取值范围为0°~360°。
若从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°。
它们的补色是:黄色为60°,青色为180°,紫色为300°;

饱和度S:取值范围为0.0~1.0;
亮度V:取值范围为0.0(黑色)~1.0(白色)。

调试判断过程如下:

橘红色物件

黄色物件

相关代码如下


void CMFCCVMDlg::OnBnClickedBtnOpen()
{char* window_name = "testCELL";//resizeWindow(window_name, 480, 320);BOOL isOpen = TRUE;		    //是否打开(否则为保存)CString defaultDir = "";	//默认打开的文件路径CString fileName = "";		//默认打开的文件名CString filter = "图像文件 (*.png; *.jpg; *.bmp)|*.png;*.jpg;*.bmp||";	//文件过虑的类型CFileDialog openFileDlg(isOpen, defaultDir, fileName, OFN_HIDEREADONLY | OFN_READONLY, filter, NULL);openFileDlg.GetOFN().lpstrInitialDir = "";INT_PTR result = openFileDlg.DoModal();CString filePath = "";if (result != IDOK) {//filePath = openFileDlg.GetPathName();return;}filePath = openFileDlg.GetPathName();Mat imgOriginal = imread(filePath.GetBuffer());namedWindow("imgOriginal", 0);imshow("imgOriginal", imgOriginal);int iLowH = 0, iLowS = 0, iLowV = 0;int iHighH = 180, iHighS = 255, iHighV = 255;Mat imgHSV, imgThresholded;//vector<Mat> hsvSplit;cvtColor(imgOriginal, imgHSV, COLOR_BGR2HSV); //Convert the captured frame from BGR to HSV//split(imgHSV, hsvSplit);namedWindow(window_name, 0);// 创建跟踪条并将其附着到指定窗口。createTrackbar("iLowH:", window_name, &iLowH, 180); //no name cann't use thiscreateTrackbar("iHighH:", window_name, &iHighH, 180);createTrackbar("iLowS:", window_name, &iLowS, 255);createTrackbar("iHighS:", window_name, &iHighS, 255);createTrackbar("iLowV:", window_name, &iLowV, 255);createTrackbar("iHighV:", window_name, &iHighV, 255);while (true){// 检查数组元素是否位于其他两个数组的元素之间。inRange(imgHSV, Scalar(iLowH, iLowS, iLowV), Scalar(iHighH, iHighS, iHighV), imgThresholded);//src.copyTo(dst, detected_edges);imshow(window_name, imgThresholded);char key = (char)waitKey(30);if (key == 27)break;}
}

最后做下亮块大小判断即可获得是否有物件,和对应位置,以及是什么颜色的物件。


http://www.ppmy.cn/devtools/138136.html

相关文章

深入探索Flax:一个用于构建神经网络的灵活和高效库

深入探索Flax&#xff1a;一个用于构建神经网络的灵活和高效库 在深度学习领域&#xff0c;TensorFlow 和 PyTorch 作为主流的框架&#xff0c;已被广泛使用。不过&#xff0c;Flax 作为一个较新的库&#xff0c;近年来得到了越来越多的关注。Flax 是一个由Google Research团队…

租赁小程序|租赁系统搭建|租赁系统需求

随着信息技术的高速发展&#xff0c;租赁行业逐渐向智能化、便捷化方向迈进。一款优秀的租赁小程序&#xff0c;旨在为用户提供一站式的租赁服务体验&#xff0c;同时帮助租赁企业优化管理流程&#xff0c;提高业务效率。 一、用户需求精准把握 在开发任何软件产品时&#xff0…

2024年11月28日Github流行趋势

项目名称&#xff1a;OpenInterpreter 项目维护者&#xff1a;KillianLucas, Notnaton, MikeBirdTech, CyanideByte, ericrallen项目介绍&#xff1a;一个自然语言计算机接口&#xff0c;允许用户通过自然语言与计算机交互。项目star数&#xff1a;56,695项目fork数&#xff1a…

TypeScript 命名空间与模块

在 TypeScript 中&#xff0c;命名空间和模块是两种不同的代码组织方式&#xff0c;它们都旨在帮助你管理和维护大型代码库。命名空间提供了一种将相关功能组织在一起的方式&#xff0c;而模块则允许你将代码分解成可重用的单元。在本文中&#xff0c;我们将探讨命名空间和模块…

2024年11月29日Github流行趋势

项目名称&#xff1a;aisuite 项目维护者&#xff1a;ksolo, standsleeping, rohitprasad15, jeffxtang, andrewyng项目介绍&#xff1a;为多个生成式AI供应商提供简单、统一的接口。项目star数&#xff1a;4,302项目fork数&#xff1a;368 项目名称&#xff1a;screenshot-to…

评分规则的建模,用户全选就是满分10分(分数可自定义), 选2个5分, 选2个以下0分

子夜(603***854) 15:11:40 和各位讨论一下设计问题: 有个有业务场景: 有一组产品共4个产品(数目用户可自定义), 需要一套规则,比如如果用户全选就是满分10分(分数可自定义), 选2个5分, 选2个以下0分 又比如另一组产品 产品有个必选属性,如果选了其中所有的必选则5分, 其他项每1…

【设计模式】【结构型模式(Structural Patterns)】之外观模式(Facade Pattern)

1. 设计模式原理说明 外观模式&#xff08;Facade Pattern&#xff09; 是一种结构型设计模式&#xff0c;它提供了一个统一的接口&#xff0c;用来访问子系统中的一群接口。外观模式定义了一个高层接口&#xff0c;这个接口使得这一子系统更加容易使用。通过隐藏子系统的复杂…

服务器命令行复制文件

服务器拷贝大文件太慢&#xff0c;而且容易断线&#xff0c;可以采用命令行复制文件 复制windows server服务器文件到linux服务器 scp D:\bim\uploadPath.zip ruoyixx.xx.xx.xx:/home/ruoyi/temp/uploadPath.zip 复制linux服务器文件到windows server服务器 scp ruoyixx.xx.…