(四)3D视觉机器人的手眼标定(眼在手外)

ops/2024/11/25 5:23:39/

内容

  • 1.背景介绍
    • 1.1 思路
    • T_target_to_cam求解
    • 公式求解
  • 2.操作流程

1.背景介绍

  3D视觉机器人指的是机器人通过3D相机提供的3D点云视觉信息,完成某些实际的功能。
  目标是将场景信息从相机坐标系变换至机械臂坐标系中,最终是获得相机到机械臂基座的空间变换矩阵。
  下面以眼在手外标定为例:

在这里插入图片描述
  上图中,相机④固定在工作空间中,标定板③被固定在机械臂末端②上,为了做手眼标定在末端上固定一个标定板。
  标定过程中标定板③机械臂末端②固定位姿不变,由上图可知,相机④机械臂基座①的相对位置不变,然后通过示教器控制机械臂带着标定板③在不同的位姿下进行拍照,拍照的过程中保存当前拍到的标定板图片以及记录图片对应示教器上的世界坐标。
  眼在手外标定的目的是求出相机④坐标系到机械臂基座标系①的变换矩阵。

1.1 思路

在这里插入图片描述
  眼在手外标定可以理解为上述坐标系转换的关系,其中③可由机械臂示教器上的数值直接获取,④由于是固定不变的,后面可通过计算进行消除。目标是求出相机相对于机械臂基座坐标系的位姿

T_target_to_cam求解

  T_target_to_cam可以理解是齐次矩阵,是由R_target_to_cam(旋转矩阵)和平移向量t_target_to_cam组成。
在这里插入图片描述
  其中R_target_to_cam(旋转矩阵)可以由三个单位向量来表示,下面需要建立这个单位向量。
在这里插入图片描述
  这里使用的标定板是棋盘格标定板,可以通过OpenCV中的函数寻找到棋盘格上的每个角点像素坐标系,以左上角第一个角点作为原点,和右上角的角点相连作为X轴正方向,和左下角的角点相连作为Y轴正方向,计算它们的单位向量VxVyVz可由Vx和Vy叉乘得到。
3d7e00a844aca295f9f617e14980.png" alt="在这里插入图片描述" />

PS:这里选择右上角的角点和左下角的角点,和原点相连是为了提高精度。

  因为使用的是3D相机,可以知道左上角角点的像素坐标和深度信息,通过相机内参将像素坐标转换为实际物理坐标(相机坐标系下),则t_target_to_cam平移向量可以得到。

公式求解

在这里插入图片描述
  上面的公式中,①可以通过上面的方法求解,③是已知值,将等式两边左乘T_base_to_cam逆矩阵T_end_to_base逆矩阵,可以将T_target_to_end单独放在等式右边,输入两组值,由于目标(标定板相对于机械臂末端的位姿关系固定)T_target_to_end相等,可以将两组值直接相等,去除T_target_to_end

  剩下的就是AX = XB求解,输入多组值即可求出相机相对于机械臂基座坐标系的位姿,即T_cam_to_base

2.操作流程

操作流程基本和眼在手外标定流程相同,只是这里相机是不变的,需要将标定板固定到机械臂的末端,参考:https://blog.csdn.net/qq_45445740/article/details/123947559

上面提到的计算T_target_to_cam通过建立坐标系的方法进行求解,作为一个求解思路,OpenCV中有现成的函数直接进行求解,calibrateCamera,可以计算眼在手上和眼在手外,只是输入的参数不同。

感谢视频讲解:https://www.bilibili.com/video/BV1Rw411d7ch/?spm_id_from=333.880.my_history.page.click


http://www.ppmy.cn/ops/136488.html

相关文章

MATLAB的addpath和rmpath函数增加或删除路径

在进行MBD建模开发时,模型生成代码时常需要加载一些其他的文件,例如代码生成模版文件cgt文件、模型所涉及的头文件,这个时候可以在模型的回调函数中使用addpath和rmpath函数加载和删除路径,例如设置模型的加载之前的回调函数在模型…

代码风格与规范

2. 代码风格与规范 代码风格与规范是编写高质量软件的基础。良好的代码风格不仅提升代码的可读性和可维护性,还促进团队协作,减少潜在的错误。以下内容将详细介绍在Python开发中需要注意的关键点。 2.1 遵循PEP 8代码风格指南 什么是PEP 8&#xff1f…

SATA接口不通分析案例分享

问题: 反馈有台NVR的某个接口SATA不通(共有4个SATA接口,采用SATA HUB JMB575),挂载硬盘不上。 分析: 1、直接对换问题口SATA1与正常口SATA2的SATA数据线,SATA1口还是异常,挂在不上…

Python 开发工具 -- PyCharm 简介

一、PyCharm 简介 PyCharm 是由 JetBrains 打造的一款 Python IDE。 PyCharm 具备一般 Python IDE 的功能,比如:调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制等。 另外,PyCharm 还提供了一些很好的功能用…

小米xiaomi

文章目录 一、vector和list的区别?二、include 双引号和尖括号的区别?三、set的底层数据结构?四、set和multiset的区别?五、map和unordered_map的区别?六、虚函数和纯虚函数的区别?七、extern C有了解过吗&…

Yolo11改进策略:Block改进|VOLO,视觉识别中的视觉展望器|即插即用|附代码+改进方法

摘要 论文介绍 VOLO模型概述:本文提出了一种名为VOLO的视觉识别模型,该模型旨在通过创新的注意力机制——前景器(Outlooker)来提高视觉识别的性能。VOLO模型在ImageNet等基准测试上取得了优异的结果。研究背景:传统的视觉Transformer(ViT)模型在全局依赖性建模上表现出…

I.MX6U 裸机开发15.IRQ中断——GPIO中断处理

I.MX6U 裸机开发15.IRQ中断——GPIO中断处理 一、向GPIO驱动添加中断处理函数1. GPIO 相关寄存器(1)GPIOx_ICRn 按键GPIO设置中断模式(2)使能GPIO对应的中断(3)GPIOx_EDGE_SEL(4)GPI…

stable diffusion生成模型

1、stable diffusion Stable Diffusion 是一种扩散模型,基于对图像的逐步去噪过程训练和生成。它的核心包括以下几个步骤: 扩散过程(Diffusion Process)在训练时,向真实图像逐步添加噪声,最终将其变为纯随机噪声。这是一个正向过程,目的是学习如何将复杂的图像分解成随…