机器人抓取综述

news/2024/10/19 9:34:38/

抓取物体的能力是大多数机器人操作任务所需的基 本能力之一。抓取涉及到物体的三维几何和物理特性的 推理,如质量和摩擦,以及复杂接触物理的推理。研究 方向主要有两个:已知物体三维模型或类别的基于模型抓取不知道物体先验知识的无模型抓取

基于三维模型的抓取:根据六自 由度目标位姿[1,2,3,4]或检测到的目标关键点[5,6]对这些 抓取点进行变换,从而规避了接触和抓取生成的物理推理。

缺点:只适用于已知对象或 类别的有限子集,并且在检测六自由度对象姿态或对象 关键点时的任何错误都会降低抓取性能

基于无模型的抓取(基于数据驱动的抓取):不会对物体的类别或形状做出任何强有 力的假设,它们会学习所有物体形状和大小的共享表示。然而,除了抓取姿势的大SE(3)空间之外,为所有对象提 供一个共享表示使得学习问题相当具有挑战性。[7,8,9] 抓取由每个像素周围 的定向矩形表示。这种方法需要相机垂直地观看场景,从而极大地限制了3D 推理和应用。

为解决抓取平面的局限性,[10,11,12,13, 14]解决了未知物体6D抓取问题。目标物体必须被成功抓取,同时必须避免与其他物体发 生任何碰撞,以防止损坏或转化为其他不希望的状态。

判别方法:抓取的判别方法是训练一个分类器来评估现有的抓取质量【3个】【Dex-Net2.0】【Fischinger D, Weiss A, Vincze M. Learning grasps with topographic features[J]. The International Journal of Robotics Research, 2015, 34(9): 1167-1194.】【PointNetGPD】。它们使用不同的采样策略来生成潜在 的候选对象。对于平面抓取,交叉熵被广泛使用,因为 它可以通过迭代评估不同位置的抓取质量来收敛到最终 抓取位置【Dex2.0】。然而,交叉熵方法在高维六自由度抓取空 间中效果不佳。为了克服采样复杂性问题,通常使用几 何启发式对抓取位置进行采样【GPD、PointNetGPD】。

抓取生成:基于学习的生成式抓取方法旨在克服几何启发 式的局限性,通常根据物理模拟器中的经验生成有意义 的6-DoF抓取【2个,6-dof graspnet】【Mousavian A, Eppner C, Fox D. 6-dof graspnet: Variational grasp generation for object manipulation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 2901-2910.】【Murali A, Mousavian A, Eppner C, et al. 6-dof grasping for target-driven object manipulation in clutter[C]//2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020: 6232-6238.】。

不是使用启发式方法对一些 潜在的候选对象进行抽样并对它们进行排序,而是直接预测SO(3)空间中的每点可抓取性得分和接近方向【Graspnet-1billion】【Qin Y, Chen R, Zhu H, et al. S4g: Amodal single-view single-shot se (3) grasp detection in cluttered scenes[C]//Conference on robot learning. PMLR, 2020: 53-65.】【“Pointnet++ grasping】

Sundermeyer等人【Sundermeyer M, Mousavian A, Triebel R, et al. Contact-graspnet: Efficient 6-dof grasp generation in cluttered scenes[C]//2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021: 13438-13444.】在Murali等人【Murali A, Mousavian A, Eppner C, et al. 6-dof grasping for target-driven object manipulation in clutter[C]//2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020: 6232-6238.】的工作基础上,直接处理一个完整的场景点云或目标物体周围的局部区域,使用预训练的未知物体实例分割模型对物体进行分割,生成的抓地力的质量不依赖于精确掩模,端到端的实现复杂场景中对未知物体的抓取。


http://www.ppmy.cn/news/1448945.html

相关文章

高质量数据至关重要:phi-1.5论文笔记

导语 phi-系列模型是微软研究团队推出的轻量级人工智能模型,旨在实现“小而精”的目标,能够实现在低功耗设备上例如智能手机和平板电脑上部署运行。截止目前,已经发布到了phi-3模型,本系列博客将沿着最初的phi-1到phi-1.5&#x…

XCP协议是啥

XCP协议是一个具有多个含义的术语,具体取决于上下文和应用领域。以下是XCP协议在不同领域中的解释: 在互联网领域,XCP(Explicit Control Protocol)是针对ECN机制的一种补充。它的主要思想是充分利用网络中间节点对链路…

YOLOv9/YOLOv8算法改进【NO.126】YOLOv9的RepNCSPELAN进行二次创新

前 言 YOLO算法改进系列出到这,很多朋友问改进如何选择是最佳的,下面我就根据个人多年的写作发文章以及指导发文章的经验来看,按照优先顺序进行排序讲解YOLO算法改进方法的顺序选择。具体有需求的同学可以私信我沟通: 首推…

【麒麟(Linux)系统远程连接到windows系统并进行文件传输】

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言使用步骤总结 前言 一般来说,windows自带远程桌面,使用的RDP协议,Linux上支持RDP协议的软件很多,常用的是Remmi…

8、Flink 在 source 处生成水位线 和 在 source 之后生成水位线案例

1、AtSourceGenerateWatermark 注意:从 Flink 1.17开始,FLIP-27 源框架支持拆分级别的水印对齐。 import java.time.Duration;public class _02_AtSourceGenerateWatermark {public static void main(String[] args) throws Exception {StreamExecution…

【AIGC调研系列】Sora级别的国产视频大模型-Vidu

Vidu能够达到Sora级别的标准。Vidu被多个来源认为是国内首个Sora级别的视频大模型[2][3][4]。它采用了团队原创的Diffusion与Transformer融合的架构U-ViT,能够生成长达16秒、分辨率高达1080P的高清视频内容[1][6]。此外,Vidu的一致性、运动幅度都达到了S…

学习笔记-数据结构-线性表(2024-04-27)

设计一个高效算法&#xff0c;将顺序表L的所有元素逆置&#xff0c;要求算法的空间复杂度为O(1)。 算法思想&#xff1a; 扫描顺序表L的前半部分元素&#xff0c;对于元素L.data[i]&#xff08;0<i<L.length/2&#xff09;将其与后边部分的对应元素L.data[length-i-1]进行…

如何用二维码实现现代仓库管理?

随着科技的进步&#xff0c;二维码技术逐渐应用与各个领域&#xff0c;其中在仓库管理中的应用也日益广泛。 那话不多说&#xff0c;我们直接来看如何用二维码实现现代仓库管理 简道云仓库管理模板&#xff0c;可以点击安装配合阅读&#xff1a;https://www.jiandaoyun.com 二…