基于GS(Gaussian Splatting)的机器人Sim2Real2Sim仿真平台

devtools/2025/2/2 5:32:54/

项目地址:RoboGSim

背景简介

        已有的数据采集方法中,遥操作(下左)是数据质量高,但采集成本高、效率低下;传统仿真流程成本低(下右),但真实度(如纹理、物理)欠佳,质量低;为了兼顾成本效率和数据真实性质量,本工作提出RoboGSim(上图),它一个高效、低成本的仿真平台,具有高保真渲染能力。它通过新场景、新物体和新视角实现演示合成,从而促进Policy学习的数据扩展。此外,它能够执行闭环模拟仿真以便对不同policy模型进行安全、公平和现实的评估。兼具低成本、高真实度的优势。

方法介绍

RoboGSim由四个模块组成:Gaussian Reconstructor, Digital Twins Builder, Scene Composer, Interactive Engine,流程如下图所示:

Gaussian Reconstructor

        本方法采用3DGS方法重建静态场景,然后对机器人手臂的关节进行点云分割。随后,我们利用MDH动态模型控制对应于每个关节的点云,从而实现机器手臂的动态渲染。3DGS利用一组多视角图像作为输入,以实现高保真场景重建。其将场景表示为一组高斯分布,并利用可微分光栅化渲染方法来实现实时渲染,能获得非常逼真的渲染图像。

Digital Twins Builder

        通过 Real2Sim 布局对齐和 Sim2GS 稀疏关键点对齐可以数字化现实世界,使数字资产在现实、模拟和 GS 表现之间保持一致。

        3D Assets Generation: 现实世界的物体采用COLMAP+3DGS进行重建,网络上的物体则使用Wonder3D+GaussianEditor进行重建;

        Layout Alignment: 使用测量和几何的方法将重建3DGS场景与仿真器isaac-sim中的布局进行对齐

Scene Composer     

        场景编辑:基于相机和手臂之间的内外参,将场景转换到机械臂所在的坐标系;

        对象编辑:使用上述同样的方法将操作对象转换到机械臂坐标系。

Interactive Engine

        Synthesizer:使用引擎生成大量的训练轨迹,包括机械臂的运动和目标物体的轨迹。这些轨迹驱动3DGS生成大量的逼真模拟数据集,用于Policy学习。这些多样化的数据包括新颖视角的渲染、场景组合和物体替换。

        EvaluatorIsaac Sim 输出物体和机械臂的状态,GS据此进行渲染。渲染图像被送入Policy网络预测下一帧动作,该动作被传递给仿真系统进行运动学逆向解析、碰撞检测和其他物理交互。Isaac Sim再将解析出的六轴相对姿态发送给GS渲染器,后者将渲染结果作为反馈发送回策略网络。这作为预测下一动作的视觉反馈,整个过程不断迭代,直到任务完成。

实验验证:从数据合成验证到闭环仿真

Real2Sim Novel Pose Synthesis

该实验目标是验证Real2Sim重建的性能,特别关注机器人手臂运动的准确性和图像纹理的保真度。静态场景是使用来自GT第一帧的机器人手臂初始姿势重建的。从真实机器人手臂收集的轨迹被用作驱动力,我们采用运动控制进行新姿态的渲染。RoboGSim 实现了31.3 PSNR0.79SSIM的渲染性能,同时保证了10 FPS的实时效率。

Sim2Real Trajectory Replay

该实验中轨迹是通过Issac Sim收集的,然后该轨迹用于驱动GS渲染取可乐的场景,同一轨迹用于驱动真实机器抓取可乐罐。如上比较结果表明模拟policy与机械臂的实际物理行为之间存在强一致性,突显了本系统中Sim2Real转移的有效性。这些结果表明,我们的仿真能够可靠地模拟现实世界的动态,促进从仿真到现实世界的成功策略转移。

RoboGSim as Synthesizer

本实验是为了验证RoboGSim合成数据的有效性,在真实世界和RoboGSim环境中各采集了1000条数据,前者耗时40h,后者仅耗时4h,然后用来训练自研VLA,上表中展示了两者的成功率,从中可以看出,纯仿真数据训练后的VLA在真实环境中具有一定的成功率,具有明显效果。

RoboGSim as Evaluator

本实验主要探讨将RoboGSim作为Evaluator的有效性。给定经过训练的VLA,将其部署于真实世界的机器人RoboGSim中,RoboGSim能够再现与真实世界相似结果。对于类似糟糕案例,也能够避免真实世界中存在的问题,如碰撞。因此, RoboGSim作为评估器为policy提供了一个公平、安全和高效的评估平台。

结论

基于3DGS和IsaacSim的Real2Sim2Real仿真能高效合成高质量数据,目前成功率虽不及实采数据,但因其成本低和效率高,合成大量数据后有望达到实采数据的成功率,为通用操作大模型验证了一条可行路径。


http://www.ppmy.cn/devtools/155349.html

相关文章

在Windows中 基于Oracle GoldenGate (OGG)进行MySQL-gt;MySQL数据库同步配置(超详细)_ogg-15146

注意:源端与目标端都需要进行安装Oracle GoldenGate 四、Oracle GoldenGate配置 以下为Source(同步的数据源)Oracle GoldenGate配置 1、Oracle GoldenGate(源端) (1)、在源端服务器安装的OG…

Miniconda 安装及使用

文章目录 前言1、Miniconda 简介2、Linux 环境说明2.1、安装2.2、配置2.3、常用命令2.4、常见问题及解决方案 前言 在 Python 中,“环境管理”是一个非常重要的概念,它主要是指对 Python 解释器及其相关依赖库进行管理和隔离,以确保开发环境…

.strip()用法

.strip("") 是 Python 字符串方法 strip() 的一个用法,它会去除字符串两端指定字符集中的字符。 基本语法: string.strip([chars])string: 这是你要操作的字符串。chars: 可选参数,表示你想要去除的字符集(默认为空格…

2025.2.1(迭代器,auto,for遍历)

迭代器(iterator) 迭代器是cpp中STL的重要组成部分,主要负责数据的遍历以及删改,//迭代器,形如指针,一些地方就是指针,begin返回这块空间开始的迭代器,end是最后一个数据的下一个位置的迭代器,…

单片机基础模块学习——DS18B20温度传感器芯片

不知道该往哪走的时候,就往前走。 一、DS18B20芯片原理图 该芯片共有三个引脚,分别为 GND——接地引脚DQ——数据通信引脚VDD——正电源 数据通信用到的是1-Wier协议 优点:占用端口少,电路设计方便 同时该协议要求通过上拉电阻…

六. Redis当中的“发布” 和 “订阅” 的详细讲解说明(图文并茂)

六. Redis当中的“发布” 和 “订阅” 的详细讲解说明(图文并茂) 文章目录 六. Redis当中的“发布” 和 “订阅” 的详细讲解说明(图文并茂)1. 发布 和 订阅的概念 2. 发布订阅模式分类2.1 一个发布者,多个订阅者2.2 多个发布者,一个订阅者2.3 多个发布者…

DeepSeek能下围棋吗?(续)

休息了一下,接着琢磨围棋,其实前面一篇里的规则有个漏洞的,就是邻居关系定义有问题,先回顾一下游戏规则: 游戏规则 定义: 1.数字对,是指两个1到9之间的整数组成的有序集合。可与记为(m,n)&…

webview_flutter_wkwebview 3.17.0使用指南

文档一 lib\inserted_web_seven\tell_to_ai\my_summary\webview_flutter_wkwebview_3.17.0_guide.txt webview_flutter_wkwebview3.17.0 使用指南 日期:2025年1月26日 一、核心作用 iOS/macOS平台的Flutter WebView实现组件,基于WKWebView提供&#x…