1. 【CoRL 2024】IMAGINATION POLICY: Using Generative Point Cloud Models for Learning Manipulation Policies

针对痛点和贡献

痛点：

• 传统方法的局限性： 许多传统的机器人操作策略学习方法直接将观测映射为动作，但忽略了局部几何信息，这导致了低效的任务泛化和迁移。尤其是在复杂的操作任务中，机器人需要更多的示范和较长的训练时间，且难以处理新的物体或场景。
• 高精度任务挑战： 传统的多任务机器人学习方法通常需要大量的专家演示才能有效地处理精确的任务（如插刀、插充电器等），因此在实际应用中面临很大的挑战。
• 缺乏对称性利用： 很多现有的方法没有充分利用任务中的对称性（如拾取和放置任务中的旋转对称性），导致了学习效率的低下和任务执行的局限性。

贡献：

• 提出IMAGINATION POLICY方法：该方法通过生成点云来想象目标状态，而不是直接从观察映射到动作。通过这种方式，机器人能够利用生成模型来高效地学习各种操作任务，而无需大量演示。
• 引入对称性约束：IMAGINATION POLICY方法通过利用任务中的几何对称性（如3D旋转对称性和双等变性），提高了学习效率。特别是，系统能够在多任务设置中高效地进行动作推断，而不需要大量的标注数据。
• 多任务能力和高效样本利用：通过引入生成的点云模型，IMAGINATION POLICY能够在多任务设置下实现高效的策略学习，并且能够通过少量演示来解决高精度任务。

摘要和结论

摘要： 本研究提出了一种名为IMAGINATION POLICY的多任务操作策略网络，旨在解决高精度的拾取和放置任务。与传统的动作直接生成方法不同，IMAGINATION POLICY通过生成目标状态的点云并利用刚性动作估计来推断动作。通过引入任务中的几何对称性，IMAGINATION POLICY提高了样本效率，并在RLbench基准上表现出优异的性能。

结论： IMAGINATION POLICY方法通过生成点云模型来学习机器人操作策略，成功解决了高精度任务中的一些痛点，如插刀和插充电器等任务，并在多个实验中超越了现有的多任务方法。该方法还在多任务学习中引入了对称性约束，进一步提高了学习的效率和泛化能力。尽管本方法有许多优点，但仍需进一步优化生成速度和解决点云分割的挑战。

引言

在引言部分，作者介绍了当前机器人学习中的挑战，尤其是在处理高精度任务和复杂场景时，传统方法所面临的限制。作者提到，大多数现有方法直接将观测映射到动作，忽略了对物体几何特征的建模，这限制了任务的迁移和泛化能力。受到人类操作方式的启发，作者提出了IMAGINATION POLICY，这是一种基于生成模型的操作策略学习方法，通过生成目标状态的点云来推断动作，克服了传统方法的局限性，并提高了任务的学习效率。

方法

IMAGINATION POLICY的框架包括两个主要模块：

1. 点云生成模块：该模块通过输入物体的点云和语言描述，生成一个新的点云，表示物体按照目标状态的组合位置。
2. 刚性变换推断模块：该模块通过点云配准方法，估计从当前状态到目标状态的刚性变换，进而推断出具体的操作动作。

整个模型的核心在于通过生成点云来想象目标状态，而不是直接从观测映射到动作，这使得系统能够通过少量示范学习到多任务操作策略。

• Encoding Point Feature.
• Generating Points.（Point Flow（Point Straight Flow）模型）生成模型生成一个新的点云 P_ab ，表示目标状态。
  
• Estimating the Action.
  
• Realizing the Bi-equivariance
  

双等变性（Bi-equivariance） 是IMAGINATION POLICY方法的一个重要特性，它利用任务中的几何对称性来提高样本效率和任务的泛化能力。简单来说，双等变性表示物体A和物体B的独立变换（旋转或平移）不会影响任务的执行效果，意味着系统能够自动适应物体的旋转和平移，而不需要重新学习每一种变化。

实验

在实验部分，作者使用了RLbench基准进行多任务测试，展示了IMAGINATION POLICY在多个复杂操作任务上的优异性能。实验结果表明，即使在仅使用少量演示的情况下（如1次或5次演示），IMAGINATION POLICY也能超过现有的一些基线方法，如PerAct、RVT等。特别是在需要高精度操作的任务（如插刀、插充电器）中，IMAGINATION POLICY表现出色，展示了其高样本效率和良好的任务泛化能力。

思考不足之处

生成速度和实时应用： 尽管IMAGINATION POLICY在任务学习中表现出色，但生成点云的过程需要较长的时间（例如，生成一个批次需要20秒），这可能限制了其在实时任务中的应用。因此，如何加速生成过程以提高实时性能是一个值得关注的问题。

点云分割问题： IMAGINATION POLICY假设可以获得高质量的分割点云，但在现实应用中，点云的分割可能存在噪声或不准确的情况，这可能会影响生成模型的表现。未来的工作可以考虑更好的点云分割方法，或者对噪声具有鲁棒性的生成模型。

对称性在复杂任务中的应用： 尽管本方法在多任务和高精度任务上取得了显著效果，但在更复杂的任务中（例如需要更多物体的操作任务）如何处理多物体之间的相互作用，仍然是一个值得进一步研究的问题。

2. 【CVPR2023】Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting

针对痛点和贡献

痛点：

• 数据标注成本高：现有自动驾驶场景预测任务依赖高质量的语义标签、边界框等标注数据，难以扩展到大规模未标注数据集。
• 任务设置不合理： 传统点云预测方法过于关注传感器自身参数（如内参和外参），而非场景的实际动态，降低了泛化能力和有效性。
• 评价标准局限：现有指标不能充分反映预测的几何准确性和场景动态的本质。

贡献：

• 任务重定义：
  提出“4D占用预测”任务，直接预测场景在时空中的占用状态，摆脱传感器相关因素的干扰。
  将传统点云预测转化为更通用的几何预测任务。
• 高效的自监督框架
  通过渲染点云从预测的4D占用中提取未来信息，实现从未标注LiDAR序列的自监督学习。
• 普适性强的评价框架：
  提出新的评估方法，能够统一衡量点云预测与4D占用预测的效果，并跨数据集和传感器平台进行比较。
• 实验验证与泛化：
  在多个公开数据集上实现最先进性能，并展示了跨传感器和数据集的泛化能力。

摘要和结论

本文通过引入“4D占用预测”任务，解决了点云预测任务中的核心痛点，专注于场景动态预测。
实验表明，该方法不仅在预测精度上超过现有方法，还在跨传感器泛化能力上取得突破，验证了任务重定义的价值。
结论强调了4D占用预测的潜在应用价值，包括更精确的环境建模、规划支持和跨设备数据融合。

引言

1. 传统点云预测方法主要问题：

• 高昂的数据标注成本。
• 不必要地学习传感器相关属性，忽视场景动态。
• 无法扩展到多种传感器和数据集。

2. 提出“4D占用预测”作为核心任务，利用自监督学习解决这些问题。
3. 核心目标：

• 用占用状态替代点云预测。
• 提供更通用的预测表示，用于下游任务如规划和轨迹预测。

模型框架

这个方法的核心在于如何将历史的LiDAR点云和传感器位置作为输入，预测未来的4D占用状态，进而渲染未来的点云。

1. 输入：

   • 历史点云和传感器位置。
     
     任务重构： 传统的点云预测任务通常要求直接从历史点云数据预测未来点云。然而，作者提出不直接进行点云预测，而是通过预测4D占用状态来代替。这使得模型的关注点从传感器的内外参数（extrinsics 和 intrinsics）转移到场景动态的捕捉。

2. 核心模型：

   • 占用预测网络（通过体素网格预测每个时空点的占用状态）。
   • 可微渲染器（通过射线追踪从体素网格中提取深度信息）。

3. 输出：

   • 未来4D占用预测。
   • 渲染出的未来点云。

4. 损失函数：
   • 通过预测深度与真实深度的L1损失训练网络。
     

渲染未来点云

思考不足之处

1. 对动态物体的预测能力有限：

   • 由于场景大部分是静态的，动态物体的权重在训练中被稀释，导致动态物体预测效果较弱。

2. 场景复杂度限制：

   • 方法在简单场景中表现优异，但在高度拥挤或遮挡严重的场景中仍需改进。

3. 评价指标改进：

   • 当前指标对动态物体的关注不足，未来需设计更敏感的评估方法。

4. 占用网格的分辨率与计算成本权衡：

   • 高分辨率网格虽能提升预测精度，但计算成本高，需在性能与效率间找到平衡。