HUP-3D: A 3D Multi-view Synthetic Dataset for Assisted-Egocentric Hand-Ultrasound-Probe Pose Estimation

摘要

背景： 以自我为中心的无标记 3D 关节姿态估计在混合现实医学教育中具有潜在的应用。理解手部和探针动作的能力为量身定制的指导和指导应用打开了大门
目的： 提出了 HUP-3D，这是一个 3D 多视图多模态合成数据集，用于在产科超声背景下进行手部超声 （US） 探头姿势估计。
方法： 数据集由超过 31k 组 RGB、深度和分割蒙版帧组成，包括与姿势相关的参考数据，重点是图像多样性和复杂性。采用基于摄像头视点的球体概念，我们可以捕捉各种视图，并使用预先训练的网络生成多个手抓姿势。此外，还包括基于软件的图像渲染概念，通过各种手部和手臂纹理、照明条件和背景图像增强多样性。
结果： 使用最先进的学习模型验证了提出的数据集，并获得了最低的手部对象关键点误差。
代码地址

方法

3d0eecc1ec4fb49de3089a3cf1d647.png" alt="在这里插入图片描述" />
没有看到实验结果