w~视觉~3D~合集5

news/2024/12/28 19:22:06/

我自己的原文哦~    https://blog.51cto.com/whaosoft/12898983

#Neural Sewing Machine (NSM)

Neural Sewing Machine (NSM),一种新颖的保持 3D 衣物结构的学习框架,可以有效表示多样化形状和拓扑结构的 3D 衣物,并应用于 3D 衣物表征,3D 衣物重建和可控衣物编辑。

中山大学 HCP 实验室联合牛津大学 TVG 实验室共同发表论文《Structure-Preserving 3D Modeling with Neural Sewing Machines》该工作主要由陈曦鹏、王广润博士等人完成。

3D 衣物建模是计算机领域的一个关键且具有挑战性的任务,具体是指如何在计算机中构建一件 3D 的虚拟衣物。构建 3D 衣物具有多种实际应用,包括 3D 虚拟试衣、虚拟数字人和服装设计。最近基于学习的衣物建模方法收到越来越多的关注,然而,现有方法多针对特定类别或相对简单拓扑的衣物进行建模。

论文链接: https://arxiv.org/abs/2211.06701

背景

目前基于学习的方法要么使用固定的 3D 网格模板,将衣物表示为 SMPL 模型上的位移,或是借助人体的 UV 参数化来表示衣物。这些方法主要针对特定的衣物类别,或是拓扑结构相对简单的衣物进行建模。那么是否存在一个模型可以表达不同种类且形状各异的衣物呢? 

缝纫纸样(sewing pattern)是衣物建模和生产中广泛使用的一种结构。缝纫纸样由一组 2D 面板以及面板间的缝合信息组成。例如,一条裙子的缝纫纸样有 4 个 2D 面板(panel)。每个面板对应于 3D 衣物的一部分。使用缝纫纸样来建模 3D 衣物可带来以下好处:

  • 首先,可以表达各种不同类别和形状的衣物
  • 其次,描述了 3D 衣物的内在结构
  • 最后,提供了衣物的 UV 参数化

模型

本文提出了 Neural Sewing Machine(NSM),一种保持 3D 衣物结构的学习框架,能够学习不同形状和拓扑的衣物的表示,主要由以下三个模块组成:

1)缝纫纸样编码模块能够将不同衣物类别的缝纫纸样编码到一个低维空间中。一件衣物可以分解为几个基本部分,例如,一件夹克可以由帽子、袖子和背心部位组成。因此可以将衣服拆解成几个基本的部件类别,并为每种类别计算一个 PCA 子空间。通过拼接这些类别的 PCA 系数来获得缝纫纸样的特征编码。

 2)3D 衣物预测模块负责从缝纫纸样的特征编码中解码出 3D 衣物。本文引入了带有掩模的 UV 位置图(UV position maps with masks)来表示一件 3D 的衣物。具体来说,UV 位置图将衣物的 3D 坐标存储在缝纫纸样每一个面板的 UV 坐标处,而掩模图表示了缝纫纸样每一个面板的形状。其中 UV 位置图是通过一个 CNN 解码器预测得到,而预测的掩模图通过 inverse PCA 解码获得。 

3)为了保持 3D 衣物的内在结构,本文在框架的训练中引入了四个损失函数: (a)3D 重建损失约束了预测的 UV 位置图和 3D 标签相同。(b)面板内结构保护损失约束了缝纫纸样与对应的 3D 衣物在局部的拉伸保持一致。(c)面板间结构保护损失将 3D 空间中两个邻接面板的边缘缝合在一起。(d)表面法线损失约束了预测的 3D 衣物应具有与 3D 标签相同的表面法线向量。 

实验

实验表明了我们的框架能够表示不同的形状和拓扑结构下的 3D 衣物。同时,我们验证了基于单张图像的 3D 衣物重建任务,可以看到我们的方法有助于保持衣物的细节结构。我们还展示了可控的衣物编辑,通过在缝纫纸样上进行编辑来显著改变衣物的 3D 形状或是将衣物从一个类别变换到另一个类别。 

消融实验验证了我们框架中每个组件的有效性。我们还展示了在缝纫纸样的特征编码上插值的结果。可以看到,2D 缝纫纸样和 3D 衣物的变化是一致的。最后,我们展示了方法对真实场景具备一定的泛化能力,尽管我们的框架仅在合成数据进行训练,合成数据与真实场景之间存在域差距,但结果证实了我们方法的具备一定的泛化能力。        

实验室简介

中山大学人机物智能融合实验室 (HCP Lab) 由林倞教授于 2010 年创办,围绕人工智能前沿技术布局研究课题,获得中国图像图形学会科技一等奖、吴文俊自然科学奖、省级自然科学一等奖等荣誉;培养了梁小丹、王可泽等国家级青年人才。


http://www.ppmy.cn/news/1558865.html

相关文章

【Linux】Linux的基础工具

目录 1. 整体学习思维导图 2. 安装工具yum/apt 2.1 安装工具是什么? 2.2 理解安装的过程 3. Vim 编辑器的使用 3.1 vim的多模式 3.2 命令模式:快速编辑 3.3 替换模式 3.4 底行模式 3.5 视图模式 3.6 小技巧 4. gcc/g 5. 理解编译和库的基础…

当代体育科技杂志当代体育科技杂志社当代体育科技编辑部2024年第33期目录

运动人体科学 运动调控代谢综合征的机制研究 张征光;葛贝贝;陈英豪; 1-4 肥胖初中男生体力活动与静息能耗的计量关系 张卫东;乔云峰; 5-9 青少年乒乓球运动中肩部损伤的预防策略 张悦;王英建;黄春艳; 10-1293 运动训练学 青少年啦啦操专项体能训练策略研究 张爱…

IntelliJ Idea常用快捷键详解

文章目录 IntelliJ Idea常用快捷键详解一、引言二、文本编辑与导航1、文本编辑2、代码折叠与展开 三、运行和调试四、代码编辑1、代码补全 五、重构与优化1、重构 六、使用示例代码注释示例代码补全示例 七、总结 IntelliJ Idea常用快捷键详解 一、引言 在Java开发中&#xff…

如何计算相位差

如何计算相位差 假设我们有两个同频率的正弦信号: 这里两个信号的角频率w2πf是相同的,根据同频正弦信号相位差的计算方法,直接用两个信号的相位相减。 再来看利用波形图计算相位差的例子: 另一种计算方式:

定位方式:css

使用相对路径 div ul #div下的所有ul,空格表示相对路径(这个实际中用的多一些) 绝对路径-一般不用绝对路径 html>head>div,“>”表示根路径 使用class名称定位 使用.表示 使用id定位 使用#表示 使用属性定位 [属性名…

【RAG实战】语言模型基础

语言模型赋予了计算机理解和生成人类语言的能力。它结合了统计学原理和深度神经网络技术,通过对大量的样本数据进行复杂的概率分布分析来学习语言结构的内在模式和相关性。具体地,语言模型可根据上下文中已出现的词序列,使用概率推断来预测接…

XlDynamicFilterCriteria 枚举 (Excel)

在vba中使用Range.autoFilter时,第二个参数(条件criteria1)可以用以下参数。 文档链接:XlDynamicFilterCriteria 枚举 (Excel) | Microsoft ​​​​​​Office VBA 参考主题https://learn.microsoft.com/zh-cn/office/vba/api/ex…

如何通过HTTP API插入Doc

本文介绍如何通过HTTP API向Collection中插入Doc。 说明 插入Doc时若指定id已存在,已存在的Doc不会被覆盖,本次插入Doc操作无效。 插入Doc时若不指定id,则在插入过程中会自动生成id,并在返回结果中携带id信息。 前提条件 已创建…