GAMES105笔记 - 7.Skinning

7.Skinning

- 算法
- - 线性混合蒙皮Linear Blend Skinning（LBS）
  - 对偶四元数蒙皮 Dual-quaternion Skining（DQS）
  - Blend Shapes
- 作业

算法

线性混合蒙皮Linear Blend Skinning（LBS）

对于只有一节骨骼的蒙皮：

在初始状态下，已知顶点的世界坐标为x_世界坐标，骨骼的根节点为o_世界坐标，骨骼的世界旋转为Q。则我们已知：

x_世界坐标 = Q x_相对坐标 + o_世界坐标

由此推得：

x_相对坐标 = Q^T(x_世界坐标 - o_世界坐标) ①

经过旋转R、位移t之后，求得骨骼的根节点为o’ = o + t，世界旋转为Q’ = R Q。继续求顶点位置x’，则：

x’_世界坐标 = Q’ x_相对坐标 + o’_世界坐标 ②

结合公式①②，得求解公式1：

x’_世界坐标 = Q’ Q^T (x_世界坐标 - o_世界坐标) + o’

在这里插入图片描述

我们取r = x_相对坐标 = Q^T(x_世界坐标 - o_世界坐标) ，即简写为r = Q^T(x - o) 。r是relative coordinates的缩写。

得求解公式2：

x’_世界坐标 = Q’ r + o’

在这里插入图片描述

由于Q’ = R Q，那么Q’ Q^T = R Q Q^T = R，亦即得求解公式3：

x’_世界坐标 = R (x_世界坐标 - o_世界坐标) + o’

特殊地，对于stance pose（标准姿势，包括了A pose和T pose）下的坐标，Q为单位矩阵，那么r = Q^T(x - o) = x - o，得求解公式4：

x’_世界坐标 = Q’ (x_世界坐标 - o_世界坐标) + o’

对于两节骨骼的蒙皮：

设顶点的序号为i，骨骼的序号为j。

一个顶点可能既受骨骼A的影响，也受骨骼B的影响。

因此，我们需要设置顶点x_i的权重w_i。在美术流程中，这个过程叫“刷权重”。

那么，顶点x_i的位移就是两个骨骼的求解结果x_iA和x_iB的加权平均。

其中，顶点i相对于骨骼j的相对位置r_ij = Q_j^T(x_i - o_j)。

在这里插入图片描述

因为是加权平均，所以这个算法叫“线性”混合蒙皮。

我们可以对公式进行二次整理，如果只使用R和t求解，省去Q’和o’的计算的话，我们可以得到简化后的公式：

在这里插入图片描述

其中R_j是相对旋转，t_j是相对位移。

优点：计算简单，因此在工业上最常用。

缺点：会出现Candy-Wrapper Artifact，转骨骼180°之后蒙皮会拧成一个点。

原因：插值过程中，公式左边对旋转值求和，旋转值左乘的几何意义在于对坐标原点进行旋转。但是，驱动顶点的每个骨骼的原点是不一样的。如果都直接左乘旋转矩阵，而没有在右边提前减去原点的坐标，那么几何意义上的原点就是混乱的，它无法与公式右边的位置求和对应上，那么结果就是错的。

解决方法：1. Multi-linear Skinning，2. Dual-quaternion Skining

在这里插入图片描述

LBS论文 SIGGRAPH Course 2014 — Skinning: Real-time Shape Deformation

对偶四元数蒙皮 Dual-quaternion Skining（DQS）

思路：我们可以把一个旋转表示成四元数，进阶地，我们也可以把一个旋转和一个位移表示成对偶四元数。然后，对对偶四元数做slerp，即可得到平滑的效果。

对偶四元数，简称对偶数，它是四元数的进阶。

对于四元数，x = a + bi，其中i² = -1。对于对偶数，x = a + bε，其中ε² = 0，其他定义与四元数一致。

那么，四元数q也可以写成q = q₀ + ε q_ε

对于任何一个旋转，都能转化成一个单位四元数。类似地，任何一个刚性变换（包括了刚性旋转和刚性平移），都能转化成一个单位对偶四元数。

在这里插入图片描述
如果说LBS是对三维坐标点做加权平均，那么DQS就是对对偶四元数做加权平均。

缺点：

对于关节弯曲处，DQS会凸出来一块。

在这里插入图片描述

优点：

LBQ和DQS都是只需要知道骨骼和权重、不需要知道别的信息、就能计算的算法。

QDS论文 https://users.cs.utah.edu/~ladislav/kavan08geometric/kavan08geometric.pdf

Blend Shapes

上面我们提到的LBS和DQS都属于基于骨骼驱动的形变，即Skeleton Subspace Deformation（SSD）。基于骨骼的形变总是有缺陷的，尤其在生物体上，对于肌肉的形变，在肩膀、或者手肘关节处，在弯曲、或者旋转时，很容易出现违和的现象。另外，刷权重这种事，还是不够直观，权重的数值需要艺术家反复地调、去猜，这个过程很无聊。

在这里插入图片描述

还有一种形变思路是，基于姿势驱动的形变，即Pose Space Deformation（PSD）。它的思路是：通过插值两个样例姿势，得到中间的姿势，进而得到整个动画。如果不止有两个姿势，而是五个，几十个，那么我们可以为此构造一个空间，这个空间叫Blend Space。我们需要根据当前的姿势，去计算每个已知动作的权重，然后做更大规模的加权插值，然后求得一个形变效果比较好的姿势结果。

首先，我们理解一下这个问题。我们可以把blend space想象成是一个高维空间，每个已知的姿势就是空间里散布的点。这些点肯定是有一定的关系的，因为生物体的骨骼不是一个可以随便扭的关节树。对于当前的姿势，它也是高维中间里的一个点。我们的目标是，求这个点与其它已知点的关联性，或者说，在空间里的距离。这个点和另一个点越近，说明另一个点的权重越大，姿势就越像那个样例姿势。我们称这个求解过程叫Scatterd Data Interpolation。

在这里插入图片描述

接着，就是要解决这个问题。如何计算每个姿势的权重，有以下两种思路：

数学方法
用数学的方法，找到这些散布点的数学关系，然后求解。
其中，比较经典的方法是RBF（Radial Basis Function，径向基函数）Interpolation。径向基函数满足如下性质： $\phi (\mathbf {x} )=\phi (\|\mathbf {x} \|)$ ，即：其函数值只取决于输入点和某个不动点（如原点）之间的距离。让我们把“输入点”理解为当前姿势，把“某个不动点（如原点）”，我们要想知道当前姿势最像哪个样例姿势，就求RBF，RBF的值越大，姿势越像，亦即权重越大。
更具体的求解方程请移步大佬的博客：基于径向基函数(RBF)的函数插值。我没上手写过代码，我实在是解释不下去了…
机器学习方法
一训一个不吭声，训练出一个喂姿势能吐出权重的神经网络。

值得一提的是，虽然这些算法有多么的聪明强悍，但最后的效果还是很依赖样例姿势的质量。而样例姿势，要么靠艺术家手k调整，要么靠三维扫描。

在实际应用中，这个思路衍生出来的解决方案叫Blend Shapes。blend shape主要用于数字人的脸部动画中。先记录人类的各种表情，然后通过blend shape的方法，让人脸逐渐从一个无表情的脸，blend到一个有表情的脸。在Maya、3D Max、UE等主流DCC软件中都有blend shape这个功能。

Q：修正姿势的时候，应该整体一起考虑，还是只考虑局部？
A：（我的个人理解：）只考虑局部的话，性能更好。但整体一起考虑才是最好的效果。因为，其实人体的每一块肌肉都是相连的，比如你再扭脖子的时候，屁股上的肌肉可能也被带动了，只是它的变化非常微小。但人体角色的真实感正是由这些细微的变化体现出来的。

PSD论文 https://www.scribblethink.org/Work/PSD/PSD.pdf

作业

作业官方链接：https://github.com/yvpengli/GAMES105-HW/tree/main/labS

LBS：

    # M是关节数量，N是顶点数量for n in range(vertex_translation.shape[0]):x = np.zeros(3)for j in range(4):m = skinning_idx[n][j]w = skinning_weight[n][j]r = (T_pose_vertex_translation[n] - T_pose_joint_translation[m]) # 因为是T pose，所以Q为单位矩阵x += w * (R.from_quat(joint_orientation[m]).as_matrix() @ r + joint_translation[m])vertex_translation[n] = x