【论文阅读:半监督人头姿态方法SemiUHPE】

embedded/2024/12/20 0:15:51/

论文阅读:Semi-Supervised Unconstrained Head Pose Estimation in the Wild】

      • 论文总结
      • 方法分析
      • 使用的数据集
      • 最后的指标
      • 头部定向强增强方法

论文 “Semi-Supervised Unconstrained Head Pose Estimation in the Wild”

论文总结

标题: Semi-Supervised Unconstrained Head Pose Estimation in the Wild

作者: Huayi Zhou, Fei Jiang, Jin Yuan, Yong Rui, Hongtao Lu, Kui Jia

摘要: 本文提出了一种半监督的无约束野外头部姿态估计方法(SemiUHPE),旨在解决现有研究中数据集的局限性问题。这些数据集要么包含大量非真实合成样本,要么受限于小规模自然图像且需要人工标注。SemiUHPE能够利用大量易于获取的未标记头部图像。技术上,该方法选择了半监督旋转回归,并适应了无约束头部姿态估计中的错误敏感和标签稀缺问题。

关键点:

  • 基于观察到的野外头部的宽高比不变裁剪优于基于地标的仿射对齐。
  • 提出了动态基于熵的过滤方法,以适应性地移除未标记的异常值。
  • 重新设计了弱强增强方法,提出了两种新的头部定向强增强方法。

方法分析

半监督旋转回归: 选择了半监督旋转回归技术,适应于标签稀缺的问题。

宽高比不变裁剪: 观察到这种方法优于基于地标的仿射对齐,尤其是在无约束的野外头部姿态估计中。

动态熵基过滤: 提出了一种基于预测熵的动态阈值更新方法,以适应性地移除训练过程中的未标记异常值。

头部定向强增强: 重新设计了弱强增强方法,并提出了两种新的增强方法:姿态相关裁剪遮挡(pose-irrelevant cut-occlusion)和姿态改变旋转一致性(pose-altering rotation consistency)。

使用的数据集

标记数据集:

  • 300W-LP: 用于训练和验证的流行基准数据集,包含122,450个样本。
  • AFLW2000: 用于验证的另一个数据集。
  • DAD-3DHeads: 用于全范围无约束头部姿态估计的数据集,包含37,840个训练样本,4,312个验证样本和2,746个测试样本。

未标记数据集:

  • COCO: 包含野生人类头部图像的数据集,用于增强训练。

最后的指标

评估指标:

  • Mean Absolute Error (MAE): 用于评估欧拉角的绝对误差。
  • Frobenius norm of the matrix ( I - R_1^T R_2 ): 用于评估两个旋转矩阵之间的差异。
  • Geodesic distance: 用于评估两个旋转矩阵之间的测地线距离。

结果:

  • SemiUHPE在公共基准测试下的性能显著优于现有方法,无论是在前向范围还是全范围设置下。

代码:

  • 论文提供了代码的GitHub链接:https://github.com/hnuzhy/SemiUHPE。

这篇论文通过引入半监督学习和一系列创新的技术,显著提高了在野外环境下无约束头部姿态估计的性能,特别是在处理未标记数据和提高模型泛化能力方面。

头部定向强增强方法

头部定向强增强方法(Head-Oriented Strong Augmentations)在半监督无约束头部姿态估计(SemiUHPE)中的优势主要包括以下几点:

  1. 提高鲁棒性

    • 通过模拟真实世界中头部可能出现的各种姿态和遮挡情况,增强方法能够提高模型对于不同头部姿态的适应性和鲁棒性。
  2. 增强模型泛化能力

    • 头部定向强增强可以增加模型训练过程中的数据多样性,使模型在面对野外(非实验室条件)下的复杂场景时具有更好的泛化能力。
  3. 改善未标记数据的利用

    • 通过有效的增强策略,可以更好地利用未标记数据,提高半监督学习的性能,尤其是在标签稀缺的情况下。
  4. 提升模型对极端情况的处理能力

    • 特定的增强方法,如姿态相关裁剪遮挡(pose-relevant cut-occlusion)和姿态改变旋转一致性(pose-altering rotation consistency),能够特别针对头部姿态的变化进行强化训练,提升模型在处理极端头部姿态时的准确性。
  5. 减少过拟合

    • 增强方法通过引入随机性和多样性,有助于减少模型在训练数据上的过拟合,使模型能够更好地推广到新的、未见过的数据。
  6. 提高模型的预测稳定性

    • 通过在训练过程中不断变化头部姿态,增强方法有助于模型学习到更加稳定的特征表示,从而在实际应用中提供更稳定的预测结果。
  7. 适应性强

    • 头部定向强增强方法可以根据不同的训练阶段和模型性能动态调整增强强度,使得训练过程更加灵活和有效。
  8. 促进特征学习

    • 增强方法通过模拟头部姿态的变化,促进模型学习到与头部姿态相关的关键特征,这对于头部姿态估计任务至关重要。

总之,头部定向强增强方法通过提供更加丰富和具挑战性的训练样本,有助于提升模型在头部姿态估计任务中的性能,尤其是在复杂和多变的野外环境中。


http://www.ppmy.cn/embedded/147143.html

相关文章

《C 语言携手 PaddlePaddle C++ API:开启深度学习开发新征程》

在深度学习领域,PaddlePaddle 作为一款强大的深度学习框架,为开发者提供了丰富的功能和高效的计算能力。而 C 语言,凭借其高效性和广泛的应用场景,与 PaddlePaddle 的 C API 相结合,能够为深度学习开发带来独特的优势。…

Leetcode打卡:形成目标字符串需要的最少字符串数II

执行结果:通过 题目:3292 形成目标字符串需要的最少字符串数II 给你一个字符串数组 words 和一个字符串 target。 如果字符串 x 是 words 中 任意 字符串的 前缀 ,则认为 x 是一个 有效 字符串。 现计划通过 连接 有效字符串形成 targ…

环境变革下 B2B 销售的转型与创新:开源 AI 智能名片与 S2B2C 商城小程序的助力

摘要:本文探讨了在信息科技与互联网迅猛发展所引发的环境改变背景下,B2B 销售工作面临的挑战与机遇。深入分析了传统销售模式的局限性以及新环境对销售人员素质和能力的要求,提出从提供“信息”向提供“业务价值”转变的必要性。同时&#xf…

python学opencv|读取图像(十三)BGR图像和HSV图像互相转换深入

【1】引言 前序学习过程中,我们偶然发现:如果原始图像是png格式,将其从BGR转向HSV,再从HSV转回BGR后,图像的效果要好于JPG格式。 文章链接为: python学opencv|读取图像(十二)BGR图…

车载通信架构 --- 一个以太网帧包含多个DoIP帧?

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 所谓鸡汤,要么蛊惑你认命,要么怂恿你拼命,但都是回避问题的根源,以现象替代逻辑,以情绪代替思考,把消极接受现实的懦弱,伪装成乐观面对不幸的…

k8s kubernetes

文章目录 CGroupk8s运行时k8s组件k8s组件安装kubeadm命令kubectl命令k8s官网代码 CGroup 在 Linux 上,控制组(CGroup)用于限制分配给进程的资源。kubelet 和底层容器运行时都需要对接控制组来强制执行 为 Pod 和容器管理资源 并为诸如 CPU、…

小程序子组件调用父组件方法、父组件调用子组件方法

1、子组件调用父组件方法 子组件this.triggerEvent(finish); startShare(e) {let url config.apiUrl "/business/lzShare/edit";let data this.data.currentData;util.httpPut(url, data).then((res) > {this.triggerEvent(finish);console.log(res.result);})…

pyparsing restOfLine

在 pyparsing 中,restOfLine 是一个解析器(parser),用于匹配当前位置到行尾的所有内容,通常在解析文件或处理逐行数据时非常有用。 restOfLine 的特性 匹配内容:从当前位置一直匹配到换行符 \n 或字符串结…