车辆重识别(2021ICML改进的去噪扩散概率模型)论文阅读2024/9/29

devtools/2024/10/9 2:53:43/

所谓改进的去噪扩散概率模型主要改进在哪些方面:
①对数似然值的改进
通过对噪声的那个方差和T进行调参,来实现改进。
②学习\sum _{\theta }(x_{t},t)

这个参数也就是后验概率的方差。通过数据分析,发现在T非常大的情况下\sum _{\theta }(x_{t},t)对样本质量几乎没有影响,也就是说随着我们增加更多的扩散步数,μ比\sum _{\theta }(x_{t},t)更有影响力。但是通过分析发现,扩散过程中前几步对loss值贡献最大,那么我们可以对\sum _{\theta }(x_{t},t)调整。通过实验发现,将\sum _{\theta }(x_{t},t)的值确定在噪声方差和后验概率方差之间效果最好。顺便,我们将loss公式改为L_{hybrid}=L_{simple}+\lambda L_{vlb}。将\lambda确定为一个较小的值,保证L_{simple}仍然是主要影响源。

③改善噪声时间表

我们发现之前的噪声时间表对于高分辨率的图像效果比较好,但是对于分辨率为64×64和32×32的图像效果不好。这项操作改变了每一时间步所加的噪声,进而改变了后续数据的分布。我们可以暂且认为控制了每一时间步所加入的噪声量,使得原本图像更慢地变为纯噪声数据,如果像之前的线性时间表,可能会出现图像已经变成纯噪声数据了,但是时间步还没到T,导致不断向图像加噪声,使得难以训练。

④降低梯度噪声

通过分析发现loss值是非常难优化的,因为梯度很嘈杂,也就是说梯度受到输入数据等其他因素影响非常大。这时候我们采取的方法是,把原来的loss值分解为各个时间步的loss值,对每个时间步的loss值进行优化,最后赋予权重,加起来求期望。如下图所示:

⑤提高采样速度

现有的采样技术使得训练非常耗时,我们采用重要性采样,使得不用跟随时间步一步一步采样,只有前一步采样完后一步才能采样。可以随意选取时间步序列,对任一时间步采样。


http://www.ppmy.cn/devtools/123153.html

相关文章

Spring面试内容大纲

由gpt生成的关于Spring的面试内容大纲,可以根据大纲去拓展各部分的内容。 1. Spring框架概述 Spring的核心特性是什么? Spring的核心特性包括:依赖注入(DI)、面向切面编程(AOP)、事务管理、MV…

springboot 打包部署jsp页面两种方式war/jar

springboot 两种部署方式jsp页面 war包部署jsp页面 我们是用传统的war包,放到 tomcat的webapp目录里面,当容器启动的时候,会自动解压.war 文件,从而进行访问,但是 springboot 是内嵌的tomcat,所以我们需要排除内嵌的tomcat 使之失效 1、排除依赖jar包 <dependency>…

`pandas` 库提供了一个非常方便的方法将 DataFrame 转换为字典

在 Python 中&#xff0c;pandas 库提供了一个非常方便的方法将 DataFrame 转换为字典。DataFrame.to_dict() 方法可以根据你的需求将 DataFrame 转换为不同类型的字典。以下是一些常见的用法示例&#xff1a; 转换为字典的列表&#xff08;默认行为&#xff09;&#xff1a; 每…

如何让70B参数的大型语言模型在资源有限的边缘设备上高效运行?

你有没有想过,像我们平时使用的智能手机、家里的智能音箱这样的小设备,也能运行那些参数量高达数十亿的大型语言模型(LLM)呢?这听起来像是天方夜谭,毕竟这些模型动辄需要巨大的算力和存储资源,但实际上,随着技术的发展,这个梦想正在变成现实。那么,问题来了,怎么在资…

Pikachu-url重定向-不安全的url跳转

不安全的url跳转 不安全的url跳转问题可能发生在一切执行了url地址跳转的地方。如果后端采用了前端传进来的(可能是用户传参,或者之前预埋在前端页面的url地址)参数作为了跳转的目的地,而又没有做判断的话就可能发生"跳错对象"的问题。 url跳转比较直接的危害是: …

qt QMessageBox案例,2024.10.8

当用户点击取消按钮&#xff0c;弹出问题对话框&#xff0c;询问是否要确定退出登录&#xff0c;并提供两个按钮&#xff0c;yes|No&#xff0c;如果用户点击的Yes&#xff0c;则关闭对话框&#xff0c;如果用户点击的No&#xff0c;则继续登录 当用户点击的登录按钮&#xff…

六、Drf限流组件

六、限流组件 限制某个视图在某个时间段内被同一个用户访问的次数 6.1限流组件的简单应用 1&#xff09;安装django-redis pip3 install django-redis2)在settings.py中注册cache #缓存数据库redis配置 CACHES{"default":{"BACKEND":"django_red…

【word脚注】双栏设置word脚注,脚注仅位于左栏,右栏不留白

【word脚注】双栏设置word脚注&#xff0c;脚注仅位于左栏&#xff0c;右栏不留白 调整前效果解决方法调整后效果参考文献 调整前效果 调整前&#xff1a;脚注位于左下角&#xff0c;但右栏与左栏内容对其&#xff0c;未填充右下角的空白区域 解决方法 备份源文件复制脚注内…