车辆重识别(2021ICML改进的去噪扩散概率模型)论文阅读2024/9/29

embedded/2024/10/15 18:08:59/

所谓改进的去噪扩散概率模型主要改进在哪些方面:
①对数似然值的改进
通过对噪声的那个方差和T进行调参,来实现改进。
②学习\sum _{\theta }(x_{t},t)

这个参数也就是后验概率的方差。通过数据分析,发现在T非常大的情况下\sum _{\theta }(x_{t},t)对样本质量几乎没有影响,也就是说随着我们增加更多的扩散步数,μ比\sum _{\theta }(x_{t},t)更有影响力。但是通过分析发现,扩散过程中前几步对loss值贡献最大,那么我们可以对\sum _{\theta }(x_{t},t)调整。通过实验发现,将\sum _{\theta }(x_{t},t)的值确定在噪声方差和后验概率方差之间效果最好。顺便,我们将loss公式改为L_{hybrid}=L_{simple}+\lambda L_{vlb}。将\lambda确定为一个较小的值,保证L_{simple}仍然是主要影响源。

③改善噪声时间表

我们发现之前的噪声时间表对于高分辨率的图像效果比较好,但是对于分辨率为64×64和32×32的图像效果不好。这项操作改变了每一时间步所加的噪声,进而改变了后续数据的分布。我们可以暂且认为控制了每一时间步所加入的噪声量,使得原本图像更慢地变为纯噪声数据,如果像之前的线性时间表,可能会出现图像已经变成纯噪声数据了,但是时间步还没到T,导致不断向图像加噪声,使得难以训练。

④降低梯度噪声

通过分析发现loss值是非常难优化的,因为梯度很嘈杂,也就是说梯度受到输入数据等其他因素影响非常大。这时候我们采取的方法是,把原来的loss值分解为各个时间步的loss值,对每个时间步的loss值进行优化,最后赋予权重,加起来求期望。如下图所示:

⑤提高采样速度

现有的采样技术使得训练非常耗时,我们采用重要性采样,使得不用跟随时间步一步一步采样,只有前一步采样完后一步才能采样。可以随意选取时间步序列,对任一时间步采样。


http://www.ppmy.cn/embedded/123986.html

相关文章

设计模式-备忘录模式

备忘录(Memento)模式:在不破坏封装性的前提下,捕获一个对象的内部状态,并在改对象之外这个状态,从而可以在以后将该对象恢复到原先保存的状态。 就是实现的思路:就是可变化的类中关联中 备忘录对…

SOA(面相服务架构)

目录 SOA的基本概念 SOA的关键特性 SOA的实现步骤 SOA的技术实现 SOA的应用场景 面向服务的架构(Service-Oriented Architecture, SOA)是一种软件设计理念和架构模式,旨在通过网络协议将不同的服务相互连接和集成,以构建灵活…

51单片机学习第六课---B站UP主江协科技

DS18B20 1、基本知识讲解 2、DS18B20读取温度值 main.c #include<regx52.h> #include"delay.h" #include"LCD1602.h" #include"key.h" #include"DS18B20.h"float T; void main () {LCD_Init();LCD_ShowString(1,1,"temp…

[Docker学习笔记]Docker的原理Docker常见命令

文章目录 什么是DockerDocker的优势Docker的原理Docker 的安装Docker 的 namespaces Docker的常见命令docker version:查看版本信息docker info 查看docker详细信息我们关注的信息 docker search:镜像搜索docker pull:镜像拉取到本地docker push:推送本地镜像到镜像仓库docker …

​IAR全面支持国科环宇AS32X系列RISC-V车规MCU

全球领先的嵌入式系统开发软件解决方案供应商IAR与北京国科环宇科技股份有限公司&#xff08;以下简称”国科环宇”&#xff09;联合宣布&#xff0c;最新版本IAR Embedded Workbench for RISC-V将全面支持国科环宇AS32X系列RISC-V MCU&#xff0c;双方将共同助力中国汽车行业开…

HTB:Preignition[WriteUP]

连接至HTB服务器并启动靶机 靶机IP&#xff1a;10.129.157.49 分配IP&#xff1a;10.10.16.12 1.Directory Brute-forcing is a technique used to check a lot of paths on a web server to find hidden pages. Which is another name for this? (i) Local File Inclusion, (…

【Ubuntu】Ubuntu常用命令

文章目录 网卡路由常用命令&#xff1a;编辑文件echo 权限设置gcc编译器&#xff1a; 重启网络服务 sudo service network-manager restart 网卡 #查看网卡信息 ip a #区分光网卡电网卡 sudo lshw -class network -businfo ifconfig ifconfig eth1 192.168.1.12/24 #重启网卡…

大厂笔试现已经禁用本地IDE怎么看

如果我说本来面试做题这种事情就是反人类你相信吗&#xff1f; 这个罪恶的源头就是 Google&#xff0c;说是为了选择高素质的计算机编程水平的人才&#xff0c;然后把面试就变成了考试&#xff0c;最大的受益者当然是印度人了。 当把一个考察过程变成标准化的考试过程&#x…