深度学习之其他常见的生成式模型

server/2024/11/17 7:01:44/

1.1 什么是自回归模型:pixelRNN与pixelCNN?

​ 自回归模型通过对图像数据的概率分布 p d a t a ( x ) p_{data}(x) pdata(x)进行显式建模,并利用极大似然估计优化模型。具体如下:
p d a t a ( x ) = ∏ i = 1 n p ( x i ∣ x 1 , x 2 , . . . , x i − 1 ) p_{data}(x)=\prod_{i=1}^np(x_i|x_1,x_2,...,x_{i-1}) pdata(x)=i=1np(xix1,x2,...,xi1)
​ 上述公式很好理解,给定 x 1 , x 2 , . . . , x i − 1 x_1,x_2,...,x_{i-1} x1,x2,...,xi1条件下,所有 p ( x i ) p(x_i) p(xi)的概率乘起来就是图像数据的分布。如果使用RNN对上述依然关系建模,就是pixelRNN。如果使用CNN,则是pixelCNN。具体如下[5]:

在这里插入图片描述

在这里插入图片描述

​ 显然,不论是对于pixelCNN还是pixelRNN,由于其像素值是一个个生成的,速度会很慢。语音领域大火的WaveNet就是一个典型的自回归模型。

1.2 什么是VAE?

​ PixelCNN/RNN定义了一个易于处理的密度函数,我们可以直接优化训练数据的似然;对于变分自编码器我们将定义一个不易处理的密度函数,通过附加的隐变量 z z z对密度函数进行建模。 VAE原理图如下[6]:

在这里插入图片描述

​ 在VAE中,真实样本 X X X通过神经网络计算出均值方差(假设隐变量服从正太分布),然后通过采样得到采样变量 Z Z Z并进行重构。VAE和GAN均是学习了隐变量 z z z到真实数据分布的映射。但是和GAN不同的是:

  • GAN的思路比较粗暴,使用一个判别器去度量分布转换模块(即生成器)生成分布与真实数据分布的距离。
  • VAE则没有那么直观,VAE通过约束隐变量 z z z服从标准正太分布以及重构数据实现了分布转换映射 X = G ( z ) X=G(z) X=G(z)

生成式模型对比

  • 自回归模型通过对概率分布显式建模来生成数据
  • VAE和GAN均是:假设隐变量 z z z服从某种分布,并学习一个映射 X = G ( z ) X=G(z) X=G(z),实现隐变量分布 z z z与真实数据分布 p d a t a ( x ) p_{data}(x) pdata(x)的转换。
  • GAN使用判别器去度量映射 X = G ( z ) X=G(z) X=G(z)的优劣,而VAE通过隐变量 z z z与标准正太分布的KL散度和重构误差去度量。

http://www.ppmy.cn/server/142588.html

相关文章

信也科技和云杉网络的AI可观测性实践分享

1. 信也科技 2、云杉网络 2.1 中国移动

一、HTML

一、基础概念 1、浏览器相关知识 这五个浏览器市场份额都非常大,且都有自己的内核。 什么是内核: 内核是浏览器的核心,用于处理浏览器所得到的各种资源。 例如,服务器发送图片、视频、音频的资源,浏览…

UE5 材质里面画圆锯齿严重的问题

直接这么画圆会带来锯齿,我们对锯齿位置进行模糊 可以用smoothstep,做值的平滑过渡(虽然不是模糊,但是类似)

鸿蒙UIAbility

UIAbility 是什么 UIAbility 是 HarmonyOS 中一种包含 UI 界面的应用组件,主要用于与用户进行交互。它也是系统调度的基本单元,为应用提供绘制界面的窗口。一个 UIAbility 组件中可以通过多个页面来实现一个功能模块。 每一个 UIAbility 组件实例&…

深入理解 Spark 中的 Shuffle

Spark 的介绍与搭建:从理论到实践_spark环境搭建-CSDN博客 Spark 的Standalone集群环境安装与测试-CSDN博客 PySpark 本地开发环境搭建与实践-CSDN博客 Spark 程序开发与提交:本地与集群模式全解析-CSDN博客 Spark on YARN:Spark集群模式…

大数据-226 离线数仓 - Flume 优化配置 自定义拦截器 拦截原理 了 拦截器实现 Java

点一下关注吧!!!非常感谢!!持续更新!!! Java篇开始了! 目前开始更新 MyBatis,一起深入浅出! 目前已经更新到了: Hadoop&#xff0…

计算机毕业设计Python+CNN卷积神经网络股票预测系统 股票推荐系统 股票可视化 股票数据分析 量化交易系统 股票爬虫 股票K线图 大数据毕业设计 AI

温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 作者简介:Java领…

H3C NX30Pro刷机教程-2024-11-16

H3C NX30Pro刷机教程-2024-11-16 ref: http://www.ttcoder.cn/index.php/2024/11/03/h3c-nx30pro亲测无需分区备份 路由器-新机初始化设置路由器登录密码telnet进入路由器后台 刷机上传uboot到路由器后台在Windows环境下解压后的软件包中打开 tftpd64.exe在NX30Pro环境下通过以…