人工智能数学基础--概率与统计5：独立随机变量和变量替换

一、独立随机变量

1.1、离散的独立随机变量

假设X和Y是离散的随机变量，若事件 X=x和Y=y对所有的x和y都是独立事件（独立事件定义请参考《人工智能数学基础–概率与统计1：随机试验、样本空间、事件、概率公理定理以及条件概率和贝叶斯法则》），则称X和Y是独立随机变量，在该情形：

P(X = x，Y=y) = P(X=x)P(Y=y) (27)

或等价于

f(x，y) = f1(x)f2(y) (28)

相反地，若对所有的x和y，联合概率函数f(x，y)能够表成一个变量x的函数与一个变量y的函数的乘积(则它们是X和Y的边缘概率函数)，则X和Y是独立的。若f(x，y)不能这样表示，则X和Y是不独立的。

1.2、连续的独立随机变量

若X和Y是连续的随机变量，对所有的x和y事件X≤x和Y≤y都是独立事件，则我们称它们是独立随机变量，在此情形中可写成：

P(X≤x，Y≤y) = P(X≤x)P(Y≤y) (29)

或等价于

F(x，y) = F1(x)F2(y) (30)

这里F1(x)和F2(y)分别是X和Y的边缘分布函数。

相反地，若对所有的x和y，联合分布函数F(x，y)可表成x的函数和y的函数的乘积(它们分别是X和Y 的边缘分布)，则称X和Y是独立随机变量。若F(x，y)不能这样表示，则X和Y是不独立的。

对于连续的独立随机变量，其联合密度函数是一元x的函数f1(x)与一元y的函数f2(y)的乘积，且它们分别是X和Y的边缘密度函数。

二、变量替换

给定1个或多个随机变量的概率分布，我们常常对找另外的随机变量的分布有兴趣，这些随机变量按某些指定的方式（如反函数、复合函数等），依赖那些给定的变量。在下列关于离散的和连续的变量的定理中，将陈述得到这些分布的过程。

2.1、离散随机变量的变量替换

2.1.1、单一离散随机变量替换

定理2-1、令X是一个离散的随机变量，它的概率函数是f(x)。假设离散的随机变量U在X的各值上被U=φ(X)确定；相应地，如果X的每一个值都对应惟一的一个U值，即X=ψ(U)。于是U的概率函数由下式给出：
g(u)=f[ψ(u)] (31)

老猿注：

注意，定理中的U=φ(X) 与X=ψ(U)中的两个函数都是一一映射，二者互为反函数；
由于两个函数U=φ(X) 与X=ψ(U)是一一映射，则对X中的某个取值事件x1都能找到U中唯一的事件u1=φ(x1)对应，而对u1也反过来可以找到X中的唯一的事件x1与之对应，x1出现的概率与u1出现的概率相等，即u出现的概率与对应x出现的概率相等，即P(U=u)=P[Φ(X)=u]=P[X=Ψ(u)]，因此g(u)=P(U=u)=P[Φ(X)=u]=P[X=Ψ(u)]=f[Ψ(u)]

2.1.2、联合分布的随机变量替换

定理2-2、令X和Y是联合概率函数f(x，y)的离散随机变量。假设两个离散的随机变量U和V在X和Y的各值上被U=φ1(X，Y)，V=φ2(X，Y)确定；相应地，这里X和Y的每一对值仅对应惟一的U和V的一对值，因此 X=ψ1(U，V)，Y=ψ2(U，V)。于是U和V的联合概率函数由下式给出:
g(u，v)=f[ψ1(u，v)，ψ2(u，v)] (32)

其原理与

2.2、连续随机变量的变量替换

定理2-3、令X是有概率密度函数的一个连续的随机变量，它的概率函数是f(x)。定义U=Φ(X)，X=ψ(U)，函数Φ与ψ互为反函数，则U的概率密度由g(u)给出：
g(u) |du| = f(x) |d(x)| (33)
或：
g(u) = f(x) |dx/du| = f[ψ(u)] |ψ’(u)| (34)

老猿注：
1、关于上述定理的推导请参考《人工智能数学基础：两个存在映射关系的随机变量的概率密度函数关系研究》。

2、理解这个公式涉及复合函数求导以及反函数导数的链式法则，请参考《人工智能数学基础–导数1：基础概念及运算》的介绍。

定理2-4、令X和Y是联合密度函数f(x，y)的连续的随机变量，让我们定义U=Φ1(X，Y)，V=Φ2(X，Y)，这里，X=ψ1(U，V)，Y=ψ2(U，V)。则U和V的联合密度函数由g(u，v)给出：
g(u，v) |dudvl=f(x，y)|dxdy| (35)
或：
在这里插入图片描述
其中式36中的J为雅可比行列式：

三、小结

本文介绍了离散和连续独立随机变量的概念，以及存在一一映射关系的两个随机变量或两组随机变量之间的概率密度函数之间的关系。

说明：

本文内容是老猿学习美版M.R.斯皮格尔等著作的《概率与统计》的总结，有需要高数原教材电子版以及OpenCV、Python基础知识、图像处理原理介绍相关电子资料，或对文章内有有疑问咨询的，请扫博客首页左边二维码加微信公号，根据加微信公号后的自动回复操作。

更多人工智能数学基础请参考专栏《人工智能数学基础》。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录》
付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。