现代数字信号处理I-P3 MVUE学习笔记

1. 参数估计问题的提出与本质

2. 估计的性质

2.1 Ancillary（多余估计）

例1，Ancillary估计量

2. Uniformly Optimal

3. Sufficiency充分性

3.1 统计量充分性定义

例2：利用充分统计量定义获取伯努利分布的充分统计量

3.2 寻找充分统计量：奈曼分解

例3：利用奈曼分解获得伯努利分布估计中的充分统计量

例4：利用奈曼分解获得泊松分布估计中的充分统计量

例5：利用奈曼分解获得高斯分布估计中的充分统计量

3.3 Rao-Blackwell过程

例6：高斯分布利用Rao-Blackwell过程寻找MVUE统计量

4. Complete完备性

4.1 统计量完备性的定义：

4.2 Lehmann-Scheffé定理

5. 估计量的下界

5.1 克拉美劳下界证明

5.2 克拉美劳下界的另外一个形式

例7：高斯独立同分布条件下的克拉美劳下界计算

例8：独立同泊松分布下估计量的克拉美劳下界计算：

6. 指数族（Exponential Family）概率密度

例9，贝努利分布属于指数族分布：

例10，泊松分布属于指数族分布：

例11，高斯分布属于指数族分布：

学习资料视频链接：

3.最小方差无偏估计_哔哩哔哩_bilibili

1. 参数估计问题的提出与本质

在统计信号处理领域，如果我们假定随机采样的数据服从某种分布。在频率学派领域中，我们认为该分布中存在未知但确定的参数(该参数可以是只有一个参数的标量，也可以是多个参数组合而成的矢量)。此时，我们通过采集获得了一串数据：

那么统计信号处理中，需要用采集样本数据估计参数。

估计的本质是构造一个关于输入函数去估计：

度量估计好坏的方法：计算均方误差Mean Square Error:

实际工作中，构造的方法有无穷多种，我们的目的是寻找一种估计，使得达到最小，即

理论上，用随机变量去估计的最优情况，仅需要计算条件期望，即：

条件期望的最优估计原理可以参考：

现代数字信号处理I-P2概率论学习笔记-CSDN博客

上述性质的简单说明过程：

目前我们假设的待估计量尽管目前不知道，但一定是个确定值（在贝叶斯估计方法时，会认为也是一个随机变量），因此，在频率学派中不具备随机性，直接提出期望的积分，即：

上述用到了随机变量概率密度积分为1的性质。

因此，我们可以发现，

上述结果指明，确实从理论上可以找到的最优逼近，但是这样的过程没有给我们任何的参考，即：如何使用实际采样数据去构建一个估计的函数。这使得理论上最优的估计无法帮我们在实际工作中构造实际的估计函数。

因此，从条件期望去计算的最优估计不具备实际可操作性。

既然基于条件概率的最优估计无法用来构造具体利用去估计的函数，因此出现了统计信号处理这一个研究方向。该方向主要是要研究构造关于的函数，去估计，我们构造估计的目标，就是使得尽可能的小。

2. 估计的性质

尽管不同构造方法得到的估计不同，但估计量存在如下性质：

2.1 Ancillary（多余估计）

由随机变量构造的估计，按道理，也应该某种随机变量，需要服从某种分布。但如果该分布中没有任何待估计的信息，或者与毫无关系，我们认为此时构造的是多余（Ancillary）的，此时的这种估计性能比较差。

例1，Ancillary估计量

我们有两个独立同分布数据：

我们构造的一种估计形式：

此时，可以发现是两个高斯随机变量的线性组合，该组合仍然具有高斯分布的正态特性，参考：两个高斯分布的和的分布——正态分布的再生性 - rainbow70626 - 博客园

因此，我们可以通过计算均值和方差，来确定的概率分布：

上述用到了随机变量的独立性，即

因此，发现：

此时发现构造的估计，不包含的任何信息，也就是不能帮助我们去寻找关于的有效信息。

因此在实际工作中，我们要尽量避免用这种估计量。

2. Uniformly Optimal

对于不同的，我们希望采用的估计量都能保持最优性，此时称为Uniformly Optimal。在实际中，Uniformly Optimal是无法达到的，即不加任何附加条件的Uniformly Optimal最优估计是没有意义的。

此时，我们一般需要加上无偏性（Unbiases）这样的条件。

因此，一般我们在不同估计量进行比较的时候，一般是在无偏这个条件下开展的。不加限制的比较，根本无法帮助我们找到最优估计。

在无偏估计下，我们本质上寻找的是最小方差无偏估计：Minimum variance Unbiases Estimator (MVUE)，即所有无偏估计量下方差达到最小的估计量。

利用无偏性：

因此：

因此，在无偏限制下，MSE最小也就是估计量的方差最小。此时MSE最小的估计量被称为MVUE（最小方差无偏估计）。如果对所有范围的都能达到MVUE，那么我们也称此时的估计量为UMVUE（一致最小方差无偏估计）。

统计信号处理研究工作的一个主要目标，就是寻找估计量的MVUE。

3. Sufficiency充分性

3.1 统计量充分性定义

统计量充分性的定义来自于被誉为现代统计学之父的R.A. Fisher，该性质是Ancillary性质的另外一个极端。

Fisher对观测量具有充分性的要求是：

本来概率密度应该是随机变量和待估计量的函数，但在某个条件下，当某个统计量取值确定后，该条件概率密度与无关，此时，称这个统计量为充分统计量，即：

与无关，那么为的充分统计量。

例2：利用充分统计量定义获取伯努利分布的充分统计量

假定都是独立同分布 (两点伯努利分布)：

即：为1（成功）的概率是,为0（失败）的概率是，那么：

此时，我们可以选取，尝试计算充分性：

根据充分性定义：

显然存在：

上式得到了条件概率中的分子。为了求条件概率中的分母，我们需要用到概率性质：伯努利分布的累加符合Binomial分布（二项分布），即：

某个试验是伯努利试验，其成功概率用表示，那么失败的概率。进行次这样的试验，成功了次，则失败次数为，发生这种情况的概率可用下面公式来计算

其中：是组合公式，表示从n个不同的元素中选择个元素的所有组合个数。

此时：

此时可以发现，当是某个确定值之后，计算得到的条件概率密度与两点伯努利分布中待估计量没有关系，此时，我们可以称是估计量的一个充分统计量。

上述例子中关于二项分布和伯努利分布的基础知识，可以参考：

https://zhuanlan.zhihu.com/p/49267988

3.2 寻找充分统计量：奈曼分解

在实际问题中，按照充分统计量的定义，即计算条件概率去寻找充分统计量非常困难。上述例子只是最简单概率分布下的一个特例。

问题就是有没有更加简单的方法寻找充分统计量：该问题有美国统计学家奈曼提出的奈曼分解解决。奈曼分解 Nayman Factorization，也称为：Fisher-Neyman factorization，本质是观察待估计统计量的概率密度函数是否可以分解成：

本质上是观察是否可以将概率密度函数拆成仅包含待估计量和包含所有采样信息的函数，以及不包含待估计量的函数乘积。那么在包含估计量的函数中，包含采样信息形式的函数，一般就是需要寻找的充分统计量。

进一步参考：

https://zhuanlan.zhihu.com/p/102499608

例3：利用奈曼分解获得伯努利分布估计中的充分统计量

在观察刚刚的伯努利例子：

其中：

可以分解成：

因此，S是伯努利估计中估计量的充分统计量。

例4：利用奈曼分解获得泊松分布估计中的充分统计量

泊松分布Poisson,

那么

因此对应得到：

因此，泊松分布中估计量的充分统计量可以是：

例5：利用奈曼分解获得高斯分布估计中的充分统计量

独立，且同分布的高斯分布:

这个例子中，待估计参数仅为，而为已知参数时：

此时：

因此，对于未知待估计参数仅为时，独立同分布特性下的高斯分布中估计量的充分统计量可以为：

但如果和都是未知的，同样将高斯分布进行分解分解，得到此时充分统计量也可以是多个，对于上述情况：

3.3 Rao-Blackwell过程

从统计量的充分性，我们基本可以认为，待估计量的所有信息都包含在了充分统计量中，因此用充分统计量构造的估计函数是否能够达到MVUE，是我们关注的重点问题。该过程由统计学中著名的Rao-Blackwell过程解决.

接下来介绍由充分统计量求MVUE，用Rao-Blackwell过程，该理论是由Calyampudi Radhakrishna Rao和David Blackwell两个的名字命名。

关于Calyampudi Radhakrishna Rao的介绍可以参考：

https://zhuanlan.zhihu.com/p/658151194

关于David Blackwell的介绍可以参考：

https://zhuanlan.zhihu.com/p/476820418

假设现在已经有无偏估计量,且是采样数据的某种函数形式：

需要注意的是，此时的估计量仅具备无偏性，但一般不满足MVUE。

任取一个充分统计，构造新的估计:

此时，新的估计的方差一定小于之前的估计量的方差，即：

可以发现，Rao-Blackwell过程是个使得估计量方差减小的改进过程。

证明过程需要用到方差和期望两个性质：

方差：等于条件期望的方差加上条件方差的期望：

证明过程可以参考：条件方差

现代数字信号处理I-P2概率论学习笔记-CSDN博客

无条件期望：等于条件期望的期望

证明过程可以参考：条件期望的性质

现代数字信号处理I-P2概率论学习笔记-CSDN博客）

因此，基于条件期望性质，我们首先可以很容易说明新构造的估计具有无偏性，即：

于是：

再利用方差性质：

其中期望一定是一个大于等于0的一个数字，因此：

因此，Rao-Blackwell过程一定能让MSE减小。

例6：高斯分布利用Rao-Blackwell过程寻找MVUE统计量

获得一组采样数据：，数据服从高斯分布：

其中，假设确定且已知，是未知待估计的参数，此时根据例5，充分统计是：

假设我们随便寻找了该估计量的一个无偏估计，作为估计量寻找的起始：

此时，利用Rao-Blackwell得的新的估计量：

由于独立同分布，因此对于任意的i和j，我们可以得到：

因此：

上式中，由于条件期望中，已经是个确定值，因此：

于是：

确实，我们可以发现只要估计数据个数超过1，新估计量的方差确实比Rao-Blackwell过程之前实现了下降。

通过后面统计量完备性分析，我们还可以知道其实还是MVUE。

4. Complete完备性

4.1 统计量完备性的定义：

在参数未知的某种分布下获得了一组采样数据，我们通过构造方法，获得了包含采样数据的一个统计量。此时如果是完备统计量，那么用构造的任意函数，如果存在，一定能得到。

4.2 Lehmann-Scheffé定理

我们通过完备性的具体使用方法，加深完备性定义的理解：

如果既充分又完备，且如果基于构造某种关于的估计，使得该估计无偏：

那么是MVUE。

上述就是Lehmann-Scheffé定理的核心内容，另外一种描述：

任意无偏估计，此时，一定存在用充分且完备统计量构造的无偏估计，满足：

证明过程：

首先，根据Rao-Blackwell，可以根据充分统计量，构造：

注意，是关于的函数。

此时，根据Rao-Blackwell改进的性质，肯定存在：

而因为无偏性，得到：

又因为和都是关于的函数，那么利用完备统计量的性质，此时可以得到：

即：

换句话说，不管一开始的无偏估计是如何选取，只要用充分完备统计量进行Rao-Blackwell改进，都得到相同的，且此时，该估计量一定是MVUE估计量。

5. 估计量的下界

对于一个充分且完备的估计量，我们可以采用上述方法直接找到MVUE估计量。但大部分实际工作情况下，如果仅找到充分估计量，那么利用Rao-Blackwell过程，可以持续改进估计量，使得方差进一步缩小。问题就是这样的改进是否有尽头，还是可以无限制循环下去。此时就需要引入克拉美劳下界（Cramer-Rao Lower Bound），该下界指明了估计量方差的极限：对于某个无偏估计，方差一定存在下界，该下界与系统模型有关，而与具体估计方法无关。因此，如果我们改进后，发现新估计量的方差已经是克拉美劳下界，或者发现我们提出的某种估计量直接就是克拉美劳下界，那么后续已经不需要进行改进了。下面进行简单的拉美劳下界说明：