系列目录
【统计信号处理基础——估计与检测理论】Vol1.Ch1. 引言

---

本章寻找未知确定性参数的好的估计量。我们将注意力限制在通过平均产生真值的估计量上，这一类估计量中，目标就是要求出一个最小易变性的估计。

1. 无偏估计量

无偏估计意味着估计量的平均值为未知参数的真值。如果

$$E(\hat{\theta })=\theta a<\theta <b\text{\hspace{1em}(1)}$$

那么估计量是无偏的，其中$(a,b)$表示$\theta$的可能取值范围。

无偏估计量趋向于具有对称PDF，它的中心在真值$\theta$附近，但这一点并不是必须的。

在无偏估计量中，一个重要的附加条件是对未知参数的所有可能值都成立。令$\hat{\theta }=g(\mathbf{x})$，这要求

$$E(\hat{\theta })=\int g(\mathbf{x})p(\mathbf{x};\theta )d\mathbf{x}=\theta 对于所有的\theta \text{\hspace{1em}(2)}$$

Law of the unconscious statistician:
The expected value of a measurable function of $X$, $g(X)$, given that $X$ has a probability density function $f(x)$, is given by the inner product of $f$ and $g$:
$$E[g(X)]={\int }_{\mathbb{R}}g(x)f(x)dx$$
This formula also holds in multidimensional case, when $g$ is a function of several random variables, and $f$ is their joint density.

估计量无偏并不意味着它是好的估计量，只是保证估计量的平均值为真值。

有偏估计量是由系统误差造成的一种估计，这种系统误差预先假设是不会出现的，不断的偏差导致估计量的准确性变差。

同一参数有多个估计 { θ ^ 1 , θ ^ 2 , ⋯ , θ ^ n } \{\hat\theta_1, \hat\theta_2, \cdots, \hat\theta_n\} {θ^1​,θ^2​,⋯,θ^n​}可用时，一个合理的方法是对这些估计的组合求平均，从而得出一个更好的估计，即

$$\hat{\theta }=\frac{1}{n}\sum _{i=1}^n{\hat{\theta }}_i\text{\hspace{1em}(3)}$$

假定每个估计量是无偏的，方差相同且互不相关，即

$$\text{var}(\hat{\theta })=\frac{1}{n^2}\sum _{i=1}^n\text{var}({\hat{\theta }}_i)=\frac{\text{var}({\hat{\theta }}_1)}{n}\text{\hspace{1em}(4)}$$

求平均的估计越多，方差越小，$n\to \infty$时，$\hat{\theta }\to \theta$。

若估计量是有偏的，即$E({\hat{\theta }}_i)=\theta +b(\theta )$，那么

$$E(\hat{\theta })=\frac{1}{n}\sum _{i=1}^{n}E({\hat{\theta }}_i)=\theta +b(\theta )\text{\hspace{1em}(5)}$$

无论对多少估计量求平均，都不会收敛到真值。其中，$b(\theta )=E(\hat{\theta })-\theta$定义为估计量的偏差。

2. 最小方差准则

在寻找最佳估计量的时候，需要采用某些最佳准则。一个很自然的准则就是均方误差（mean square error, MSE）准则，均方误差定义为

$$\text{mse}(\hat{\theta })=E[(\hat{\theta }-\theta {)}^2]\text{\hspace{1em}(6)}$$

它度量了估计量偏离真值的平方偏差的统计平均值。

MSE可重写为

$$\begin{array}{rl}\text{mse}(\hat{\theta })& =E\left\{{\left[\left(\hat{\theta }-E(\hat{\theta })\right)+\left(E(\hat{\theta })-\theta \right)\right]}^2\right\}\\ & =\text{var}(\hat{\theta })+{\left[E(\hat{\theta })-\theta \right]}^2\\ & =\text{var}(\hat{\theta })+b^2(\theta )\end{array}\text{\hspace{1em}(7)}$$

其中，第二个等号成立是由于$E(\hat{\theta })$和$\theta$都是确定值，期望等于其本身。

(7)说明，MSE由估计量的方差以及偏差引起的误差组成。

下面说明MSE准则的采用导致了不可实现的估计量，这个估计量不能写成数据的唯一函数。

考虑观测$x[n]=A+w[n](n=0,1,\cdots ,N-1)$，$A$是要估计的参数，$w[n]$是WGN。考虑一个估计量

$$\check{A}=a\frac{1}{N}\sum _{n=0}^{N-1}x[n]\text{\hspace{1em}(8)}$$

尝试求出使MSE最小的$a$。由于$E(\check{A})=aA$，$\text{var}(\check{A})=a^2{\sigma }^2/N$，由(7)可得

$$\text{mse}(\check{A})=\frac{a^2{\sigma }^2}{N}+(a-1{)}^2{A}^2\text{\hspace{1em}(9)}$$

对其求导得

$$\frac{d\text{mse}(\check{A})}{da}=\frac{2a{\sigma }^2}{N}+2(a-1)A^2\text{\hspace{1em}(10)}$$

令上式为零得到最佳值为

$$a_{\text{opt}}=\frac{A^2}{A^2+{\sigma }^2/N}\text{\hspace{1em}(11)}$$

从（11）可以看出，a的最佳值与A有关，因此估计量是不可实现的。式（7）中偏差项是$A$的函数，因此估计量与$A$有关。

一般情况下，任何与偏差有关的准则都将导出不可实现的估计量（偶尔也能找到可实现的MSE估计量）。除了放弃最小MSE估计，另一种方法是约束偏差为零，使得式（7）仅剩下方差项，从而求出使得方差最小的估计量。这样的估计量称为最小方差无偏（minimum variance unbiased, MVU）估计量。由（7），MVU估计量的MSE是方差。

3. 最小方差无偏估计的存在性

MVU估计量是指对所有$\theta$均具有最小方差的无偏估计量。MVU估计量并不总是存在的。对于不同的$\theta$，方差最小的无偏估计量可能是不同的估计量。若存在MVU，为了强调对于所有$\theta$方差都是最小的，也称该MVU估计量为一致最小方差无偏估计量。

4. 求最小方差无偏估计量

即使MVU存在，我们也可能不能求出。有几种可能的方法：

1. 确定Cramer-Rao下限（Cramer-Rao lower bound, CRLB），然后检查是否有某些估计量满足CRLB。
2. 应用Rao-Blackwell-Lehmann-Scheffe (RBLS) 定理。
3. 进一步限制估计不仅是无偏的，而且还是线性的，然后在这些限制中找出最小方差估计。

具体见后续章节。

5. 扩展到矢量参数

如果$\theta =[{\theta }_1,{\theta }_2,\cdots ,{\theta }_p{]}^T$是未知参数矢量，那么一旦估计量$\hat{\theta }=[{\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_p{]}^T$对于$i=1,2,\cdots ,p$满足

$$E({\hat{\theta }}_i)={\theta }_i{a}_i<{\theta }_i<b_i\text{\hspace{1em}(12)}$$

我们就说它是无偏的。通过定义

$$E(\hat{\theta })=\left[\begin{array}{c}E({\hat{\theta }}_1)\\ E({\hat{\theta }}_2)\\ ⋮\\ E({\hat{\theta }}_p)\end{array}\right]\text{\hspace{1em}(13)}$$

可以将无偏估计量等效地定义为

$$E(\hat{\theta })=\theta \text{\hspace{1em}(14)}$$

MVU是在所有的无偏估计量中，对于$i=1,2,\cdots ,p$，$\text{var}({\hat{\theta }}_i)$是最小的。

习题

2.1