假设有一个随机变量$x$需要估计，目标是找到一个线性估计器$\hat{x}={\sum }_{i=0}^{N-1}{a}_i{y}_i+b$，使得估计误差$e=x-\hat{x}$的均方误差$E[e^2]$最小。

线性最小均方误差（Linear Minimum Mean Square Error, LMMSE）估计的推导过程。

目标函数

估计模型

首先，假设有一个随机变量$x$，我们希望通过一组观测变量$y=[y_0,y_1,\dots ,y_{N-1}]$来估计$x$。估计模型可以表示为：
$$\hat{x}=\sum _{i=0}^{N-1}{a}_i{y}_i+b$$
其中$a_i$和$b$是需要确定的参数。

均方误差（MSE）

均方误差（Mean Squared Error, MSE）定义为估计值$\hat{x}$与真实值$x$之间的差的期望值的平方：
$$\text{MSE}=E[(x-\hat{x}{)}^2]$$

分量形式

MSE 的具体表达

将估计模型代入 MSE 的定义中，得到：
$$\text{MSE}=E\left[{\left(x-\sum _{i=0}^{N-1}{a}_i{y}_i-b\right)}^2\right]$$

求导并最小化 MSE

为了找到使 MSE 最小的参数$a_i$和$b$，我们需要对 MSE 关于$a_i$和$b$求偏导数，并令其等于零。

对$b$求导

$$\frac{\partial \text{MSE}}{\partial b}=-2E\left[\left(x-\sum _{i=0}^{N-1}{a}_i{y}_i-b\right)\right]=0$$
解得：
$$b=E[x]-\sum _{i=0}^{N-1}{a}_{i}E[y_i]$$

对$a_i$求导
$$\frac{\partial \text{MSE}}{\partial a_i}=-2E\left[y_i\left(x-\sum _{j=0}^{N-1}{a}_j{y}_j-b\right)\right]=0$$
解得：
$$a_i=\frac{E[y_{i}x]-E[y_i]E[x]}{E[y_i^2]-(E[y_i]{)}^2}$$

最终表达式

将$a_i$和$b$的表达式代入估计模型中，得到最终的 LMMSE 估计器：
$$\hat{x}=\sum _{i=0}^{N-1}{a}_i{y}_i+b$$
其中：
$$a_i=\frac{\text{Cov}(y_i,x)}{\text{Var}(y_i)}$$
$$b=E[x]-\sum _{i=0}^{N-1}{a}_{i}E[y_i]$$

向量形式

在矩阵形式下，可以将上述表达式写为：
$$\hat{x}={\mathbf{a}}^T\mathbf{y}+b$$
其中$\mathbf{a}=[a_0,a_1,\dots ,a_{N-1}{]}^T$，$\mathbf{y}=[y_0,y_1,\dots ,y_{N-1}{]}^T$。

对$b$求导

$$E\left[\left(x-E[x]-(\mathbf{y}-E[\mathbf{y}]{)}^T\mathbf{a}\right)\right]=0$$

解得$b$

$$b=E[x]-{\mathbf{a}}^{T}E[\mathbf{y}]$$

对$a$求导

$$E\left[\left(\mathbf{y}-E[\mathbf{y}]\right)\left(x-E[x]-(\mathbf{y}-E[\mathbf{y}]{)}^T\mathbf{a}\right)\right]=0$$

解得$a$

$$\mathbf{a}={\mathbf{R}}_y^{-1}{\mathbf{R}}_{yx}$$

这里${\mathbf{R}}_y$是观测值$\mathbf{y}$的协方差矩阵，${\mathbf{R}}_{yx}$是观测值$\mathbf{y}$与随机变量$x$的协方差向量。

最终的 LMMSE 估计器可以表示为：
$$\hat{x}={\mathbf{a}}^T\mathbf{y}+b$$
其中：
$$\mathbf{a}={\mathbf{R}}_y^{-1}{\mathbf{R}}_{yx}$$
$$b=E[x]-{\mathbf{a}}^{T}E[\mathbf{y}]$$