啊啊啊啊啊啊啊啊啊啊
数学！！！！我恨你！！！
我也不是很知道这个是如运用在大模型调参的
但是看书中遇到了，不是很理解，就跑出来查一下这块知识 整来整去感觉整了坨大的。。。。
并没有很深体会。。。。 还要再沉淀沉淀。。。
emo中。。。。

费舍尔信息矩阵（Fisher Information Matrix, FIM）

1. 定义

费舍尔信息矩阵是衡量一个随机样本对未知参数统计信息量的矩阵。它是一个$m\times m$矩阵，其中$m$是参数的数量。费舍尔信息矩阵定义为：
$$\mathbf{F}={\mathbb{E}}_{p(x|\theta )}\left[\nabla \log p(x|\theta )\nabla \log p(x|\theta {)}^T\right]$$
其中，$\nabla \log p(x|\theta )$是关于参数$\theta$的对数似然函数的梯度，而${\mathbb{E}}_{p(x|\theta )}$表示在概率分布$p(x|\theta )$下的期望。

2. 相关定理

• Asymptotic Normality of MLE：在多参数情况下，最大似然估计（MLE）的渐近正态性可以扩展到参数向量$\theta$。根据定理15.2，如果 { f ( x ∣ θ ) : θ ∈ Ω } \{f(x|\theta) : \theta \in \Omega\} {f(x∣θ):θ∈Ω}是一个参数模型，其中$\theta \in {\mathbb{R}}^k$有$k$个参数，并且$X_1,\dots ,X_n$是独立同分布的，那么$\sqrt{n}({\hat{\theta }}_n-\theta )$的分布趋近于$N(0,\mathbf{I}(\theta {)}^{-1})$，其中$\mathbf{I}(\theta {)}^{-1}$是$\mathbf{I}(\theta )$的逆矩阵。

3. 公式

费舍尔信息矩阵的元素可以通过以下公式计算：
$$\mathbf{I}(\theta {)}_{ij}={\text{Cov}}_{\theta }\left(\frac{\partial }{\partial {\theta }_i}\log f(X|\theta ),\frac{\partial }{\partial {\theta }_j}\log f(X|\theta )\right)=-E_{\theta }\left(\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}\log f(X|\theta )\right)$$
这个公式表明费舍尔信息矩阵的第$i$行第$j$列元素是参数$\theta$对数似然函数的二阶偏导数的负期望值。

4. 推导

推导费舍尔信息矩阵的过程涉及到对数似然函数的梯度和黑森矩阵（Hessian matrix）。对数似然函数的黑森矩阵是其梯度的雅可比矩阵，而费舍尔信息矩阵是这个黑森矩阵的负期望值。具体来说：
$\mathbf{F}=-{\mathbb{E}}_{p(x|\theta )}\left[\frac{{\partial }^2}{\partial \theta \partial {\theta }^T}\log p(x|\theta )\right]$
这个公式表明费舍尔信息矩阵是参数$\theta$对数似然函数的二阶偏导数的负期望值。

5. 应用

费舍尔信息矩阵在机器学习和统计学中有广泛的应用，包括但不限于：

• 自然梯度优化：利用费舍尔信息矩阵进行自然梯度优化，可以提高优化效率。
• Cramer-Rao下界：费舍尔信息矩阵与Cramer-Rao下界有关，后者提供了参数估计的方差下界。

低秩矩阵详细教程

1. 定义

低秩矩阵是指矩阵的秩（即矩阵中线性无关的行或列的最大数目）相对较小的矩阵。如果一个矩阵的秩远小于其行数或列数，那么这个矩阵就被称为低秩矩阵。低秩矩阵的每行或者每列都可以用其他的行或者列线性表示，这说明这个矩阵包含了大量的冗余信息。

2. 相关定理

• Von Neumann Trace Inequality：对于$m\ge n$，设$A,B\in {\mathbb{R}}^{m\times n}$具有奇异值${\sigma }_1(A)\ge \cdots \ge {\sigma }_n(A)$和${\sigma }_1(B)\ge \cdots \ge {\sigma }_n(B)$，则有
  $|⟨A,B⟩|\le {\sum }_{i=1}^n{\sigma }_i(A){\sigma }_i(B)$。
  这个不等式提供了两个矩阵内积的上界。

• Schatten Norms：对于任意的$1\le p\le \infty$，$p$-Schatten范数定义为
  $\Vert A\Vert (p):=\Vert s(A){\Vert }_p$
  其中$s(A)=({\sigma }_1,\dots ,{\sigma }_n)$是$A$的奇异值。这个范数是矩阵范数的一种，特别地，$p=\infty$时是谱范数，$p=2$时是Frobenius范数，$p=1$时是核范数。

3. 公式

• 核范数（Nuclear Norm）：矩阵$A$的核范数是其奇异值之和，即
  $\Vert A{\Vert }_{\ast }={\sum }_{i=1}^n{\sigma }_i(A)$。
  核范数在低秩矩阵补全中被用作凸松弛。

• 低秩近似：对于给定的矩阵$A$，其最佳低秩近似$T_k(A)$可以通过截断奇异值分解（SVD）得到，即保留前$k$个奇异值，舍去其余奇异值。对于任何酉不变范数，有
  $\Vert T_k(A)-A\Vert =\sqrt{{\sum }_{i=k+1}^n{\sigma }_i^2}$
  特别地，对于谱范数和Frobenius范数，有
  $\Vert A-T_k(A){\Vert }_2={\sigma }_{k+1},\Vert A-T_k(A){\Vert }_F=\sqrt{{\sum }_{i=k+1}^n{\sigma }_i^2}$ 。

4. 推导

• 低秩矩阵补全：考虑最小化核范数的问题，可以转化为最小化矩阵的Frobenius范数，即
  ${\min }_X\Vert X{\Vert }_{\ast }\text{s.t.}{X}_{\Omega }=Y_{\Omega }$
  其中$Y$是部分观测的矩阵，$\Omega$是观测到的元素索引集合，$X$是我们希望得到的估计矩阵。

• SVD下的伪逆：对于矩阵$A$的SVD分解$A=U\Sigma V^T$，其伪逆可以表示为
  $A^{†}=V{\Sigma }^{†}{U}^T$
  其中${\Sigma }^{†}$是$\Sigma$的伪逆，即对$\Sigma$的非零元素取倒数并转置。

渐近正态性（Asymptotic Normality of MLE）

1. 定义

最大似然估计（MLE）的渐近正态性是指，当样本量趋于无穷大时，MLE估计量的分布趋近于正态分布。具体来说，如果 { f ( x ∣ θ ) : θ ∈ Ω } \{f(x|\theta) : \theta \in \Omega\} {f(x∣θ):θ∈Ω}是一个参数模型，其中$\theta \in {\mathbb{R}}^k$有$k$个参数，并且$X_1,\dots ,X_n$是独立同分布的，那么$\sqrt{n}({\hat{\theta }}_n-\theta )$的分布趋近于$N(0,I(\theta {)}^{-1})$，其中$I(\theta )$是费舍尔信息矩阵。

2. 相关定理

• 渐近正态性定理：假设模型满足一定的正则条件，如对数似然函数在参数$\theta$处是可微的，并且$\hat{\theta }$是唯一解，那么$\hat{\theta }$是渐近正态的，即$\sqrt{n}(\hat{\theta }-{\theta }_0)\stackrel{d}{\to }N(0,I({\theta }_0{)}^{-1})$，其中$I(\theta )$是费舍尔信息矩阵。

3. 公式

费舍尔信息矩阵的定义为：
$I(\theta )={\mathbb{E}}_{\theta }\left[\left(\frac{\partial }{\partial \theta }\log f(X|\theta )\right){\left(\frac{\partial }{\partial \theta }\log f(X|\theta )\right)}^T\right]=-{\mathbb{E}}_{\theta }\left[\frac{{\partial }^2}{\partial {\theta }^2}\log f(X|\theta )\right]$

渐近正态性的公式为：
$\sqrt{n}({\hat{\theta }}_n-\theta )\stackrel{d}{\to }N(0,I(\theta {)}^{-1})$

4. 推导

推导渐近正态性的过程如下：

1. 对数似然函数的定义：
   $l(\theta )={\sum }_{i=1}^n\log f(X_i|\theta )$

2. 得分函数（Score Function）：
   $S(\theta )=\frac{\partial }{\partial \theta }l(\theta )={\sum }_{i=1}^n\frac{\partial }{\partial \theta }\log f(X_i|\theta )$

3. 费舍尔信息矩阵：
   $I(\theta )={\mathbb{E}}_{\theta }\left[\left(\frac{\partial }{\partial \theta }\log f(X|\theta )\right){\left(\frac{\partial }{\partial \theta }\log f(X|\theta )\right)}^T\right]$

4. 中心极限定理的应用：
   根据中心极限定理，得分函数的均值为零，方差为费舍尔信息矩阵：
   $\sqrt{n}\left(\frac{1}{n}S(\theta )\right)\stackrel{d}{\to }N(0,I(\theta ))$

5. 泰勒展开：
   对于MLE $\hat{\theta }$，在${\theta }_0$处进行泰勒展开：
   $0=S(\hat{\theta })\approx S({\theta }_0)+\frac{\partial S({\theta }_0)}{\partial \theta }(\hat{\theta }-{\theta }_0)$

6. 渐近正态性：
   由于$\frac{\partial S({\theta }_0)}{\partial \theta }\approx -nI({\theta }_0)$，我们有：
   $\sqrt{n}(\hat{\theta }-{\theta }_0)\approx -{\left(\frac{1}{n}\frac{\partial S({\theta }_0)}{\partial \theta }\right)}^{-1}\left(\frac{1}{\sqrt{n}}S({\theta }_0)\right)\stackrel{d}{\to }N(0,I({\theta }_0{)}^{-1})$

5. 应用

• 参数估计的方差下界：渐近正态性表明，MLE在大样本情况下是无偏的，并且其方差达到Cramer-Rao下界。
• 置信区间的构建：利用渐近正态性，可以构建参数的置信区间。例如，对于参数$\theta$，其估计值$\hat{\theta }$的置信区间可以表示为$\hat{\theta }\pm z_{\alpha /2}\sqrt{I(\hat{\theta }{)}^{-1}/n}$。