机器学习之KL散度推导

预备知识

熵、交叉熵、条件熵

熵 (Entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)、信息熵 (information entropy)。

对于具体熵的定义和用法推荐大家自己再去理解，本篇文章着重分析和推导KL散度

这里我先给出这个熵的定义如下：

熵： $\text{Entropy(x)}=H(X)=-{\sum }_{x}p(x)lo{g}_2(x)$

条件熵：
$$\begin{array}{rl}H(\mathbf{Y}|\mathbf{X})& =\sum _{x}p(x)H(\mathbf{Y}|\mathbf{X}=x)\\ & =-\sum _{x}p(x)\sum _{y}p(y|x){\log }_{2}p(y|x)\\ & =-\sum _x\sum _{y}p(x,y){\log }_{2}p(y|x)\\ & =-\sum _{x,y}p(x,y){\log }_{2}p(y|x)\end{array}$$
交叉熵：$\text{Cross entropy}=H(P,Q)=-{\sum }_{i}P(x_i)lo{g}_{2}Q(x_i)$

他们的用处是不同的，对于条件熵来说，主要是用在决策数的信息增益中，用来判断某个信息对样本集合的划分效果的影响力（好坏），当然对于连续变量，条件熵的公式不变，但变量的取值会变，如下：

而交叉熵则更多的用在KL散度上（据我所知😆)，本次就会用到。

KL散度推导

KL散度的理论意义在于度量两个概率分布之间的差异程度，当KL散度越大的时候，说明两者的差异程度越大；而当KL散度小的时候，则说明两者的差异程度小；如果两者相同的话，则该KL散度应该为0。

公式定义为：
$$KL(P||Q)=\int p(x)log\frac{p(x)}{q(x)}dx$$

证明KL散度大于等于0：

将KL散度写成离散的形式为：$KL(P||Q)=\sum p(x)log\frac{p(x)}{q(x)}=-\sum p(x)log\frac{q(x)}{p(x)}$

因为：$ln(x)<x-1$

所以：令$\frac{q(x)}{p(x)}=x$
$$\begin{array}{rl}\sum p(x)log\frac{q(x)}{p(x)}& <\sum p(x)\left(\frac{q(x)}{p(x)}-1\right)\\ \sum p(x)log\frac{q(x)}{p(x)}& <\sum \left(q(x)-p(x)\right)\\ \sum p(x)log\frac{q(x)}{p(x)}& <\sum (q(x)-\sum p(x)\\ \sum p(x)log\frac{q(x)}{p(x)}& <0(\text{概率的和为1})\end{array}$$
所以：
$$KL(P||Q)=\sum p(x)log\frac{p(x)}{q(x)}=-\sum p(x)log\frac{q(x)}{p(x)}>0$$
将$log\frac{p(x)}{q(x)}$进行分解，可以转换为：
$$\begin{array}{rl}KL(P||Q)& =\sum p(x)log\frac{p(x)}{q(x)}\\ & =\sum p(x)logp(x)-\sum p(x)logq(x)\\ & =H(P,Q)-H(P)\end{array}$$

问题来了，$KL(P||Q)\ge 0$，那$KL(Q||P)$是否大于等于0？

答案是大于等于0，这是因为KL散度只是衡量数据之间的差异

例如：

• $KL(P||Q)$衡量 Q 相对于 P 的差异

• $KL(Q||P)$衡量 P 相对于 Q 的差异

设 $ P = {0.9, 0.1} $，$ Q = {0.8, 0.2} $

计算可得：
$$\text{KL}(P||Q)=0.9\ln \frac{0.9}{0.8}+0.1\ln \frac{0.1}{0.2}\approx 0.011+0.069=0.08$$
$$\text{KL}(Q||P)=0.8\ln \frac{0.8}{0.9}+0.2\ln \frac{0.2}{0.1}\approx -0.094+0.139=0.045$$

可见二者结果不同，体现 KL 散度的不对称特性。

总结

KL散度是非负的，也是不对称的。

在机器学习中KL散度常用于：

• 生成模型（如 VAE）中衡量生成分布与真实分布的差异；
• 优化问题中引导分布逼近目标分布（如强化学习的策略更新）。