$KL Divergence$理解

在数理统计($mathematical\ statistics$)中， $Kullback–Leibler\ divergence$ 使用来衡量一个概率分布和预期的概率分布偏离的程度。在信息系统($information\ system$)中我们称其为相对熵($relative\ entropy$)

从概率分布$Q$到概率分布$P$的散度($divergence$)我们用$D_{KL}(P||Q)$来表示

在机器学习($machine\ learning$)中, 如果我们用$P$来代替$Q$, 则$D_{KL}(P||Q)$我们也称其为信息增益$(information\ gain)$

在贝叶斯推理($Bayesian\ inference$)中, 我们用$D_{KL}(P||Q)$来表示信息增益($information\ gain$)。其中是$Q$是先验概率分布($prior\ probability\ distribution$), 而$P$则是后验概率分布($posterior \ probability \ distribution$)。

$D_{KL}(P||Q) = 0$ 表示 $P$ 和$Q$是一样的
$D_{KL}(P||Q) = 1$ 表示 $P$ 和$Q$不一样的

公式定义

$P$和$Q$是离散概率分布($discrete\ probability\ distributions$), 则$P$和$Q$的散度表示为

$$D_{KL}(P||Q)=\sum_iP(i)log\frac{P(i)}{Q(i)}$$
$P$和$Q$是连续随机变量( $continuous\ random\ variable$), 则 $P$和$Q$的散度表示为
$$D_{KL}(P||Q)=\int_{-\infty}^{+\infty}p(x)log\frac{p(x)}{q(x)}\, dx$$

参考

https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence