如何理解交叉熵恒大于或等于0？
看了很多博客，我发现它们都基本上是以一个定义的形式，直接告诉我们（或者不提及）交叉熵它是恒大于等于0的，没有解释为什么。
可参考的部分优质博客
如果想要了解什么是熵及变形总结，可以参考博客：机器学习笔记十：各种熵总结,里面讲的非常详细。
这里要说的是交叉熵为什么恒大于等于0
如果数学功底好的，可以参考PRML书中公式（1.118）KL散度恒大于等于 0的推导，它同样可以解释交叉熵。
如果你英文好可以直接参考视频【 深度学习 】熵，交叉熵，KL散度 Entropy, Cross-Entropy and KL-Divergence（英文），里面对熵等内容讲解的也很详细。
我对交叉熵恒大于等于0的理解
这里我们首先要知道，交叉熵通常被用来解决分类问题
交叉熵公式：
H ( p , q ) = − ∑ x p ( x ) log q ( x ) . \Eta(p,q) = -\sum_x p(x) \log q(x)\,. H(p,q)=−x∑p(x)logq(x).
其中p(x)为真实概率分布，q(x)为预测概率分布
以二分类为例，x为正类时p(x)值为1，则
H ( p , q ) = − 1 ∗ log q ( x ) − 0 ∗ log q ( x ) = − log q ( x ) . \Eta(p,q) = - 1* \log q(x)-0* \log q(x)=- \log q(x)\,. H(p,q)=−1∗logq(x)−0∗logq(x)=−logq(x).
我们知道q(x)为预测概率分布
0 ≤ q ( x ) ≤ 1 . 0\leq q(x)\leq 1\,. 0≤q(x)≤1.
所以
H ( p , q ) ≥ 0 . \Eta(p,q) \ge 0\,. H(p,q)≥0.
最后分享两个LaTex公式符号对照博客
LaTeX各种符号
Latex之希腊字母表 花体字母 实数集
