[通信原理]绪论2：信息量 × 信息熵

ops/2024/10/25 20:29:00/

我们知道信息是一个抽象的概念，它既不是物质也不是能量。那么我们要如何对一个抽象的概念进行一个定量的研究呢？

信息量

1、信息的度量

通信的本质是传递信息，为了定量表征信息的度量，引入信息量的概念。消息中所含信息量与其不可预测性（不确定性）有关，因此可以概率来描述。消息所表达的事件越不可能发生，其信息量越大。

假设P(x)来表示消息发生的概率，I来表示消息中出现的信息量，则I的定义如下：

且满足3个基本性质：

对于若干个相互独立事件构成的消息，所含信息量等于各个独立事件信息量之和，如下：

2、信息量的定义

为了满足上述要求，定义如下公式为消息所含的信息量：

以2为底，单位为比特（bit）；
以e为底，单位为奈特（nat），1nat=1.44bit；
以10为底，单位为哈特（hat）；
以M为底，单位为M进制单位。

常采用以2为底的对数，即以bit作为信息量的单位。

【推广】对于等概M进制符号，每个码元包含 $log_{a}M$ bit的信息量。

离散信息的信息熵

1、定义

对于离散的信源，假设其含有M个可能的取值，且概率如下：

于是，每个符号的所含信息量的平均值（总信息量除以符号数），即平均信息量为：

通常称H为信息熵，代表平均信息量。

【注意】当每个符号概率相等（均为1/M）时，信息熵的值最大。

2、关于误差

对于某一离散信源，假设其有0,1,2,3共4个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。对于某条消息20101302010003……10210201（0出现23次，1出现14次，2出现13次，3出现7次，共57个字符），其信息量为：

基于实际概率

I总=23log8/3+14log4+13log4+7log8=108（b）

算数平均信息量：

I=108/57=1.89（b/符号）

将上面两式子结合：

I=23/57·log8/3+14/57·log4+13/57·log4+7/57·log8=1.89（b/符号）

基于理论概率

I=3/8·log8/3+1/4·log4+1/4·log4+1/8·log8=1.906（b/符号）

可以看出两种方法其结果有误差，而这种误差就是由实际概率和理论概率所造成的。并且此误差会随着消息序列中的符号数增加而减小。