知识点
学习视频链接
信息论简介和概率论复习
信息的定义
信息、信号、消息的概念
香农信息
信息论的研究对象和目的
- 信源：产生消息和消息序列的源
- 编码器：将消息变为适合信道传输的物理量
- 信道：传输或者储藏信号的媒介
- 译码器：对干扰+信号进行反转换
- 信宿：消息传递的对象
概率论知识回顾
两个离散的变量及其概率分布
离散信源及信息测度
1.信源的数学模型及分类
信源的定义及分类
信源的数学模型
用随机变量表示消息，一个消息表示一个符号，所谓单符号，就是一个消息对应一个符号。离散的用概率分布，连续的用概率密度。
消息序列是一堆符号
n次扩展信源的例子如下
用随机过程描述时间连续的消息
2.离散信源的信息熵
自信息与信息熵
必须掌握的内容
- 信息熵的公式
- 信息熵的单位
信息熵的性质
将x1,x2的各行当做信源去进行分析
3.离散无记忆信源的扩展信源
4.离散平稳信源及其极限熵
5.马尔科夫信源
6.信息冗余度
考试题型
题型一：求信息量
题型二：求不确定度（就是求信息熵-套公式）
