1.求下面三种信道的信道容量

行列数量相等的情况

 行比列多的情况

 列比行多的情况

 小贴士

 2.客观世界三大基本要素：物质，能量，信息。

3.信息：是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（人或机器）获取和利用。

4.消息：用符号、数字、语言、图像等能够被人的感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，是信息的载体，用来表达信息。

5.信号：把消息变成适合信道传输的物理量。

6.全信息：同时考虑外在形式/语法信息，内在含义/语义信息，效用价值/语用信息。

7.语法信息：事物运动状态和状态改变的方式

8.语义信息：事物运动状态和方式的具体含义

9.语用信息：事物运动状态和方式及其含义对观察者的效用。

10.香农信息论考虑事物运动状态及其变化方式的外在形式，实际上研究的是语法信息，主要研究概率信息。

11.香农创立了信息论，但并没有给出信息论的确切定义，重点是放在编码。维纳是信息论的创始人之一，认为信息是独立于物质和能量之外存在于客观世界的第三要素，研究重点放在接收端。

12.狭义信息论（香农经典信息论），研究信息测度，信道容量以及信源和信道编码理论。研究信息论的目的是为了可靠，高效，安全，经济并且随心所欲地交换和利用各种各样的信息。

13.信息的性质

存在普遍性：信息存在与自然界，人类社会，其本质是运动的和变化的，哪里有事物的运动和变化，哪里就有信息。

有序性：要使一个系统从无序变为有序，必须从外界获取信息。

相对性：同一个事物，不同的观察者获得的信息量可能不同。

可度量性：信息的多少用信息量表示。

可扩充性：信息随人的认识的提高在不断地扩充。可存储，传输与携带性。

可压缩性。

可替代性：可替代劳动力，资本，物质材料，时间。

可扩散性：可在短时间内较大范围扩散开。

可共享性：可以被人们用来进行人类社会的发展和进步。

时效性：信息是有"寿命"的。

14.1948年香农发表了"通信的数学理论"奠定了信息论理论基础。

15.通信系统三项性能指标（信息论研究目的就是优化这三个指标）:

(1）有效性：用尽可能短的时间和尽可能少的设备来传输一定信息量的信息。

(2）可靠性：要是信源发出的信息进过传输后，尽可能准确地，不失真地再出现在接收端。

(3）安全性：避免网络木马病毒，黑客攻击等，保证通信的安全。

16.信息论的研究对象：信息论是一门应用概率论、随机过程、数理统计和代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。

17.信息传输系统模型

 18.关于信源信息的度量

对信息进行量度是信息论的首要问题。香农定义了熵作为信源所含信息的量度，是信息论中最重要的概念。

19.无失真信源编码定理（香农第一定理）

无失真信源编码定理，也称香农第一定理，是信源压缩编码的理论基础，其内容是：如果信源编码码率（编码后传送信源符号所需比特数）不小于信源的熵，就存在无失真编码，反之，不存在无失真编码。

20.关于信道容量与信息的可靠传输

有噪信道编码定理（香农第二定理）是信道编码的理论基础，其内容是：如果信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，反之不存在使差错任意小的编码。

21.

已知一个离散无记忆信源发出的信号取自符号集{0,1,2,3}，且概率分布为P(0)=1/2，P(1)=1/4，P(2)=3/16，P(3)=1/16,（计算结果注意标注单位）

（1）计算该信源发出符号“2”所包含的信息量。

（2）计算该信源的平均信息量（信息熵）。

（3）计算该信源发出符号序列串“20200301”所包含的信息量。

 22.香农公式