《信息论与编码》结课总结

三、内容：
1. 当代文明的三大科学支柱： （0.50）
材料科学、信息科学与能源科学。
2. 信息论发展的过程（1.50）
过程： 语言的产生 文字的产生 印刷术的发明 电报、电话的发明 计算机技术与通信技术的结合应用 且信息论研究对象是广义的通信系统。 要求：简单了解即可。 信息论的主要开创者（2.40） 香农、维纳
量。 定义式：
I (ai ; b j ) log
p ( ai b j ) p( a i )
(i 1,2, , n; j 1,2, , m) 三个含义： 含义一：
站在输出端的角度来看，两个不确定度之差，是不确定度被消除的部分，代 表已经确定的东西，实践是从 b j 得到的关于 ai 的信息量。 含义二： 站在输入端的角度来看，在输入端发出 ai 前、后，地输出端出现 b j 的不确定 度的差。 含义三：
6. 信源符号的自信息量的含义与计算（6.30）
定义： 信源发出符号所含的信息量叫做自信息量，简称为自信息。 表示： I (ai ) log 2 p (ai ) 提示：基本的计算如自信息量、熵等都要知道。
7. 信源符号间互信息量与平均互信息量的三个含义（7.25）
互信息量 定义： 我们定义 ai 的后验概率与先验概率比值的对数为 b j 对a i 的互信息量，也叫交互信息
22. Xn+1 循环码的生成多项式 g(x)与一致校验多项式 h(x)的关系， 对应生成矩阵和一致校验矩阵的生成，将消息利用生成矩阵生 成循环码（12.10）
8. 信源熵的三种物理含义及求解方法（12.25）
信源熵的定义：
三.信源熵
熵
条 件 熵
信 源 熵
联 合 熵
信源各个离散消息的自信息量的数学期望为信源的信源熵。
三种物理含义及求解方法： 信源输出后，平均每个离散消息所提供的信息量； 信源输出前，信源的平均不确定度； 变量 X 的随机性。 注意： 信息量是一个得到的概念，而不确定度则是一个概念的概念。 求解方法：
18. Dmax 的含义（8.00）
19. 二、三元离散信源的 Rmax、Rmin、Dmin、Dmax 计算，及信 息率失真函数 R(D)的计算（8.20）
20. 在信道编码中检错与纠错的含意是什么？（10.00）
提示： 针对于可靠性； 两者的关系：有一个定理；
21. 线性分组码生成矩阵与系统码生成矩阵之间的关系，系统码生 成矩阵与一致校验码矩阵之间的关系，码字的生成，编码效率 及最小距离的计算。 （11.10）
定义： 以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源叫做 马尔可夫信源。而当马尔可夫信源的当前输出符号仅与前面 N 个符号有关 时，称之为 N 阶马尔可夫信源。 提示： 相对于无记忆特性的有记忆特性应用； 定义方法； 一般在三阶以内。
13. 低阶马尔科夫信源的状态转移图、各状态的稳态分布概率(状态
从通信系统的总体立场上，通信前后不确定度的差。 平均互信息量（8.30） 定义： 互信息量在联合概率空间 P(XY)中的统计平均值叫做平均互信息量。 定义式： n m n m p( ai b j ) I ( X ; Y ) E[ I (ai ; b j )] p (ai b j ) I (ai ; b j ) p (ai b j ) log p ( ai ) i 1 j 1 i 1 j 1 三个含义： 含义一： 从输出端的角度来看，平均互信息量是收到 Y 前、后，关于 X 的不确定度 减少的量，即由 Y 获得的关于 X 的平均信息量。 含义二： 从输入端的角度来看，平均互信息量是发送 X 前、后，关于 Y 的平均不确 定度减少的量。 含义三： 从通信的整体来看，平均互信息量等于通信前、后，整个系统不确定度减少 的量。 总结： 信息就是负熵——从一个事件获得另一个事件的平均互信息需要消除不确 定度，一旦消除了不确定度，就获得了信息。 提示： 站在三个不同的角度，具体内容在 26、27 和 28 页； 平均互信息量是一个非常重要的概念； 此处的概念涉及到后面的相关定理的引出。
10. 信源的平稳性和无记忆性的含义（14.45）
当信源所发符号序列的概率分布与时间的起点无关且符号之间无依赖关系， 则称此信源为平稳无记忆信源。
11. 离散无记忆信源的信源熵、N 次扩展的信源熵计算。 （15.30）
H(XN)=NH(X) 注意： 这里必须是离散平稳无记忆信源才行。
12. N 阶马尔科夫信源的定义（16.00）
《信息论与编码》结课总结
一、资料来源：课件：林果园来自师。二、说明：标题后数据为所对应的录音时间； 所要掌握的是相关方面最基础的知识与定理； 部分知识需要了解，部分知识需要掌握并懂得怎样用于做题； 首先理解相关基本概念、性质和定理，其次多复习平时作业、课堂讲解及课堂 小测验，许多题目相似； 考试难度不会超过平时题目的难度； 做题认真，步骤完整。
提示： 信道容量的实现情况即是对应的概率分布情况；
16. 信源编码：香农编码、费诺编码、哈夫曼编码方法及步骤，其 编码效率的计算（6.05）
香农编码
费诺编码
哈夫曼编码
提示： 都是变长编码，所以会涉及到概率排序；
17. 信息率失真函数的含义（7.35）
提示： 与现实生活中所允许的失真程度是有关系的；
极限概率)、极限熵 H∞=Hn+1（0.20）
提示： 相关概念的理解； 对于概念的计算和应用； 对于状态要有很好的理解； 阶数与符号数间是有关系的。
14. 信道容量的含义（4.00）
提示： 对平均互信息量取的极大值； 特性的应用； 考查的是信道的一些特性；
15. 常见信道（无噪信道、强对称、对称、 （前三种一定要掌握）准 对称（这个是有时间可以去看） ）容量的计算，达到信道容量时 对应信源的概率分布情况。 （5.00）
n 1 H ( X ) E[I (ai )] E[log2 ] p(ai ) log2 p(ai ) p(ai ) i 1
同理可推出条件熵和联合熵的求解方法。
9. 离散信源的联合熵、条件熵、平均互信息量的含义及相互之间 的关系。 （13.10）
联合熵： H(XY) 条件熵： H(X/Y)或 H(Y/X) 平均互信息量： I(X;Y)
3. 研究信息论的目的（3.00）
为了高效、可靠、安全、经济且随心所欲地交换和利用各种各样的信息。
4. 信息理论当中度量信息的基本观点（3.20）
三种观点要说清楚。
通信系统模型（4.00）
5. 衡量通信系统的性能指标及对应的编码（4.30）
有效性： 传递信息时信源用尽量少的符号表示尽可能多的信息； 信源编码 可靠性： 信息在信道的传输过程中衰减和干扰影响最小； 信道编码（研究的就是如何进行可靠的传输，首先要知道什么是信道容量） 安全性： 防止敌意所导致的破坏； 安全编码