信息论与编码教案

武汉工程大学邮电与信息工程学院

教案

课程名称：信息理论与编码

授课教师：刘璐玲

授课对象：07电子技术1班

授课学期：2009-2010学年第一学期

总学时：44

学期学时：44

使用教材：清华大学出版社《信息论与编码》

制定时间：2009.9.3

第 1 次课教案

一、讲授内容

第一章概述

二、教学目的及要求

要求学生明确本课程的学习目的及要求，初步了解本课程的特点及学习方法，掌握信息的基本概念和特点，了解信息论研究的对象、目的和内容，了解信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果，激发学习信息论与编码的兴趣与热情。

三、教学重点

本课程的特点及学习方法、信息的基本概念与特点，信息论的主要研究对象、目的和内容。

四、教学难点

如何理解信息的概念、信息论及编码技术

五、本讲计划学时及时间分配

计划2个学时，主讲信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果。课程导入5分钟；本课程的学习目的、要求及方法介绍20分钟；信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果讲授55分钟，课堂练习及课后习题讲解15分钟，

本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：

课程引入：主要介绍本课程的教学内容、教学重点与难点、考核方式及教材与参考书。

新课讲解：第一章绪论

1.1信息论的形成和发展

1.2通信系统的模型

小结：

本次课主要对信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果进行讲解，给学生对《信息论与编码》这门课程有初步印象。

七、课外学习辅导安排及作业布置

1、信息、信号、消息的定义是什么？三者的关系如何？

2、寻找阅读和信息论与编码发展的有关资料。

3、通信系统的各个主要组成部分是什么？

八、其他

无

第 2 次课教案

一、讲授内容

第二章信源与信息熵2.1小节信源的描述与分类

二、教学目的及要求

要求学生掌握信源的基本概念和特点及信源的描述，掌握离散无记忆信源、离散有记忆信源与马尔可夫信源的特点与描述方法。

三、教学重点

信源的分类，离散信源与连续信源，无记忆信源与有记忆信源，马尔可夫信源。

四、教学难点

有记忆信源，马尔可夫信源。

五、本讲计划学时及时间分配

计划2个学时，主讲信源的描述与分类。课程导入5分钟；信源的概念及分类介绍10分钟；无记忆信源概念与信源描述讲授15分钟；有记忆信源的概念与特点描述讲解15分钟；马尔可夫信源的概念与特点描述讲解35分钟；课堂练习与习题讲解15分钟；本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：

课程引入：

复习上节课的通信系统基本物理模型进行复习，对信源作简单介绍，并提出问题：什么是信源？信源可以用数学模型来描述吗？信源可以进行几种分类？

新课讲解：

第二章信源与信息熵

2.1 信源的描述与分类

2.2.1 无记忆信源

2.2.2 有记忆信源

2.2.3 马尔可夫信源

小结：

本次课主要对无记忆信源、有记忆信源、马尔可夫信源进行详细讲解，并对其中重难点进行总结概括。

七、课外学习辅导安排及作业布置

教材P41 第2-1、2-2题

八、其他

无

第 3 次课教案

一、讲授内容

第二章信源与信源熵第2.2小节离散信源熵和互信息

二、教学目的及要求

要求学生掌握自信息量、离散信源熵、互信息的概念及其求解方法，了解数据处理中信息的变化方式，熟悉并掌握熵的一些基本性质。

三、教学重点

自信息量、离散信源熵、互信息的概念及其求解方法、数据处理中信息的变化方式、熵的性质。

四、教学难点

离散信源熵、互信息的概念及其求解方法、熵的性质。

五、本讲计划学时及时间分配

计划2个学时，主讲离散信源熵和互信息的基本概念和特点。课程导入5分钟；自信息量概念及其求解方法介绍10分钟；离散信源熵的概念及其求解方法讲授15分钟，互信息的概念及其求解方法讲授25分钟，数据处理中信息的变化方式讲授10分钟，熵的性质讲授15分钟，课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体

如下：

课程引入：

对上次课的重点进行复习，简单介绍本次课的主要内容，并提出问题：信息可否度量？信息量如何来量测？

新课讲解：

第二章信源与信息熵

2.2离散信源熵和互信息

2.2.1自信息量

2.2.2离散信源熵

2.2.3互信息

2.2.4数据处理中信息的变化

2.2.5熵的性质

小结：

本次课主要对自信息量、离散信源熵、互信息、数据处理中信息的变化与熵的性质进行讲解，最好对其中涉及到的重难点进行总结概括。

七、课外学习辅导安排及作业布置

教材P41 2-3

八、其他

无

第 4 次课教案

一、讲授内容

第二章信源与信息熵第2.3小节离散序列信源熵

二、教学目的及要求

要求学生掌握离散序列信源熵的概念与求解方法，掌握离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法。

三、教学重点

离散序列信源熵的概念与求解方法、离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法。

四、教学难点

离散有记忆信源的序列熵的概念、特点与求解方法。

五、本讲计划学时及时间分配

计划2个学时，主讲离散序列信源熵。课程导入5分钟；离散序列信源熵的概念与求解方法介绍20分钟；离散无记忆信源的序列熵的基本概念、特点与求解方法讲授25分钟，离散有记忆信源的序列熵的概念、特点与求解方法讲授30分钟；课堂练习及课后习题讲解15分钟，本次课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：

课程引入：

对上次课的重点进行复习，简单介绍本次课的基本内容，问题的提出：a．如何描述离散无记忆序列信源的序列熵？b。如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏信源）的序列熵？

新课讲解：

第二章信源与信息熵

2.3离散序列信源熵

2.3.1离散无记忆信源的序列熵

2.3.2离散有记忆信源的序列熵

小结

本次课主要对离散无记忆信源的序列熵、离散有记忆信源的序列熵进行详细讲解，最好对其中涉及到的重难点进行总结概括。

七、课外学习辅导安排及作业布置

教材P41 2-4

八、其他

无

第 5 次课教案

一、讲授内容

第二章信源与信息熵第2.4小节连续信源熵和互信息

二、教学目的及要求

要求学生掌握连续信源熵和互信息的基本概念，掌握幅度连续的单个符号信源熵的求解方法，了解波形信源熵的求解方法已经最大熵定理。

三、教学重点

连续信源熵和互信息的基本概念、幅度连续的单个符号信源熵的求解方法、波形信源熵的求解方法已经最大熵定理。

四、教学难点

波形信源熵的求解方法已经最大熵定理。

五、本讲计划学时及时间分配

计划2个学时，主讲连续信源熵和互信息。课程导入5分钟；幅度连续的单个符号信源熵概念及求解方法介绍25分钟；波形信源熵的概念及求解方法讲授25分钟，最大熵定理的讲解25分钟；课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：

课程引入：

对上次课的重点进行复习，简单介绍本次课的主要内容。

新课讲解：

第二章信源与信息熵

2.4连续信源熵和互信息

2.4.1幅度连续的单个符号信源熵

2.4.2波形信源熵

2.4.3最大熵定理

小结：

本次课主要对幅度连续的单个符号信源熵、波形信源熵、最大熵定理进行讲解，最后对涉及到的重难点知识进行总结概括。七、课外学习辅导安排及作业布置

教材P43 2-20

八、其他

无

第 6 次课教案

一、讲授内容

第二章信源与信息熵第2.5小节、第二章总复习与习题讲解二、教学目的及要求

要求学生明掌握冗余度的概念及其求解方法，熟悉第二章所有的知识点，掌握其中的重要知识点。

三、教学重点

冗余度的概念及其求解方法，第二章所有的重要知识点。

四、教学难点

冗余度的概念及其求解方法、第二章包含的难点

五、本讲计划学时及时间分配

计划2个学时，主讲冗余度的概念与第二章总复习。课程导入5分钟；冗余度的概念及其求解方法介绍30分钟；第二章所有知识点：信源的描述与分类、离散信源熵和互信息、离散序列信源熵、连续信源熵和互信息总复习45分钟，课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：

课程引入：

对上次课重难点进行复习，简单介绍本次课的主要内容。

新课讲解：

第二章信源与信息熵

2.5 冗余度

第二章全章总复习与习题讲解

信源的描述与分类

离散信源熵和互信息

离散序列信源熵

连续信源熵和互信息

小结：

针对第二章的所有知识点作全面总结。

七、课外学习辅导安排及作业布置

教材P45 2-32

八、其他

无

第7 次课教案

一、讲授内容

第三章信道与信道容量第3.1小节信道的基本概念

二、教学目的及要求

要求学生掌握信道的基本概念，了解信道的分类，掌握信道参数与信道容量的定义及其求解方法。

三、教学重点

信道的基本概念、信道的分类、信道参数与信道容量的定义及其求解方法。

四、教学难点

信道参数与信道容量的定义及其求解方法

五、本讲计划学时及时间分配

计划2个学时，信道的基本概念。课程导入5分钟；信道的基本概念阐述10分钟；信道的分类讲授15分钟；信道参数的概念讲解20分钟；信道容量的定义及其求解方法讲授30分钟；课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：

课程引入：

本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的

信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。

新课讲解：

第三章信道与信道容量

3.1信道的基本概念

3.1.1信道的分类

3.1.2信道参数

3.1.3信道容量的定义

小结：

本次课首先介绍了本章的主要内容，并对3.1小节进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置

教材P68 3-1

八、其他

无

第8 次课教案

一、讲授内容

第三章信道与信道容量第3.2小节离散单个符号信道及其容量二、教学目的及要求

要求学生掌握离散单个符号信道及其容量的基本概念，无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道的信道容量定义及其求解方法。

三、教学重点

无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC 信道的信道容量定义及其求解方法。

四、教学难点

对称DMC信道、准对称DMC信道与一般DMC信道的新的容量定义及其求解方法。

五、本讲计划学时及时间分配

计划2个学时，主讲离散单个符号信道及其容量的基本概念。课程导入5分钟；无干扰离散信道的信道容量阐述15分钟；对称DMC信道的信道容量讲授25分钟；准对称DMC信道的信道容量讲解25分钟；一般DMC信道的信道容量定义及其求解方法讲授15分钟；课堂练习及课后习题讲解10分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：

课程引入：

信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。

新课讲解：

第三章信道与信道容量

3.2离散单个符号信道及其容量

3.2.1无干扰离散信道

3.2.2对称DMC信道

3.2.3准对称DMC信道

3.2.4一般DMC信道

小结：

本次课主要介绍了离散单个符合信道及其容量的概念，并对无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC 信道分别进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置

教材P68 3-4

八、其他

无

第9 次课教案

一、讲授内容

第三章信道与信道容量第3.3~3.5小节

二、教学目的及要求

要求学生掌握离散序列信道及其容量的基本概念，连续信道的信道容量定义及其求解方法，即连续单符号加性信道、多维无记忆加性连续信道、限时限频限功率的加性高斯白噪声信道，了解信源与信道的匹配。

三、教学重点

离散序列信道及其容量的基本概念，连续单符号加性信道、多维无记忆加性连续信道、限时限频限功率的加性高斯白噪声信道的信道容量及其求解方法，信源与信道的匹配。

四、教学难点

多维无记忆加性连续信道、限时限频限功率的加性高斯白噪声信道的信道容量及其求解方法，信源与信道的匹配。

五、本讲计划学时及时间分配

计划2个学时，主讲离散序列信道及其容量的基本概念、连续信道及其容量。课程导入5分钟；离散序列信道及其容量的基本概念讲解20分钟；连续单符号加性信道的信道容量讲授15分钟；多维无记忆加性连续信道的信道容量讲解20分钟；限时限频限功率的加性高斯白噪声信道的信道容量定义及其求解方法讲授

20分钟；信源与信道的匹配讲解15分钟，本节课知识点总结5分钟。

六、实施步骤

利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：

课程引入：

对上次课主要知识点进行复习，对本次课的主要内容进行简单介绍。

新课讲解：

第三章信道与信道容量

3.3离散序列信道及其容量

3.4连续信道及其容量

3.2.1连续单符号加性信道

3.2.2多维无记忆加性连续信道

3.2.3限时限频限功率的加性高斯白噪声信道

3.5信源与信道的匹配

小结：

本次课主要对离散序列信道及其容量、连续信道及其容量信源与信道的匹配分别进行详细讲解，总结其中的重难点。

七、课外学习辅导安排及作业布置

教材P69 3-7

八、其他

第10 次课教案

一、讲授内容

第四章信息率失真函数4.1小节平均失真和信息率失真函数二、教学目的及要求

要求学生掌握平均失真和信息率失真函数的基本概念，掌握失真函数的计算、平均失真的计算、信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。三、教学重点

失真函数的计算、平均失真的计算、信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。

四、教学难点

信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。

五、本讲计划学时及时间分配

计划2个学时，主讲平均失真和信息率失真函数的基本概念。课程导入5分钟；失真函数的概念及其计算方法讲解15分钟；平均失真的概念与计算方法讲授20分钟；信息率失真函数R(D)的概念与计算方法讲解20分钟；信息率失真函数的性质讲授15分钟；信息率失真函数与信道容量的比较讲解10分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。

六、实施步骤

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为用霍夫曼编码方法代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码课程总结

信息论与编码《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面：首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编码、加密编码。= 理论上传输的最少信息量编码效率实际需要的信息量。接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定性，极值性。接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根

信息论与编码试题集与答案(2014)

一填空题 1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 8.信息的可度量性是建立信息论的基础。 9.统计度量是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ）。

信息论与编码教学大纲

《信息论与编码》课程教学大纲、课程基本信息二、课程内容及基本要求第一章绪论课程内容：

1 ?信息论之父--香农；信息论与香农信息论的形成与发展；香农信息论的中心问题及其局限性； 2．信息、消息、信号、信息的本质、信息的广义性； 3．通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1．了解信息论之父---Shannon（香农）和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2．理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3．熟悉通信系统的基本模型及各模块的主要功能。本章重点香农信息论的中心问题、通信系统模型本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章信源、信息量和信息熵课程内容： 1．无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源； 2．非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息； 3．熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4．数据处理中信息的变化、连续信源熵；5．凸函数、互信息量的凸性，冗余度。基本要求： 1．了解并掌握信源的分类与特点； 2．理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均

互信息之间的关系； 3．理解马尔可夫信源的概念、理解离散序列信源熵的概念； 4．理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质； 5．理解凸函数的含义和性质；了解凸函数在信息论中的应用。本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章信源编码课程内容： 1．编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2．无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3．限失真信源编码；常用信源编码--- 游程编码、算术编码、预测编码、变换编码。基本要求： 1．理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用； 2．理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编码的特点与编码原理； 3．掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费诺编码原理；掌握哈夫曼编码原理； 4．了解常用限失真信源编码方法—算术编码、游程编码、预测编码及变换编码的编码原理。

《信息论与编码》教学大纲

《信息论与编码》教学大纲一课程简介课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课学时：32 学分：2 开课学期：第六学期开课对象：通信、电子专业先修课程：概率论与数理统计、信号与系统、随机信号原理。参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月二课程性质、目的与任务信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。三教学基本内容与基本要求本课程总学时为32。其中理论教学为28，实验学时为4。主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。四教学内容与学时分配第3章离散信源无失真编码

第6章网络信息论（教学要求：A—熟练掌握；B—掌握；C—了解）五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时要求用Matlab编写程序，用软件完成循环码的编译码算法。六教学方法与手段常规教学与多媒体教学相结合。

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:154 4.0312.032= ?+?秒每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号所以信息速率为444.34 15 9183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

信息论与编码课程论文

《信息论与编码》课程论文 ——通过信息论对已有知识产生的新认识马赛 1143031014 《信息论与编码》课程是通信专业的一门基础课。其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。下文中，列举了两个问题，同时使用信息论的角度去进行解释。一、计算机的存储容量与信息量的联系当今的计算机已经十分普及。存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？这是计算机科学的基本知识：“8 bit = 1 byte”。bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。信息的一种解释是：对于不确定性的消除。信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。这是香农信息论对于信息量的定义。计算机存储的依然是信息，只是信息的存储形式是01二进制数字。如果说计算机中的bit只是二元数字的话，那么这个单位就丧失了“信息”这个定义了。用户通过互联网下载各种资料，下载的资料需要占用本地的存储空间，这是一个众所周知的例子。其实这个过程就是一个消除不确定性的过程。我们一般常识中的“空”硬盘，实际上是没有存储信息，而空间就在那里，空间中的信息有不确定，有不确定度；写入信息，实际上就是在消除不确定性，让空间中的信息确定，让其有序。这就是一种典型的信息传递过程。计算机是2元存储结构，一个二进制符号代表1bit，根据实际计算，一个二进制符号的最大信息量即H0(X) = log22 = 1bit，这是一个将符号等同于无记忆的，每个符号之间没有联系，达到了信息量的最大值。这是最为简化的处理结果，也是最为可行的处理结果。如果严格按照信息论的角度去分析，其实每个符号之间是有联系的——各种编码、指令，如果01只是随机出现，那么只是一盘散沙。当然这是严格的理论解释，如果实际应用到存储信息的计量，那么将是不可行，计算机界的先驱是非常有远见的。二、关于称硬币问题的思考

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码理论习题答案

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

信息论与编码总结

信息论与编码 1. 通信系统模型信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | | （加密密钥）干扰源、窃听者（解密秘钥）信源：向通信系统提供消息的人或机器信宿：接受消息的人或机器信道：传递消息的通道，也是传送物理信号的设施干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况信源编码：编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性（代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源）译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化信道编码：编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性译码器：将落在纠检错范围内的错传码元检出或纠正基本途径：增大码率或频带，即增大所需的信道容量 2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =- 表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =- 联合自信息：(,)log ()XY i j XY i j I x y P x y =- 3. 互信息：;(/) () (;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y == 信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。 4. 信息熵：()()log ()i i i H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =- ∑ 联合熵：,()()log ()i j i j i j H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log ()() i j i j i j i j p x y I X Y p x y p x p y =∑

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度： 0H H ∞=ηη ζ-=1

意义：针对最大熵而言，无用信息在其中所占的比例。３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。４. ５.离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明：（1）信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。（2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的）则最多可编成m k 个码序列，对应m k 条消息定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n

信息论与编码理论习题答案全解

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解：出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

《信息论与编码》课程小结

《信息论与编码》课程小结《信息论与编码》课程小结信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。关于信息论的基本理论体系，1948年，香农在贝尔系统技术杂志

上发表“通信的数学理论”。在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。对信息论的研究内容一般有以下三种理解： (1) 狭义信息论，也称经典信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。 (2) 一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容以美国科学家维纳为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。 (3) 广义信息论。广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题，是新兴的信息科学理论。信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。现代信息论又是数学概率论下的一个分支，与遍历性理论、大偏差理论以及统计力学等都有密切关系。关于信息论与编码课程的特点，信息论课程中运用了大量的数学知识。例如：在讨论纠错编码中生成矩阵和一致校验矩阵的关系时，需要用到矩阵的运算和性质；在讨论连续信源熵时，需要对连续信源概率密度进行积分运算；在讨论离散信源熵的最大值或信道容量的最大值时，要计算多元函数的条件极值。此外，信息论与编码中很多定理都伴随着复杂的数学证明，其中最明显的就是香农三定理（无失真信源编码定理、有

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女：平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士