信息论与编码理论习题答案
信息论与编码试题集与答案
一填空题（本题20分，每小题2分）
1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：
5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是∞。
信息论与编码理论课后答案
信息论与编码理论课后答案
【篇一：《信息论与编码》课后习题答案】
式、含义和效用三个方面的因素。
2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长
篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用
信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用
各种各样的信息。
6、信息的是建立信息论的基础。
7、
8、是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般
用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，
定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的
熵的。
limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维连续随即变量x在[a，b] 。
1log22?ep
21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源
同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。 解：
bit
P a I N n P bit P a I N n P c c N 17.536log log )(361
)2(17.418log log )(362)1(36
662221111
616==-=∴====-=∴==
=⨯==样本空间：
(3)信源空间：
bit x H 32.436log 36
62log 3615)(=⨯⨯+⨯⨯
=∴ (4)信源空间： bit
x H 71.3636
log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=
∴＋＋ (5) bit P a I N n P 17.11136
log log )(3611333==-=∴==
如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解：
bit
a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481
(完整版)信息论与编码习题参考答案
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解：
bit/s 104.98310661.130)/)(()/(R bit/frame
10661.1322.3105)(H 105)(H bit/pels
322.310log )(log )()(H 76650510
10⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：
由于亮度电平等概出现
1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大
2.5倍左右。 证:
.
5.2,,5.25.2477.210
log 300log )(H )(H pels
/bit 300log )(log )()(H bit 3001030,10,,3001300
11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化
所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i
1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:
信息论与编码理论课后答案
信息论与编码理论课后答案
【篇一：《信息论与编码》课后习题答案】
式、含义和效用三个方面的因素。
2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长
篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用
信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用
各种各样的信息。
6、信息的是建立信息论的基础。
7、
8、是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般
用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，
定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的
熵的。
limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维连续随即变量x在[a，b] 。
1log22?ep
21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
信息论与编码理论习题答案全解
第二章 信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的
信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit
因此，信息速率为 6⨯1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信
息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(a p =366=6
1
得到的信息量 =)
(1
log
a p =6log =2.585 bit (2) 可能的唯一，为 {6，6}
)(b p =361
得到的信息量=)
(1
log
b p =36log =5.17 bit
2.4 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p =!
521
信息量=)
(1
log
a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选
种点数任意排列
13413!13
)(b p =13
52
134!13A ⨯=135213
4C 信息量=1313
52
4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的
点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、
),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
信息论和编码理论习题集答案解析
信息论和编码理论习题集答案解析
第二章信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它
的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多
少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =
366=6
1 得到的信息量 =)
(1
log
a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(
b p =
36
1 得到的信息量=)
(1
log b p =36log =5.17 bit
2.4 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p =
!
521 信息量=)
(1
log
a p =!52log =225.58 bit (b) 花色任选
种点数任意排列
13413!13
)(b p =13
52
134!13A ?=135213
4C 信息量=1313
52
4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点
数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、
信息论与编码理论习题答案
第二章 信息量和熵
2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信
息速率.
解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit
因此，信息速率为 6⨯1000=6000 bit/s
2。3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。问各得到
多少信息量.
解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝
)(a p =366=6
1
得到的信息量 =)
(1
log
a p =6log =2。585 bit (2） 可能的唯一，为 {6,6｝
)(b p =361
得到的信息量=)
(1
log
b p =36log =5。17 bit
2.4 经过充分洗牌后的一副扑克(52张）,问：
（a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?
解:（a ） )(a p =!
521
信息量=)
(1
log
a p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选
种点数任意排列
13413!13
)(b p =13
52134!13A ⨯=1352
13
4C 信息量=1313
524log log -C =13。208 bit
2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点
数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、
)|,(Y Z X H 、)|(X Z H 。
《信息论与编码》课后习题答案
《信息论与编码》课后习题答案
1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的可度量性是建立信息论的基础。
7、统计度量是信息度量最常用的方法。
8、熵是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是∞ 。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
18、离散平稳有记忆信源的极限熵，。
19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同
的状态。
20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。
21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论
1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农 1.3 通信系统模型
1.4 信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是
信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。 1.5 略
第2章 信息的统计度量
2.1 少
2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特
2.5 依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发
生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以
11
81
p =
所需要的信息量
()()1log 6.34I A p bit =-=
二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则
212p =
总的概率
12111812162p p p ==
⨯=
所需要的信息量
()log log1627.34I p bit =-==
2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则
()()()0.25
0.5
|0.75p A p B p B A ===
故
()()()
()()()
|0.750.25
|0.3750.5
p AB p A p B A p A B p B p B ⨯=
=
=
=
()()()11
|log
log 1.42|0.375
I A B bit p A B ===
2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故
《信息论与编码》课后习题答案
1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，。
19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。
信息论与编码习题参考答案(全)
试求：
(1)该信道的信道容量C；
(2)I(a1;Y)；
(3)I(a2;Y)。
解:
2.22设某信道的信道矩阵为
试该信道的信道容量C；
解:
2.23求下列二个信道的信道容量，并加以比较(其中0<p,q<1,p+q=1)
(1)
(2)
解:
2.27设某信道的信道矩阵为
其中P1,P2，…，PN是N个离散信道的信道矩阵。令C1，C2，…，CN表示N个离散信道的容量。试证明，该信道的容量 比特/符号，且当每个信道i的利用率pi＝2Ci-C(i＝1,2,…,N)时达其容量C。
解:
2.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算：
(1)H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);
(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);
2/36
2/36
2/36
X
(2,2)
(2,3)
(2,4)
(2,5)
(2,6)
P(x)
1/36
信息论与编码理论习题答案
第二章 信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息
速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit
因此，信息速率为 6⨯1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息
量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(a p =366=6
1
得到的信息量 =)
(1
log
a p =6log =2.585 bit (2) 可能的唯一，为 {6，6}
)(b p =361
得到的信息量=)
(1
log
b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p =!
521
信息量=)
(1
log
a p =!52log =225.58 bit (b) ⎩
⎨⎧⋯⋯⋯⋯花色任选种点数任意排列
13413!13
)(b p =13
52134!13A ⨯=1352
13
4C 信息量=1313
52
4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，
Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、
《信息论与编码理论》(王育民 李晖 梁传甲)课后习题答案 高等教育出版社
信息论与编码理论习题解
第二章-信息量和熵
2.1解: 平均每个符号长为:15
4
4.0312.03
2=
⨯+⨯秒
每个符号的熵为9183.03log 3
1
23log 32=⨯+⨯比特/符号
所以信息速率为444.34
15
9183.0=⨯比特/秒
2.2 解: 同步信号均相同不含信息,其余认为等概,
每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒
2.3 解:(a)一对骰子总点数为7的概率是
36
6 所以得到的信息量为 585.2)36
6(log 2= 比特 (b) 一对骰子总点数为12的概率是36
1 所以得到的信息量为 17.536
1
log 2= 比特 2.4 解: (a)任一特定排列的概率为
!
521
,所以给出的信息量为 58.225!
521
log 2
=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为
1352
13
13
521344!13C A =⨯ 所以得到的信息量为 21.134
log 1313
52
2=C 比特.
2.5 解:易证每次出现i 点的概率为
21
i
,所以
比特比特比特比特比特比特比特398.221
log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21
log )(26
12=-==============-==∑
=i i X H x I x I x I x I x I x I i i
i x I i
2.6 解: 可能有的排列总数为
27720!
5!4!3!
12= 没有两棵梧桐树相邻的排列数可如下图求得，
信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源
同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。 解：
bit
P a I N n P bit P a I N n P c c N 17.536log log )(361
)2(17.418log log )(362)1(36
662221111
616==-=∴====-=∴==
=⨯==样本空间：
(3)信源空间：
bit x H 32.436log 36
62log 3615)(=⨯⨯+⨯⨯
=∴ (4)信源空间： bit
x H 71.3636
log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=
∴＋＋ (5) bit P a I N n P 17.11136
log log )(3611333==-=∴==
如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解：
bit
a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3
○○
2/3(x 1) 1 (x 2)
在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p
=)
()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p
=)
(0)(2131x p x p + )()(21x p x p +=1 得43
1)(=
x p 4
12)(=x p 马尔可夫信源熵H = ∑∑-
I
J
i j i j
i
x x p x x
p x p )(log )()( 得 H=0.689bit/符号
2．设有一个无记忆信源发出符号A 和B ，已知4
3
41)(.)(==B p A p 。求： ①计算该信源熵；
②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑-
=X
i
i
x p x p X H )(log )()( =0.812 bit/符号
②发出二重符号序列消息的信源,发出四种消息的概率分别为
1614141)(=⨯=AA p 16
34341
)(=⨯=AB p 16341
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码理论习题
答案
LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵
八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速
率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit
因此，信息速率为 6⨯1000=6000 bit/s
掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息
量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(a p =366=6
1
得到的信息量 =)
(1
log
a p =6log = bit (2) 可能的唯一，为 {6，6}
)(b p =361
得到的信息量=)
(1
log
b p =36log = bit 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p =!
521
信息量=)
(1
log
a p =!52log = bit (b) ⎩
⎨⎧⋯⋯⋯⋯花色任选种点数任意排列
13413!13
)(b p =13
52134!13A ⨯=1352
13
4C 信息量=1313
52
4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，
Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、
)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则
1x X =，21x x Y +=，321x x x Z ++=
)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H
=2⨯(
361log 36+362log 18+363log 12+364log 9+365log 536)+36
6
log 6
= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]
而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit
或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit
),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit
设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以的概率错成另外一
个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解：
);(Y X I =)(Y H -)|(X Y H
因为输入等概，由信道条件可知， 即输出等概，则)(Y H =log 10
)|(X Y H =)|(log )(i j j
j
i
i
x y p y
x p ∑∑
-
=)|(log )(i j j i j i x y p y x p ∑∑-偶
-)|(log )(i j j i j i x y p y x p ∑∑奇
=0-)|(log )(i j j i j i x y p y x p ∑∑奇
= -)|(log )|()(9
7,5,3,1i i i i
i i
x y p x y
p x p ∑=，-)|(log )|()(9
7531i j j i i i j
i
x y p x y
p x p ∑
∑≠，，，，＝
=
101⨯21log 2⨯5+101⨯21⨯41
log 8⨯4⨯5 =4
3
41+=1 bit
);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5= bit
令{821,,u u u ，⋯}为一等概消息集，各消息相应被编成下述二元码字 1u =0000，2u =0011，3u =0101，4u =0110，
5u =1001，6u =1010，7u =1100，8u =1111
通过转移概率为p 的BSC 传送。求：
(a)接收到的第一个数字0与1u 之间的互信息量。 (b)接收到的前二个数字00与1u 之间的互信息量。 (c)接收到的前三个数字000与1u 之间的互信息量。 (d)接收到的前四个数字0000与1u 之间的互信息量。 解：
即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I
)0(p =4)1(81⨯-p +481⨯p =21
)0;(1u I =)
0()|0(log
1p u p =2
11log p
-=1+)1log(p - bit
)00(p =]2)1(4)1(2[8122p p p p +-+-=4
1
)00;(1u I =)00()|00(log 1p u p =4
/1)1(log 2
p -=)]1log(1[2p -+ bit
)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81
)000;(1u I =3[1+)1log(p -] bit
)0000(p =])1(6)1[(8
1
4224p p p p +-+-
)0000;(1u I =4
2244
)1(6)1()1(8log p p p p p +-+-- bit
计算习题中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
解：根据题分析
)(Z H =2(216log 2161+3216log 2163+6216log 2166+10
216
log 21610+