信息论与编码答案
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码 陈运主编 完整版答案
2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号， 均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。
+ p(e2 ) ) + p(e3
p(x1 / ) p(x2
e2 ) / e3
= p⋅ )= p
p(e1 ) ⋅ p(e2
+p )+
⋅ p
p(e2 ) ⋅ p(e3
=( )=
p + p) / 3 = 1/ 3 ( p + p) / 3 = 1/ 3
⎪ ⎪⎩
p(
x3
)
=
p(e3 ) p(x3
/ e3 ) +
p(xi1xi2 xi3 ) log
p ( xi 3 p(xi3 /
/ xi1) xi1xi2 )
∑ ∑ ∑ ≤
i1
i2
i3
p(xi1xi2 xi3 )⎜⎜⎝⎛
p( xi 3 p(xi3 /
/ xi1) xi1xi2 )
−1⎟⎟⎠⎞ log2
e
∑∑∑ ∑∑∑ = ⎜⎛ ⎝ i1
i2
i3
p(xi1xi2 ) p(xi3 / xi1) −
所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女
孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。
设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。
则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？1100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+- )0000;(1u I =42244)1(6)1()1(8logp p p p p +-+-- bit2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
信息论与编码课后答案
.2.1 一 个 马 尔 可 夫 信 源 有 3 个 符 号 u u , u ， 转 移 概 率 为 ： p u | u1 1/2 ，1, 231p u 2 | u 1 1/ 2 ， p u 3 |u 1 0 ， p u 1 | u 21/ 3， p u 2 |u 2 0 ， p u 3 | u 2 2/3 ，p u 1 | u 31/ 3 ， p u 2 |u 32/3 ， p u 3 | u 30 ，画出状态图并求出各符号稳态概率。
解：状态图如下1/2u 11/2 u 21/3状态转移矩阵为：1/32/31/ 2 1/ 2 02/3p1/ 30 2 / 3u 3 1/ 32 /3 0设状态 u u2 u 稳定后的概率分别为 W ， W 、 W31， ， 312111W 1 10 W 1W 2 W 3 233W 1WP W 1W 12W 3 W 225计算可得 9由W 2W 3 1 得 23W 2W 12W 325W 2 63W 3W 1 W 2 W 3 1252.2 由符号集 {0，1}组成的二阶马尔可夫链，其转移概率为：p(0 | 00) =0.8 ， p(0 |11) =0.2 ，p(1| 00) =0.2 ， p(1|11) =0.8 ， p(0 |01) =0.5 ， p(0 |10) =0.5 ， p(1| 01) =0.5 ， p(1|10) =0.5 。
画出状态图，并计算各状态的稳态概率。
解： p(0 |00)p(00 | 00) 0.8 p(0 | 01) p(10 | 01) 0.5 p(0 |11)p(10 |11)0.2 p(0 |10)p(00 |10) 0.5p(1| 00) p(01| 00) 0.2 p(1| 01) p(11| 01) 0.5 p(1|11)p(11|11)0.8p(1|10)p(01|10)0.5.0.8 0.2 00000.5 0.5于是可以列出转移概率矩阵：p0.5 0.5 000 0 0.2 0.8状态图为：0.8 00 0.2010.5 0.50.50.510 0.211 0.8设各状态00， 01， 10， 11 的稳态分布概率为W ,W W W4 有1 2, 3,W1 50.8W1 0.5W 3 W1 14WP W 0.2W1 0.5W 3 W 2 W 2 1 74 得0.5W 2 0.2W 4 W 3 计算得到W i 1 10.5W 2 0.8W 4 W 4 W 3i 1 7W1 W 2 W 3 W 4 1W 45 14X x1 0 x21 x2 x432.7 设有一离散无记忆信源，其概率空间为3P 3/8 1/ 4 1/ 4 1/8（ 1）求每个符号的自信息量（ 2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量解： I ( x1) log 2 1 log 2 8 1.415bitp( x1) 3同理可以求得I ( x2) 2bit , I (x3) 2bit , I ( x3)3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有： I 14I ( x1) 13I (x2) 12I (x3) 6I ( x4 )87.81bit平均每个符号携带的信息量为87.811.95 bit/符号452.11 有一个可以旋转的圆盘，盘面上被均匀的分成38 份，用 1 ，，38 的数字标示，其中有两份涂绿色，18 份涂红色， 18 份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
《信息论与编码》习题答案(高等教育出版社)仇佩亮编
――――――――――――――――――――――――――课外习题1．设某信道，其信道矩阵为若信道的输入符号a1,a2,a3先验等概，（1）若使平均错误译码概率最小,请选择译码函数。
（2）求出此错误译码概率Pemin。
解：(1)因为先验等概,所以选择最大似然译码准则F(b1)=a1 F(b2)=a3 F(b3)=a2(2) Pemin=2. 有二进制对称信道p=0.01 =0.99(1) 采用最大似然译码准则确定译码函数,(2) 求出最小平均错误译码概率。
(3) 对该信道进行扩展,采用简单重复编码，000,111, 采用最大似然译码准则确定译码规则。
(4) 求出扩展后的最小平均错误译码概率。
(5) 求出扩展后的信道传输率解：（1）P(j/i)= 译码函数为F(b1)=a1，F(b2)=a2(2) P emin=(0.01+0.01)/2=0.01(3)译码函数F(β1)= F(β2)= F(β3)= F(β4)=000=α 1F(β5)= F(β6)= F(β7)= F(β8)=000=α2（4）平均错误最小概率为（5）R==3．αi，βj是两个码符号{0,1}组成的符号序列，求αi，βj之间的汉明距离解：D(αi，βj)=4．W:{000,001,010,100,011,110,101,111}的最小汉明距离解：D min=15．设有一离散信道，其信道矩阵为(1) 当信源X的概率分布为p(a1)=2/3，p(a2)=p(a3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率P emin(2) 当信源是等概率是分布时，选择最大似然译码准则选择译码函数，并计算其平均错误译码概率P emin。
解：(1) 联合概率：后验概率根据最大后验概率准则F(b1)=a1，F(b2)=a1，F(b3)=a1最小错误译码概率为(2) 当信源是等概率分布时采用最大似然译码准则F(b1)=a1，F(b2)=a2，F(b3)=a36．设离散无记忆信道的输入符号集X:{0,1}，输出符号集Y:{0,1,2}，信道矩阵为P=若某信源输出两个等该消息x1，x2，现在用信道输入符号集对x1，x2进行编码，W1=00，W2=11代表x1，x2。
信息论与编码答案
《信息论与编码》-曹雪虹-课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论与编码理论习题答案全解
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
《信息论与编码》课后习题答案
《信息论与编码》课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论与编码作业答案 新 超全
2-2
由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0 | 00) =0.8，p(0 | 11)=0.2，p(1 | 00)=0.2，p(1 | 11) =0.8，
p(0 | 01) =0.5， p(0 | 10) =0.5， p(1 | 01) =0.5， p(1 | 10) =0.5。画出状态图，并计算各状态的稳态概率。
解：（1）状态转移矩阵
p(0 | 00) = p(00 | 00) = 0.8
p(0 | 01) = p(10 | 01) = 0.5
p(0 | 11) = p(10 | 11) = 0.2
p(0 | 10) = p(00 | 10) = 0.5
p(1 | 00) = p(01 | 00) = 0.2 p(1 | 01) = p(11 | 01) = 0.5
合共 15 种，每种出现的概率均为 1/18。
H
(X1, X2)
=
6
´
1 36
´
log
36
+
15
´
1 18
´
log 18
»
4.337bit
/event
（4）两个点数之和（即 2，3，…，12 构成的子集）的概率如下表所示
和2
3
4
5
6
7
8
9
10
11
12
组 1+1 1+2
1+3
1+4
1+5
1+6
2+6
3+6
答：（略）#
2-8
（题目略） Log(2) 1 Log(4) 2 Log(8) 3
2-9
（完整版）信息论与编码-曹雪虹-课后习题答案
（完整版）信息论与编码-曹雪虹-课后习题答案《信息论与编码》-曹雪虹-课后习题答案第⼆章2.1⼀个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ?? ?= ?设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =??++=?得1231132231231112331223231W W W W W W W W W W W W ?++=+==++=?计算可得1231025925625W W W ?==?=2.2 由符号集{0，1}组成的⼆阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10) (01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ?? ?=设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ===??∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=??+=??+=??+=?+++=?? 计算得到12345141717514W W W W ?=??===2.3 同时掷出两个正常的骰⼦，也就是各⾯呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的⾃信息； (2) “两个1同时出现”这事件的⾃信息； (3) 两个点数的各种组合（⽆序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的⼦集）的熵；(5) 两个点数中⾄少有⼀个是1的⾃信息量。
(完整版)信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
信息论与编码-曹雪虹-课后习题答案
(5) 两个点数中至少有一个是1的自信息量。
解：
(1)
(2)
(3)
两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
（2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与 进行比较
解:根据香农线图,列出转移概率距阵
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
得到 计算得到
由齐次遍历可得
符号 由最大熵定理可知 存在极大值
或者也可以通过下面的方法得出存在极大值:
同理可得
=1.5-0.5=1bit/符号
表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量
欢迎下载！
第三章
3.1 设二元对称信道的传递矩阵为
(1) 若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
又 所以 当p=2/3时
0<p<2/3时
2/3<p<1时
所以当p=2/3时 存在极大值,且 符号
所以
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。
解：该信源的香农线图为：1/3○ ○2/3 (x 1) 1 (x 2)在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p=)()(212x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得431)(=x p 412)(=x p 马尔可夫信源熵H = ∑∑-IJi j i jix x p x xp x p )(log )()( 得 H=0.689bit/符号2．设有一个无记忆信源发出符号A 和B ，已知4341)(.)(==B p A p 。
求： ①计算该信源熵；②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。
解：①∑-=Xiix p x p X H )(log )()( =0.812 bit/符号②发出二重符号序列消息的信源,发出四种消息的概率分别为1614141)(=⨯=AA p 1634341)(=⨯=AB p 1634143)(=⨯=BA p 1694343)(=⨯=BB p用费诺编码方法 代码组 b iBB 0 1 BA 10 2 AB 110 3 AA 111 3无记忆信源 624.1)(2)(2==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号BX H R )(22==0.963 bit/码元时间③三重符号序列消息有8个,它们的概率分别为641)(=AAA p 643)(=AAB p 643)(=BAA p 643)(=ABA p 649)(=BBA p 649)(=BAB p 649)(=ABB p 6427)(=BBB p用霍夫曼编码方法 代码组 b i BBB 6427 0 0 1 BBA 649 0 )(6419 1 110 3 BAB 649 1 )(6418 )(644 1 101 3 ABB 649 0 0 100 3AAB 643 1 )(646 1 11111 5BAA 3 0 1 11110 5ABA643 1 )(6440 11101 5AAA641 0 11100 5)(3)(3X H X H ==2.436 bit/三重符号序列3B =2.469码元/三重符号序列3R =BX H )(3=0.987 bit/码元时间 3．已知符号集合{ 321,,x x x }为无限离散消息集合，它们的出现概率分别为 211)(=x p ，12)(=x p 13)(=x p ···i i x p 21)(=···求： ① 用香农编码方法写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速率； ③ 计算信源编码效率。
信息论与编码习题答案
信息论与编码习题答案信息论与编码是通信和数据传输领域的基础学科，它涉及到信息的量化、传输和编码。
以下是一些典型的信息论与编码习题及其答案。
# 习题1：信息熵的计算问题：给定一个随机变量X，其可能的取值为{A, B, C, D}，概率分别为P(A) = 0.3, P(B) = 0.25, P(C) = 0.25, P(D) = 0.2。
计算X的熵H(X)。
答案：H(X) = -∑(P(x) * log2(P(x)))= -(0.3 * log2(0.3) + 0.25 * log2(0.25) + 0.25 *log2(0.25) + 0.2 * log2(0.2))≈ 1.846# 习题2：信道容量的计算问题：考虑一个二进制信道，其中传输错误的概率为0.01。
求该信道的信道容量C。
答案：C = log2(2) * (1 - H(error))= 1 * (1 - (-0.01 * log2(0.01) - 0.99 * log2(0.99))) ≈ 0.98 nats# 习题3：编码效率的分析问题：一个编码器将4位二进制数字编码为8位二进制码字。
如果编码器使用了一种特定的编码方案，使得每个码字都具有相同的汉明距离，求这个编码方案的效率。
答案：编码效率 = 信息位数 / 总位数= 4 / 8= 0.5# 习题4：错误检测与纠正问题：给定一个(7,4)汉明码，它能够检测最多2个错误并纠正1个错误。
如果接收到的码字是1101100，请确定原始的4位信息位是什么。
答案：通过汉明码的生成矩阵和校验矩阵，我们可以计算出接收到的码字的校验位，并与接收到的码字的校验位进行比较，从而确定错误的位置并纠正。
通过计算，我们发现原始的4位信息位是0101。
# 习题5：数据压缩问题：如果一个文本文件包含10000个字符，每个字符使用8位编码，如何通过霍夫曼编码实现数据压缩？答案：首先，我们需要统计文本中每个字符的出现频率。
《信息论与编码》课后习题答案
《信息论与编码》课后习题答案第二章Equation Chapter 1 Section 12.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p ==(0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p ==(1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p ==(1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
36 ⎞
⎛ (1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 Log⎜
2-6 0—14 个 1---13 个 2----12 个 3---6 个 P=
I= 2-7 2-8
Log( 2) = 1 Log( 4) = 2 Log( 8) = 3
“－” 用三个脉冲 “●”用一个脉冲 (1) I(●)= Log( 4) = 2
0.4 0.19 0.18 0.13 0.1
(3) 香农编码
信源符号 xi x1 x2 x3 x4 x5 x6 x7 x8 平均码长:
符号概率 pi 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04
累加概率 Pi 0 0.4 0.58 0.68 0.78 0.85 0.91 0.96
… … …
…
（2）信源的信息量为
平均码长为：
码字的平均信息传输率为 R＝ （3）编码效率 bit/码
R＝ 3-10 （1）H(X)＝
100％
（2） 信源符号 xi x1 x2 x3 x4 x5 x6 符号概率 pi 0.37 0.25 0.18 0.10 0.07 0.03 0.37 0.25 0.18 0.10 0.10 0.37 0.25 0.20 0.18 码 长 2 2 2 3 4 4
d. 最后
＝ （2）首先求解稳定情况下的概率 解方程组
得到 W1 = (3) 不做 2-32 (1) ）＋W2 ＋W3
P(j/i)=
求解方程组
得 p(0)=p(1)=p(2)=
(2)
(3) (4)
H(X)=log(3)=1.58 =
P= 当 p= 当p 当p 2-33 (1) 时
0 时 1 时
达到最大值 1.58
第二章 信源及信源熵
2-1
(4)
2-2
2-3 2-4
3 8 Log⎛ ⎜
⎟ + Log( 4) + Log( 4) + Log( 8) = 1.906 4 8 ⎝ 3⎠ 4
Log⎛ ⎜
8⎞
1
1
1
60⋅ 1.906 = 114.36
2-5
(1,2) (2,1) 共两种
⎟ = 4.17 ⎝ 2⎠ ⎟ = 2.585 ⎝ 6⎠
P(i/j)=
解方程组
得W1=W2=W3=
信源熵为 2-31
P(X1)=
P(j/i)=
P(X1X2)=
（1） a. b. 求H(X2/X1)有两种方法： 方法 1：
方法 2：H(X2/X1)=∑P(x1x2)log(x2/x1) =
c. 求H(X3/X2)
P(X2)=
则
方法 1： P(X3/X2)= 方法 2：P(X3/X2)= )+ + =
（3） 费诺编码为 信源符 号 xi x1 x2 x3 x4 x5 x6 符号概 率 pi 0.32 0.22 0.18 0.16 0.08 0.04 1 1 0 2 0 1 0 0 1 1 0 1 3 4 编码 00 01 10 110 1110 1111 码长 2 2 2 3 4 4
平均码长为： 编码效率： （4）哈夫曼编码
信源符 号 xi x1 x2 x3 x4 x5 x6 x7 x8
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
信源符号 xi x1 x2 x3 x4 x5 x6 x7 x8
信 源 符号 xi x1 x2 x3 x4 x5 x6 x7 x8
符号概 率 pi 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128
第 一 次 分 组 0
第 二 次 分 组 0
第 三 次 分 组
第 四 次 分 组
bit/ms=200bit/s
与上题相同
(2)
每个信源使用 3 个二进制符号,出现 0 的次数为
出现 1 的次数为
P(0)=
P(1)= (3)
(4)
相应的香农编码 符号概率 pi 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 相应的费诺码 累加概率 Pi 0 0.5 0.75 0.875 0.938 0.969 0.984 0.992 -Logp(xi) 1 2 3 4 5 6 7 7 码长 Ki 1 2 3 4 5 6 7 7 码字 0 10 110 1110 11110 111110 1111110 11111110
(2) P=
得到
H(Y)=
(3) H(X/Y)=H(XY)-H(Y)= 2-12 (1) H( X) := 1 H( Y) := 1
(2)
(3) 2-13
P(i)=
P(ij)=
H(IJ)= 2-14 (1)
P(ij)=
P(i/j)=
(2) 方法 1:
=
方法 2:
2-15 P(j/i)=
2-16 (1)
x1 1/2 0 1 0
x1 1/4 0.5 2 10
x2 1/8 0.75 3 110
x3 1/16 0.875 4 1110
x4 1/32 0.938 5 11110
x5 1/64 0.969 6 111110
x6 1/128 0.984 7 1111110
x7 1/256 0.992 8 11111110
黑
白
2-17
(1)
(2) 2-24
(1)
H(X)=
(2) (3) 2-25
=
解方程组
P ⋅W
1
T
W
2
W +W
1
即
W ⎞ 1⎟ ⎛ 0.25 0.5 ⎞ ⋅ ⎛ ⎜ ⎜ ⎟⎜ ⎝ 0.75 0.5 ⎠ ⎝ W 2 ⎟ ⎠
⎛ W1 ⎞ ⎜ ⎟ ⎜ W2 ⎟ ⎝ ⎠
解得 W1=0.4 W2=0.6 2-26
1
1 黑 白
(2)
设最后平稳概率为 W1,W2
得W1=07
W2=0.3
H(Y/黑)= −0.9143Log( 0.9143) − 0.0857Log( 0.0857) = 0.422 H(Y/白)= −0.2 Log( 0.2) − 0.8Log( 0.8) = 0.722 H(Y/X)=W1 H(Y/黑)+ W2 H(Y/白)=
⎛ ⎞ I(－)＝ Log⎜ ⎟ = 0.415
4
⎝ 3⎠
(2) H= 2.9 (2)
1 4
Log( 4) +
3 4
Log⎛ ⎜
⎟ = 0.811 ⎝ 3⎠
4⎞
P(黑/黑)= H(Y/黑)=
P(白/黑)=
(3)
P(黑/白)= H(Y/白)=
P(白/白)=
(4)
P(黑)= H(Y)=
P(白)=
2-10
第五章
5-1
信道编码
5-2 (1)
接收端的不确定度为:
(2) H(Y/X)= =
(3)
=0 得到
得
5-3
0919*1000=919bit/s 5-5 (1)
5-6 (1)
条件概率
，联合概率
，后验概率
p ( y0) :=
1 3
， p ( y1) :=
1 2
， p ( y2) :=
1 6
（2） H(Y/X)=
码 长 2 2 2 3 4 4
平均码长为： 编码效率：
3-12 （1） 信源熵 信息传输速率 2.552bit/s (2) 信源 符号 xi x1 x2 x3 x4 x5 x6 x7 x8 符号概 率 pi 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04 0.4 0.18 0.1 0.1 0.09 0.07 0.06 0.4 0.18 0.13 0.1 0.1 0.09 编码过程 编码 0.4 0.23 0.19 0.18 0.4 0.27 0.23 0.6 0.4 1 001 011 0000 0100 0101 00010 00011 码长 1 3 3 4 4 4 5 5
编码过程 0.38 0.37 0.25 0.62 0.38 1
编码 00 01 11 100 1010 1011
3-11 （1）信源熵 （2）香农编码： 信源符号 xi x1 x2 x3 x4 x5 x6 平均码长： 编码效率为 符号概率 pi 0.32 0.22 0.18 0.16 0.08 0.04 累加概率 Pi 0 0.32 0.54 0.72 0.88 0.96 -Logp(xi) 1.644 2.184 2.474 2.644 3.644 4.644 码长 Ki 2 3 3 3 4 5 码字 00 010 100 101 1110 11110
P(j/i)=
解方程组
求得 W=
1/2 S1Biblioteka 1/3 1/2 S2 2/3 2/3 2-27 求平稳概率 1/3 S3
符号条件概率
状态转移概率
解方程组
得到 W=
2-28
(1) 求平稳概率 P(j/i)= 解方程组
得到
(2)
信源熵为:
2-29
P(j/i)=
解方程组
得到 W1=
, W2=
, W3=
2-30
1 2 Log( 2) + 1 4 Log( 4) + 1 8 Log( 8) + 1 16 Log( 16) + 1 32 Log( 32) + 1 64 Log( 64) + 1 128 Log( 128) + 1 128 Log( 128) = 1.984 111 1 1 1 1 1 2 4 8 16 32 64 128 128