信息论习题答案第二章---陈前斌版
信息论与编码第二章课后习题答案
因此，必须称的次数为
因此，至少需称 3 次。
I1 = log 24 ≈ 2.9 次 I 2 log 3
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + pL log pL
− q1 log q1 − q2 log q2 − K − qm log qm
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + (q1 + q2 + q3 + L + qm ) log pL
H ( X ) − H (X ′) = ( p1 − ε ) log( p1 − ε ) + ( p2 + ε ) log( p2 + ε ) − p1 log p1 − p2 log p2
令
f
(x)
=
( p1
−
x) log( p1
−
x) +
( p2
+
x) log( p2
+
x)
，
x ∈ 0,
A
已落入，B
落入的格可能有
47
个，条件概率
P(b j
|
ai )
均为
1 47
。平均自信息量为
48 47
∑ ∑ H (B | A) = −
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
第一章 第二章课后作业答案
信息论基础（于秀兰 陈前斌 王永）课后作业答案注：X 为随机变量，概率P(X =x)是x 的函数，所以P(X)仍为关于X 的随机变量，文中如无特别说明，则以此类推。
第一章1.6[P (xy )]=[P(b 1a 1)P(b 2a 1)P(b 1a 2)P(b 2a 2)]=[0.360.040.120.48] [P (y )]=[P(b 1)P(b 2)]=[0.480.52] [P (x|y )]=[P(a 1|b 1)P(a 2|b 1)P(a 1|b 2)P(a 2|b 2)]=[0.750.250.0770.923]第二章2.1(1)I (B )=−log P (B )=−log 18=3(bit) 注：此处P (B )表示事件B 的概率。
(2)设信源为X ，H (X )=E [−logP (X )]=−14log 14−2∙18log 18−12log 12=1.75(bit/symbol) (3)ξ=1−η=1−1.75log4=12.5%2.2(1)P(3和5同时出现)=1/18I =−log118≈4.17(bit) (2)P(两个2同时出现)=1/36I =−log 136≈5.17(bit) (3)向上点数和为5时（14，23，41，32）有4种，概率为1/9，I =−log 19≈3.17(bit) (4)(5)P(两个点数至少有一个1)=1−5∙5=11 I =−log 1136≈1.71(bit) (6)相同点数有6种，概率分别为1/36；不同点数出现有15种，概率分别为1/18；H =6∙136∙log36+15∙118∙log18≈4.34(bit/symbol)2.9(1)H (X,Y )=E [−logP (X,Y )]=−∑∑P(x i ,y j )logP(x i ,y j )3j=13i=1≈2.3(bit/sequence)(2)H (Y )=E [−logP (Y )]≈1.59(bit/symbol)(3)H (X |Y )=H (X,Y )−H (Y )=0.71(bit/symbol)2.12(1)H (X )=E [−logP (X )]=−2log 2−1log 1≈0.92(bit/symbol) Y 的分布律为：1/2,1/3,1/6；H (Y )=E [−logP (Y )]≈1.46(bit/symbol)(2)H (Y |a 1)=E [−logP (Y|X )|X =a 1]=−∑P (b i |a 1)logP (b i |a 1)i=−34log 34−14log 14≈0.81(bit/symbol) H (Y |a 2)=E [−logP (Y|X )|X =a 2]=−∑P (b i |a 2)logP (b i |a 2)i=−12log 12−12log 12=1(bit/symbol) (3)H (Y |X )=∑P (a i )H (Y |a i )i =23∙0.81+13∙1≈0.87(bit/symbol)2.13(1)H (X )=H (0.3,0.7)≈0.88(bit/symbol)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且相互独立，则H (X 2)=2H (X )=1.76(bit/sequence)平均符号熵H 2(X 2)=H (X )≈0.88(bit/symbol)(2)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且X 1、X 2相关，H (X 2|X 1)=E [−logP (X 2|X 1)]=−∑∑P (x 1,x 2)logP (x 2|x 1)x 2x 1=−110log 13−210log 23−2140log 34−740log 14≈0.84(bit/symbol) H (X 2)= H (X 1,X 2)=H (X 2|X 1)+H (X 1)=0.84+0.88=1.72(bit/sequence)H 2(X 2)=H (X 2)/2=0.86(bit/symbol)2.14(1)令无记忆信源为X ，H (X )=H (14,34)=14×2+34×0.415≈0.81(bit/symbol ) (2)I (X 100)=−logP (X 100=x 1x 2…x 100)=−log [(14)m (34)100−m]=2m +(2−log3)(100−m )=200−(100−m )log3 (bit)(3)H (X 100)=100H (X )=81(bit/sequence)2.15(1)因为信源序列符号间相互独立，且同分布，所以信源为一维离散平稳信源。
信息论与编码第二章答案
第二章 信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告)()|(log );(xi q yj xi Q y x I =知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p 即：得：114)(113)(114)(210===s p s p s p 0.25（bit/符号）=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 2.8一个马尔可夫信源，已知：试画出它的0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 香农线图，并求出信源熵。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
《信息论、编码与密码学》课后习题答案资料
《信息论、编码与密码学》课后习题答案第1章 信源编码1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS 。
求信源熵H （X ）。
解： 信源熵 ∑=-=512)(log )(k k k p p X HH(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)故得其信源熵H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。
解： 若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得211101log ==-=-p ppp p可知当概率P=Q=1/2时，有信源熵)(1)(max bit X H =对于三元离散信源，当概率3/1321===P P P 时，信源熵)(585.1)(m ax bit X H =，此结论可以推广到N 元的离散信源。
1.3 证明不等式ln 1x x ≤-。
画出曲线1ln y x =和21y x =-的平面图以表明上述不等式的正确性。
证明：max ()ln 1(0)1()()01001()0()0ln 11ln 1ln 1f x x x x f x xf x x x x f x f x f x x x x x x x =-+>'=''==>∴<≤>≤=≤-≥≤-≤-令，又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4 证明(;)0I X Y ≥。
在什么条件下等号成立？1111(,)(,)(,)(,)log()()n mi j i j i j n mi j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑（X ；Y ）=当和相互独立时等号成立。
信息论习题答案第二章陈前斌版
第2章习题2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。
解：（1）P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18I ＝log2（18）＝ 4.1699bit 。
（2）P （1、1）＝l/36。
I ＝log2（36）＝5.1699bit 。
（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。
不同点出现时有15种，概率1/18。
H （i ，j ）＝6*1/36*log 2（36）+15*1/18*log 2（18）＝4.3366bit/事件。
2/36 1/36)=3.2744bit/事件。
（5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。
I ＝log2（36/11）＝1.7105bit/2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m 以上，而女孩中身高1.6m 以上的占总数一半。
假如得知“身高1.6m 以上的某女孩是大学 生”的消息，问获得多少信息量？、解：P （女大学生）＝1/4；P （身高>1.6m / 女大学生）=3/4；P （身高>1.6m ）＝1/2； P （女大学生 / 身高>1.6m ）＝P （身高>1.6m 、女大学生）/P （身高>1.6m ） ＝3/4*1/4*2＝3/8 I ＝log2（8/3）＝1.4150bit 。
2-7两个实验123{,,}X x x x =和123{,,}Y y y y =，联合概率()i j ij p x y p =为1112132122233132337/241/2401/241/41/2401/247/24p p p p p p p p p ⎡⎤⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦（1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？ （2）如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：（1）3311(,)(,)log (,)2.301/i j i j i j H X Y p x y P x y bit symbol===-=∑∑（2）31()()log ()1.5894/j j j H Y p y p y bit symbol==-=∑（3）(|)(,)()2.301 1.58940.7151/H X Y H X Y H Y bit symbol=-=-=2．11某一无记忆信源的符号集为{}0,1，已知01/4p =，13/4p =。
信息论与编码第二章答案
p(U 2U i )=Z ， P (U 3U i ) = 0, p(U i U 2)=% ， P (U 2U 2)= 0 , p(U 3U 2)= % ,P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5 画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：_0.8 0.2 0 010 0 0.5 0.5 0.5 0.5 0 0 .0 0 0.2 0.8 一令各状态的稳态分布概率为W,、W 2、W 3、W 4，利用(2-1-17)可得方程组。
WA | =呵卩仆 +w 2p 21+w 3p 31+w 4p 41=0.8W | +0.5W 3 W 2 =we 12 +w 2p22 +w 3p 32+w 4p 42=0.2W 1 +0.5W 3W 3 =w 1p 13 +w 2p 23 +w 3p 33 +W 4P 43 =0.5W 2 + 0.2W 4 \W 4 =we 14 +w 2p 24 +w 3p 34 +w 4p 44 =0.5W 2 +0.8W 4P(U i U 3)=%，P(U 2U 3)=% , P (U 3 U 3)-0。
画出状态图并求出各符号稳态概率。
-1/2 1/2 0〕 [P(S j |S i )]=1/3 0 2/31/32/3J令各状态的稳态分布概率为 W ，W 2，W 3，则:1 1 1W =_W + _W 2 + _W 3，233-稳态分布概率为：W 2 = Z W + 2W 323W 3=2W 2且: w+W 2+W 3=i3W =-，^=—，5256252-2.由符号集｛ 0 , 1 ｝组成的二阶马尔可夫链，其转移概率为P (S j sj =解：由题可得状态概率矩阵为:状态转换图为：0. 80 20. 50 25 14P(OO)514解方程组得:1P(01) = 7即：＜71P(1O)=7 5145P(11)F2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求:(1 )、“3和5同时出现”事件的自信息量；(2)、“两个1同时出现”事件的自信息量；(3)、两个点数的各种组合的熵或平均信息量；(4)、两个点数之和的熵；(5)、两个点数中至少有一个是1的自信息量。
信息论-第二章信源熵-习题答案
2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I811.87log =-=(2) 此消息中平均每符号携带的信息量是：bitn I 951.145/811.87/==41()()log () 2.010i i i H X p x p x ==-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：585.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )(log )()(26=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。
2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)用随机事件i x 表示“3和5同时出现”，则bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) 用随机事件i x 表示“两个1同时出现”，则bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 6263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 5若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。
信息论基础第二章信源熵-习题答案.doc
为(202120130213001203210110321010021032011223210),求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:(]\25X ——,4丿此消息的信息量是：/ =-log/? = 87.811 bit(2)此消息中平均每符号携带的信息量是：//〃 = 87.811/45 = 1.951 bit解释为什么> Iog6不满足信源储的极值性。
解： 6 H(X)= -工 /?(%,) log p(xji= -(0.2 log 0.2+ 0.19 log 0.19 + 0.181og0.18 + 0.171og0」7 + 0.161og0.16 + 0.171og0.17) =2.657 bit / symbolW(X)>log 2 6 = 2.5856不满足极值性的原因是工#(兀)=1.07 > i 。
2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求:(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合(无序)对的*商和平均信息量；(4) 两个点数之和(即2, 3,…，12构成的子集)的储；(5) 两个点数中至少有一个是1的自信息量。
解：2.4 设离散无记忆信源X P(X) 兀[=0 兀2 = 1 兀3 = 2 X 4 =3 3/8 1/4 1/4 1/8 ,其发出的信息 2. 6 ■ X 'x 2 兀4 尤5 兀6 ' > P(X).[0.2 0.19 0.18 0.17 0.16 0」74H(X)=-工"(xjlog #(兀)= 2.010 /=!设信源 求这个信源的储，并⑴用随机事件兀表示“3和5同时出现”，贝UI(x i ) = - log p(xj = - log — = 4.170 bit 18(2)用随机事件齐表示“两个1同吋出现”，则 p(xj = — X —=—'6 6 36/(兀)=- log p{x i ) = -log — = 5」70 bit⑶两个点数的排列如下: 1112 13 14 15 16 2122 23 24 25 26 3132 33 34 35 36 4142 43 44 45 46 5152 53 54 55 56 61 62 63 64 65 6622, 33, 44, 55, 66的概率是卜卜召 其他"组合的概率是2x 肚诂H(X) =-工 p(x /)logp(x,) = -f6x-^log-^ + 15x-l-log-^/ I 3o 3b 1 o 1 o ⑷参考上而的两个点数的排列，可以得出两个点数求和的概率分布如H ：Xf 2 3 4 5 6 7 8 9 1() 11 121 1 1 1 1 5 1 5 1 1 1 1]p(X)_ 、36 18 12 9 36 6 36 9 12 18 36.H(X) = -工卩(无)log pg1 . 1 c 1 I 1,1. 1,1. 1,5, 5 1 I 1)-2x ——log — + 2x —log — + 2x — log — + 2x —log —+ 2x — log — + —log —I 36 36 18 18 12 12 9 9 36 36 6 6)= 3.274 bit/symbol⑸p(x.) = —x — xl 1 =——'6 6 36/(x z ) = - log /?(%, ) = - log= 1.710 bit 36共有21种组合：其中11,= 4.337 bit I symbol2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷 暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求：(1) 忙闲的无条件爛；(2) 天气状态和气温状态已知时忙闲的条件爛；⑶从天气状态和气温状态获得的关于忙闲的信息。
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
第二章习题解答
第 二 章 基 本 信 息 论
习题解答
2.3 试求： 试求： (1) 在一付标准扑克牌中抽出一张牌的平均信息量； 在一付标准扑克牌中抽出一张牌的平均信息量； (2) 若扑克仅按它的等级鉴定而不问花色，重复上述计算。 若扑克仅按它的等级鉴定而不问花色，重复上述计算。 解 (1) 每张牌不同，共有 54 种状态且等概， p = 1 / 54, 每张牌不同， 种状态且等概， 平均信息量为： 平均信息量为： I = log 54 = 5.7549 ( bit ); (2) 只按等级，共有 14 种状态，其状态空间为： 只按等级， 种状态，其状态空间为： X p(x) A 2 3 …… J Q K 王 2 54 4 4 4 4 4 4 …… 54 54 54 54 54 54
首先求联合概率： 首先求联合概率： p ( i j ) = p( i ) p( j / i ) p( i j ) A B C A 0 16 / 54 2 / 54 j B 36 / 135 16 / 54 4 / 135 C 9 / 135 0 2 / 270 7
i
第 二 章 基 本 信 息 论
习题解答
所提供的信息量分别为： 消息 xB和 xC 所提供的信息量分别为：
I ( x B ) = − log p( x B ) = − log 0.2 = 2.3219 (bit ); I ( xC ) = − log p( xC ) = − log 0.3 = 1.737 (bit ).
可见， 消息x 所提供的信息量大一些 大一些。 可见，消息 xB比消息 C 所提供的信息量大一些。 3
i
1 1 4 4 2 2 H ( x / y3 ) = − log − log − log = 1.3788 ; 7 7 7 7 7 7 H ( x / y4 ) = −(1 / 3) log(1 / 3) − ( 2 / 3) log( 2 / 3) = 0.9138 .
信息论第二章课后习题解答
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率 为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概 率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以 像素均是独立变化，且每一像素又取128个不同的亮度电平，并 设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少 （假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描 述此图像，广播员在口述中至少需用多少汉字？
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白 黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的 概率为P(白)=0.7。 （1） 假设图上黑白消息出现前后没有关联，求熵H(X) ； （2） 假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马 尔克夫信源的熵H2 。 （3） 分别求上述两种信源的冗余度，并比较H(X)和H2的大小， 并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所 示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为： （3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确 定性减弱。有依赖时前面已是白色消息，后面绝大多数可能 是出现白色消息；前面是黑色消息，后面基本可猜测是黑色 消息。这时信源的平均不确定性减弱，所以信源消息之间有 依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明 信源熵正是反映信源的平均不确定的大小。而信源剩余度正 是反映信源消息依赖关系的强弱，剩余度越大，信源消息之 间的依赖关系就越大。
信息论第二章答案汇总
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解： (1)bit x p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-42.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：1）因圆点之和为3的概率1()(1,2)(2,1)18p x p p =+=该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=该消息自信息量()log ()log6 2.585I x p x bit =-==2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号 2-9 “－” 用三个脉冲 “●”用一个脉冲(1) I(●)=Log 4()2= I(－)＝Log 43⎛ ⎝⎫⎪⎭0.415=(2) H= 14Log 4()34Log 43⎛⎝⎫⎪⎭+0.811=2-10(2) P(黑/黑)= P(白/黑)=H(Y/黑)=(3) P(黑/白)= P(白/白)=H(Y/白)=(4) P(黑)= P(白)=H(Y)=2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
信息论第二章课件及习题答案
2013-8-1
2
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
（本章将给出各种信息量的定义和 它们的性质。）
I ( xk ; y j )
loga rkj qk w j
定义2.1.1(非平均互信息量) 给定 一个二维离散型随机变量 {(X, Y), (xk, yj), rkj, k=1~K; j=1~J} （因此就给定了两个离散型随机 变量 {X, xk, qk, k=1~K}和{Y, yj, wj, j=1~J}）。 事件xk∈X与事件yj∈Y的互信息 量定义为I(xk; yj)
2013-8-1
3
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
（本章将给出各种信息量的定义和 它们的性质。）
I ( xk ; y j )
loga loga rkj qk w j P(( X , Y ) ( xk , y j )) P( X xk ) P(Y y j )
2013-8-1 17
图2.2.1
H(X) 1.0
0.5
0
2013-8-1
0.5
1
P
18
§2.2 离散型随机变量的平均 自信息量（熵）
定义2.2.2(条件熵) 给定一个二维离散型 随机变量 {(X, Y), (xk, yj), rkj, k=1~K; j=1~J}。
称如下定义的H(X|Y) 为X相对于Y的条件 熵。
2013-8-1 13
§2.1 离散型随机变量的非平 均信息量（事件的信息量）
小结 非平均互信息量I(xk; yj)。 非平均自信息量h(xk)，h(yj)。 条件的非平均自信息量h(xk|yj)， h(yj|xk)。 联合的非平均自信息量h(xk, yj)。 相互关系： I(xk; yj)≤min{h(xk)，h(yj)}。 h(xk|yj)=h(xk)-I(xk; yj) 。 h(xk, yj)=h(yj)+h(xk|yj)=h(xk)+h(yj|xk)。 h(xk, yj)=h(xk)+h(yj)-I(xk; yj)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章习题2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。
解：（1）P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18I ＝log2（18）＝ 。
（2）P （1、1）＝l/36。
I ＝log2（36）＝。
（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。
不同点出现时有15种，概率1/18。
H （i ，j ）＝6*1/36*log 2（36）+15*1/18*log 2（18）＝事件。
（4）H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36)=事件。
（5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。
I ＝log2（36/11）＝2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m 以上，而女孩中身高1.6m 以上的占总数一半。
假如得知“身高1.6m 以上的某女孩是大学 生”的消息，问获得多少信息量、解：P （女大学生）＝1/4；P （身高>1.6m / 女大学生）=3/4；P （身高>1.6m ）＝1/2； P （女大学生 / 身高>1.6m ）＝P （身高>1.6m 、女大学生）/P （身高>1.6m ） ＝3/4*1/4*2＝3/8 I ＝log2（8/3）＝。
2-7两个实验123{,,}X x x x =和123{,,}Y y y y =，联合概率()i j ij p x y p =为1112132122233132337/241/2401/241/41/2401/247/24p p p p p p p p p ⎡⎤⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦（1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少（2）如果有人告诉你Y 的实验结果，你得到的平均信息量是多少（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少 解：（1）3311(,)(,)log (,)2.301/i j i j i j H X Y p x y P x y bit symbol===-=∑∑（2）31()()log ()1.5894/j j j H Y p y p y bit symbol==-=∑（3）(|)(,)()2.301 1.58940.7151/H X Y H X Y H Y bit symbol=-=-=2．11某一无记忆信源的符号集为{}0,1，已知01/4p =，13/4p =。
（1）求信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有m 个0和100m -个1）的信息量的表达（3）计算（2）中的序列熵。
解：（1）因为信源是无记忆信源，所以符号的平均熵()符号/..,81bit 04150432414341X =⨯+⨯=⎪⎭⎫ ⎝⎛H =H（2）某一特定序列（例如：m 个0和100-m 个1）出现的概率为()()()[]()[]m-100m m-100m10021L43411P 0P X X X P X P ⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛===,,,所以，自信息量为()()()bit m)(X P ,X ,,X X I -mm L3log 1002004341log log 210010021--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛-=-=（3）序列的熵()()序列/81bit X 100X L =H =H2-13 有一个马尔可夫信源，已知转移概率为1121122221(|),(|),(|)1,(|)033P S S P S S P S S P S S ====。
试画出状态转移图，并求出信源熵。
解：（1）由题意可得状态转移图一步转移矩阵⎥⎥⎦⎤⎢⎢⎣⎡=013132P 由∑=ij ij i W p W 和1p jij =∑可得方程组⎪⎪⎪⎩⎪⎪⎪⎨⎧=+=+=1W W W 31W W W 32W 2112211 解方程组得到各状态的稳态分布概率⎩⎨⎧==41W 43W 21//，因为()()()001S X 3132S X 21=H =H ⎪⎭⎫⎝⎛H =H ,/,,/，所以信源的熵()()()符号/..,/69bit 0920433132H 43s X H s p X ii i =⨯=⎥⎦⎤⎢⎣⎡==H ∑∞2-14有一个一阶马尔可夫链,,,,,21 r X X X 各r X 取值于集},,,{21q a a a A =，已知起始概率为41,21)(3211=====p p x X P p ，其转移概率如下：（1）求321X X X 的联合熵和平均符号熵； （2）求这个链的极限平均符号熵；（3）求210H H H 、、和它们对应的冗余度。
解：（1） 方法一、因为()()()()()()()23121213121321/x x P /x x P x P x /x x P /x x P x P x x x P ==可以计算得到()()()()()()()()()()()(),,,161/a a P /a a P a P a a a P 161/a a P /a a P a P a a a P 81/a a P /a a P a P a a a P 131113111211121111111111====== ()()(),,,241a a a P 0a a a P 121a a a P 321221121===()()(),,,0a a a P 241a a a P 121a a a P 331231131===()()(),,,241a a a P 241a a a P 121a a a P 312212112===()()(),,,0a a a P 0a a a P 0a a a P 322222122=== ()()(),,,0a a a P 361a a a P 181a a a P 332232132===()()(),,,241a a a P 241a a a P 121a a a P 313213113===()()(),,,361a a a P 0a a a P 181a a a P 323223123=== ()()(),,,0a a a P 0a a a P 0a a a P 333233133=== 所以，()()()三个符号3.967bit/log363612log181812log242416log121214log161612log881x x x logP x x x P X X X 321X X X 321321123=⨯⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯=-=H ∑∑∑所以，平均符号熵()()符号/1.322bit X X X 31X 32133=H =H 方法二、()()()()三个符号3.967bit/ 1.26209151/X X /X X X X X X 23121321=++=H +H +H =H ..所以，平均符号熵()()符号/1.322bit X X X 31X 32133=H =H （2）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布.由题意得到一步转移矩阵⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0313231032414121P 由∑=ij ij i W p W 和1p jij =∑可得方程组⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=+++=+=++=1W W W W 31W 41W W 31W 41W W 32W 32W 21W 3212133123211解方程组得到各状态的稳态分布概率⎪⎩⎪⎨⎧===143W 143W 74W 321///，所以信源平稳后的概率分布为()()()⎪⎩⎪⎨⎧===143a P 143a P 74a P 321///因为信源为一阶马尔可夫信源，所以信源的熵()()符号/.,,,,,,/251bit 103132H 14331032H 143414121H 74X X X 122=⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡=H =H =H ∞ （3）符号/.585bit 1log30==H符号，，/.414bit 1143143741=⎥⎦⎤⎢⎣⎡H =H()符号/./251bit 1X X 122=H =H ()符号/./251bit 1X X 12=H =H ∞对应的冗余度分别为145.01540.0101022011000=H H -==H H -==H H-=γγγ 2-16 一阶马尔可夫信源的状态如图所示，信源X 的符号集为{0,1,2}。
（1）求平稳后的信源的概率分布； （2）求信源熵∞H ；（3）求当0p =和1p =时信源的熵，并说明其理由。
解：（1）由状态转移图可得状态一步转移矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p p 00p p p 0p P 由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。
由∑=ij ij i W p W 和1p jij =∑可得方程组⎪⎪⎩⎪⎪⎨⎧=+++=+=+=1W W W W p pW W pW W p W pW W p W 321313322211 解方程组得到各状态的稳态分布概率⎪⎩⎪⎨⎧===31W 31W 31W 321///，所以信源平稳后的概率分布为()()()⎪⎩⎪⎨⎧===312p 311p 310p ///（2）因为信源为一阶马尔可夫信源，所以信源的熵()()()()()()()()()[][][][][]p H p p H p p,0,H 310p p,H 31p 0p H 312X H 2p 1X H 1p 0X H 0p s X H s p X ii i ==++=++==H ∑∞,,,,////（3）当0p =或1p =时，信源的熵为0。
因为此时它表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。
p2-19设有一信源，它在开始时以()0.6,()0.3,()0.1P a P b P c ===的概率发出1X ，如果1X 为a 时，则2X 为c b a ,,的概率为31；如果1X 为b 时，则2X 为c b a ,,的概率为31；如果1X 为c 时，则2X 为b a ,概率为21，为c 的概率为0。
而且后面发出i X 的概率只与1-i X 有关。