信息论与编码理论基础 王育民(第二章 )
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码第二章答案
第二章 信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告)()|(log );(xi q yj xi Q y x I =知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p 即：得：114)(113)(114)(210===s p s p s p 0.25（bit/符号）=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 2.8一个马尔可夫信源，已知：试画出它的0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 香农线图，并求出信源熵。
《信息论与编码》课件1第2章
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论编码与基础课后题(第二章)
信息论编码与基础课后题(第二章)第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示2个不同的消息，例如：{0, 1}假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1===八进制脉冲的平均信息量symbolbit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbolbit n XH / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ） 的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P为确定自己的成绩，甲还需信息bits 241log log score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即 67631=P 因此每个汉字所含的信息量为bits 7.1267631log log =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，bits 322.054loglog passpass =-=-=P I等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X XP P ，4/10=YP ，4/31=YP 。
信息论与编码理论课后答案
信息论与编码理论课后答案【篇一：《信息论与编码》课后习题答案】式、含义和效用三个方面的因素。
2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的是建立信息论的基础。
7、8、是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。
limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维连续随即变量x在[a，b] 。
1log22?ep21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。
2728、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?11?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学2期望，则x的信源熵c。
《信息论与编码理论》（王育民李晖梁传甲）课后习题答案高等教育出版社.docx
《信息论与编码理论》（王育民李晖梁传甲）课后习题答案高等教育出版社.docx信息论与编码理论习题解第二章-信息量和熵2.1解:平均每个符号长为：2 0.2 - 0.4二兰秒3315每个符号的熵为-log - 1 Iog3 = 0.9183比特/符号32 3所以信息速率为0.91833.444比特/秒 42.2解：同步信号均相同不含信息，其余认为等概，每个码字的信息量为 3*2=6比特; 所以信息速率为6 1000 =6000比特/秒解:(a) —对骰子总点数为7的概率是-36所以得到的信息量为 Iog 2(~6) = 2.585比特36(b) 一对骰子总点数为12的概率是136所以得到的信息量为 Iog 2丄=5.17比特36解：(a)任一特定排列的概率为古,所以给出的信息量为1-Iog 2225.58 比特52!(b)从中任取13张牌,所给出的点数都不相同的概率为13! 413 413 A 13 C 13 A 52 C 52C 13所以得到的信息量为log2C? =13.21比特. 42.5解:易证每次出现i 点的概率为丄,所以212.3 2.4I(^i^-log 2-,i =1,2,3,4,5,621 I (x = 1) = 4.392 比特 I (x =2) =3.392 比特 I (x =3) =2.807 比特 I (x =4)=2.392 比特 I (x =5) =2.070 比特 I (x =6) =1.807 比特6H(X)ilog 2i2.398比特i 421 212.6解：可能有的排列总数为277203! 4! 5!没有两棵梧桐树相邻的排列数可如下图求得, YXYXYXYXYXYXYXY一(7 \一图中X 表示白杨或白桦，它有7种排法，Y 表示梧桐树可以栽(8\种的位置，它有8种排法，所以共有8*=佃60种排法保证没有I 5丿&八3丿两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为Iog 227720-Iog 21960=3.822比特 2.7解：X=0表示未录取，X=I 表示录取；Y=0表示本市，Y=I 表示外地；Z=O 表示学过英语，Z=I 表示未学过英语，由此得3 1 P(X=O) , P(X=I ),44p( y = O) = P(X=O)P(y = O x = 0)十 P(X=I)P(y = O X = 1) — J5 = Oy=O) p(y =1)p(z=0y = 1)_ 13 _ 25,1 3 1/ - 10 4 5 1 1 1 P(X=Iy= O)= p(y=0x=1)p(x= 1)∕p(y=0) =—-/- =2 4 5P(X=Oy =0) P(X = Iy =0)p(x =1 y =O)log2 -P(X =O) P(X =I)5 8log 2θ(b) P(X=OZ = O)= (p(z=Oy=O,x=O)p(y=Ox=O)+p(z = Oy = 1,x = O)p(y=1x=O))p(x = O)∕p(z = O) 1 9 4 =(———)-/1O 1O 1O 4 25 1O4P(X=IZ =O)= (P(Z=Oy=O, x = 1)p(y=0x = 1) +p(z = O y = 1, x =1) p( y =1 x = 1)) p(x = 1)/ P(Z = O) =(1.1 Z) 1虎一—22 54 25104P(X=OZ = 0)I (X ; z = O) = P(X=OZ= O) log 2 -- --------------- +P(X = O)6935単og 2马4亜g 马410423 1042144= 0.02698 比特3 4 1(C) H(X)= log23 Jog 24 =0?8113 比特H(YX)=P(X= O) p( y = O X = 0) l0g 2 p(y = Ox = 0)十 p(x = O)p(y =1 X = O)log 2 p(y = 1x = 0)十1131=—X — +—× —4 2 4 10 1 4p(y =1) =1 -5 5P(Z=O)= P(^O)P(Z 1 440 =+ X :5 5 10013 12 P(Z =I) =1 -2525_ 38 5 8(a) P(X=Oy=O) =p(y = Ox = 0)p(x = 0) / p(y =0)=I (X ; y = 0) = P(X=Oy=O) Iog 2 3 385 4 = 0.45123,13 69 35P(X =IZ =O)log 2 P (X ( 1Z O)P(X = I)比特("x t x 七 X)HH(Z)H93r 06。
《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社
信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特 所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式） 或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
信息论与编码第二章(1、2节)
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
信息论与编码第2章信源与信息熵PPT课件
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
信息论与编码理论基础 王育民(第二章 )
33
平均自信息量——（信息）熵
集X的平均自信息量表示集X中事件出现的平 均不确定性，即为了确定
集X中出现一个事件平均所需的信息量（观测 之前），或
集X中每出现一事件平均给出的信息量（观测
之后）。
2020/4/5
34
信息熵与热熵
信息熵和统计热力学中定义的热熵在形式上 完全相同。
在热力学中， X表示系统所有可能的状态， p(x)表示某一个特定状态x出现的概率。热熵 H(X)描述了系统的“无规则”的程度，即在 某一给定时刻一个系统可能出现的有关状态 的“不确定”的程度。
2020/4/5
35
例子
2020/4/5
36
2020/4/5
37
2020/4/5
38
平均自信息量——熵
注意：
（1）事件xk的自信息量值为I(xk)=loga(1/qk)，因此H(X)是随机变 量X的各事件自信息量值的“数学期望”。
（2）定义H(X)时，允许某个qk=0。（此时将qkloga(1/qk) 通盘考
2020/4/5
12
非平均互信息量性质
（3）当rkj>qkwj时 I(xk; yj)>0，当rkj<qkwj时 I(xk; yj)<0。 当(rkj/qk) > wj时，I(xk; yj)>0； 当(rkj/qk) < wj时，I(xk; yj)<0。 换句话说，
当“X=xk”与“Y= yj”这两个事件相互肯定时，互信息量为 正值；
2020/4/5
25
非平均信息量（事件的信息量）
小结 非平均互信息量——I(xk; yj) 非平均自信息量——I(xk)，I(yj) 条件的非平均自信息量——I(xk|yj)， I (yj|xk) 联合的非平均自信息量——I (xk, yj)
第2章-1信息论与编码
– 所发出的各个符号是相互独立的，发出的符 号序列中的各个符号之间没有统计关联性， 各个符号的出现概率是它自身的先验概率。 • 例如扔骰子，每次试验结果必然是1～6点中的 某一个面朝上。 • 用一个离散型随机变量X来描述这个信源输出 的消息。
X 1 2 3 4 5 6 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
9
信源的描述
• 一个离散信源发出的各个符号消息的集合为：
X {x1 , x2 ,, xn }
• 它们的概率分别为
a,b,c,…z
P { p( x1 ), p( x2 ), , p( xn )}
• p(xi): xi的先验概率
• 单符号离散信源的数学模型—概率空间
x2 xn X x1 P p( x ) p( x ) p( x ) 1 2 n
p
j
ij
1
21
• 若信源处于某一状态si ,当它发出一个符号后,所 处状态就变了,任何时候信源处于什么状态完全 由前一时刻的状态和发出符号决定。 • 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ} 中的任意一个状态,状态转移时, • 状态转移概率矩阵 p11 p1Q P p( s j | si ) pQ1 pQQ • 符号条件概率矩阵
20
马尔可夫信源
• 设信源在时刻m处于si状态,它在下一时刻(m+1)状 态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}=p{sj | si}
• pij(m)：基本转移概率（一步转移概率）
• 若pij(m)与m 的取值无关,则称为齐次马尔可夫链 pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si} • pij具有下列性质： pij≥0
信息论与编码理论课后答案
信息论与编码理论课后答案【篇一：《信息论与编码》课后习题答案】式、含义和效用三个方面的因素。
2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的是建立信息论的基础。
7、8、是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。
limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维连续随即变量x在[a，b] 。
1log22?ep21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。
2728、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?11?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学2期望，则x的信源熵c。
信息论与编码理论第二章习题答案(王育民)
部分答案，仅供参考。
2.1信息速率是指平均每秒传输的信息量点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ；4点：4/21，log21-2≈2.39bit ； 5点：5/21，log （21/5）≈2.07bit ； 6点：2/7，log(7/2)≈1.81bit 平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10；P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4(a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)=P(Y=1/X=1)P(X=1)=0.125P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2 P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375,P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+===== =0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit(b) 由于P(Z=1/ Y=1)=1, 所以 P （Y=1，Z=1/X=1）= P （Y=1/X=1）=0.5 P （Y=1，Z=1/X=0）= P （Y=1/X=0）=0.1那么P （Z=1/X=1）= P （Z=1,Y=1/X=1）+ P （Z=1,Y=0/X=1）=0.5+ P （Z=1/Y=0，X=1）P （Y=0/X=1）=0.5+0.5*0.4=0.7P(Z=1/X=0)= P （Z=1,Y=1/X=0）+ P （Z=1,Y=0/X=0）=0.1+P(Z=1/Y=0，X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46P （Z=1,X=1）= P （Z=1/X=1）*P(X=1)=0.7*0.25=0.175 P （Z=1,X=0）= P （Z=1/X=0）*P(X=0)= 0.46*0.75=0.345 P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====xx )P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit(c)H （X ）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bit H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bitH(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bitP(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27 P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05 P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075 P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit2.9 解：A，B，C分别表示三个筛子掷的点数。
《信息论与编码理论》(王育民李晖梁传甲)课后习题答案高等教育出版社
信息论与编码理论习题解第二章 -信息量和熵2.1 解: 平均每个符号长为 :20.2 10.4 4 秒3315每个符号的熵为 2log31 log 3 0.9183 比特 /符号 32 3所以信息速率为 0.9183 15 3.444 比特 /秒42.2 解: 同步信号均相同不含信息,其余认为等概 ,每个码字的信息量为 3*2=6 比特；所以信息速率为 6 10006000 比特 /秒2.3 解:(a) 一对骰子总点数为 7 的概率是 636所以得到的信息量为log 2( 6) 2.585 比特36(b)一对骰子总点数为 12 的概率是 136所以得到的信息量为log 21 比特5.17362.4 解: (a)任一特定排列的概率为1,所以给出的信息量为52!1log252 !225.58比特(b) 从中任取 13 张牌 ,所给出的点数都不相同的概率为13! 413413A 5213C 135213所以得到的信息量为 log 2C 5213.21 比特 .4132.5 解:易证每次出现 i 点的概率为i,所以21I (x i )log 2i, i 1,2,3,4,5,6 21I (x1) 4.392 比特I (x2) 3.392 比特I (x3) 2.807 比特I (x4) 2.392比特I (x5) 2.070 比特I (x6) 1.807 比特6i log2i比特H(X)212.398i 1212.6 解: 可能有的排列总数为12!277203! 4! 5!没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中 X 表示白杨或白桦，它有73种排法， Y 表示梧桐树可以栽种的位置，它有8种排法，所以共有8 *7=1960种排法保证没有553两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为 log2 27720log 2 1960 =3.822比特2.7 解: X=0 表示未录取， X=1 表示录取；Y=0 表示本市， Y=1 表示外地；Z=0 表示学过英语， Z=1 表示未学过英语，由此得p( x0) 3 ,p(x1)4 p( y0)p( x 0) p( y 1 1 3 142 410 p( y 1)1 1 4 ,5 5p( z 0)p( y 0) p(z 14405 5 100 p( z 1)1 13 12 ,25 25(a) p( x0 y 0) p( yp( x1 y 0) p( y1 , 40 x 0)p( x 1) p( y 0 x 1)1 , 50 y 0) p( y 1) p( z 0 y 1)13 , 250 x 0) p( x 0) / p( y0)13 1310/5 84 0 x 1) p( x 1) / p( y0) 1 1 / 152 4 58I ( X ; y 0)p(x0 y p(x 0 y 0) p( x 1 y 0)0) log 2p(x 1 y 0) log 2p( x 0)p( x 1)3 log 2 35log 2 58 8 8 3 8 14 40.4512比特(b) p( x0 z 0)( p( z 0 y 0, x 0) p( y 0 x 0) p( z 0 y 1, x 0) p( y 1x 0)) p(x0) / p( z 0)(19 4 ) 3/1369 10 10 10 4 25 104p( x 1z 0)( p( z 0 y 0, x 1) p( y 0 x 1) p(z 0 y1, x 1) p( y 1 x 1)) p( x1) / p(z 0)(11 2) 1/13 3522 5 4 25104I ( X ; z 0)p( x 0 zp( x 0 z 0)p( x p(x 1 z 0)0) log 21z 0) log 21)p( x 0)p( x6969log 2104104343510435log 21041 40.02698 比特(c) H ( X )3 log 24 1 log 2 40.8113 比特4 3 4H(Y X)p( x 0) p( y 0 x 0) log 2 p( y 0 x 0) p( x 0) p( y 1 x 0) log 2 p( y 1x 0)p( x 1) p( y 0 x1) log 2 p( y 0 x 1)p( x 1) p( y 1 x1) log 2 p( y 1 x1)3 1log 2 10 3 9log 2 10 1 1 log 2 2 11log 2 2 410410 9 4 2 4 20.6017比特2.8 解:令X A,B,Y T,F,R ，则P(T)P(T A)P(A)P(T B)P(B)0.5 p0.3(1p)0.3 0.2 p同理P(F )0.50.2 p,P(R)0.2I ( p) I ( X ; Y)H (Y)H(Y X)(0.30.2p) log2 (0.30.2 p)(0.50.2p) log2 (0.50.2 p)0.2log 2 0.2(0.5 p log2 20.3 plog 21030.2 p log2 50.3(1p) log2103 0.5(1 p) log2 20.2(1p) log2 5)0.3log 2 0.30.5log 2 0.5(0.30.2p) log2 (0.30.2 p)(0.50.2 p) log2 (0.5 0.2 p)令I '( p)0.2 log2(0.50.2 p)0,得p0.50.30.2 pI ( p)max I ( p) p0 .50.03645比特2.9 & 2.12解:令 X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= log26比特H(X)= H(X 1) = log26=2.585 比特H(Y)= H(X 2+X 3)=2( 1log 2 362log 2363log 2364log 2365log 236 )1log 2 6363623633643656 = 3.2744 比特H(Z)= H(X 1+X 2+X 3)=2( 1 log 2 216 3 log 2 216 6log 2 216 10 log 2 216 15 log 2 216216 216 3 216 6 216 10 216 15 21 216 25 216 27 216 )log 2 21 log 2 log 2 27216 216 25 216= 3.5993 比特所以H(Z/Y)= H(X 3)= 2.585 比特H(Z/X) = H(X 2+X 3)= 3.2744 比特H(X/Y)=H(X)-H(Y)+H(Y/X)= 2.585-3.2744+2.585 =1.8955 比特H(Z/XY)=H(Z/Y)= 2.585 比特 H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805 比特I(Y;Z)=H(Z)-H(Z/Y)=H(Z)- H(X 3)= 3.5993-2.585 =1.0143 比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249 比特I(XY ;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143 比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X 2+X 3)-H(X3) =3.2744-2.585=0.6894 比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=02.10 解:设系统输出10 个数字 X 等概 ,接收数字为 Y,9191显然 w( j )Q(i ) p( j i )p( j i )i010 i 110H(Y)=log10H(YX)p( x, y) log 2 p( y x)p( x, y) log2 p( y x)y x 偶y x 奇0p( x) p( x x) log 2 p( x x)p(x) p( y x) log 2 p( y x) i奇y x,奇 x奇511log2 2 5 411log2 81021081比特所以I(X;Y)=log 2 10 1 2.3219比特2.11 解:（a）接收前一个数字为0 的概率81w( 0)q(u i ) p( 0 u i )2i 0I (u1 ;0)log2p(0 u1)1p(1 p) bitslog 21 1 log 2w(0)28（b ） 同理w(00)q(u ) p(00 u ) 41iI (u 1;00)p(00u 1)log 2 (1p)22 2 log 2 (1 p) bitslog 2 w(00)14（c ） 同理 w(000)8q(u i ) p(000 u i )81i 0I (u 1;000) log 2 p(000u 1 ) log 2 (1 p)33 3log 2 (1p)bitsw(000)18（d ） 同理 w(0000 )8q(u i ) p(0000 u i )81((1p)66 p 2 (1 p)2p 4 )i 0p(0000u 1 )(1 p)4I (u 1;0000)log 2w(0000)log 281((1 p)6 6 p 2 (1p) 2p 4 )log 2 8(1 p) 4bits(1 p) 6 6 p 2 (1 p) 2p 42.12 解:见 2.92.13 解:(b)H(YZ/ X)xyzxyzxyzH(Y/ X)1p( xyz)logp( yz / x)1p( xyz) logp( y / x) p(z / xy)11p( xyz) logp(xyz)logp( y / x)x yzp( z / xy)H(Z/ XY)(c)H (Z / XY )p(xy)p( z / xy) log1xyzp(xy)xyzH(Z / X)p(z / xy)1p( z/ xy) log （由第二基本不等式） p(z / x)或H(Z/XY)H(Z/X)p(xy)1p( z / xy) logxyzp(z / xy)p( xy)p( z/ xy) log1p( z / x)xyzp( xy)p( z/ xy) logp(z / x)（由第一基xyzp( z / xy )p( xy)p(z / xy) log e( p(z / x)1)xyzp(z / xy)本不等式）所以H(Z/XY) H(Z/X)(a)H(Y/ X) H(Z / X)H(Y/ X) H(Z/XY) H(YZ/X)等号成立的条件为 p(z / xy) p( z / x) ,对所有 xX , y Y, z Z ,即在给定 X条件下 Y 与 Z 相互独立。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2020/4/5
9
非平均互信息量
（本章将给出各种信息量的定义和它们的性质。）
定义2.1.1(非平均互信息量) 给定一个二维离散型随机变量
{(Xx k,, j)y Y ,k,j)r k ,1 ~(K 1 ~ ; Jj}
因此就给定了两个离散型随机变量 { X ,x k ,q k ,k 1 ~ K } 和 { Y ,y j,w j,j 1 ~ J }
事件xk∈X与事件yj∈Y的互信息量定义为
I(xk;yj)loga
P(XP(Xxk|Yxk)yj)loga
P(Yyj |Xxk) P(Yyj)
logaP P((X (X,Yx)k)P((xYk,yyj)j))logaqkrkw j j
2020/4/5
10
非平均互信息量直观认识
若信源发某符号xi, 由于信道中噪声的随机干扰，收信者收到 的是xi的某种变形yj，收信者收到yj后，从yj中获取xi的信息量 用I( xi ; yj )表示，则有
2020/4/5
15
非平均自信息量
定义2.1.3(非平均自信息量) 给定一个离散型随机变量{X, xk, qk, k=1~K}。 事件xk∈X的自信息量定义为 I(xk)=loga(1/qk)，
其中底数a是大于1的常数。
从上述两个系统可以看出，在一个系统中我们 所关心的输入是哪个消息的问题，只与事件出
现的先验概率和经过观察后事件出现的后验概
率有关。 信息应当是先验概率和后验概率的函数，即
I(xk;yj)=f [Q(xk),P(xk|yj)]
2020/4/5
8
研究表明
信息量就表示成为事件的后验概率与事件的先 验概率之比的对数函数!!!
2020/4/5
2
非平均互信息量
例2.1.1
输入 消息
码字 （输出）
p(xk)
X1 000
1/8
X2 001
1/8
X3 010
1/8
X4 011
1/8
X5 100
1/8
X6 101
1/8
X7 110
1/8
x8 111
1/8
2020/4/5
收到0
1/4 1/4 1/4 1/4
0 0 0 0
收到01 收到011
观察到010之后不能断定是哪个消息出现了。但是由观察结 果计算出来的某个消息出现的后验概率大于1/2或小于1/2,使 我们可比未观察前较有把握地推断消息出现的可能性，因 而多少得到了一些有关出现的“信息”。
若p<1/2，则1-p>1/2，也即010是消息x1的输出可能性大。
2020/4/5
7
直观认识
2020/4/5
12
非平均互信息量性质
（3）当rkj>qkwj时 I(xk; yj)>0，当rkj<qkwj时 I(xk; yj)<0。 当(rkj/qk) > wj时，I(xk; yj)>0； 当(rkj/qk) < wj时，I(xk; yj)<0。 换句话说，
当“X=xk”与“Y= yj”这两个事件相互肯定时，互信息量为 正值；
第二章：信息量和熵
§2.1 离散型随机变量的非平均信息量（事件的信息量）
§2.2 离散型随机变量的平均自信息量（熵）
§2.4 离散型随机变量的平均互信息量
§2.5 连续型随机变量的平均互信息量和微分熵
§2.6 凸函数与(离散型随机变量的)平均互信息量凸性
2020/4/5
1
§2.1 离散型随机变量的非平均信息量 （事件的信息量）
可以推广到任意有限多个空间情况
2020/4/5
14
互信息的可加性
u1
u2 u3
系统
u1
u2
系统
u3
I(u1;u2,u3)I(u1;u2)I(u1;u3|u2) I(u1;u3)I(u1;u2|u3)
意味着：（u2,u3）联合给出的关于u1的信息量等于u2给出的关 于u1的信息量与u2已知条件下u3给出的关于u1的信息量之和。
5
非平均互信息量
例2.1.2
输入消息 码字
X1
000
X2 111
p(xk)
1/2 1/2
收到0
1-p p
收到01
1/2 1/2
收到010
1-p p
1-p
0
0
p
p
1
1
1-p
2020/4/56来自直观认识在接收010的过程中，消息出现的可能性，即后验概率也在 不断变化，但变化趋势不再像例2.1.1 那样单调地变化，而 是有起伏的，且最后并未达到1或0.
收到01
0 0 1/3 2/3 0 0 0 0
收到011
0 0 0 1 0 0 0 0
2020/4/5
4
直观认识
对观察者来说，同样观察事件011，但输 入消息等概情况下“收获”要大些，即 得到的“信息”要多些。
越是不太可能发生的事件竟然发生了， 越是令人震惊。获得的“信息”要多些。
2020/4/5
互信息量的性质：
（1）I(xk; yj)=loga(rkj/(qkwj))。因此有对称性：
I(xk; yj)=I(yj; xk)。
（2）当rkj=qkwj时, I(xk; yj)=0。即当(rkj/qk)=wj时，I(xk; yj)=0。
又即当(rkj/wj)=qk时，I(xk; yj)=0。
换句话说，当“X=xk”与“Y= yj”这两个事件相互独立时，互信 息量为0）。
当“X=xk”与“Y= yj”这两个事件相互否定时，互信息量为 负值。
2020/4/5
13
条件互信息和联合事件互信息
三个事件集的条件互信息定义（定义2.1.2）为
I( u 1 ;u 2 |u 3 ) lo g p ( u p 1 ( u |1 u 2 |， u 3 u )3 ) lo g p ( u p 1 ( |u u 1 ， 3 )u p 2 (u |u 2 3 |) u 3 )
0
0
0
0
1/2
0
1/2
1
0
0
0
0
0
0
0
0
3
非平均互信息量
输入消息
X1 X2 X3 X4 X5 X6 X7 x8
码字
000 001 010 011 100 101 110 111
p(xk)
1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16
收到0
1/6 1/3 1/6 1/3
0 0 0 0
I( xi ; yj )=[收到yj 前，收信者对信源发xi 的不确定性] -[收到yj 后，收信者对信源发xi仍然存在 的 不确定性]
=收信者收到yj 前后，收信者对信源发xi 的 不确定性的消除
2020/4/5
11
非平均互信息量性质
其中底数a是大于1的常数。常用a=2或a=e，当a=2时互信息量 的单位为“比特”。