信息论与编码第二章答案解析
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码第二章答案解析
2-1、一阶马尔可夫链信源有3个符号{}123,,u u u ，转移概率为：1112()u p u=，2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：1/21/20[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦状态转换图为：令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W =121W +132W +133W ， 2W =121W +233W , 3W =232W 且：1W +2W +3W =1 ∴稳态分布概率为：1W =25，2W =925，3W = 6252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。
0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1111221331441132112222332442133113223333443244114224334444240.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14p p p p ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求：（1）、“3和5同时出现”事件的自信息量； （2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵；（5）、两个点数中至少有一个是1的自信息量。
《信息论与编码》习题解答-第二章
《信息论与编码》习题解答第二章 信源熵-习题答案2-1解：转移概率矩阵为：P(j/i)=，状态图为：⎪⎩⎪⎨⎧==∑∑j jj ij ii W W P W 1，⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=++=+=++=1323221313121321233123211W W W W W W W W W W W W 解方程组求得W=2-2求平稳概率符号条件概率状态转移概率解方程组得到 W=2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解： (1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P Xii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-4(4)2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
信息论编码与基础课后题(第二章)
第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ） 的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。
最新信息论与编码习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特 2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论课后习题答案高等教育出版社信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:1544.0312.032=+?秒每个符号的熵为9183.03log 3123log 32=?+?比特/符号所以信息速率为444.34159183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =? 所以得到的信息量为 21.134log 1313522=C 比特.解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,2 1log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有37种排法，Y 表示梧桐树可以栽种的位置，它有58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特比特6017.02log 21412log 2141910log 1094310log 10143)11(log )11()1()10(log )10()1()01(log )01()0()00(log )00()0()( 8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222222222=?+?+?+?======+=====+=====+=======+==+======+== ======??+========+=========??+========+=== ======+======+=================?=========-===?+====+======-===?+?====+=========x y p x y p x p x y p x y p x p x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-?+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P &解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 比特所以H(Z/Y)= H(X 3)= 比特H(Z/X) = H(X 2+X 3)= 比特H(X/Y)=H(X)-H(Y)+H(Y/X) = =比特H(Z/XY)=H(Z/Y)= 比特H(XZ/Y)=H(X/Y)+H(Z/XY) =+ =比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 比特 I(X;Z)=H(Z)-H(Z/X)= =比特I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =比特I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X 2+X 3)-H(X 3) = =比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =0解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=+???=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-== （b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-==（c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(42268180p p p p u p u q w i i i +-+-==∑= bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--== 解:见解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式）或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-?≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
信息论与编码第2章习题解答
2.1设有12枚同值硬币，其中一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量（因无砝码）。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：分三组，每组4个，任意取两组称。
会有两种情况，平衡，或不平衡。
(1) 平衡：明确假币在其余的4个里面。
从这4个里面任意取3个，并从其余8个好的里面也取3个称。
又有 两种情况：平衡或不平衡。
a ）平衡：称一下那个剩下的就行了。
b ）不平衡：我们至少知道那组假币是轻还是重。
从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。
(2) 不平衡：假定已经确定该组里有假币时候：推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。
我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。
从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示为“重（3）”和“重（1）”。
在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。
交叉组合为：轻（3） + 重（1） ？=======？ 轻（1） + 准（3）来称一下。
又会有3种情况：(1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假币是轻的。
那么假币在轻（3）里面，根据推论1，再称一次就可以了。
(2)右面轻：这里有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。
这两种情况，任意 取这两个中的一个和一个真币称一下即可。
(3)平衡：假币在“重（3）”里面，而且是重的。
根据推论也只要称一次即可。
2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。
信息论与编码第二章
第二章1对于离散无记忆信源DMS=,试证明：HX=H2p=-p log p-1-plog1-p当p=1/2时,HX达到最大值;2对1中的DMS,考虑它的二次扩展信源X2=,证明：HX2=2HX;解：（1）函数HX=-plogp-1-plog1-p中的变量p在0到1中取值,从函数的结构上可以知道该函数在区间0,1上是关于p=1/2对称的函数;（2）H X==-logp-1-pp1-pp1ln2+（3）+1ln21-p-1ln2+log1-p-pln21-p=log1-pln21-p=log1-pp>0在区间0,上1-p>p,则1-p/p>1,所以log,在此区间上Hx>0,Hx 单调递增;又该函数是在区间0,1上是关于p=1/2对称的函数,那么在区间,1上单调递减;所以,HX=H2p=-plogp-1-plog1-p在p=1/2时,HX达到最大值;2二次扩展后的矩阵：=HX2=-p2logp2-p1-plog2p1-p-2p1-plogp1-p=2-plogp1-p-1-plog1-pp-21-plog1-pp-1-plog1-p=2HX1一个无偏骰子,掷骰子的熵为多少2 如果骰子的被改造使得某点出现的概率与其点数成正比,那么熵为多少3一对无偏骰子,各掷一次,得到总点数为7,问得到多少信息量解：1 Hx= -log1/6=log6=bit/符号2由qx i=kx i得21k=1 即 k=1/21Hx=-1/21log1/21-2/21log2/21-3/21log3/21-4/21log4/21-5/21l og5/21-6/21log6/21=bit/符号3IA+B=7=-log1/6=log6=bit一个盒子中放有100个球,其中60个球是黑色的,40个球是白色的; 1随机摸取一个球,求获得的自信息量;2进行放回摸取n次,求这n次所得到的平均自信息量;解：1Ix i=-log1/100=log100bit2总信息量为：nIx1Px1+nIx2Px2平均：1/n nIx1Px1+nIx2Px2=bit给定信源=,1 该信源是平稳信源吗计算信源熵；2计算Hx3,并列出信源;3 计算Hx3|x1x2及N维扩展信源在N趋于无穷时的熵.解：1 Hx= bit/符号Hx<=NHx 是平稳信源2Hx3==3Hx= bit/符号X=x3={x1x1x1,x1x1x2,x2x1x1,x1x2x1,x1x2x2,x2x1x2,x2x2x1,x2x2x2} 记x i x j x t=b k,k=0 (7)则=3 Hx3|x1x2=-N维扩展信源在N趋于无穷时,qx i j几乎相等;所以,-=-=0所以,N维扩展信源在N趋于无穷时的熵0;证明几何分布=的熵为HX=;证明：由题意可得,x的二维扩展概率分布为：=Hx=-plogp-p1-plogp1-p…-p1-p i-1logp1-p i-1H2p=-p2logp2-p21-plogp21-p…-p21-p2i-2logp21-p2i-2将H2p进行化简,可得：H2p=Hxp所以,Hx=。
信息论与编码zjh201209习题讲解(第二章)
1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多 少？ 2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ 3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的 平均信息量是多少？ 解：联合概率 p( xi, yj )为 X概率分布 Y概率分布是 Y x y1 x y2 x y3 1 Y ( X , Y )y1 p( xi,y2) log 2 y3 X H yj 1 2 3 X p( xi, yj ) ij P 8/24 8/24 8/24 P 8/24 8/24 8/24 7 24 1 1 x1 7/24 1/24 0 2 log 2 4 log 224 log 24 1 24 7 24 1/4 1/24 H (Y x2 3 1/2423 1.58 bit/符号 H ( X | Y ) H ( X , Y ) H (Y ) 2.34 1.58 ) log 3 =2.3bit/符号 15 =0.72bit/符号 x3 0 1/24 7/24 2013-8-15
13 2013-8-15
2-11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…， 38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色， 圆盘停转后，盘面上的指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵 解：令X表示指针指向某一数字，则X={1,2,……….,38} Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知
p(1|10) p(01|10) 0.5
0 0.8 0.2 0 于是可以列 0 0 0.5 0.5 出转移概率 p 0.5 0.5 0 0 矩阵： 0 0.2 0.8 0
《信息论与编码》第二章习题解答
H (Z Y ) = H ( X3)= H(X )= 2.585 bit
H (X |Y ) = H (X ) + H(Y X ) − H(Y ) = H (X ) + H( X 2 ) − H(Y )
I (X ;Y ) =
p(x , y )log
xy
p( x)
2
2
在上式求和中，使 p(x, y) ≠ 0 的输入，输出对
3
3
4
4
（x, y）可分为 3 类：
5
5ห้องสมุดไป่ตู้
6 7
6 7
S1 = {(0,0), (2,2), (4,4),(6,6),(8,8)}
8 9
8 9
S2 = {(1,1),(3,3), (5,5),(7,7),(9,9)}
在已知第一位数字下，第二位数字携带信息为 H (Y | X ) = 0.75H(0.1,0.9) + 0.25H (0.5,0.5)
=0.602 bit
在已知前二位数字下，第三位数字携带信息为：
H (Z | X ,Y ) = H (Z | Y )
（因为 X→Y→Z）
= 0.2H(1) + 0.8H(0.4,0.6)
=0.158 bit
2.3 在某中学有 3 学生通过了考试， 1 学生没有通过。在通过考试的同学中 10%有自行
4
4
车，而没有通过的学生中 50%有自行车，所有有自行车的同学都加入了联谊会，
无自行车的同学中仅有 40%加入联谊会。
a. 通过询问是否有自行车，能获得多少关于学生考试成绩的信息？
信息论与编码第二版第2章习题答案
2 3 4 5 6 7 8 9 10 11 12 X 1 1 1 1 5 1 5 1 1 1 1 = P ( X ) 36 18 12 9 36 6 36 9 12 18 36 H ( X ) = −∑ p ( xi ) log p ( xi )
画出状态图，并计算各状态的稳态概率。 解： p (0 | 00) = p (00 | 00) = 0.8
p (0 | 01) = p (10 | 01) = 0.5 p (0 |10) = p (00 |10) = 0.5 p (1| 01) = p (11| 01) = 0.5 p (1|10) = p (01|10) = 0.5
15 25 35 45 55 65
16 26 36 46 56 66
1 1 1 × = 6 6 36
1 1 1 × = 6 6 18
1 1 1 1 H ( X ) = −∑ p ( xi ) log p ( xi ) = − 6 × log + 15 × log = 4.337 bit / symbol 36 18 18 36 i
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为： p (0 | 00) =0.8， p (0 |11) =0.2，
p (1| 00) =0.2， p (1|11) =0.8， p (0 | 01) =0.5， p (0 |10) =0.5， p (1| 01) =0.5， p (1|10) =0.5。
87.81 = 1.95 bit/符号 45
2-14 (1)
P(ij)=
P(i/j)=
(2) 方法 1:
信息论与编码理论第二章习题答案(王育民)
部分答案，仅供参考。
2.1信息速率是指平均每秒传输的信息量点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log （21/5）≈2.07bit ； 6点：2/7，log(7/2)≈1.81bit 平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10；P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625 I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+======0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit(b) 由于P(Z=1/ Y=1)=1, 所以 P （Y=1，Z=1/X=1）= P （Y=1/X=1）=0.5 P （Y=1，Z=1/X=0）= P （Y=1/X=0）=0.1那么P （Z=1/X=1）= P （Z=1,Y=1/X=1）+ P （Z=1,Y=0/X=1）=0.5+ P （Z=1/Y=0，X=1）P （Y=0/X=1）=0.5+0.5*0.4=0.7P(Z=1/X=0)= P （Z=1,Y=1/X=0）+ P （Z=1,Y=0/X=0）=0.1+P(Z=1/Y=0，X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46P （Z=1,X=1）= P （Z=1/X=1）*P(X=1)=0.7*0.25=0.175 P （Z=1,X=0）= P （Z=1/X=0）*P(X=0)= 0.46*0.75=0.345 P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====xx )P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit(c)H （X ）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bit H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bitH(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bitP(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05 P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075 P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log 0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit2.9 解：A ，B ，C 分别表示三个筛子掷的点数。
信息论与编码第二章课后答案
信息论与编码第二章课后答案在信息科学领域中，信息论和编码是两个息息相关的概念。
信息论主要研究信息的传输和处理，包括信息的压缩、传输的准确性以及信息的安全性等方面。
而编码则是将信息进行转换和压缩的过程，常用的编码方式包括霍夫曼编码、香农-费诺编码等。
在《信息论与编码》这本书的第二章中，涉及了信息的熵、条件熵、熵的连锁法则等概念。
这些概念对于信息理解和编码实现有着重要的意义。
首先是信息的熵。
熵可以简单理解为信息的不确定性。
当信息的发生概率越大，它的熵就越小。
比如说，一枚硬币的正反面各有50%的概率，那么它的熵就是1bit。
而如果硬币只有正面，那么它的熵就是0bit，因为我们已经知道了结果，不再有任何不确定性。
其次是条件熵。
条件熵是在已知某些信息(即条件)的前提下，对信息的不确定性进行量化。
它的定义为已知条件下，信息的熵的期望值。
比如说，在猜词游戏中，我们手中已经有一些字母的信息，那么此时猜测单词的不确定性就会下降，条件熵也就会减少。
除了熵和条件熵之外，连锁法则也是信息理解和编码实现中的重要概念。
连锁法则指的是一个信息在不同时刻被传输的情况下，熵的变化情况。
在信息传输的过程中，信息的熵可能会发生改变。
这是因为在传输过程中，可能会发生噪声或者数据重复等情况。
而连锁法则就是用来描述这种情况下信息熵的变化情况的。
最后，霍夫曼编码和香农-费诺编码是两种比较常用的编码方式。
霍夫曼编码是一种无损压缩编码方式，它可以将出现频率高的字符用较短的二进制编码表示，出现频率较低的字符用较长的二进制编码表示。
香农-费诺编码则是一种用于无失真信源编码的方法，可以把每个符号用尽可能短的二进制串来表示，使得平均码长最小化。
总的来说，信息论和编码是信息科学中非常重要的两个概念。
通过对信息熵、条件熵、连锁法则等的探讨和了解，可以更好地理解信息及其传输过程中的不确定性和数据处理的方法。
而霍夫曼编码和香农-费诺编码则是实现数据压缩和传输的常用编码方式。
信息论与编码理论第二章习题答案(王育民)
部分答案，仅供参考。
信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log 〔21/5〕≈2.07bit ； 6点：2/7，log(7/2)≈ 平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×≈2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0 (a)I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+======0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈ (b) 由于P(Z=1/ Y=1)=1, 所以P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====xx )P()1Z /(P log)1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=1/4+(3/40)log10-(27/40)log(9/10)≈P(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log 0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bit2.9 解：A ，B ，C 分别表示三个筛子掷的点数。
信息论编码与基础课后题第二章
信息论编码与基础课后题(第二章)————————————————————————————————作者：————————————————————————————————日期：第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ）的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
信息论与编码理论第二章习题答案(王育民)
信息论与编码理论第二章习题答案(王育民)LtD局部答案，仅供参考。
2.1信息速率是指平均每秒传输的信息量点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1概率为6/36=1/6，所以信息量 -log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量 -log(1/36)=2+log9≈5.17 bit 2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log 〔21/5〕≈2.07bit ； 6点：2/7，log(7/2)≈1.81bit 平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit 2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语 P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10；P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125 P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2 P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625I (X ;Y=1)=∑∑=====xx)P()1Y /(P log )1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log )1Y /0X (P =====+===== =0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit(b) 由于P(Z=1/ Y=1)=1, 所以 P 〔Y=1，Z=1/X=1〕= P 〔Y=1/X=1〕=0.5P 〔Y=1，Z=1/X=0〕= P 〔Y=1/X=0〕=0.1 那么P 〔Z=1/X=1〕= P 〔Z=1,Y=1/X=1〕+ P 〔Z=1,Y=0/X=1〕=0.5+ P 〔Z=1/Y=0，X=1〕P 〔Y=0/X=1〕=0.5+0.5*0.4=0.7P(Z=1/X=0)= P 〔Z=1,Y=1/X=0〕+ P 〔Z=1,Y=0/X=0〕=0.1+P(Z=1/Y=0，X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46 P 〔Z=1,X=1〕= P 〔Z=1/X=1〕*P(X=1)=0.7*0.25=0.175P 〔Z=1,X=0〕= P 〔Z=1/X=0〕*P(X=0)= 0.46*0.75=0.345P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====xx)P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x =1)P(X )1Z /1X (P log)1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit(c)H〔X〕=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3= 0.811bitH(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1)-P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0)-P(X=0,Y=0)logP(Y=0/X=0)=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*l og0.9=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bitH(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log 3=1.414bitP(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075P(X=1,Y=1,Z=1)=P(X=1,Z=1)-P(X=1,Y=0,Z=1)=0.175-0.05=0.125P(X=1,Y=1,Z=0)=0P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0 .05-0.075*log0.075-0.125*log0.125-0.075*log0.07 5=(113/100)+(31/20)log10-(129/50)log3=0.528+0.51+0.216+0.28+0.375+0.28=2.189 bitH(Z/XY)=H(XYZ)-H(XY)=-28/25+(4/5)log10-12/25log3 =0.775bit2.9 解：A，B，C分别表示三个筛子掷的点数。
信息论与编码理论第二章习题答案(王育民)
部分答案，仅供参考。
2.1信息速率是指平均每秒传输的信息量点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log （21/5）≈2.07bit ； 6点：2/7，log(7/2)≈1.81bit 平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10；P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625 I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+======0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit(b) 由于P(Z=1/ Y=1)=1, 所以 P （Y=1，Z=1/X=1）= P （Y=1/X=1）=0.5 P （Y=1，Z=1/X=0）= P （Y=1/X=0）=0.1那么P （Z=1/X=1）= P （Z=1,Y=1/X=1）+ P （Z=1,Y=0/X=1）=0.5+ P （Z=1/Y=0，X=1）P （Y=0/X=1）=0.5+0.5*0.4=0.7P(Z=1/X=0)= P （Z=1,Y=1/X=0）+ P （Z=1,Y=0/X=0）=0.1+P(Z=1/Y=0，X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46P （Z=1,X=1）= P （Z=1/X=1）*P(X=1)=0.7*0.25=0.175 P （Z=1,X=0）= P （Z=1/X=0）*P(X=0)= 0.46*0.75=0.345 P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====xx )P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit(c)H （X ）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bit H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bitH(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bitP(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05 P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075 P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log 0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit2.9 解：A ，B ，C 分别表示三个筛子掷的点数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2-1、一阶马尔可夫链信源有3个符号{}123,,u u u ，转移概率为：1112()u p u=，2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：1/21/20[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦状态转换图为：令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W =121W +132W +133W ， 2W =121W +233W , 3W =232W 且：1W +2W +3W =1 ∴稳态分布概率为：1W =25，2W =925，3W = 6252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。
0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1111221331441132112222332442133113223333443244114224334444240.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14p p p p ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求：（1）、“3和5同时出现”事件的自信息量； （2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵；（5）、两个点数中至少有一个是1的自信息量。
解：（1）3和5同时出现的概率为：1111p(x )=26618⨯⨯= 11I(x )=-lb4.1718bit ∴= （2）两个1同时出现的概率为：2111p(x )=6636⨯=21I(x )=-lb5.1736bit ∴= （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6)(5,5),(5,6) (6,6) 其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18 所以，1111()156 4.33718183636H X lb lb bit ∴=-⨯-⨯=事件 （4）两个点数之和概率分布为：46781023591112356531244213636363636363636363636x p 信息为熵为：122()1() 3.27iii H p x bp x bit ==-=∑（5）两个点数之中至少有一个是1的概率为：311()36p x = 311I(x )=-lb1.1736bit ∴= 2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。
100个球的颜色有下列三种情况： （1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。
分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。
解：（1）设取出的红色球为1x ，白色球为2x ；有11()2p x =，21()2p x = 则有：1111()()2222H X lblb =-+=1bit/事件 (2) 1()0.99p x =,2()0.01p x =;则有：()(0.990.990.010.01)H X lb lb =-+=0.081（bit/事件）(3)设取出红、黄、蓝、白球各为1x 、2x 、3x 、4x ，有12341()()()()4p x p x p x p x ==== 则有：11()4()244H X lb bit =-=/事件2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M 以上，而女孩中身高1.6M 以上的占总数一半。
假如得知“身高1.6M 以上的某女孩是大学生”的消息，问获得多少信息量？解：设女孩是大学生为事件A ，女孩中身高1.6m 以上为事件B ，则p(A)=1/4, p (B)=1/2，p (B|A)=3/4，则 P(A|B)=()()(|)()()p AB p A P B A p B P B ==0.250.7530.58⨯= I （A|B ）＝log （1/p(A/B)）=1.42bit2-6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为1(3)18p x ==，则 1(3)(3) 4.1718I x lbp x lbbit ==-==-= （2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为1(7)6p x ==，则有 1(7) 2.5856I x lb bit ==-= 2-7、设有一离散无记忆信源，其概率空间为1234013338141418X x x x x P ====⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ （1）、求每个符号的自信息量； （2）、信源发出一消息符号序列为{}202120130213001203210110321010021032011223210，求该消息序列的自信息量及平均每个符号携带的信息量。
解：（1）1x 的自信息量为：13I(x )=-lb1.4158bit = 2x 的自信息量为：21I(x )=-lb 24bit =3x 的自信息量为：31I(x )=-lb24bit = 4x 的自信息量为：41I(x )=-lb 38bit =（2）在该消息符号序列中，1x 出现14次，2x 出现13次，3x 出现12，4x 出现6次，所以，该消息序列的自信息量为：I （i x ）=14 I （1x ）+13 I （2x ）+12 I （3x ）+6 I （4x ）19.8126241887.81bit bit bit bitbit=+++=平均每个符号携带的信息量为：11223344()()log ()()log ()()log ()()log ()H X p x p x p x p x p x p x p x p x =+++31111.41522384481.906bit=⨯+⨯+⨯+⨯=2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？解;设二进制、四进制、八进制脉冲的信息量为21()12I X lbbit =-= 41()24I X lb bit == 81()38I X lb bit == 所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。
2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。
求： （1）一次实验中包含的不确定度；（2）第一次实验X 摸出是黑球，第二次实验Y 给出的不确定度； （3）第一次实验X 摸出是白球，第二次实验Y 给出的不确定度；287.81/45 1.95I =≈ 比特/符号（4）第二次实验包含的不确定度。
解：（1）一次实验的结果可能摸到的是黑球1x 或白球2x ，它们的概率分别是11()3p x =，22()3p x =。
所以一次实验的不确定度为 121122()(,)(log log )0.5280.3900.918333333H X H bit ==-+=+=(2)当第一次实验摸出是黑球，则第二次实验Y 的结果可能是摸到黑球1x 或白球2x ，它们的概率分别是 112()7p y x =、215()7p y x =。
所以该事件的不确定度为1112255()()log ()(log log )7777i i iH Y x p y x p y x =-=-+∑0.5160.3470.863bit =+=/符号(3)当第一次实验摸出是白球，则第二次实验Y 的结果可能是摸到黑球1y 或白球2y ，它们的概率分别是 125()14p y x =、229()14p y x =。
所以该事件的不确定度为2225599()()log ()(log log )14141414i i iH Y x p y x p y x =-=-+∑0.5300.4100.940bit =+=/符号（4）211220(|)()(|)=()()()() =0.91bit /i i i H Y X p x H Y x p x H Y x p x H Y x ==-+∑符号二次实验B 出现结果的概率分布是p(x,y)=p(黑，黑)= 221，p(x,y)=p(黑，白)= 521，p(x,y)=p(白，黑)=521，p(x,y)=p(白，白)= 921所以二次实验的不确定度为 H(B)= -221log 221-521log521-521log 521-921log 921=0.91bit/符号2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。
（1）若仅对颜色感兴趣，则计算平均不确定度； （2）若对颜色和数字都感兴趣，则计算平均不确定度； （3）如果颜色已知时，则计算条件熵。
解：令X 表示指针指向某一数字，则X={1,2,……….,38} Y 表示指针指向某一种颜色，则Y={绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = （1）仅对颜色感兴趣，则 H(c)=—322log 322—2⨯3218⨯log 3218=0.2236+1.0213 =1.245bit (2)对颜色和数字都感兴趣，则H(n,c)=H(n)=38⨯(-381)log 381=-3010.05798.1- =5.249bit(3)如果颜色已知时，则H （n|c ）=H(n,c)-H(h)=5.249-1.245=4.004bit2-12、两个实验X 和Y ，123{,,}X x x x =，123{,,}Y y y y =，联合概率(,)i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r r r r ⎡⎤⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦（1）如果有人告诉你X 和Y 的结果，你得到的平均信息量是多少？ （2）如果有人告诉你Y 的结果，你得到的平均信息量是多少？（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：（1）、3311(,)(,)log (,)iji j i j H X Y p x yp x y ===-∑∑7711112log 4log log 2424242444=-⨯-⨯- 2.3bit /=符号 （2）、1231()()()3p y p y p y ===3111111()()log ()(,,)3log 1.58bit/33333i i i H Y p y p y H ==-==-⨯=∑符号（3）、(|)(,)() 2.3 1.580.72bit/H X Y H X Y H Y =-=-=符号()(,)log ()i j i j ijH X Y p x y p x y =-∑(,)(,)log()71171124244(2log 4log log)111242443330.1120.50.1040.716i j i j ijj p x y p x y p y bit=-=-⨯+⨯+=++=∑ 2-13有两个二元随机变量X 和Y ，它们的联合概率如右图所示。