信息论第2章作业
信息论编码与基础课后题(第二章)
第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ） 的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。
信息论与编码第二章答案
2-1、一阶马尔可夫链信源有3个符号{}123,,u u u ，转移概率为：1112()u p u=，2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：1/21/20[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦状态转换图为：令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W =121W +132W +133W ， 2W =121W +233W , 3W =232W 且：1W +2W +3W =1 ∴稳态分布概率为：1W =25，2W =925，3W = 6252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。
1111221331441132112222332442133113223333443244114224334444240.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14p p p p ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。
第三版信息论答案
【】设有 12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1；12“假币的重量比真的轻，或重”该事件发生的概率为P 1；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12log2log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为Ilog 3 比特因此，必须称的次数为I1log24I2log3次因此，至少需称 3 次。
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为P1 16 61，该事件的信息量为：36I log 36比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和2，概率为P 1 1 56 65，因此该事件的信息量为：36I log365比特“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为P因此该事件的信息量为：1 121，6 6 18I log18比特【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1，因此此时从答案中获得的信息量为7I log 7比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
信息论习题答案第二章陈前斌版
第2章习题2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。
解：（1）P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18I ＝log2（18）＝ 4.1699bit 。
（2）P （1、1）＝l/36。
I ＝log2（36）＝5.1699bit 。
（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。
不同点出现时有15种，概率1/18。
H （i ，j ）＝6*1/36*log 2（36）+15*1/18*log 2（18）＝4.3366bit/事件。
2/36 1/36)=3.2744bit/事件。
（5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。
I ＝log2（36/11）＝1.7105bit/2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m 以上，而女孩中身高1.6m 以上的占总数一半。
假如得知“身高1.6m 以上的某女孩是大学 生”的消息，问获得多少信息量？、解：P （女大学生）＝1/4；P （身高>1.6m / 女大学生）=3/4；P （身高>1.6m ）＝1/2； P （女大学生 / 身高>1.6m ）＝P （身高>1.6m 、女大学生）/P （身高>1.6m ） ＝3/4*1/4*2＝3/8 I ＝log2（8/3）＝1.4150bit 。
2-7两个实验123{,,}X x x x =和123{,,}Y y y y =，联合概率()i j ij p x y p =为1112132122233132337/241/2401/241/41/2401/247/24p p p p p p p p p ⎡⎤⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦（1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？ （2）如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：（1）3311(,)(,)log (,)2.301/i j i j i j H X Y p x y P x y bit symbol===-=∑∑（2）31()()log ()1.5894/j j j H Y p y p y bit symbol==-=∑（3）(|)(,)()2.301 1.58940.7151/H X Y H X Y H Y bit symbol=-=-=2．11某一无记忆信源的符号集为{}0,1，已知01/4p =，13/4p =。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
第二章 信源熵-习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生）P(X)0.250.75设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ）y 2（身高<160cm ）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log)()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x pbit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bitCx p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？男士： symbolbit x p x p X H bitx p x I x p bit x p x I x p ii i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X，求这个信源的熵，并解释为什么H(X) >log6不满足信源熵的极值性。
信息论与编码习题与答案第二章
第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论第二章答案(南邮研究生作业).doc
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：(1)“3和5同时出现”这事件的自信息量。
(2)“两个1同时出现”这事件的自信息量。
(3)两个点数的各种组合（无序对）的熵或平均信息量。
(4)两个点数之和（即2，3，…，12构成的子集）的熵。
(5)两个点数中至少有一个是1的自信息。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2 设有一离散无记忆信源，其概率空间为[]⎥⎦⎤⎢⎣⎡=====8/14/14/18/332104321x x x x P X（1） 求每个符号的自信息量；（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。
彭代渊王玲-信息论与编码理论-第二章习题解答
I ( X ; Y ) H ( X ) H ( X | Y ) 1 0.81 0.19bit / 符号 I (Y ; Z ) H (Y ) H (Y | Z ) 1 0.87 0.13bit / 符号
第2章
信息的度量
第 2 章 信息的度量
2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为 5”或“面朝上点数 之和为 8”或“两骰子面朝上点数是 3 和 6”时，试问这三种情况分别获得多少信息量？ 解： 某一骰子扔得某一点数面朝上的概率是相等的，均为 1/6，两骰子面朝上点数的状态共 有 36 种,其中任一状态出现都是等概率的,出现概率为 1/36。设两骰子面朝上点数之和为事 件 a，有： ⑴ a=5 时，有 1+4，4+1，2+3，3+2，共 4 种，则该事件发生概率为 4/36=1/9，则信息 量为 I(a)=-logp(a=5)=-log1/9≈3.17(bit) ⑵ a=8 时， 有 2+6， 6+2， 4+4， 3+5， 5+3， 共 5 种， 则 p(a)=5/36,则 I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则 I(a)=-log1/18≈4.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含 有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得 多少信息量（假设已知星期一至星期日的排序）？ 解： 设“明天是星期几”为事件 a： ⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit) 2.3 居住某地区的女孩中有 20%是大学生， 在女大学生中有 80%是身高 1 米 6 以上的， 而女孩中身高 1 米 6 以上的占总数的一半。假如我们得知“身高 1 米 6 以上的某女孩是大学 生”的消息，求获得多少信息量？ 解： 设“居住某地区的女孩是大学生”为事件 a，“身高 1 米 6 以上的女孩”为事件 b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5， 则“身高 1 米 6 以上的某女孩是大学生”的概率为：
信息论第二章课后习题解答
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率 为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概 率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以 像素均是独立变化，且每一像素又取128个不同的亮度电平，并 设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少 （假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描 述此图像，广播员在口述中至少需用多少汉字？
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白 黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的 概率为P(白)=0.7。 （1） 假设图上黑白消息出现前后没有关联，求熵H(X) ； （2） 假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马 尔克夫信源的熵H2 。 （3） 分别求上述两种信源的冗余度，并比较H(X)和H2的大小， 并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所 示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为： （3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确 定性减弱。有依赖时前面已是白色消息，后面绝大多数可能 是出现白色消息；前面是黑色消息，后面基本可猜测是黑色 消息。这时信源的平均不确定性减弱，所以信源消息之间有 依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明 信源熵正是反映信源的平均不确定的大小。而信源剩余度正 是反映信源消息依赖关系的强弱，剩余度越大，信源消息之 间的依赖关系就越大。
信息论第2章作业
第2章作业1． 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？2． 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：信息量：比特3． 设离散无记忆信源123401233/81/41/41/8X a a a a P ====⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，其发出的消息为（202120130213001203210110321010021032011223210），求（1） 求每个符号的自信息量；（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032有一信源输出X∈{0,1,2}，其概率为p0=1/4，p1=1/4，p2=1/2。
设计两个独立实验去观察它，其结果为Y1∈{0,1}和Y2∈{0,1}。
已知条件概率为P(Y1|X) 0 1 P(Y2|X) 0 10 1 0 0 1 01 0 1 1 1 02 1/2 1/2 2 0 1 求：1)I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。
2)I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关于X的信息。
3)I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。
);(21Y Y X I - I(X;Y 2)=1.5-1=0.5 bit/sym故做Y 1和Y 2两个实验比做Y 1或Y 2中的一个实验各可多得1 bit/sym 和0.5 bit/sym 。
（3）);(21Y Y X I =)(2Y X H －)(21Y Y X H=[][]);()();()(212Y Y X I X H Y X I X H ---=);();(221Y X I Y Y X I -=0.5 bit/sym 同理，得出);(12Y Y X I =);();(121Y X I Y Y X I -=1 bit/sym结果说明，在做完实验Y 1或Y 2的条件下再做第二个实验，并没有获得更多的信息，因为Y 1和Y 2相互独立，没有任何关联。
信息论与编码第二版第2章习题答案
2 3 4 5 6 7 8 9 10 11 12 X 1 1 1 1 5 1 5 1 1 1 1 = P ( X ) 36 18 12 9 36 6 36 9 12 18 36 H ( X ) = −∑ p ( xi ) log p ( xi )
画出状态图，并计算各状态的稳态概率。 解： p (0 | 00) = p (00 | 00) = 0.8
p (0 | 01) = p (10 | 01) = 0.5 p (0 |10) = p (00 |10) = 0.5 p (1| 01) = p (11| 01) = 0.5 p (1|10) = p (01|10) = 0.5
15 25 35 45 55 65
16 26 36 46 56 66
1 1 1 × = 6 6 36
1 1 1 × = 6 6 18
1 1 1 1 H ( X ) = −∑ p ( xi ) log p ( xi ) = − 6 × log + 15 × log = 4.337 bit / symbol 36 18 18 36 i
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为： p (0 | 00) =0.8， p (0 |11) =0.2，
p (1| 00) =0.2， p (1|11) =0.8， p (0 | 01) =0.5， p (0 |10) =0.5， p (1| 01) =0.5， p (1|10) =0.5。
87.81 = 1.95 bit/符号 45
2-14 (1)
P(ij)=
P(i/j)=
(2) 方法 1:
信息论第二章习题
（3） H（X1X2…X100）=H(X1)+H(X2)+…+H(X100)=100H(X) =100×0.81=81比特
已知一个马尔可夫信源，转移概率为p(s1/s1)=2/3, p(s2/s1)=1/3, p(s1/s2)=1, p(s2/s2)=0,试画出状态转移图并求信源熵
解：
2 P 3 1
p(a1/b2) I (a1;b2)=log p(a1)
P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2)
=ε*1/2 + (1-ε)*(1/2) =1/2
P(a1,b2)= P(b2/a1)*P(a1)= 1/2* ε P(a1/b2)=P(a1,b2)/ P(b2)=ε
已知信源发出a1和 a2，，且p(a1)=p(a2)=1/2,在信道上传输时， 传输特性为p(b1/a1)=p(b2/a2)=1-ε, p(b1/a2)=p(b2/ a1)=ε,求互信 息量 I(a1；b1)和I (a1；b2)
解： p(a 1/b1) p(a 1/b1) I(a1;b1)=log =log
（3） P（红）=P（白）=P（蓝）=P（黄）=1/4
所以 H（X）= 4 x （ 1 log 2 1）
4 4
= 2比特/球
一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)=1/4, p(2)=1/4, p(3)=1/8,求60个符号构成的消息 所含的信息量和平均信息量。
解： 平均信息量 H(X)=3/8log2(8/3)+2/4log24+1/8log28 =1.905比特/符号 信息量 H1(X)=60*1.905=114.3比特
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章作业
1． 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为
8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？
2． 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中
身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
信息量：
比特
3． 设离散无记忆信源123401233/81/41/41/8X a a a a P ====⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣⎦
，其发出的消息为（202120130213001203210110321010021032011223210），求
（1） 求每个符号的自信息量；
（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032
有一信源输出X∈{0,1,2}，其概率为p0=1/4，p1=1/4，p2=1/2。
设计两个独立实验去观察它，其结果为Y1∈{0,1}和Y2∈{0,1}。
已知条件概率为
P(Y1|X) 0 1 P(Y2|X) 0 1
0 1 0 0 1 0
1 0 1 1 1 0
2 1/2 1/2 2 0 1 求：
1)I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。
2)I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关
于X的信息。
3)I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。
);(21Y Y X I - I(X;Y 2)=1.5-1=0.5 bit/sym
故做Y 1和Y 2两个实验比做Y 1或Y 2中的一个实验各可多得1 bit/sym 和0.5 bit/sym 。
（3）);(21Y Y X I =)(2Y X H －)(21Y Y X H
=[][]);()()
;()(212Y Y X I X H Y X I X H ---
=);();(221Y X I Y Y X I -=0.5 bit/sym 同理，得出);(12Y Y X I =);();(121Y X I Y Y X I -=1 bit/sym
结果说明，在做完实验Y 1或Y 2的条件下再做第二个实验，并没有获得更多的信息，因为Y 1和Y 2相互独立，没有任何关联。
5． 为了传输一个由字母A 、B 、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序
列，以00代表A,01代表B,10代表C,11代表D 。
每个二元码脉冲宽度为5ms 。
（1） 不同字母等概率出现时，计算传输的平均信息速率？
（2） 若每个字母出现的概率分别为p A =1/5，p B =1/4，p C =1/4，p D =3/10，试计算传输
的平均信息速率？
(1) 因为A,B,C,D 四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为=2bit/ms=200bit/s
(2) 信源熵为 H(X)=
传输的平均信息速率为
=0.198bit/ms=198bit/s
6． （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和
10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s ）。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。
解：（1）需要5×105个像素和10个不同亮度电平，则可能出现的不同画面为5
10510
⨯
每个画面等概率出现，P=1/5
10510⨯
每帧图像的熵 H(X)= Log(5
10510
⨯)=5×5
10﹒Log10=1.66×6
10比特
．若有二个串接的离散信道，它们的信道矩阵都是
0010001⎡⎤
⎢⎥
11．有一个一阶平稳马尔可夫链X1，X2,……X r……，各X r取值于集合A={a1,a2,a3}。
已知起始概率p(X r)为p1=1/2，p2=p3=1/4，转移概率如下。
j
1 2 3
i
1 1/
2 1/4 1/4
2 2/
3 0 1/3
3 2/3 1/3 0
（1）求(X1,X2,X3)的联合熵和平均符号熵。
（2）求这个链的极限平均符号熵。
（3）求H0，H1，H2和它们所对应的冗余度。
21.0585
.1251
.11100=-=-
=∞H H R 115.0414.1251.11111=-=-
=∞H H R 0251
.1251
.11122=-=-
=∞H H R 11．设有一个马尔可夫信源，它的状态集为{s 1,s 2,s 3}，符号集为{a 1,a 2,a 3}，及在某状态下发
符号的概率为P(a k/ s i )(i,k=1,2,3),如图所示。
（1）求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。
（2）计算信源处在某一状态下输出符号的条件熵H (X /S =j )(j= s 1,s 2,s 3)。
（3）求出马尔可夫信源熵∞H 。
a 3
:1/2
a 2
:1/2
a 1
:1
a 3
:1/4
a 2
:1/4
a 1
:1/2
S 1
S 2
S 3。