信息论与编码习题与答案第二章
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码第二章课后习题答案
因此，必须称的次数为
因此，至少需称 3 次。
I1 = log 24 ≈ 2.9 次 I 2 log 3
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + pL log pL
− q1 log q1 − q2 log q2 − K − qm log qm
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + (q1 + q2 + q3 + L + qm ) log pL
H ( X ) − H (X ′) = ( p1 − ε ) log( p1 − ε ) + ( p2 + ε ) log( p2 + ε ) − p1 log p1 − p2 log p2
令
f
(x)
=
( p1
−
x) log( p1
−
x) +
( p2
+
x) log( p2
+
x)
，
x ∈ 0,
A
已落入，B
落入的格可能有
47
个，条件概率
P(b j
|
ai )
均为
1 47
。平均自信息量为
48 47
∑ ∑ H (B | A) = −
《信息论与编码》习题解答-第二章
《信息论与编码》习题解答第二章 信源熵-习题答案2-1解：转移概率矩阵为：P(j/i)=，状态图为：⎪⎩⎪⎨⎧==∑∑j jj ij ii W W P W 1，⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=++=+=++=1323221313121321233123211W W W W W W W W W W W W 解方程组求得W=2-2求平稳概率符号条件概率状态转移概率解方程组得到 W=2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解： (1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P Xii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-4(4)2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
信息论编码与基础课后题(第二章)
第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ） 的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。
最新信息论与编码习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特 2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论与编码习题解答(待校200812)
（有问题请更正并通知xiezg@ ）第二章 信息的度量1． 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。
解：（1）从240颗珠子中取3颗，含1颗假珠的概率为（2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量为0。
（3）按照shannon 对信息量的定义，只有事件含有不确知成分，才有信息量，且不确知成分越大，信息量越大，必然事件则没有信息量。
但从广义信息论来说，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也应该含有一定的信息量。
2．每帧电视图像可以认为是由3⨯105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。
问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：设电视图像每个像素取128个不同的亮度电平，并设电平等概率出现，则每个像素亮度含有的信息量为7128)(H ==lb X 比特/像素一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N 次扩展信源。
得每帧会图像含有的信息量为6101.2)()(⨯==X NH X H N比特/每帧广播口述时，广播员是从10000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇中每个汉字含有的信息量29.131000)(==lb Y H 比特/字广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述的。
信息论与编码理论第二章习题答案(王育民)
部分答案，仅供参考。
2.1信息速率是指平均每秒传输的信息量点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log （21/5）≈2.07bit ； 6点：2/7，log(7/2)≈1.81bit 平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10；P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625 I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+======0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit(b) 由于P(Z=1/ Y=1)=1, 所以 P （Y=1，Z=1/X=1）= P （Y=1/X=1）=0.5 P （Y=1，Z=1/X=0）= P （Y=1/X=0）=0.1那么P （Z=1/X=1）= P （Z=1,Y=1/X=1）+ P （Z=1,Y=0/X=1）=0.5+ P （Z=1/Y=0，X=1）P （Y=0/X=1）=0.5+0.5*0.4=0.7P(Z=1/X=0)= P （Z=1,Y=1/X=0）+ P （Z=1,Y=0/X=0）=0.1+P(Z=1/Y=0，X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46P （Z=1,X=1）= P （Z=1/X=1）*P(X=1)=0.7*0.25=0.175 P （Z=1,X=0）= P （Z=1/X=0）*P(X=0)= 0.46*0.75=0.345 P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====xx )P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit(c)H （X ）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bit H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bitH(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bitP(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05 P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075 P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log 0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit2.9 解：A ，B ，C 分别表示三个筛子掷的点数。
信息论与编码第二章习题参考答案
2.1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现”事件的自信息量； （2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量； （4）两个点数之和（即2，3，…，12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。
解：（1）一个骰子点数记为X ，另一个骰子的点数记做Y ，X 、Y 之间相互独立，且都服从等概率分布，即同理一个骰子点数为3，另一个骰子点数为5属于组合问题，对应的概率为181616161613Y Py 5X Px 5Y Py 3X Px P 1=⨯+⨯===+===）（）（）（）（对应的信息量为比特）（）（17.4181-lb P -I 11===lb（2）两个骰子点数同时为1的概率为）（）（3611Y Py 1X Px P 2==== 对应的信息量为比特）（）（17.5361-lb P -I 22===lb（3）各种组合及其对应的概率如下,6,5,4,3,2,1Y X 3616161Y X P ===⨯==）（共6种可能18161612Y X P =⨯⨯=≠）（ 共有15种可能因此对应的熵或者平均自信息量为34.418118115-3613616-H 1=⨯⨯⨯⨯=）（）（lb lb 比特/符号 （4）令Z=X+Y ，可以计算出Z 对应的概率分布如下对应的熵为符号比特）（）（）（）（）（）（）（/1.914366366-3653652-3643642-3633632-3633632-3623622-361361-2H 1=⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯⨯=lb lb lb lb lb lb lb （5）X 、Y 相互独立，所以联合熵为比特）（）（597.06162Y X,I =⨯=lb2.2 设在一只布袋中装有100个大小、手感完全相同的球，每个球上涂有一种颜色。
100个球的颜色有下列3种情况：（1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
信息论与编码理论习题答案
足下式
（a）在=0、０５,=0、1 下求 (b）在＝，＝下求 （c)令就是序列得集合，其中
试求Ｌ=时情况（a)(b）下,T 中元素个数得上下限. 解：＝==０、８１ bit
= ＝=—
= =0、471 则根据契比雪夫大数定理
0、2
00１
10０
a４
0、１
０00１
10００
(a) 各码就是否满足异字头条件？就是否为唯一可译码？
(b) 当收到 1 时得到多少关于字母 a 得信息？
(c) 当收到 1 时得到多少关于信源得平均信息?
２、14 对于任意概率事件集 X，Y,Z，证明下述关系式成立 (ａ）＋,给出等号成立得条件 (ｂ）=+ （c）
证明：(b) =-
=＝—-
=+ (c) ＝-
=［—］ [-］
＝—
= 当=，即Ｘ给定条件下，Y 与 Z 相互独立时等号成立 (ａ） 上式(ｃ)左右两边加上，可得 ＋＋ 于就是+ ２、2８ 令概率空间，令 Y 就是连续随机变量。已知条件概率密度为 ，求： (a)Y 得概率密度 (ｂ) （ｃ) 若对 Y 做如下硬判决
求，并对结果进行解释. 解：（a) 由已知,可得
= ＝
＝＋
= （ｂ) ==2、５ bｉt
=
= =2 bｉt =-＝0、5 ｂit （c) 由可得到Ｖ得分布律
Ｖ
—１
p
1/4
再由可知
V
－1
p(V|x=－１）
１/2
p(V｜x=1）
0
bｉt
=1 bit ＝= 0、5 bit
０ 1/2
0 1/2 1/2
信息论与编码习题与答案第二章
第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论与编码课后习题答案
信息论与编码课后习题答案第二章2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.42.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r rr r ⎛⎫⎛⎫⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？（3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？解：联合概率(,)i j p x y 为 22221(,)(,)log (,)724112log 4log 24log 4247244i j i j ijH X Y p x y p x y ==⨯+⨯+∑=2.3bit/符号X 概率分布 21()3log 3 1.583H Y =⨯=bit/符号(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- Y 概率分布是 =0.72bit/符号 Y y1 y2 y3 P8/248/248/242.15P(j/i)=2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的Y X y1y 2 y 3 x 1 7/24 1/24 0 x 2 1/24 1/4 1/24 x 31/247/24X x 1 x 2 x 3 P8/248/248/24出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
信息论与编码习题解答(待校200812)
（有问题请更正并通知xiezg@ ）第二章 信息的度量1． 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。
解：（1）从240颗珠子中取3颗，含1颗假珠的概率为（2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量为0。
（3）按照shannon 对信息量的定义，只有事件含有不确知成分，才有信息量，且不确知成分越大，信息量越大，必然事件则没有信息量。
但从广义信息论来说，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也应该含有一定的信息量。
2．每帧电视图像可以认为是由3⨯105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。
问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：设电视图像每个像素取128个不同的亮度电平，并设电平等概率出现，则每个像素亮度含有的信息量为7128)(H ==lb X 比特/像素一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N 次扩展信源。
得每帧会图像含有的信息量为6101.2)()(⨯==X NH X H N比特/每帧广播口述时，广播员是从10000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇中每个汉字含有的信息量29.131000)(==lb Y H 比特/字广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述的。
《信息论与编码》第二章习题解答
H (Z Y ) = H ( X3)= H(X )= 2.585 bit
H (X |Y ) = H (X ) + H(Y X ) − H(Y ) = H (X ) + H( X 2 ) − H(Y )
I (X ;Y ) =
p(x , y )log
xy
p( x)
2
2
在上式求和中，使 p(x, y) ≠ 0 的输入，输出对
3
3
4
4
（x, y）可分为 3 类：
5
5ห้องสมุดไป่ตู้
6 7
6 7
S1 = {(0,0), (2,2), (4,4),(6,6),(8,8)}
8 9
8 9
S2 = {(1,1),(3,3), (5,5),(7,7),(9,9)}
在已知第一位数字下，第二位数字携带信息为 H (Y | X ) = 0.75H(0.1,0.9) + 0.25H (0.5,0.5)
=0.602 bit
在已知前二位数字下，第三位数字携带信息为：
H (Z | X ,Y ) = H (Z | Y )
（因为 X→Y→Z）
= 0.2H(1) + 0.8H(0.4,0.6)
=0.158 bit
2.3 在某中学有 3 学生通过了考试， 1 学生没有通过。在通过考试的同学中 10%有自行
4
4
车，而没有通过的学生中 50%有自行车，所有有自行车的同学都加入了联谊会，
无自行车的同学中仅有 40%加入联谊会。
a. 通过询问是否有自行车，能获得多少关于学生考试成绩的信息？
信息论与编码第二版第2章习题答案
2 3 4 5 6 7 8 9 10 11 12 X 1 1 1 1 5 1 5 1 1 1 1 = P ( X ) 36 18 12 9 36 6 36 9 12 18 36 H ( X ) = −∑ p ( xi ) log p ( xi )
画出状态图，并计算各状态的稳态概率。 解： p (0 | 00) = p (00 | 00) = 0.8
p (0 | 01) = p (10 | 01) = 0.5 p (0 |10) = p (00 |10) = 0.5 p (1| 01) = p (11| 01) = 0.5 p (1|10) = p (01|10) = 0.5
15 25 35 45 55 65
16 26 36 46 56 66
1 1 1 × = 6 6 36
1 1 1 × = 6 6 18
1 1 1 1 H ( X ) = −∑ p ( xi ) log p ( xi ) = − 6 × log + 15 × log = 4.337 bit / symbol 36 18 18 36 i
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为： p (0 | 00) =0.8， p (0 |11) =0.2，
p (1| 00) =0.2， p (1|11) =0.8， p (0 | 01) =0.5， p (0 |10) =0.5， p (1| 01) =0.5， p (1|10) =0.5。
87.81 = 1.95 bit/符号 45
2-14 (1)
P(ij)=
P(i/j)=
(2) 方法 1:
信息论与编码习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论与编码第二章习题及答案(清华大学出版社)
2-1、一阶马尔可夫链信源有3个符号{}123,,u u u ，转移概率为：1112()u p u=，2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：1/21/20[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦状态转换图为：12S112 13 13S2 23 S3 令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W =121W +132W +133W ， 2W=121W +233W , 3W =232W 且：1W +2W +3W =1∴稳态分布概率为：1W =25，2W =925，3W = 6252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。
1111221331441132112222332442133113223333443244114224334444240.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14p p p p ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。
信息论与编码习题解答(待校200812)
（有问题请更正并通知xiezg@ ）第二章 信息的度量1． 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。
解：（1）从240颗珠子中取3颗，含1颗假珠的概率为（2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，是必然事件，因此信息量为0。
（3）按照shannon 对信息量的定义，只有事件含有不确知成分，才有信息量，且不确知成分越大，信息量越大，必然事件则没有信息量。
但从广义信息论来说，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也应该含有一定的信息量。
2．每帧电视图像可以认为是由3⨯105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。
问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：设电视图像每个像素取128个不同的亮度电平，并设电平等概率出现，则每个像素亮度含有的信息量为7128)(H ==lb X 比特/像素一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N 次扩展信源。
得每帧会图像含有的信息量为6101.2)()(⨯==X NH X H N比特/每帧广播口述时，广播员是从10000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇中每个汉字含有的信息量29.131000)(==lb Y H 比特/字广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述的。
信息论编码与基础课后题第二章
信息论编码与基础课后题(第二章)————————————————————————————————作者：————————————————————————————————日期：第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ）的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2-9 国际莫尔斯电码用点和划的序列发送英文字母，划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。
其划出现的概率是点出现概率的1/3，计算： （1）点和划的信息量；（2）点和划的平均信息量。
解：“－”出现的概率是“∙”出现概率的1/3 ∴i43)(p =∙ 41)(p =-(1) I(∙)＝Log 43⎛ ⎝⎫⎪⎭0.415= I(-)=Log 4()2= (2) H= 14Log 4()34Log 43⎛ ⎝⎫⎪⎭+0.811= 2-10 在一个袋中放5个黑球、10个白球，以摸一个球为一次实验，摸出的球不在放进去。
求：（1）一次实验包含的不确定度；（2）第一次实验X 摸出的是黑球，第二次实验Y 给出的不确定度； （3）第一次实验X 摸出的是白球，第二次实验Y 给出的不确定度； （4）第二次实验Y 包含的不确定度。
解：(2) P(黑/黑)= P(白/黑)=6.801014log 1410414log 144/(=+=黑）Y H(3) P(黑/白)= P(白/白)=H(Y/白)=(4)311441551451510)(p =⨯+⨯=黑3214101551491510(p =⨯+⨯=白）H(Y)=2-14 在一个二进制信道中，信源消息}1,0{∈X ，且p(1)=p(0),信宿的消息}1,0{∈Y ,信道传输概率4/1)01(===x y P ，8/1)10(===x y P 。
求：（1）在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息量I(X;y=0);（2）该情况所能提供的平均互信息量I(X;Y)。
解：(1)P(ij)= P(i/j)=408.0)1()01(log)01()0()00(log )00()()0(log)0(0;(======+==========∑x p y x p y x p x p y x p y x p p y p y p y X I x x x i i i i）(2) 方法1:=方法2:2-15 已知信源发出a1和a2两种消息，且p(a1)=p(a2)=1/2,此消息在二进制对称信道上传输，信道传输特性为εε==-==)12()21(,1)22()11(a b p a b p a b p a b p 。
求互信息量I(a1;b1)和I(a1;b2)。
解：信道转移概率矩阵为 P(j/i)=εε-=-=⋅=121)1(21)1()11()1()11(b p a b p a p b a p)]1(2log[)1()11(log)1;1(ε-==a p b a p b a Iεε==⋅=2121)2()12()1()21(b p a b p a p b a p)2log()1()21(log)2;1(ε==a p b a p b a I2.17 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解：1)sybit X NH X H symbolbit n X H N / 101.27103)()(/ 7128log log )(6522⨯=⨯⨯=====2)symbolbit X NH X H symbolbit n X H N/ 13288288.131000)()(/ 288.1310000log log )(22=⨯=====3)158037288.13101.2)()(6=⨯==X H X H N N2-26 一个信源发出二重符号序列消息（X1，X2),其中第一个符号X1可以是A,B,C 中的一个，第二个符号X2可以是D,E,F,G 中的一个。
已知各个()x i p 1为p(A)=1/2,p(B)=1/3,p(C)=1/6;各个)(12x x i j p 值列成如下。
求这个信源的熵（联合熵H(X1;X2)）。
xj2xi1ABC D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G1/43/101/6解： P(i)= P(ij)=H(X1;X2)=。