信息论习题解答
信息论习题分析
［例2.1.4条件爛］已知X, Ye{O,l},XY 构成的联合 概率为:p (00) =p(ll) =1/8, p (01) =p (10) =3/8,计算条 件爛 H (X/Y) o解：根据条件爛公式：m nH (X /y )= -XE 〃(兀儿)bg 2 pg / yjJ=l i=l心儿)P(yj)2首先求p (儿) =儿)，有i=\3 1P (o )= p()i =o )== 00) + p(x 2y } =10) = - + - = co o同理可求得 P (1) = p(y 2 =1) = - 2从而有：p(00) _ =00) _ 1/8 _ 1 _P (0) P ()i 二 0) 1/2 43M/s 吒,H (x/Y)二-p(00)log2 p(0/0)- —p(0l)log2 p(0/I)- p(l 0)log2 pQ /0)-p(l 1) log2卩(1/l) --lo^---log.- x2 = 0.406 I 8切4 8切4丿p(0/0)二 p(x,二 0/开=0)=(bit!symbol )［例2. 1. 5］将已知信源忙v l = E ：」接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声爛H(Y/X)和联合嫡H(XY)。
解：(1)由P(x i y j) = p(x i)p(y j /x, ),求出各联合概率:p(Xj ) = p(Xj) p(y)/ £)二0.5 x 0.98 = 0.49/?(%( y2) = p(x{)p(y2 / X]) = 0.5 x 0.02 = 0.01p(x2 y ])二p(x2) p()\/X2)=0.5X 0.20 二0.10 p(x2y2) = p(x2 )p(y 2 /x2) = 0.5 x 0.80 = 0.40(2)由3) = 0(卩),得到Y集各消息概率：(=12〃()'])=£ P(I)= P(x\ y I)+ P(勺)?1)= °49 + 0.10 = 0.59 1=1卩(为)二1-P()i)二1-0・59 二0.41(3)由心/儿x竺2，得到X的各后验概率:P(x i/y i) =P(兀2 / 开)=1 - Pdi/y1) = 0.169同样可推出P(N /y2) = 0.024, p(x2 /y2) = 0.976(4)H(X)Sp(x l)log2p(x i) = -{0.5log20.5+ 0.5log20.5) = 1(比特/符号)f=l2H(Y) = -X/X)\)log2P(>\) = -{0.59log? 0.59 +0.41 log2 0.41}J=I二0.98(比特/符号)H(XY) = -工工p(“yj) log2 p(“儿)/=! ./=!=-{0.49 log 2 0.49 + 0.01 log 7 0.01 + 0.10 log. 0.10 + 0.40 log 2 0.40}二1.43 (比特/符号)(5)平均互信息/(X;Y) = H(X) + H(Y) -H(XY) = 1 + 0.98 -1.43 = 0.55(t匕特/符号)(6)疑义度2 2H(X /y) = 2^p(x i yJ)log2〃(“/儿)Z=1 J=l二-{0.49log2 0.831 + 0.01 log2 0.024 + 0.101og2 0.169 + 0.40log2 0.976} = 0.45(比特/符号)(7)噪声爛2 2H (Y/X) = —££/心,儿)log2 P(儿/")/=1 J=1=-{0.49 log2 0.98 + 0.01 log 2 0.02 + 0.10 log 2 0.20 + 0.40 log 20.80} = 0.43(比特/符号)［例2. 2. 1］有一离散平稳无记忆信源3工Pd)= i,求此信源的二次扩展P(X)信源的嫡。
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论课后习题答案
第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。
答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。
信道容量C 是保证无差错传输时，信息传输率R 的权限值。
6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。
表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。
6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。
6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。
()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。
但并非概念定义一致。
6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。
1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。
（2）若信源等概分布，求最佳判决译码及错误概率。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
彭代渊王玲-信息论与编码理论-第二章习题解答精选全文
1第2章 信息的度量2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit) 平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，2且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
信息论复习题
• 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？• 答：平均自信息为• 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
• 平均互信息•表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m 个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
• 最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
4.解释无失真变长信源编码定理。
答：只要 ，当N 足够长时，一定存在一种无失真编码。
5.解释有噪信道编码定理。
• 答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
6.离散平稳信源• 答：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。
7.即时码答：如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出，这种码称为即时码。
8.信道容量答：信息能够可靠传输的最大信息传输速率。
9.信源信道编码定理• 答：设有一离散无记忆平稳信道的每秒容量为C ，一个离散信源每秒的熵为H ，那么，如果H < C ，总存在一种编码系统，使得信源的输出以任意小的错误概率通过信道传输；反之，如果H > C 时，对任何编码编码系统，译码差错率>010.信道疑义度• 答：设信道的输入与输出分别为X 、Y ，定义条件熵H(X/Y)为信道疑义度。
它有如下含义：• 信道疑义度表示接收到Y 条件下X 的平均不确定性；根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X 经信道传输后信息量的损失； 接收的不确定性由信道噪声引起，在无噪情况下，H(X/Y)=0。
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论答案完整版
2.7 为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00” 代表 A，“01”代表 B，“10”代表 C，“11”代表 D。每个二元码脉冲宽度为 5ms。
(1) 不同字母等概率出现时，计算传输的平均信息速率? (2) 若每个字母出现的概率分别为{1/5，1/4，1/4，3/10}，试计算传输的平均信息速率? 解：（1）不同字母等概率出现时，符号集的概率空间为：
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
解：同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，总共有 36 种可能的状态，每 种状态出现的概率都是 1/36。 （1）设“3 和 5 同时出现”为事件 A。则在 36 种状态中，有两种可能的情况，即 5+3 和 3+5。则
P( A) = 2 / 36 I ( A) = − log P( A) = log2 18 ≈ 4.17(比特)
（2）此消息中共有 45 个信源符号，携带了 87.81 比特信息量，因此，此消息中平均每个符号携带的信 息量为
I2 = 87.81/ 45 ≈ 1.95(比特)
2.4
信息论与编码第4章习题解答
《信息论与编码》第四章习题解答4.1 计算如下所示离散无记忆信道的容量： 习题4.1图［解］ （a ）信道概率转移矩阵为−−−−=δεδεεδδε11P ， 信道是准对称信道，因此在输入为等概分布时达到信道容量，即5.0)1()0(====X P X P 时达到信道容量。
这时δ5.05.0)0(−==Y P δ==)1(Y Pδ5.05.0)2(−==Y P相应的信道容量为);1();0(Y X I Y X I C ====∑==2)()0|(log)0|(j j p j p j p 0111-ε1-δε δ 00 121-ε-δ εδδ 1-ε-δ1ε0 221 0.5 δ 110.250.25 0.50.50 2 21-ε ε ε 1-ε1ε 11-ε 0 0 223/41/4 111/3 1/31/3 1/43/40 2 311/3 211/31/3 1/31/31/3 1/3 1/31/3 (c)(a)(b) (e)(f)(d)δεεδδδδδεδε5.05.0log log 5.05.01log)1(−++−−−−−=)5.05.0log()1(log )1log()1(δδεεδεδε−−−+−−−−= （b ）信道概率转移矩阵为=5.05.0025.025.05.0001P当5.0)2()0(====X P X P ，0)(=X P 时，5.0)0(==Y P ，25.0)1(==Y P ，25.0)2(==Y P1)()0|(log )0|();0(2===∑=j j p j p j p Y X I bit∑===2)()2|(log)2|();2(j j p j p j p Y X I 125.05.0log 5.025.05.0log 5.0=+= bit10);1(≤==Y X I ； 所以满足定理4.2.2条件，由达到信道容量充要条件可知，信道容量C =1 bit/次（c ）信道转移概率矩阵为−−−=εεεεεε101001P ，信道是对称信道，当输入为均匀分布时，即31)2()1()0(======X P X P X P 时，达到信道容量。
信息论习题集+答案(完版整)
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66）8、连续信源 （68）9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138） 16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181） 19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184） 22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195） 25、循环码 （213） 二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论第三版课后答案
信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。
求：（1）信源x中事件x1,和x2分别含有的自信息。
（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3）信源x和信源y的信息熵。
（4）信道疑义度h（x|y）和噪声熵h（y|x）。
（5）接收到消息y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74biti（x2）= －log0.4=1.32biti（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]= log[p（yj|xi）/p（yj）]则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit（3）由定义显然 h（x）=0.97095bit/符号h（y）=0.72193bit/符号（4）h（y|x）=?22p（xy）log[1/p（y|x）]=??i?1j?1p（xi）p（yj|xi）log[1/p（yj|xi）]h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。
信息论——习题解答
(2)
1 3 p ( xi ) 4 4
m
100 m
3
100 m 100
4
3
100 m 100
I ( xi ) log p ( x i ) log
4
41.5 1.585 m bit
(3)
H (X
100
) 100 H ( X ) 100 0 .811 81 .1 bit / symbol
i 2
x 忙 x 2闲 1 63 40 P( X ) 103 103 63 40 40 63 p ( xi ) log p ( x i ) log log 0.964 bit / symbol 103 103 103 103 X
2
P
(2) H p ( ei ) H ( X / ei )
i
3
1 3
H ( p, p)
1 3
H ( p, p)
1 3
H ( p, p)
H ( p, p)
p log p p log p
bit / symbol
2.18每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化， 且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图 像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字 来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉 字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在 口述中至少需要多少汉字？ 解：(1)
(2) 设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z
信息论导论--CH3习题及答案
3.1 随机电压信号()U t 在各不同时刻上是统计独立的，而且，一阶概率密度函数是高斯的、均值为0，方差为2，试求：（1）密度函数();f u t 、()1212,;,f u u t t 和()1212,,...,;,,...,k k f u u u t t t ，k 为任意整数；（2）()U t 的平稳性。
3.1解：(1)21(;)exp{}4u f u t =- 1,2121,12,22212(;,)()()1exp{}44f u u t t f u t f u t u u π=+=-1,212,121(,,;,,)()1exp{}4k k k i i i k i i f u u u t t t f u t u ====-∏∑(2)由于任意k 阶概率密度函数与t 无关，因此它是严平稳的。
也是严格循环平稳的；因为是高斯随机信号，所以()U t 也是广义平稳的和广义循环平稳的。
3.23.33.4 已知随机信号()X t 和()Y t 相互独立且各自平稳，证明新的随机信号()()()Z t X t Y t =也是平稳的。
3.4解：()X t 与()Y t 各自平稳，设[()]X m E X t =， [()]Y m E Y t =，()[X()X()]X R E t t ττ=+，()[Y()Y()]Y R E t t ττ=+Z ()[Z()][()Y()][()][()]X Ym t E t E X t t E X t E Y t m m ===⨯=，为常数 (,)[Z()Z()][()Y()()Y()][X()()][Y()()]()()()Z X Y Z R t t E t t E X t t X t t E t X t E t Y t R R R τττττττττ+=+=++=+⋅+=⋅= ∴()Z R τ仅与τ有关，故Z()()Y()t X t t =也是平稳过程。
3.5 随机信号()()010sin X t t ω=+Θ，0ω为确定常数，Θ在[],ππ-上均匀分布的随机变量。
信息论课后习题解答
问男，回答“否”所获得的信息量为：
男，平均回答中含有的信息量为：
同样，女为红绿色盲的概率空间为 问女，回答“是”所获昨的信息量为： 问女，回答“否”所获昨的信息量为： 女，平均回答中含有的信息量为
【2.12】 （1）为了使电视图像获得良好的清晰度和规定的适 当的对比度，需要用 5×105个像素和10个不同亮度电平，求传 递此图像所需的信息率（比特/秒）。并设每秒要传送 30帧图 像，所有像素是独立变化的，且所有亮度电平等概率出现。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外， 还必须有30个不同的色彩度，试证明传输这彩色系统的信息率 要比黑白系统的信息率约大2.5倍。 解： （1）每个像素的电平取自10个不同的电平，形成的概率 空间为：
解： 每个像素的电平亮度形成了一个概率空间，如下：
平均每个像素携带的信息量为：
每帧图像由3×105个像素组成，且像素间是独立的，因此每帧图
像含有的信息量为：
平均每个汉字携带的信息量为 择1000字来描述，携带的信息量为
bit/sym; 选
需要汉字个数为：
【2.18】设有一信源，它在开始时以P(a)=0.6， P(b)=0.3, P(c)=0.1的概率发出X1。如果X1为a时，则 X2为 a、b、c 的概 率为1/3；如果X1为b时，则X2为 a、b、c 的概率为1/3；如果X1 为c时，则X2为a、b的概率为1/2，为c的概率为0。而且后面发 出Xi的概率只与Xi-1有关，又 。试用马尔克夫信源的图示法画出状态 转移图，并计算此信源的熵H∞。
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述状态转换图，设状态分别为
P(a)、P(b) 和P(c) ，
信息论基础 课后习题答案
信息论基础课后习题答案问题1问题：信息论的基本目标是什么？答案：信息论的基本目标是研究信息的传递、存储和处理的基本原理和方法。
主要关注如何量化信息的量和质，并通过定义信息熵、条件熵、互信息等概念来描述信息的特性和性质。
问题2问题：列举一些常见的信息论应用领域。
答案：一些常见的信息论应用领域包括：•通信领域：信息论为通信系统的性能分析和设计提供了基础方法，例如信道编码和调制调制等。
•数据压缩领域：信息论为数据压缩算法的研究和实现提供了理论依据，例如无损压缩和有损压缩等。
•隐私保护领域：信息论用于度量隐私保护方案的安全性和隐私泄露的程度，在隐私保护和数据共享中起着重要作用。
•机器学习领域：信息论被应用于机器学习中的特征选择、集成学习和模型评估等任务中，提供了许多有用的数学工具和概念。
•生物信息学领域：信息论被应用于分析DNA序列、蛋白质序列和生物网络等生物数据，发现其中的模式和规律。
问题3问题：信息熵是什么？如何计算信息熵？答案：信息熵是衡量一个随机变量的不确定性或信息量的度量值。
信息熵越大，表示随机变量的不确定性越高，每个可能的取值都相对等可能发生；反之，信息熵越小，表示随机变量的不确定性越低，某些取值较为集中或者出现的概率较大。
信息熵的计算公式如下所示：H(X) = -Σ P(x) * log2(P(x))其中，H(X) 表示随机变量 X 的信息熵，P(x) 表示随机变量X 取值为 x 的概率。
问题4问题：条件熵是什么？如何计算条件熵？答案：条件熵是在给定其他随机变量的条件下，一个随机变量的不确定性或信息量的度量。
条件熵基于条件概率定义，用于描述一个随机变量在给定其他相关随机变量的条件下的信息量。
条件熵的计算公式如下所示：H(Y|X) = -Σ P(x, y) * log2(P(y|x))其中，H(Y|X) 表示随机变量 Y 在给定随机变量 X 的条件下的条件熵，P(x, y) 表示随机变量 X 取值为 x 且随机变量 Y 取值为 y 的概率，P(y|x) 表示随机变量 Y 在给定随机变量 X 取值为x 的条件下取值为 y 的概率。
信息论基础(含习题与解答)
信息论基础（含习题与解答）
1.习题
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。
（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。
（3）请解释索引信息论。
索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。
它重点研究的是如何将信息可视化，以便用户可以快速找到需要的信息，同时有效地利用多个索引信息。
2.答案
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。
（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。
（3）请解释索引信息论。
索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。
它主要专注于通过设计有效的用户界面来提高信
息的有用性，实现信息的检索和可视化，以实现快速了解和分析信息资源。
它强调以用户为中心，基于支持知识管理和协作的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信息量与熵2、2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。
解:同步信息均相同,不含信息,因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此,信息速率为 6⨯1000=6000 bit/s2、3 掷一对无偏骰子,告诉您得到的总的点数为:(a) 7; (b) 12。
问各得到多少信息量。
解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1})(a p =366=61 得到的信息量 =)(1loga p =6log =2、585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=)(1logb p =36log =5、17 bit 2、4 经过充分洗牌后的一副扑克(52张),问:(a) 任何一种特定的排列所给出的信息量就是多少？(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量？解:(a) )(a p =!521 信息量=)(1log a p =!52log =225、58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13、208 bit2、9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一与第二颗骰子的点数之与,Z 表示3颗骰子的点数之与,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则1x X =,21x x Y +=,321x x x Z ++=)|(Y Z H =)(3x H =log 6=2、585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3、2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1、8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1、8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2、585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1、8955+2、585=4、4805 bit2、10 设一个系统传送10个数字,0,1,…,9。
奇数在传送过程中以0、5的概率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。
解:信道XY9,7,5,3,1=i 8,6,4,2,0=i √Χ);(Y X I =)(Y H -)|(X Y H因为输入等概,由信道条件可知,⎪⎪⎩⎪⎪⎨⎧=++++====101)8181818121(101)(101)(为偶数为奇数i i y p i i y p 即输出等概,则)(Y H =log 10)|(X Y H =)|(log )(i j jj i ix y p y x p ∑∑-=)|(log )(i j jij i x y p yx p ∑∑-偶-)|(log )(i j j i j i x y p y x p ∑∑奇=0-)|(log )(i j j i jix y p yx p ∑∑奇= -)|(log )|()(97,5,3,1i i i ii i x y p x yp x p ∑=，-)|(log )|()(97531i j j i i i jix y p x yp x p ∑∑≠，，，，＝=101⨯21log 2⨯5+101⨯21⨯41log 8⨯4⨯5 =4341+=1 bit);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5=2、3219 bit2、11 令{821,,u u u ，⋯}为一等概消息集,各消息相应被编成下述二元码字1u =0000,2u =0011,3u =0101,4u =0110,5u =1001,6u =1010,7u =1100,8u =1111通过转移概率为p 的BSC 传送。
求:(a)接收到的第一个数字0与1u 之间的互信息量。
(b)接收到的前二个数字00与1u 之间的互信息量。
(c)接收到的前三个数字000与1u 之间的互信息量。
(d)接收到的前四个数字0000与1u 之间的互信息量。
解:即)0;(1u I ,)00;(1u I ,)000;(1u I ,)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log 1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+-)0000;(1u I =42244)1(6)1()1(8log pp p p p +-+-- bit 2、12 计算习题2、9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
解:根据题2、9分析)(Z H =2(216log 2161+3216log 2163+6216log 2166+10216log21610+ 15216log 21615+21216log 21621+25216log 21625+27216log21627) =3、5993 bit);(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1、0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0、3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1、0143 bit )|;(X Z Y I =)|(X Z H -)|(XY Z H =)(Y H -)(X H =0、6894 bit )|;(Y Z X I =)|(Y Z H -)|(XY Z H =)(X H -)(X H =0 bit 2、14 对于任意概率事件集X,Y ,Z,证明下述关系式成立(a))|,(X Z Y H ≤)|(X Y H +)|(X Z H ,给出等号成立的条件 (b))|,(X Z Y H =)|(X Y H +),|(Y X Z H (c)),|(Y X Z H ≤)|(X Z H 证明:(b) )|,(X Z Y H =-∑∑∑xyzx yz p xyz p )|(log )(=-∑∑∑xyzxy z p x y p xyz p )]|()|(log[)(=-∑∑∑xyzx y p xyz p )|(log )(-∑∑∑xyzxy z p xyz p )|(log )(=)|(X Y H +)|(XY Z H (c) ),|(Y X Z H =-∑∑∑xyzxy z p xyz p )|(log )(=∑∑xyxy p )([-∑zxy z p xy z p )|(log )|(]≤∑∑xyxy p )([-∑zx z p x z p )|(log )|(]=-∑∑∑xyzx z p xyz p )|(log )(=)|(X Z H当)|(xy z p =)|(x z p ,即X 给定条件下,Y 与Z 相互独立时等号成立 (a) 上式(c)左右两边加上)|(X Y H ,可得)|(X Y H +),|(Y X Z H ≤)|(X Y H +)|(X Z H 于就是)|,(X Z Y H ≤)|(X Y H +)|(X Z H2、28 令概率空间⎥⎥⎦⎤⎢⎢⎣⎡-=21,211,1X ,令Y 就是连续随机变量。
已知条件概率密度为⎪⎩⎪⎨⎧≤-<-=其他,022,41)|(x y x y p ,求:(a)Y 的概率密度)(y ω (b));(Y X I(c) 若对Y 做如下硬判决⎪⎩⎪⎨⎧-≤⋯⋯-≤<-⋯⋯>⋯⋯=1,111,01,1y y y V求);(V X I ,并对结果进行解释。
解:(a) 由已知,可得)1|(-=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯else y 01341)1|(=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯elsey 03141)(y ω=)1(-=x p )1|(-=x y p +)1(=x p )1|(=x y p=⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧⋯⋯≤<⋯⋯≤<-⋯⋯-≤<-⋯⋯elsey y y 0318111411381(b) )(Y H C =⎰⎰---+⨯11134log 4128log 81=2、5 bit)|(X Y H C =⎰--=-=-=-13)1|(log )1|()1(dy x y p x y p x p⎰-===-31)1|(log )1|()1(dy x y p x y p x p=dy dy ⎰⎰----311341log 412141log 4121 =2 bit);(Y X I =)(Y H C -)|(X Y H C =0、5 bit (c) 由)(y ω再由5.14log 242log 2)(=⨯+=V H bit 2]2log 212log 21[21)|(⨯+=X V H =1 bit);(V X I =)|()(X V H V H -= 0、5 bit2、29 令)(1x Q 与)(2x Q 就是同一事件集U 上的两个概率分布,相应的熵分别为1)(U H 与2)(U H 。
(a)对于10≤≤λ,证明)(x Q =λ)(1x Q +)1(λ-)(2x Q 就是概率分布(b))(U H 就是相应于分布)(x Q 的熵,试证明)(U H ≥λ1)(U H +)1(λ-2)(U H 证明:(a) 由于)(1x Q 与)(2x Q 就是同一事件集U 上的两个概率分布,于就是)(1x q ≥0,)(2x q ≥0dx x q x⎰)(1=1,dx x qx⎰)(2=1又10≤≤λ,则)(x q =λ)(1x q +)1(λ-)(2x q ≥0dx x q x⎰)(=dx x q x⎰)(1λ+dx x qx⎰-)()1(2λ=1因此,)(x Q 就是概率分布。