第三版信息论答案
最新信息论与编码(第三版)
28
2.1.1 自信息
设离散信源X的概率空间为：
P X (x ) P ( a a 1 1 )
a 2 P (a 2)
a 3 ......a q P (a 3) .....P .(a q)
q
i 1
P(ai )
1
自信息量：事件ai发生所含有的信息量
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。
25
5）m阶马尔可夫信源（非平稳信源）
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得：
loga
X
logb X logb a
1 nat = 1.44bit , 1 hat = 3.32 bit；
1948年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
18
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵
a 2 P (a 2)
a 3 P (a 3)
信息论与编码第3版第3章习题解答
第3章 无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。
解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。
解：a i p (a i ) 编 码 码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
信息论答案
信息论答案2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
第三版信息论答案
【2.1】设有12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1 ；12“假币的重量比真的轻，或重”该事件发生的概率为P 1 ；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12 log 2 log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为I log 3 比特因此，必须称的次数为I1log 24I 2 log 32.9 次因此，至少需称3 次。
【延伸】如何测量？分3 堆，每堆4 枚，经过3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为P 1 16 61 ，该事件的信息量为：36I log 36 5.17 比特“两骰子总点数之和为8”共有如下可能：2 和6、3 和5、4 和4、5 和3、6 和2，概率为P 1 1 56 6 5 ，因此该事件的信息量为：36I log3652.85 比特“两骰子面朝上点数是3 和4”的可能性有两种：3 和4、4 和3，概率为P 因此该事件的信息量为：1 121 ，6 6 18I log18 4.17 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1 ，因此此时从答案中获得的信息量为7I log 7 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
信息论第3章课后习题答案
信息论第3章课后习题答案信息论是一门研究信息传输、存储和处理的学科。
它的核心理论是香农信息论，由克劳德·香农于1948年提出。
信息论的应用范围广泛，涵盖了通信、数据压缩、密码学等领域。
在信息论的学习过程中，课后习题是巩固知识、检验理解的重要环节。
本文将对信息论第3章的课后习题进行解答，帮助读者更好地理解和掌握信息论的基本概念和方法。
1. 证明：对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
首先，根据联合熵的定义，有H(X,Y)=-∑p(x,y)log2p(x,y)。
而熵的定义为H(X)=-∑p(x)log2p(x)和H(Y)=-∑p(y)log2p(y)。
我们可以将联合熵表示为H(X,Y)=-∑p(x,y)log2(p(x)p(y))。
根据对数的性质，log2(p(x)p(y))=log2p(x)+log2p(y)。
将其代入联合熵的表达式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))。
再根据概率的乘法规则，p(x,y)=p(x)p(y)。
将其代入上式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))=-∑p(x,y)log2p(x)-∑p(x,y)log2p(y)。
根据熵的定义，可以将上式分解为H(X,Y)=H(X)+H(Y)。
因此，对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
2. 证明：对于一个随机变量X，有H(X)≥0。
根据熵的定义，可以得到H(X)=-∑p(x)log2p(x)。
由于概率p(x)是非负的，而log2p(x)的取值范围是负无穷到0之间，所以-p(x)log2p(x)的取值范围是非负的。
因此，对于任意一个随机变量X，H(X)≥0。
3. 证明：对于一个随机变量X，当且仅当X是一个确定性变量时，H(X)=0。
当X是一个确定性变量时，即X只能取一个确定的值，概率分布为p(x)=1。
信息论第三版傅祖芸(3.7-3.8)
P( z / yx) P( z / y)
称这两信道的输入和输出X，Y，Z序列构成马尔 可夫链。
这两个串接信道可以等价成一个总的离散信道，其 输入为X，输出为Z， X Z P(z/x)
等价的总信道的传递概率为
P( z / x) P( y / x) 递矩阵
r t rs s t
定理3.6 对于串接信道X、Y、Z，当且仅当
P(Z / XY ) P( Z / Y ) 时， 等式 I ( XY ; Z ) I (Y ; Z )
成立 。
上式 I ( XY ; Z ) 表示联合变量XY与变量Z之间的平均互信息， 也就是接收到Z后获得关于联合变量X和Y的信息量。而 I (Y ; Z ) 是接收到Z后获得关于变量Y的信息量。由上式的成 立条件可知随机变量X、Y、Z组成一个马尔可夫链。在在串 联信道中随机变量Z往往只依赖信道Ⅱ的输入Y，不直接与 变量X发生关系，即随机变量Z仅仅通过变量Y而依赖于X。 所以得出以下定理。
谢谢
定理3.7 若X、Y、Z组成一个马尔可夫链，则有
I ( X ; Z ) I ( X ;Y )
I ( X ; Z ) I (Y ; Z )
定理3.7表明通过数据处理后，一般只会增加信息的损失，最 多保持原来获得的信息，不可能比原来获得的信息有所增加 。也就是说，对接收到的数据Y进行处理后，无论变量Z是Y 的确定对应关系还是概率关系，决不会减少关于X的不确定 性。故定理3.7称为数据处理定理。
这就是信息的不增性原理，与热熵不减原理正好相反。因而串 接信道的信道容量为 max I（X ; Z） C串（ Ⅰ， Ⅱ ） P ( x ) max I ( X ;W ) C串（ Ⅰ， Ⅱ, Ⅲ ）
P(x)
信息论傅祖芸第三版答案
信息论傅祖芸第三版答案【篇一：信息论】p class=txt>信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息传输和信息压缩是信息论研究中的两大领域。
这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论发展的三个阶段第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。
第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。
研究重点是信息和信源编码问题。
第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。
人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。
信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。
信息科学和技术在当代迅猛兴起有其逻辑必然和历史必然。
信息是信息科学的研究对象。
信息的概念可以在两个层次上定义：本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部联系的状态和方式。
认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。
这里所说的“事物”泛指一切可能的研究对象，包括外部世界的物质客体，也包括主观世界的精神现象；“运动”泛指一切意义上的变化，包括思维运动和社会运动；“运动状态”指事物运动在空间所展示的性状和态势；“运动方式”是事物运动在时间上表现的过程和规律性。
信息论参考答案
信息论参考答案信息论参考答案信息论是一门研究信息传输和编码的学科，它的核心概念是信息的度量和传输。
信息论的发展可以追溯到上世纪40年代，由克劳德·香农提出，并逐渐成为计算机科学、通信工程等领域的重要理论基础。
本文将从信息的定义、信息的度量以及信息的传输三个方面，探讨信息论的相关知识。
一、信息的定义信息是指能够改变接收者知识状态的事实或数据。
在信息论中，信息的基本单位是比特（bit），它表示一个二进制的选择，即0或1。
比特是信息论中最小的单位，可以用来表示一个简单的选择问题，如是或否、真或假等。
当然，在实际应用中，比特往往被扩展为更大的单位，如字节、千字节等。
二、信息的度量信息的度量是信息论的核心问题之一。
克劳德·香农提出了信息熵的概念，用来度量信息的不确定性或者说信息的平均量。
信息熵的计算公式为：H(X) = -ΣP(x)log2P(x)，其中H(X)表示随机变量X的信息熵，P(x)表示随机变量X取值为x的概率。
信息熵越大，表示信息的不确定性越高，反之亦然。
除了信息熵，信息论还引入了条件熵、相对熵和互信息等概念。
条件熵表示在已知某些信息的情况下，对另一个随机变量的不确定性进行度量。
相对熵用来衡量两个概率分布之间的差异，而互信息则表示两个随机变量之间的相关程度。
三、信息的传输信息的传输是信息论的另一个重要问题。
在信息论中，通过信道来传输信息。
信道可以是有线的或者无线的，可以是噪声的或者非噪声的。
为了保证信息的可靠传输，需要对信息进行编码和解码。
编码是将信息转化为能够在信道中传输的信号的过程。
常见的编码方法有霍夫曼编码、香农-费诺编码等。
编码的目标是尽量减少信息的冗余，提高信息的传输效率。
解码是将经过信道传输的信号恢复为原始信息的过程。
解码的目标是尽量减少信息的失真，保证信息的可靠性。
常见的解码方法有最大似然解码、Viterbi解码等。
信息论的应用广泛，不仅在通信领域发挥着重要作用，还在数据压缩、密码学、人工智能等领域有着广泛的应用。
信息论答案完整版
2.7 为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00” 代表 A，“01”代表 B，“10”代表 C，“11”代表 D。每个二元码脉冲宽度为 5ms。
(1) 不同字母等概率出现时，计算传输的平均信息速率? (2) 若每个字母出现的概率分别为{1/5，1/4，1/4，3/10}，试计算传输的平均信息速率? 解：（1）不同字母等概率出现时，符号集的概率空间为：
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
解：同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，总共有 36 种可能的状态，每 种状态出现的概率都是 1/36。 （1）设“3 和 5 同时出现”为事件 A。则在 36 种状态中，有两种可能的情况，即 5+3 和 3+5。则
P( A) = 2 / 36 I ( A) = − log P( A) = log2 18 ≈ 4.17(比特)
（2）此消息中共有 45 个信源符号，携带了 87.81 比特信息量，因此，此消息中平均每个符号携带的信 息量为
I2 = 87.81/ 45 ≈ 1.95(比特)
2.4
信息论课后题答案
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学）P(X) 0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量即：b i ty p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-= 2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为( 02120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？ 解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：b i t n I 951.145/811.87/==2.9 设有一个信源，它产生0，1序列的信息。
它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。
信息论与编码姜丹第三版答案精编版
信息论与编码习题参考答案 第一章 单符号离散信源信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码姜丹第三版规范标准答案
信息论与编码习题参考答案第一章单符号离散信源信息论与编码作业是74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “ 2和6同时出现”这一事件的自信息量；(2) “两个5同时出现”这一事件的自信息量；(3) 两个点数的各种组合的熵；⑷两个点数之和的熵；(5) “两个点数中至少有一个是 1 ”的自信息量。
解：样本空间：N c6c6 6 6 36(1) P n1— I (a) logR Iog18 4.17bitN 36n2 1(2) F2 2I (a) log F2 log36 5.17bitN 36(3) 信源空间：2 36 1H(x) 15 log 6 log 36 4.32bit36 2 36（42 ,“ 4 ,36 6 , 36 8 ,36H(x) log 36+log —log log -36 36 2 36 3 36 410 ,36 6 ,36log +log - 3.71bit36 5 36 6⑸P3 n3 11I(a) log R 1.17bitN 36 111.2如有6行、8列的棋型方格，若有两个质点A和B,分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb），但A，B不能同时落入同一方格内。
（1）若仅有质点A，求A落入任一方格的平均信息量；（2）若已知A已落入，求B落入的平均信息量;(3) 若A , B是可辨认的，求A, B落入的平均信息量。
解：1(1) A落入任一格的概率：P(aJ I (aj log P(aJ log 484848H(a) P(a i)log P(a i) log 48 5.58biti 11(2) 在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ —47I(b) logP(b i) log 4748H (b) P(b i)log P(b i) log 47 5.55biti 11 1(3) AB同时落入某两格的概率是P(AB i) - —748 47I(AB i) log P(AB i)48 47H (AB i) P(AB i)log P(ABJ log(48 47) 11.14biti 11.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论第三章答案
信息论第三章答案3.2.设二元对称信道的传的矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132。
（1）、若P （0）=43,P(1)=41,求H(X),H(X/Y),H(Y/X)和I(X;Y);（2）、求该信道的信道容量及其达到信道容量时的输入概率分布。
解：(1)、H(X)=-symbol bit x p ii /81.0)41log 4143log 43()(=+⨯-=∑H(Y/X) =-)/(log )/()(i j i jijix y p x yp x p ∑∑=-(32log 324131log 314131log 314332log 3243⨯+⨯+⨯+⨯) = 0.92bit/symbolP )/()()/()()()()(21211112111x y p x p x y p x p y x p y x p y +=+==31413243⨯+⨯=0.58 同理可得：p(2y )=0.42 H (Y)=-(0.42×log0.42+0.58×log0.58)=0.980bit/symbol得：H(X/Y)=H(X)-H(Y)+H(Y/X)=0.81-0.98+0.92=0.75bit/symbolI(X;Y)=H(X)-H(X/Y)=0.81-0.75=0.06bit/symbol(2)由题：C=maxI(X;Y)=logm-mi H =log2-(32log 3231log 31+)=0.082bit/symbol因为信道容量达到最大值即X 等概率出现即：p(i x )=213.6、有一个二元对称信道，其信道矩阵为⎥⎦⎤⎢⎣⎡098.02.002.098.0。
设该信源以1500二元符号/每秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设P(0)=P(1)=21,问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真的传递完？解：由题得：C=max[H(Y)-ni H ]=log2-ni H =1+0.98log0.98+0.02log0.02=0.859bit/symbol即每输入一个信道符号，接收到的信息量是0.859bit,已知信源输入1500二元符号/每秒，那么每秒钟的信息量是：1I =(1500symbol/s )×0.859bit/symbol=1288bit/s10秒钟传输：2I =101I =12880bit 传送14000个二元符号，P(0)=P(1)= 21 则有：3I =14000×(21log 21×2)=14000bit 得出：2I ﹤3I 即10秒内不能将消息序列无失真传递完3.11、已知离散信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.02.03.01.0)(4321x x x x X P X ，某信道的信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.0试求： （1）、“输入3x ，输出2y ”的概率； （2）、“输出4y ”的概率；（3）、“收到3y 的条件下推测输入2x ”的概率。
信息论第三版课后答案
信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。
求：（1）信源x中事件x1,和x2分别含有的自信息。
（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3）信源x和信源y的信息熵。
（4）信道疑义度h（x|y）和噪声熵h（y|x）。
（5）接收到消息y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74biti（x2）= －log0.4=1.32biti（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]= log[p（yj|xi）/p（yj）]则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit（3）由定义显然 h（x）=0.97095bit/符号h（y）=0.72193bit/符号（4）h（y|x）=?22p（xy）log[1/p（y|x）]=??i?1j?1p（xi）p（yj|xi）log[1/p（yj|xi）]h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。
通信原理第三版课后思考题答案
通信原理思考题复习1.1，消息和信息有什么区别？信息和信号有什么区别？答：消息是信息的形式，信息是消息中包含的有效内容，信号是信息的载体。
1.2，什么是模拟信号，什么是数字信号？答：取值连续的信号是模拟信号，取值离散的信号是数字信号。
13数字通信有何优点？答：质量好，便于过失控制和保密编码，便于存储和处理，易集成，信道利用率高信噪比高。
1.4，信息量的定义是什么？信息量的单位是什么？一答:设消息x的概率为P(x),其信息量l(x)=-logap(x),.当a=2时，信息量单位为比特(bit)，当a=e时。
信息量单位为奈特(nat)，当a=10时，信息量单位为哈特莱。
1.5按照占用频带区分，信号可以分为哪几种？答：基带信号和带通信号。
1.6 信源编码的目的是什么？信道编码的目的是什么？答：信源编码的目的是提高信号表示的有效性。
信道编码的目的是提高信号传输的可靠性。
1.7 何谓调制？调制的目的是什么？答：对信号进行调整就是调节。
调制的目的是使经过调制的信号适合信道的传输特性。
1.8 数字通信系统有哪些性能指标？答：主要有传输速率、错误率、频带利用率和能量利用率。
1.9 信道有哪些传输特性？答：噪声特性、频率特性、线性特性和时变特性等。
1.10无线信道和有线信道的种类各有哪些？一答：无线信道的种类是按电磁波的频率划分的，主要分为无线电波，微波和光波。
有线信道主要有三类，即明线，对称电缆和同轴电缆，还有传输光信号的光纤。
1.11信道模型有哪几种？答：调制信道模型和编码信道模型。
1.12什么是调制信道？什么是编码信道？一答：将发送端的调制器输出至接收端调制器输入端之间的局部称之为调制信道。
而将编码器输出端至解码器输入端之间的局部称之为编码信道。
1.13何谓多径效应？答：信号经过多条路径到达接收端，而且每条路径的时延和衰减不尽相同，造成接收端的信号幅度和随机变化，这一现象称为多径效应。
1.14电磁波有哪几种传播方式？答：电磁波有地波传播、天波传播和视线传播三种传播方式。
最新信息论与编码(第三版)
信息论与编码(第三版)
简介
是一门应用概率论、随机过程、数理统计和近 代代数的方法，来研究信息传输、提取和处理 中一般规律的学科。
信源编码器的主要指标
是它的编码效率。一般来说，效率越高，编译码 器的代价也将越大。
信源译码器
把信道译码器的输出变换成信宿所需的消息形式，
相当于信源编码器的逆过程。
14
信道编码器与译码器
信道编码 主要作用是提高信息传送的可靠性。
信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督 码元,使之具有检错或纠错的能力。
1）离散信源
特点：输出单符号消息。符号集的取值A:{a1,a2,…,aq}是 有限的或可数的,可用离散型随机变量X描述。
数学模型：设每个信源符号ai出现的(先验)概率p(ai)
(i=1,2,…,q) 满足：
q
p(ai ) 1
i 1
则 ： P X (x ) P ( a a 1 1 )
I(ak)lorP g(1 ak)lorP g(ak)
28
2.1.1 自信息
设离散信源X的概率空间为：
P X (x ) P ( a a 1 1 )
a 2 P (a 2)
a 3 ......a q P (a 3) .....P .(a q)
q
i 1
P(ai )
1
自信息量：事件ai发生所含有的信息量
信宿：信息归宿之意，亦即收信者或用户， 是信息传送的终点或目的地。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
【】设有 12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1；12“假币的重量比真的轻，或重”该事件发生的概率为P 1；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12log2log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为Ilog 3 比特因此，必须称的次数为I1log24I2log3次因此，至少需称 3 次。
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为P1 16 61，该事件的信息量为：36I log 36比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和2，概率为P 1 1 56 65，因此该事件的信息量为：36I log365比特“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为P因此该事件的信息量为：1 121，6 6 18I log18比特【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1，因此此时从答案中获得的信息量为7I log 7比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
【】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高米以上的，而女孩中身高米以上的占总数一半。
假如我们得知“身高米以上的某女孩是大学生”的消息，问获得多少信息量？解：设 A 表示女孩是大学生，；P( A)B 表示女孩身高米以上，P( B | A)，P( B)“身高米以上的某女孩是大学生”的发生概率为P( A | B)P( AB)P( A) P(B |A)P( B)P( B)已知该事件所能获得的信息量为I log1比特X 【】设离散无记忆信源a10 a21 a32 a43，其发出的消息为P( x) 3 /81/41 /41/ 8（202032），求（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。
根据已知条件，发出各消息所包含的信息量分别为：I (aI (a1I (a2I (a30) log831) log42) log43) log8比特2 比特2 比特3 比特在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”符号，则得到消息的自信息为：I 1413212 2 63比特45 个符号共携带比特的信息量，平均每个符号携带的信息量为I45比特/符号注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得H ( X )P( x) logP( x)比特/符号【】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ,Y A ）和（X B ,Y B ），但 A 和 B 不能落入同一方格内。
（1） 若仅有质点 A ，求 A 落入任一个格的平均自信息量是多少？（2） 若已知 A 已落入，求 B 落入的平均自信息量。
（3） 若 A 、B 是可分辨的，求 A 、B 同都落入的平均自信息量。
解：（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为：X a 1 a 2 a 3 L a 48 1P48 11L1 48 4848平均自信息量为H ( A ) log48比特/符号（2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A ) 。
1A 已落入，B 落入的格可能有 47 个，条件概率 P (b j | a i ) 均为47。
平均自信息量为H ( B | A )48 47i 1 j 1P (a i )P (b j | a i ) log P (b j | a i )log 47比特/符号（3）质点 A 和 B 同时落入的平均自信息量为H ( AB ) H ( A ) H (B | A )比特/符号【】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 %，如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：男同志红绿色盲的概率空间为：X a1 a 2P问男同志回答“是”所获昨的信息量为：I log1比特/符号问男同志回答“否”所获得的信息量为：I log1比特/符号男同志平均每个回答中含有的信息量为H ( X )P( x) logP( x)比特/符号同样，女同志红绿色盲的概率空间为Y b1 b 2P问女同志回答“是”所获昨的信息量为：I log1比特/符号问女同志回答“否”所获昨的信息量为：I log110 3 比特/符号女同志平均每个回答中含有的信息量为H (Y )P( x) logP( x)比特/符号【】设信源XP( x)a1a2a3a4a5a6，求此信源的熵，并解释为什么H( X )log 6 ，不满足信源熵的极值性。
解：H ( X )P( x) logP( x)log 6原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。
【 】设 离散 无记 忆 信 源 S 其 符号集 A {a 1 , a 2 ,..., a q } ，知其 相 应 的 概率分别 为(P 1 , P 2 ,..., P q ) 。
设 另 一 离 散 无记 忆 信 源 S ，其 符 号集 为 S 信 源符号集 的两 倍 ，A {a i , i1,2,...,2q } ，并且各符号的概率分布满足P i (1 e ) P i i 1,2,..., qP i e P ii q 1, q2, (2)试写出信源 S 的信息熵与信源 S 的信息熵的关系。
解：H (S ) P ( x ) log P ( x )(1 e ) P i log(1e )PieP i log eP i(1 e )P i log(1 e )(1 e ) P i log P i e P i log e eP i log P i(1 e ) log(1 e )e log eH (S ) H (S ) H (e ,1 e )【】设有一概率空间，其概率分布为 { p 1 , p 2 ,..., p q } ，并有 p 1p 2 。
若取 p 1 p 1e ，p 2 p 2 e ，其中 0 2e p 1 p 2 ，而其他概率值不变。
试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。
解：设新的信源为X ，新信源的熵为：H ( X )pilogpi ( p1e)log( p1e)( p2e)log( p2e) L pqlog pq原信源的熵H ( X )pilogpi p1logp1p2log p2L pqlog pq因此有，H ( X )H ( X )( p1e)log( p1e)( p2e) log( p2e)p1logp1p2log p2令 f( x)( p1x)log( p1x)( p2x)log( p2x) ，x0,p1p2 ，则2f ( x)logp2xp1x即函数 f ( x ) 为减函数，因此有 f (0)f (e ) ，即( p 1 e )log( p 1e )( p2e ) log( p 2e ) p 1 log p 1p 2 log p 2因此 H ( X )H ( X) 成立。
【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
L【】试证明：若p i i 1m1， q j p L ，则j 1H ( p , p,K, p, q , q,K , q )H ( p , p,K, p, p )p H(q 1 ,q 2,K,q m )12 L 1 12m12L 1 Lp L p L p L并说明等式的物理意义。
解：H ( p 1 , p 2 ,K, p L 1 , q 1 , q 2 ,K , q m ) p 1 log p 1 p 1 log p 1q 1 log q 1p 2 log p 2p 2 log p 2q 2 log q 2K p L 1 log p L 1K p L 1 log p L 1K q m log q m q 1 log q 1p L log p Lq 2 log q 2 K p L log p Lq m log q m p 1 log p 1q1log q 1p 1 log p 1p 2 log p 2q 2 log q 2p 2 logp 2K p L 1 logp L 1K q m log q m K p L 1 logp L 1p L log p Lp L log p L(q 1 q 2 q 3 L q m ) log p Lq logq 1 p Lq log q 2 p LK q m log q m p Lp 1 log p 1p 2 log p 2 Kp L 1 log p L 1p L log p Lp L ( q 1log q1q 2 log q 2 K q m logq m )p Lp L p Lp Lp Lp LH ( p 1 , p 2,K, p L 1,p L )p L H m ( q1,q 2,K,q m )p L p Lp L【意义】将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的 概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。
【】（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 5×105 个像素和 10 个不同亮度电平，求传递此图像所需的信息率（比特/秒）。