信息论与编码第二章答案

第二章 信息的度量

2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？

答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？

答：

若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.3 熵是对信源什么物理量的度量？

答：平均信息量

2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？

答：k k k xi q xi q X H i

log 1

log 1)(log )()(=-=-=∑

2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：)|;();();(Y Z X I Y X I YZ X I +=

2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？

答：互信息量)

()

|(log

);(xi q yj xi Q y x I =，若互信息量取负值，即Q(xi|yj)

知的是xi 出现的可能性更小了。从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)

2.7 一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：

由图示可知：4

3

)|(41)|(32

)|(31)|(41)|(43)|(222111110201=

=====

s x p s x p s x p s x p s x p s x p

即：

43

)|(0)|(41)|(3

1

)|(32)|(0)|(0)|(4

1

)|(43)|(222120121110020100=

========

s s p s s p s s p s s p s s p s s p s s p s s p s s p

可得：

1)()()()

(4

3

)(31)()

(3

1

)(41)()(41

)(43)(210212101200=+++=+=+=

s p s p s p s p s p s p s p s p s p s p s p s p

得：11

4

)(113

)(114)(210=

==

s p s p s p

=+-+-+-=)]|(log )|()|(log )|()[()]

|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）

2.8 一个马尔可夫信源，已知：0)2|2(,1)2|1(,3

1

)1|2(,32)1|1(====x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。 答：

1

)2()1()1(3

1

)2()2()1(3

2

)1(=+=+=

x p x p x p x p x p x p x p 41)2(,43)1(==x p x p

)

/(82.0)]2|1(log )2|1()[2()]1|2(log )1|2()1|1(log )1|1()[1(符号bit x x p x x p x p x x p x x p x x p x x p x p H =-+-=

2.9 （1）对于离散无记忆信源DMS ]1[

])

([

2

1

p

p x x X q X -=，试证明：

)1log()1(log )()(2p p p p p H X H ----==当p=1/2时，H(X)达到最大值。

（2）对（1）中的DMS ，考虑它的二次扩展信源

)},(),,(),,(),,{(22122111)2(x x x x x x x x X =，证明：)(2)()2(X H X H =

证明：（1）函数

)

1log()1(log )(p p p p X H ----=中的变量p 在0到1中取值，

从函数的结构上可以知道该函数在区间[0,1]上是关于p=1/2对称的函数。 p p p p p p p p

p p p p p p p X H -=-

--+-=--

-+-+--=----=1log

2ln 1)1(2ln 11log )1(2ln )1log()1(2ln 12ln 1log ))1log()1(log ()(,

, 在区间[0，0.5]上1-p>p,则（1-p ）/p>1，所以01log

>-p

p

，在此区间上,)(x H >0，H(x)单调递增。又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。

所以，)1log()1(log )()(2p p p p p H X H ----==当p=1/2时，H(X)达到最大值。 (2)二次扩展后的矩阵：

])

1()1()1([])([

2

2

2122211

1p p p x x x x p p p

x x x

x X q X ---=

)(2)]1log()1(log [2)

1log()1(2log 2)1log()1()1(log )1()1(log )1(log )(2222)

2(X H p p p p p p p p p p p p p p p p p p p p X

H =----=----=------

----=