信息论、编码与密码学课后复习题答案

《信息论、编码与密码学》课后习题答案

第1章 信源编码

1.1

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS 。求信源熵H （X ）。

解： 信源熵 ∑=-=5

1

2)(log )

(k k k p p X H

H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]

=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)

故得其信源熵H(X)为2.228bit

1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为

P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得

2

11

10

1log =

=-=-p p

p

p p

可知当概率P=Q=1/2时，有信源熵)(1)(max bit X H =

对于三元离散信源，当概率

3

/1321===P P P 时，信源熵

)(585.1)(m ax bit X H =，

此结论可以推广到N 元的离散信源。

1.3 证明不等式ln 1x x ≤-。画出曲线1ln y x =和21y x =-的平面图以表明上述不

等式的正确性。 证明：

max ()ln 1(0)

1

()()01001()0()0ln 1

1ln 1ln 1f x x x x f x x

f x x x x f x f x f x x x x x x x =-+>'=

''==>∴<≤>≤=≤-≥≤-≤-令，又有时此时也即当时同理可得此时综上可得证毕

绘制图形说明如下 可以很明确说明上述 不等式的正确性。

1.4 证明(;)0I X Y ≥。在什么条件下等号成立？

11

11

(,)(,)

(,)(,)log

()()

n m

i j i j i j n m

i j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑（X ；Y ）=当和相互独立时等号成立。

1.5 有一个信源X ，它有无穷多个可能的输出，它们出现的概率为P （Xi ）=2i-1,i=1,2,3,….,这个信源的平均自信息H （X ）是什么？

解：因为 P （Xi ）=2i-1,i=1,2,3,…

所以 H （X ）= -1()log ()n

i i i p x p x =∑

=-log2(2+2.22+3.23+…..+n.2n )

=2-（1-n ）2n+1

1.6 考虑另一个几何分布的随机变量X ，满足P （Xi ）=P （1-P ）i-1

i=1,2,3,…..,

这个信源的 平均自信息H （X ）是什么？ 解：因为 P （Xi ）= P （1-P ）i-1,i=1,2,3, 所以H （X ）= -1()log ()n

i i i p x p x =∑

=-logp(1-p)[p(1-p)+2p(1-p)2+3p(1-p)3+…….+np(1-p)n ]

=(1-n)(1-p)n+1

-2

(1)p p

- 1.7 考虑一个只取整数值的随机变量X ，满足()n

An n X P 2log 1

=

=，其中

∑

∞

==22

log 1

n n

n A ，∞=,...,3,2n 。求熵()X H 。

解：为了方便计算，设n n B 2

log =，则∑

∞

==2

1n B A ，()AB n X P 1==； 根据公式计算自信息量为：()()()AB X P X I log 1log =⎪⎪⎭

⎫

⎝⎛=；

则熵为：()()()()()∑∑∑∑∑∑∞

=∞=∞

=∞

=∞=∞=⋅⎪⎭⎫ ⎝⎛⋅====2

2222211log log log 1n n n n n n B

B B B AB AB AB AB X I X P X H =？

1.8 计算概率分布函数为

()()⎩

⎨⎧≤≤=-否则001a x a x p

的均匀分布随机变量X 的微分熵()X H 。画出()X H 相对于参数()101.0<

解：根据公式（1-21）可知，微分熵为：()()()⎰+∞

∞--=dx x p x p X H log

当a x ≤≤0时，()1-=a x p ，则

()[]a a a

a x a a dx a a X H a a

log log log 1log 00

11=⋅=⋅⋅=

-=⎰-- 当0时，()0=x p ，则()∞→X H

根据得到的结果可以画出相应的平面图，由图可以看到随着a 的增加，即()x p 的减小，微分熵()X H 相应的增加。

1.9考虑一个信源的概率为{}05.0,15.0,20.0,25.0,35.0的DMS 。 （1）给出此信源的霍夫曼码。 （2）计算出这些码子的平均码长R 。 （3）这个码的效率η是多少？

解：1）依题意，由霍夫曼编码的规则，得：

X H