信息论与编码姜丹第三版问题详解

信息论与编码习题参考答案 第一章 单符号离散信源

信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=⨯==样本空间：

(3)信源空间：

bit x H 32.436log 36

16236log 36215)(=⨯⨯+⨯⨯

=∴ bit

x H 71.3636

log 366536log 3610 436

log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=

∴＋＋ (5) bit P a I N n P 17.111

36

log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解：

bit

a P a P a a P a I a P A i 58.548log )(log )()(H 48

log )(log )(481

)(:)1(48

1

i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θ

bit

b P b P b b P b I b P A i 55.547log )(log )()(H 47

log )(log )(47

1

)(:B ,)2(48

1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θbit

AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()

(log )(47

1

481)()3(47481

=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率

1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解：

bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H %

5.99log )(log )(%5.0log )(log )(36

6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(:

=⨯⨯=⨯-⨯-=-=-=-=-==⨯⨯=⨯-⨯-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女：

平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士

1.4某一无记忆信源的符号集为｛0，1｝，已知。

，3

23

110=

=

p p （1） 求符号的平均信息量；

（2） 由1000个符号构成的序列，求某一特定序列（例如有m 个“0”,（1000-m ）个“1”）

的自信量的表达式；

（3） 计算（2）中序列的熵。 解：

3

2log 3)1000(231log 3log log )( ce bit/sequen 918918.01000)(1000)(3 3

2

log )1000(31log log )1000(log )(2/ 918.03

2

log 3231log 31log log )(110001

1110001100∑

∑-==---

=-

-==⨯==---=---==⨯-⨯-=--=m

i m

i m m p p p p A H X H A H bit m m p m p m A I symble

bit p p p p x H ）（）（）（

1.5设信源X 的信源空间为：

⎩⎨

⎧• 0.3 0.18 0.16 0.18 0.19

0.17 X)( a a a a a a X ][654321p p x ：

： 求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。

解：

。

立的约束条件，所以不满足信源熵最大值成但是本题中

的约束条件下求得的，值是在这是因为信源熵的最大，不满足信源熵的极值性可见log6H(X)18.1 1

585.2log62.725H(X) bit/symble 725.2 3.0log 3.016.0log 16.018.0log 18.0219.0log 19.017.0log 17.0 )

(log )()(6

1

16

1

>===>==--⨯---=-=∑∑∑===i i

r

i i i i i p

p a p a p X H

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解：

bit/s 104.98310661.130)/)(()/(R bit/frame

10661.1322.3105)(H 105)(H bit/pels

322.310log )(log )()(H 76650510

10⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：

由于亮度电平等概出现