信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源

同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=⨯==样本空间：

(3)信源空间：

bit x H 32.436log 36

16236log 36215)(=⨯⨯+⨯⨯

=∴ (4)信源空间：

bit

x H 71.3636

log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=

∴＋＋ (5) bit P a I N n P 17.111

36

log log )(3611333==-=∴==

如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解：

bit

a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481

)(:)1(48

1

i i i i i ==-=∴=-=∴=

∑=落入任一格的概率

bit

b P b P b b P b I b P A i 55.547log )(log )()(H 47

log )(log )(47

1

)(:B ,)2(48

1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知

bit

AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()

(log )(47

1

481)()3(47481

=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率

从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解：

bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H %

5.99log )(log )(%5.0log )(log )(36

6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(:

=⨯⨯=⨯-⨯-=-=-=-=-==⨯⨯=⨯-⨯-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女：

平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士

某一无记忆信源的符号集为｛0，1｝，已知。

，3

23

110=

=p p （1） 求符号的平均信息量；

（2） 由1000个符号构成的序列，求某一特定序列（例如有m 个“0”,（1000-m ）个“1”）

的自信量的表达式；

（3） 计算（2）中序列的熵。 解：

3

2log 3)1000(231log 3log log )( ce bit/sequen 918918.01000)(1000)(3 3

2

log )1000(31log log )1000(log )(2/ 918.03

2

log 3231log 31log log )(110001

1110001100∑

∑-==---

=-

-==⨯==---=---==⨯-⨯-=--=m

i m

i m m p p p p A H X H A H bit m m p m p m A I symble

bit p p p p x H ）（）（）（

设信源X 的信源空间为：

⎩⎨

⎧• 0.3 0.18 0.16 0.18 0.19

0.17 X)( a a a a a a X ][654321p p x ：

： 求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。 解：

。

立的约束条件，所以不满足信源熵最大值成但是本题中

的约束条件下求得的，值是在这是因为信源熵的最大，不满足信源熵的极值性可见log6H(X)18.1 1

585.2log62.725H(X) bit/symble 725.2 3

.0log 3.016.0log 16.018.0log 18.0219.0log 19.017.0log 17.0 )

(log )()(6

1

16

1

>===>==--⨯---=-=∑∑∑===i i

r

i i i i i p

p a p a p X H

为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105

个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解：

bit/s 104.98310661.130)/)(()/(R bit/frame

10661.1322.3105)(H 105)(H bit/pels

322.310log )(log )()(H 76650510

10⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：

由于亮度电平等概出现

设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。