第四章习题答案

第4章习题

4-1 对信源⎥⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.02.0s s s s s s s P S 7654321

进行二元编码，编码

方案为

（1）计算平均码长L ； （2）编码后信息传输率R ； （3）编码信息率R '； （4）编码效率η。 解：（1）()14.3L

s p L i

q

1

i i

=⋅=

∑=（码元/信源符号）

（2）()61.2S H =（比特/信源符号）

()831.014

.361

.2L S ===

H R （bit/码元） （3）logr L R ='=（ bit/信源符号） （4）831.0R R

max

==

η 或者()831.0R S H ='

=

η 4-2 设离散无记忆信源的概率空间为⎥⎥⎦

⎤

⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡414

3

s s S 21

P ，若对信源采取等长二元编码，要求编码效率96.0=η，允许译码错误概率5

10-≤δ，试计算需要的信源序列长度N 为多少

解：信源熵为

()81103

4

log 434log 41S .Η=+=

（bit/符号） 自信息量的方差

()()()[]

2

2

i q

1

i i 2

S H logp p S -=∑=σ4715.0811.041log 4143log 4322

2=-⎪⎭

⎫

⎝⎛+⎪⎭⎫ ⎝⎛= 因为编码效率96.0=η，由

()()ε

+=

S S H H η

可得

()3379.0811.096

.004

.0S H 1=⨯=

-=

η

η

ε 可得

()7

5

2221013.410

3379.04715.0S N ⨯=⨯=≥-δεσ 所以，信源序列长度达到7

1013.4⨯以上，才能实现给定的要求，因此等长编码没有实际的意义，一般统计编码都是采用不等长编码。

4-6设离散无记忆信源的概率空间为⎥⎦

⎤

⎢

⎣⎡=⎥⎦⎤⎢⎣⎡1.09.0s s S 21P ，对信源进行N 次扩展，采用霍

夫曼编码。当N=1，2，∞时的平均码长和编码效率为多少

解：

（1）N=1时，将1s 编成0，2s 编成1，则

1L 1=

又因为信源熵

()469.0))logp(s p(s S H q

1

i i i =-=∑=bit/符号

所以

()469.0L S H 1

1==

η （2）N=2时，编码过程如下

2

S 概

率

霍夫曼编码

1

1s s

1

2

1s s

01

1

2s s

000

2

2s s

001

所以

()=+⨯+⨯+⨯=0.090.0130.0920.811L 2

则

645.02

L 2

= 所以

()==

0.645

X H 2η （3）N=∞时，由香农第一定理可知，必然存在唯一可译码，使

()S H N L lim

r N

N =∞→

而霍夫曼编码为最佳码，即平均码长最短的码，故

()()469.0S H S H N L lim

r N

N ===∞→

即

1lim N N =∞

→η

4-7已知信源共7个符号消息，其概率空间为

()⎥⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.02.0s s s s s s s x P S 7654321

试进行香农编码。并计算编码后的信息传输率和编码效率。

解：下面以消息5s 为例来介绍香农编码。

计算()74.215.log0og 5=-=-p l ，取整数3L 5=作为5s 的码长。计算

4321s ,s ,s ,s 的累加概率，有

74.017.018.019.02.0p P 4

1

k k 5=+++==∑=

将变换成二进制小数()()2101011110.074.0=，取小数点后面三位101作为5s 的代码。

信源熵： ()61.2))logp(s

p(s S H q

1

i i

i

=-

=∑=bit/符号

平均码长： ()i

q

1

i i

L

s p L ∑=⋅=14.3=码元/符号

信息传输率()831.014

.361

.2L S ===H R 编码效率：()

831.014

.361

.2L

S ==

=___

H η 4-8 已知信源

⎥⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡0.150.20.20.225.0s s s s s P S 54321

用霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。 解：