信息论与编码-曹雪虹-第五章-课后习题答案

第五章 --习题答案

5-1 将下表所列的某六进制信源进行二进制编码，试问： 消息 概率 1C 2C 3C 4C

5C

6C

u 1 u 2 u 3 u 4 u 5 u 6 1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 110 1110 11110 111110 0 10 1101 1100 1001 1111

1 000 001 010 110 110

01 001 100 101 110 111

(1) 这些码中哪些是唯一可译码？ (2) 哪些码是非延长码？

(3) 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码

31123456231244135236:621

63:222222164

63:

164

:22421:2521:2521

C C C C C C --------------⨯<+++++=<<++⨯=+⨯>+⨯<

5C ∴不是唯一可译码，而4C ：

又根据码树构造码字的方法

1C ，3C ，6C 的码字均处于终端节点 ∴他们是即时码

(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms

当信源等概率分布时,信源熵为H(X)=log(4)=2

平均信息传递速率为bit/ms=200bit/s

(2) 信源熵为

H(X)=

=0.198bit/ms=198bit/s

5-5

(1) 1

2

1

4

1

8

1

16

1

32

1

64

1

128

1

128

H(U)=

1 2Log2()

1

4

Log4()

+

1

8

Log8()

+

1

16

Log16

()

+

1

32

Log32

()

+

1

64

Log64

()

+

1

128

Log128

()

+

1

128

Log128

()

+ 1.984

= (2) 每个信源使用3个二进制符号,出现0的次数为

出现1的次数为

P(0)=

P(1)=

(3)

信源符号

xi

符号概率

pi

累加概率

Pi

-Logp(xi) 码长Ki 码字

x1 1/2 0 1 1 0

x2 1/4 0.5 2 2 10

x3 1/8 0.75 3 3 110

x4 1/16 0.875 4 4 1110

x5 1/32 0.938 5 5 11110

x6 1/64 0.969 6 6 111110

x7 1/128 0.984 7 7 1111110

x8 1/128 0.992 7 7 11111110

相应的费诺码

信源符号xi 符号概

率pi

第一

次分

组

第二

次分

组

第三

次分

组

第四

次分

组

第五

次分

组

第六

次分

组

第七

次分

组

二元码

x1 1/2 0 0

x2 1/4

1 0 10

x3 1/8

1 0 110

x4 1/16

1 0 1110

x5 1/32

1 0 11110

x6 1/64

1 0 111110

x7 1/128

1 0 1111110

x8 1/128 1 11111110 （5）香农码和费诺码相同

平均码长为

编码效率为：

5-11

（1）信源熵

（2）香农编码：

信源符号xi 符号概率

pi

累加概率

Pi

-Logp(xi) 码长Ki 码字

x1 0.32 0 1.644 2 00

x2 0.22 0.32 2.184 3 010 x3 0.18 0.54 2.474 3 100 x4 0.16 0.72 2.644 3 101 x5 0.08 0.88 3.644 4 1110 x6 0.04 0.96 4.644 5 11110

平均码长：

编码效率为

（3）

信源符号xi 符号概

率pi

1 2 3 4 编码码长

x1 0.32 0 0 00 2

x2 0.22 1 01 2 x3 0.18 1

0 10 2 x4 0.16 1

0 110 3 x5 0.08 1

0 1110 4 x6 0.04

1

1111

4

平均码长为：

编码效率：

（4）哈夫曼编码 信源符号xi 符号概率pi 编码过程 编码

码长 x1 0.32 0.32 0.38 0.40 0.60 1 01 2 x2 0.22 0.22 0.32 0.38 0.40 10 2 x3 0.18 0.18 0.22 0.32 11 2 x4 0.16 0.16 0.18 000 3 x5 0.08 0.12 0010 4 x6 0.04

0011

4

平均码长为：

编码效率：

5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用式（4.129）对序列11111100

编算术码，并计算此序列的平均码长。

解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)2

7)(1log =⎥⎥

⎤⎢⎢⎡=S P l

根据（4.129）可得：

F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–

∑≥s

y y P )(= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)

= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111

又P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S 的码字为1101010

平均码长L 为 0.875。

欢迎下载！