第五章 信源编码-习题答案

(2)
xi x1 x2 x3 x4 x5 x6 x7
(3)
p(xi)
0.2 0.19 0.18 0.17 0.15 0.1 0.01
pa(xi)
0 0.2 0.39 0.57 0.74 0.89 0.99
ki
3 3 3 3 3 4 7
码字 000 001 011 100 101 1110 1111110
三进制哈夫曼码：
xi s3 s2 s1 x1 x2 x3 x4 x5 x6 x7
p(xi)
编码 1 0.54 0.26 0 1 2 0 1 2 0 1 2
码字
ki
0.2 0.19 0.18 0.17 0.15 0.1 0.01
2 00 01 02 10 11 12
1 2 2 2 2 2 2
K ki p( xi ) 1 0.2 2 (0.19 0.18 0.17 0.15 0.1 0.01)
00000001 00000000
7 8
1111 0
5.6 有二元平稳马氏链，已知 p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵。用三个符号合成一个来编写二进 制哈夫曼码，求新符号的平均码字长度和编码效率。 5.7 对题 5.6 的信源进行游程编码。若“0”游程长度的截至值为 16， “1”游程长度的截至值为 8，求编码 效率。 5.8 选择帧长 N = 64 (1) 对 0010000000000000000000000000000001000000000000000000000000000000 遍 L-D 码； (2) 对 1000010000101100000000010010000101001000000001110000010000000010 遍 L-D 码再译码； (3) 对 0000000000000000000000000000000000000000000000000000000000000000 遍 L-D 码； (4) 对 10100011010111000110001110100110000111101100101000110101011010010 遍 L-D 码； (5) 对上述结果进行讨论。
各自的平均码长和编码效率。
解： 二进制哈夫曼码：
xi s6 s5 s4 s3 s2 x1 x2 x3 x4 x5 s1 x6 x7
p(xi)
编码 1 0.61 0.39 0.35 0.26 0 1 0 1 0 1 0 0.11 1 0 1 0 1
码字
ki
0.2 0.19 0.18 0.17 0.15 0.1 0.01
i
2.74 H ( X ) H ( X ) 2.609 95.2% R 2.74 K
x3 x4 x5 x6 x7 X x1 x2 5.3 对信源 编二进制和三进制哈夫曼码，计算 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01
10 11 000 001 010 0110 0111
2 2 3 3Байду номын сангаас3 4 4
K ki p( xi ) 2 0.2 2 0.19 3 0.18 3 0.17 3 0.15 4 0.1 4 0.01
i
2.72 H ( X ) H ( X ) 2.609 95.9% R 2.72 K

(4)
H ( X ) H ( X ) 1.984 100% R 1.984 K
p(xi)
0.5 0.25 0.125 0.0625 0.03125 0.015625 0.0078125 0.0078125 2 2 0 1 0 1 0 1 2 0 1 编码 码字 0 1 20 21 220 221 2220 2221
x3 x4 x5 x6 x7 X x1 x2 5.1 设信源 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01
(1) 求信源熵 H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。
解： (1)
H ( X ) p( xi ) log 2 p( xi )
解：
xi x1 x2 x3 x4 x5 x6 x7
p(xi)
0.2 0.19 0.18 0.17 0.15 0.1 0.01 1 0 0 1 0
编码 0 1 0 1 1 0 1
码字 00 010 011 10 110 1110 1111
ki
2 3 3 2 3 4 4
K ki p( xi ) 2 0.2 3 0.19 3 0.18 2 0.17 3 0.15 4 0.1 4 0.01
i 1
7
(0.2 log 2 0.2 0.19 log 2 0.19 0.18 log 2 0.18 0.17 log 2 0.17 0.15 log 2 0.15 0.1 log 2 0.1 0.01 log 2 0.01) 2.609 bit / symbol
ki
1 2 3 4 5 6 7 7
码字 0 10 110 1110 11110 111110 1111110 1111111
二进制费诺码：
xi x1 x2 x3 x4 x5 x6 x7 x8
p(xi)
0.5 0.25 0.125 0.0625 0.03125 0.015625 0.0078125 0.0078125 1 1 1 0 0 0
i
1.8

H (X ) H(X ) 2.609 91.4% R 1.8 log 2 3 K log 2 m L
x7 x8 x x x x x x X 1 2 3 4 5 6 5.4 设信源 1 1 1 1 1 1 1 1 P( X ) 2 4 8 16 32 64 128 128
编码
码字 0 10 110
ki
1 2 3 4 5 6 7 7
0 0 1 0 1 1 0 1
1110 11110 111110 1111110 1111111
(3) 香农编码效率：
1 1 1 1 1 1 1 1 K k i p( xi ) 1 2 3 4 5 6 7 7 2 4 8 16 32 64 128 128 i 1.984
K k i p( xi ) 3 0.2 3 0.19 3 0.18 3 0.17 3 0.15 4 0.1 7 0.01
i
3.14 H ( X ) H ( X ) 2.609 83.1% R 3.14 K
x3 x4 x5 x6 x7 X x1 x2 5.2 对信源 编二进制费诺码，计算编码效率。 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01
K2 ，并计算编码效率； K1
(5) 若用 4 位信源符号合起来编成二进制哈夫曼码，求它的平均码长 K ，并计算编码效率。 序列 1 01 001 0001 00001 000001 0000001 数字 0 1 3 3 4 5 6 二元码字 1000 1001 1010 1011 1100 1101 1110

H ( X ) H ( X ) 1.984 100% R 1.984 K
费诺编码效率：
1 1 1 1 1 1 1 1 K k i p( xi ) 1 2 3 4 5 6 7 7 2 4 8 16 32 64 128 128 i 1.984
xi x1 x2 x3 x4 x5 x6 x7 x8
(5)
ki
1 1 2 2 3 3 4 4
1 1 1 1 1 1 1 1 K k i p( xi ) 1 1 2 2 3 3 4 4 2 4 8 16 32 64 128 128 i 1.328
(2) 二进制香农码：
xi x1 x2 x3 x4 x5 x6 x7 x8
p(xi)
0.5 0.25 0.125 0.0625 0.03125 0.015625 0.0078125 0.0078125
pa(xi)
0 0.5 0.75 0.875 0.9375 0.96875 0.984375 0.9921875

H(X ) H(X ) 1.984 94.3% R K log 2 m 1.328 log 2 3
1 X 0 P( X ) 0.9 0.1
5.5 设无记忆二进制信源
先把信源序列编成数字 0，1，2，……，8，再替换成二进制变长码字，如下表所示。 (1) 验证码字的可分离性； (2) 求对应于一个数字的信源序列的平均长度 K1 ； (3) 求对应于一个码字的信源序列的平均长度 K 2 ； (4) 计算
(1) (2) (3) (4) (5)
解： (1)
求信源熵 H(X)； 编二进制香农码和二进制费诺码； 计算二进制香农码和二进制费诺码的平均码长和编码效率； 编三进制费诺码； 计算三进制费诺码的平均码长和编码效率；
H ( X ) p( xi ) log 2 p( xi )
i 1
8
1 1 1 1 1 1 1 1 log 2 2 log 2 4 log 2 8 log 2 16 log 2 32 log 2 64 log 2 128 log 2 4 8 16 32 64 128 128 1.984 bit / symbol