第四章 信源编码 习题解答

第四章信源编码 习题解答

1、一个信源由

1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。

解：1）A 、B 、C 、D 、E 、F 是非奇异码。A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。A 、C 、F 是即时码（B 是续长码）。 3） 编码A ：

平均码长：3A L = 码元/消息 信源熵：111111

()lb lb 4lb 222441616

H X =---⨯=比特/消息 编码效率：max ()/2/3

66.7%lb21

A H H X L H η====码码

编码B 和C ： 平均码长：111111

23456 2.1252416161616

B C L L ==+⨯+⨯+⨯+⨯+⨯= 码元/消息 编码效率：max ()/2/2.125

94.1%lb21

B C H H X L H ηη=====码码

编码F ：

平均码长：11

1234 2.524

16F L ⎛⎫=⨯

+⨯+⨯= ⎪⎝⎭ 码元/消息 编码效率：max ()/2/2.5

80%lb21

F H H X L H η====码码

2、离散无记忆信源X 的概率空间为：1

234567()0.200.190.180.170.150.100.01X x x x x x x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦

1）对其进行费诺编码，并计算其编码效率；

2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。

解：1）费诺编码：

平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+⨯+++⨯++⨯=码元/符号 信源熵：

()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号

编码后平均码元熵：() 2.60874

0.95212.74H X H L

===码比特/码元

编码效率：max 0.9521

95.21%lb2

H H η=

==码码

2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2 3 000 x 3 3 001 x 4 3 010 x 5 4 0110 x 6 4

0111

x 7

平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+⨯+++⨯++⨯=码元/符号 编码后平均码元熵：() 2.60874

0.95912.72H X H L

===码比特/码元

编码效率：max 0.9591

95.91%lb2

H H η=

==码码

与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。

一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。

3、离散无记忆信源X 的概率空间为：1

2345678()0.220.200.180.10.150.020.050.08X x x x x x x x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦

1）对其进行费诺编码；

2）对其进行哈夫曼编码。 解：1

2）哈夫曼编码：

4、离散无记忆信源S 描述为：1

23456()0.370.250.10.180.030.07S s s s s s s p S ⎧⎫⎡⎤=⎨⎬⎢⎥⎩

⎭⎣⎦ 1）计算信源熵及其冗余度；

2）对其进行费诺编码； 3）对其进行哈夫曼编码；

4*）对其进行香农-费诺-埃利阿斯编码； 5*）对其进行香农编码；

6）计算哈夫曼码的平均码长、编码效率和码冗余度；

7）把哈夫曼编码器的输出看成一个新信源X ，计算其概率分布p (x 1) 和 p (x 2)；

8）H [p (x 1), p (x 2)] 是否等于H 码（即平均码元熵）？为什么？ 解：1）信源熵：

()0.37lb0.370.25lb0.250.18lb0.180.1lb0.10.07lb0.070.03lb0.03 2.229H S =------= 比特/消息

冗余度：max () 2.23

1113.788%()lb6

H S E H S =-=-=

2）费诺编码：

3）哈夫曼编码：

4） 香农-费诺-埃利阿斯编码：

5）香农编码：

6）分析哈夫曼码，

其平均码长：6

1()2(0.370.250.18)30.14(0.07+0.03=2.3i i i L p s l ===⨯+++⨯+⨯∑） 码元/消息

平均码元熵：() 2.229

0.968962.3H S H L

===码 比特/码元 编码效率：max 0.97096.896%lb2

H H η=

==码码

码冗余度：max 0.96896

11 3.104%lb2

H E H η==-

=-=码码码1-

7）把哈夫曼编码器的输出看成一个新信源X ，计算其概率分布p (x 1) 和 p (x 2)：

11211

()(0)0.370.250.10.03+0.07=0.60422342p x p ==+⨯+⨯+⨯⨯

21131

()(1)0.250.10.180.030.070.39582342

p x p ==⨯+⨯++⨯+⨯=

8）计算12[(),()](0.6042,0.3958)0.6042lb0.60420.3958lb0.39580.9685 /H p x p x H ==--=比特码元 相比平均码元熵：12() 2.229

0.96896[(),()]2.3H S H H p x p x L

=

==≈码 比特/码元 可见，两者很相近，但理论上不相同。因为平均码元熵计算的是算术平均值，而12[(),()]H p x p x 作的是统计平均。

5. 设有6个消息，其出现概率分别为

A B C D E F 1/16 1/16 2/16 3/16 4/16 5/16

将它们分别进行费诺编码和霍夫曼编码，并比较编码效率。是否在任何情况下费诺编码比霍夫曼编码效率都低？