第四章信源编码习题解答

第四章信源编码习题解答

1

种编码方法：

1）哪些是非奇异码哪些是唯一可译码哪些是即时码

2）分别计算每个唯一可译码的平均码长和编码效率。

解：1）A、B、C、D、E、F是非奇异码。A、B、C、F是唯一可译码（E不满足克拉夫特不等式）。A、C、F是即时码（B是续长码）。

3）编码A：

平均码长：3

A

L=码元/消息

信源熵：

111111

()lb lb4lb2

22441616

H X=---⨯=比特/消息

编码效率：

max ()/2/3

66.7% lb21

A

H H X L H

η====

码

码

编码B和C：

平均码长：

111111

23456 2.125

2416161616

B C

L L

==+⨯+⨯+⨯+⨯+⨯=码元/消息

编码效率：

max ()/2/2.125

94.1% lb21

B C

H H X L H

ηη

=====

码

码

编码F：

平均码长：

111

234 2.5

2416

F

L⎛⎫

=⨯+⨯+⨯=

⎪

⎝⎭

码元/消息

编码效率：max ()/2/2.5

80%lb21

F H H X L H η====码码

2、离散无记忆信源X 的概率空间为：1

234567()0.200.190.180.170.150.100.01X x x x x x x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩

⎭⎣⎦ 1）对其进行费诺编码，并计算其编码效率；

2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。 解：1平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+⨯+++⨯++⨯=码元/符号 信源熵：

()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号

编码后平均码元熵：() 2.60874

0.95212.74H X H L

=

==码比特/码元

编码效率：max 0.9521

95.21%lb2

H H η=

==码码

2）哈夫曼编码： 码

长

码字 信源X (X )

2 10 x 1 2 11 x 2 3

000 x 3

3 001 x 4

3 010 x 5

4 0110 x 6

4 0111

x 7

平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+⨯+++⨯++⨯=码元/符号 编码后平均码元熵：() 2.60874

0.95912.72H X H L

=

==码比特/码元

编码效率：max 0.9591

95.91%lb2

H H η=

==码码

与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。

一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。 3、离散无记忆信源X 的概率空间为：1

2345678()0.220.200.180.10.150.020.050.08X x x x x x x x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩

⎭⎣⎦ 1）对其进行费诺编码；

2）对其进行哈夫曼编码。 解：1）费诺编码：

410

x

8

101

110

4

x

7

101

1110

5

x

6

11

1111

5

2）哈夫曼编码：

4、离散无记忆信源S描述为：123456

()0.370.250.10.180.030.07

S s s s s s s

p S

⎧⎫

⎡⎤

=⎨⎬

⎢⎥

⎩⎭

⎣⎦

1）计算信源熵及其冗余度；

2）对其进行费诺编码；

3）对其进行哈夫曼编码；

4*）对其进行香农-费诺-埃利阿斯编码；

5*）对其进行香农编码；

6）计算哈夫曼码的平均码长、编码效率和码冗余度；

7）把哈夫曼编码器的输出看成一个新信源X，计算其概率分布p(x1) 和p(x2)；

8）H[p(x1), p(x2)] 是否等于H码（即平均码元熵）为什么

解：1）信源熵：

()0.37lb0.370.25lb0.250.18lb0.180.1lb0.10.07lb0.070.03lb0.03 2.229

H S=------=比特/消息

冗余度：

max

() 2.23

1113.788%

()lb6

H S

E

H S

=-=-=

2）费诺编码：

信p(S编码过程码字码