信息论第五章答案

设信源⎭

⎬⎫⎩⎨⎧=⎥

⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(765432

1x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；

(3) 计算平均码长和编码效率。

解： (1)

symbol

bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()

(log )()(22222227

1

2=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=

%1.8314.3609

.2)()(14

.301

.071.0415.0317.0318.0319.032.03)(====

=⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K

X H R X H x p k K i

i i η

对信源⎭

⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(765432

1x x x x x x x X P X 编二进制费诺码，计算编码效率。

%2.9574.2609

.2)()(74

.201

.041.0415.0317.0218.0319.032.02)(====

=⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K

X H R X H x p k K i

i i η

对信源⎭⎬⎫⎩⎨⎧=⎥

⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(765432

1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。

解：

%9.9572.2609

.2)()(72

.201

.041.0415.0317.0318.0319.022.02)(====

=⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K

X H R X H x p k K i

i i η

%4.913log 8.1609

.2log )()(8

.1)

01.01.015.017.018.019.0(22.01)(2

2=⨯===

=+++++⨯+⨯==∑m L

K X H R X H x p k K i

i i η

设信源⎪⎭

⎪

⎬⎫⎪⎩⎪⎨⎧=⎥

⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；

(2) 编二进制香农码和二进制费诺码；

(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；

(5) 计算三进制费诺码的平均码长和编码效率；

解： (1)

symbol

bit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)

(log )()(222222228

1

2=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑=

=127/64 bit/symbol (2)

二进制费诺码：

香农编码效率：

%

100984.1984.1)()(64

/127984.17128

171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=

=∑K

X H R X H x p k K i

i i η

费诺编码效率：

%

100984.1984.1)()(984

.17

128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K

X H R X H x p k K i

i i η (4)

(5)

%

3.943log 328.198

4.1log )()(328.14

1281

41281364133212161281141121)(2

2=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K i

i i η

设无记忆二进制信源⎭

⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010

)(X P X

先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。

(1) 验证码字的可分离性；

(2) 求对应于一个数字的信源序列的平均长度1K ； (3) 求对应于一个码字的信源序列的平均长度2K ； (4) 计算

1

2

K K ，并计算编码效率； (5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长K ，并计算编码效率。

解：（1）满足Kcraft 不等式：

12282

149

1

=+⨯=--=-∑i K i

；由码树图可见，没有一个码字是其它码字的

前缀，码字均在树的终结点。所以码字可分离。

数字符号信源符号/.69359

11==∑=i i i L p K

（3） 数字符号/.bit L p K i i

i

708629

1

2='=

∑=

（4）

信源符号/.bit K K 475601

2

=, 此值表示无记忆二元信源采用游程长度编码后每个二元信源需要的平均码长。

信源符号/.)(log )()(bit x p x p X H i i 46902

1i 2==∑=，%./)

(6981

2==

K K X H η

（5）4位信源符号的联合概率、Huffman 编码及码长如下表：（码字可以不同，但码长一样） 80

123456701

11111110

000

00