信息论与编码第四章习题参考答案

4.1某离散无记忆信源概率空间为

分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。 解：信源的熵为

881.03.03.07.07.0)(H =--=lb lb X 比特/符号

当N=10时，序列码长应当满足 81.81

881

.0102)(L 1=⨯=>

lb X NH 比特/序列

考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为

9.0N

L L 1

1==

比特/符号 所以编码效率为

%9.97L )

(H 1

1==

X η 当N=100时，序列码长为

1.881

881

.01002)(L 1=⨯=>

lb X NH 比特/100符号

取L1=89比特/符号，平均每个符号的码长为

89.0N

L L 2

2==

比特/符号 编码效率为

%99L )

(H 2

2==

X η 4.2设离散无记忆信源为

如果要求编码效率为，允许错误概率为

，求编码序列的长度

。

解：信源的熵为

722.02.02.08.08.0)(H =--=lb lb X 比特/符号

自信息量方差为

64.0722.0-）2.0（2.0）8.0（8.0D 22

2=+=lb lb

采用二进制码进行等长编码，序列长度应当满足

722

21062.1)1)((D N ⨯=-≥δ

ηηX H

4.3设离散无记忆信源的概率空间为

要求编码效率为

(1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。

(2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结

果。

解1）信源的熵为

811.025.025.075.075.0)(H =--=lb lb X 比特/符号

自信息量方差为

471.0811.0-）25.0（25.0）75.0（75.0D 22

2=+=lb lb

采用二进制编码，序列长度为

62221029.1)1)((D N ⨯=-≥δ

ηηX H

2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码

平均码长为

6875.1316

1316321631169L =⨯+⨯+⨯+⨯=

比特/2符号 每个符号码长为

84375.02

6875.12L L ===

比特/符号 编码效率为

%95%1.9684375

.0811

.0L H(X)=>===

δη 由于变长编码能够更好利用不同序列的概率分布进行编码，概率越大，序列的码长越短，概率越小，序列的码长越长，所以相对等长编码而言，变长编码的平均码长很短。在信源扩展长度很小情况下即可达到很高的编码效率。

4.4设有码集合

，根据唯一可

译码判断准则，判断是否为唯一可译码。

解：对应码长分别为3,4,4,4,5,5,5,6，将这些码长代入计算

14218758.022*******-5-5-5-4-4-4-3-≤=+++++++

结果满足麦克米伦不等式，因此该组码是唯一可译码的。

4.5设离散无记忆信源的概率空间为

将该信源扩展为长度的扩展信源，然后进行变长编码，求每个符号的平均码长可达

范围。 解：信源的熵为 98.1)()()(H 8

1

=-

=∑=i i

i a lbp a p X 比特/符号 根据香农第一定理，其可达范围为

)(H 1

N L L )(H N X N

X +<=

≤ 将N=100代入上述不等式，可以计算出每个符号的平均码长可达范围为（0.66,0.67）比特/符号。

4.6给定信源

的概率空间为

信宿的取值于

，失真矩阵为

求

和

，并且给出取得最小失真的条件。

解：根据失真矩阵行元素确定最小失真对应的实验信道条件概率矩阵（即最小失真的条件）为

⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡=010110P

对应的最小失真为

16

1

021*******),(min )(D 3

1min =⨯+⨯+⨯=

=

∑=i

j i b a d ai p 最大失真首先计算每列的平均失真，即

∑==

3

1

),()()(i

j i i j b a d a p b d 将数据代入，得

165

021*******)(1=

⨯+⨯+⨯=

b d 16

11

1214341041)(2=

⨯+⨯+⨯=

b d 最大失真为

16

5}16

11）)(1（165)(min{)}()()()(min{D 212211max =⨯-+⨯=⨯+⨯=b p b p b d b p b d b p

4.7 二元信源的概率空间为

失真矩阵为

求信源的最大平均失真

，最小平均失真

和信息率失真函数

。

解：由于失真矩阵的每行元素中最小值为0，所以最小失真为Dmin=0；

2

21021)(1αα=⨯+⨯=

b d