信息论与编码（第3版）第3章部分习题答案

3.1设信源
()1
2345670.20.190.180.170.150.10.01X a a a a a a a P X ⎛⎫⎧⎫=⎨
⎬ ⎪⎩
⎭⎝⎭ (1) 求信源熵()H X (2) 编二进制香农码
(3) 计算平均码长及编码效率。

答：(1)根据信源熵公式
()()()()21
log 2.6087bit/symbol i i i H X p a p a ==−=∑
(2)利用到3个关键公式：
①根据()()()1
00,0i a i k k p a p a p a −===∑计算累加概率；
②根据()()*22log 1log ,i i i i p a k p a k N −≤<−∈计算码长；
③根据()a i p a 不断地乘m 取整（m 表示编码的进制），依次得到的i k 个整数就是i a 对应的码字
根据①②③可得香农编码为
(3)平均码长公式为
()1
3.14i i i K p a k ===∑
单符号信源L =1，以及二进制m =2, 根据信息率公式
()2log bit/symbol m K
R K L
==
编码效率
()83.08%H X R
η==
3.2对习题3.1的信源编二进制费诺码，计算其编码效率
答：将概率从大到小排列，且进制m=2,因此，分成2组（每一组概率必须满足最接近相等）。

根据平均码长公式为
()
1
2.74
i i
i
K p a k
=
==
∑
单符号信源L=1，以及二进制m=2, 根据信息率公式
()
2
log bit/symbol
m
K
R K
L
==
编码效率（信源熵看题3.1）
()
95.21%
H X
R
η==
3.3对习题3.1的信源编二进制赫夫曼码，计算平均码长和编码效率
答：将n个信源符号的概率从大到小排列，且进制m=2。

从m个最小概率的“0”各自分配一个“0”和“1”，将其合成1个新的符号，与其余剩余的符号组成具有n-1个符号的新信源。

排列规则和继续分配码元的规则如上，直到分配完所有信源符号。

必须保证两点：
(1)当合成后的信源符号与剩余的信源符号概率相等时，将合并后的新符号放在靠前的
位置来分配码元【注：“0”位表示在前，“1”表示在后】，这样码长方差更小；(2)读取码字时是从后向前读取，确保码字是即时码。

概率排序
码字读取方向（红色表示码字）
根据平均码长公式为
()
1
2.72
i i
i
K p a k
=
==
∑
单符号信源L=1，以及二进制m=2, 根据信息率公式
2L 编码效率（信源熵看题3.1）
()95.91%H X R
η=
=
3.4设信源
()1
23456781/21/41/81/161/321/641/1281/128X a a a a a a a a P X ⎛⎫⎧⎫=⎨
⎬ ⎪⎩
⎭⎝⎭ (1) 求信源熵()H X
(2) 编二进制香农码和二进制费诺玛
(3) 计算二进制香农码和费诺玛的平均码长和编码效率
答：(1)根据信源熵公式
()()()()21
log 1.984375bit/symbol i i i H X p a p a ==−=∑
根据题3.1中①②③可得香农编码为
二进制费诺编码
设香农编码和费诺编码的平均码长分别为12,K K ，编码效率分别为12,ηη。

根据平均码长公式可知
()121
1.984375, 1.984375i i i K p a k K ====∑
单符号信源L =1，以及二进制m =2, 根据信息率公式
2L
编码效率
()121
100%H X R ηη==
=。