信息论与编码理论_23_2

1i
中间码
S0
S1 S2
二元码码长 l 4 4 4 4 4 4 4 4 1
2i
S3
S4
S5 S6 S7 S8
2006-12-25
15
根据表可计算
K1 = ∑ P( si )l1i ≈ 5.6953 信源符号/中间码
i =0
8
（3）根据表可计算
K 2 = ∑ P ( si )l2i ≈ 2.7086
码长 li 码字W
i
信源符号
概率 P( xi )
1 0 .5 4 0 . 26 2 1 0
1 2
2
0 22
21
x1 x2 x3 x4
0 . 20 0 . 19 2 1
0 . 18
2
20 12
11 10
0
0 . 17
2 2 2
x5
x6 x7
0 . 15
0 . 10 0 . 01
2 1 0
三进制
10
2006-12-25
2006-12-25 26
2006-12-25
27
2006-12-25
28
2006-12-25
29
2006-12-25
30
2006-12-25
31
2006-12-25
32
2006-12-25
33
补充2：已知(7,4)汉明码的生成矩阵为 (1) 求该码的全部码字； (2) 求该码的监督矩阵； (3) 若接收码字为1101101，计算伴随式。
2006-12-25 12
（４）计算
K1 K2
，并计算编码效率；
（５）若用４位信源符号合起来编成二进制哈夫曼码，求它的平 均码长 K ，并计算编码效率． 解（１）根据唯一可译码的判断方法可知，最后的二元变长码是 非延长码（即时码），所以它是唯一可译码． （２）因为信源是二元无记忆信源，所以有
P(si ) = P(si1 ) P(si 2 )
其中
P(sin )
si = (si1si 2
sin )
si1, si 2 , , sin ∈{0,1}
13
2006-12-25
序列 1 01 001 0001 00001 000001 0000001 00000001 00000000
数字 0 1 2 3 4 5 6 7 8
二元码字 1000 1001 1010 1011 1100 1101 1110 1111 0
η =1
2006-12-25
21
二进制费诺码
xi x1 x2 x3 x4 x5 x6 x7 x8 P(xi) 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 1 1 1 1 1 1 S1 S2 S3 0 0 0 0 0 0 S4 S5 S6 S7 码字 0 10 110 1110 11110 111110 0 1111110 1 1111111
22
2006-12-25
η = 94.25%
xi x1 x2 x3 x4 x5 x6 x7 x8
2006-12-25
P(xi) 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128
S1 0 1
S2
S3
S4
码字 0
1 20 21
0 1 2 2 0 1 2 0 1
220 221 2220 2221
1
0
010
1 1
0
011
3
10
2
0.17
1
0 110 0 3
x5
x6
0.15
1
1110
4
0.10
1
x7
2006-12-25
0.01
1111
4
6
其平均码长
K = ∑ P( xi )li = 2.74 二元符号/信源符号
i =1
7
编码效率
H ( X ) H ( X ) 2.609 ηX = = = ≈ 95.2% R 2.74 K
（４）
i =0
8
二元码/中间码
K2 ≈ 0.4756 K1
二元码 /信源符号
此值为每个信源符号所需的二元码符号数，也就是无记忆二 元信源采用游程编码后每个二元信源符号所需的平均码长。
2006-12-25 16
可计算无记忆二元信源的信息熵
H (S ) = −∑ P(si ) log P(si ) ≈ 0.4690 比特/信源符号
0 1
1
2 2
3
10
x1 x2 x3 x4
0 . 20 0 . 19
0 . 26 0 . 20 0 . 19 0
0 . 26 0 0 . 20 0 . 19 1
0 . 26
11
000
0 . 18 0 . 17
0 . 18
3
001
0 . 17 0
1
二进制
3 4 4
010
0110 0111
x5
x6 x7
23
三进制费诺码
η =1
符号概率 编码过程 码字 码字字长
（1/2）
（1/4） （1/8）
（1/16） （1/32） （1/64）
2006-12-25
wenku.baidu.com
二进制哈夫曼码
24
η = 94.27%
2006-12-25
三进制哈夫曼码
25
补充1：一个 (6,2) 线性分组码的一致校验矩阵如 下，求 (1) 求hi,i=1,2,3,4使该码 的最小码距dmin≥3； (2) 求该码的系统码生成 矩阵Gs及其所有4个码字。 ⎡ h1 1 0 0 0 1 ⎤ ⎢h ⎥ ⎢ 2 0 0 0 1 1⎥ H = ⎢ h3 0 0 1 0 1 ⎥ ⎢ ⎥ ⎣ h4 0 1 1 1 0 ⎦
⎡1 ⎢0 G=⎢ ⎢0 ⎢ ⎣0
2006-12-25
0 0 0 1 1 1⎤ ⎥ 1 0 0 1 0 1⎥ 0 1 0 0 1 1⎥ ⎥ 0 0 1 1 1 0⎦
34
解答：信息位有四位，应有16种组合－信息组
0000 0001 0100 0101 1000 1001 1100 1101 C={c|c=mG} 码字为： 0000000 0100101 1000111 1100010 0010 0110 1010 1110 0011 0111 1011 1111
0.0009
111111101
9
0011
0.0081
111110
6
1101
0.0009
111111110
9
0101
0.0081
1111000
7
1110
0.0009
1111111110
10
2006-12-25
0110
0.0081
1111001
7
1111
0.0001
1111111111
10
18
K 4 = ∑ P( si )li ≈ 1.9702
i =1
7
编码效率
H ( X ) H ( X ) 2.609 ηX = = = ≈ 83.1% R 3.14 K
2006-12-25
5
5.2 对题5.１的信源编二进制费诺码，计算其编码效 率． 码长 l 解： 信源符号 码字 Wi i 概率
x1 x2
x3 x4
0
0.20
0
00
2
3
0.19 0.18
中间的数字相当于根据0的游程长度编成8个码字，再将 8个码字变换成二元变长码
2006-12-25 14
根据 P 1 = P (1) = 0 . 1, P 2 = P ( 0 ) = 0 . 9 ，可求得信 源符号序列的概率 Psi) ．根据编码，我们排出下列表： (
信源符号序列 1 01 001 0001 00001 000001 0000001 00000001 00000000 序列概率 0.1 0.09 0.081 0.0729 0.06561 0.059049 0.0531441 0.04782969 0.43046721 序列长度 l 1 2 3 4 5 6 7 8 8
l(si )
1 1001 0.0081 1111010
l(si )
7
0001
0.0729
110
3
1010
0.0081
1111011
7
0010
0.0729
100
3
1100
0.0081
1111110
7
0100
0.0729
101
3
0111
0.0009
111111100
9
1000
0.0729
1110
4
1011
2006-12-25 19
5.4. 信源符号X有8种消息，概率为 (1/2,1/4,1/8, 1/16, 1/32,1/64,1/128,1/128) (1)求符号熵H(X) (2)用香农编码编成二进变长码，计算其编码效率。 (3)用费诺编码编成二进变长码，计算其编码效率。 (4)用费诺编码编成三进变长码，计算其编码效率。 (5)用哈夫曼编码编成二进变长码，计算其编码效率。 (6)用哈夫曼编码编成三进变长码，计算其编码效率。
K log 2 m ，对单符号信源编二进制码， 信息率 R = L L=1,m=2。
2006-12-25
7
5.3 对题5.1的信源分别编二进制和三进制哈夫曼码，计算各自 0 . 61 0 的平均码长及编码效率．
码长 li 码字W
i
信源符号
概率 P( xi )
0 . 39
0 . 39
0 . 35
0 . 35
⎛ X ⎞ ⎧0 1 ⎫ ⎜ ⎟ ⎜ P ( X ) ⎟ = ⎨0.9 0.1⎬ ⎠ ⎩ ⎭ ⎝
先把信源序列编成数字0,1,2…,8,再替换成二进制变长 码字，如下表所示． （１）验证码字的可分离性； （２）求对应于一个数字的信源序列的平均长度 K 1 ； （３）求对应于一个码字的平均长度 K 2 ；
概率 p(xi) 0.20 0.19 0.18 0.17 0.15 0.10 0.01 码长 l i 3 3 3 3 3 4 7 码字 W 000 001 010 011 100 1010 1111111
i
2006-12-25
4
(3) 平均码长
K = ∑ P( xi )li = 3.14 二元符号/信源符号
信息论与编码理论
杨文
通信工程系
第四,五次 作业
存在问题
应交17人，实交16人 仍有“COPY”现象 有1人两次作业一题未做 有1人信道编码部分一题未做
2006-12-25
2
5.1 设有信源
x4 x5 x6 x7 ⎫ ⎛ X ⎞ ⎧ x1 x2 x3 ⎜ ⎜ P( X ) ⎟ = ⎨0.2 0.19 0.18 0.17 0.15 0.1 0.01⎬ ⎟ ⎝ ⎠ ⎩ ⎭
2006-12-25
20
解:(1)H(X)=1.9844
xi x1 x2 x3 x4 x5 x6 x7 x8 p(xi) 0.50 0.25 0.125 0.0625 0.03125 0.015625 0.0078125 0.0078125
表 6.1 二进制香农编码
pa(xj) 0.00 0. 50 0.75 0.875 0. 9375 0. 96875 0. 984375 0. 9921875 ki 1 2 3 4 5 6 7 7 码字 0(0.000)2 10(0.100)2 110(0.110)2 1110(0.1110)2 11110(0.11110)2 111110(0.111110)2 1111110(0.111110)2 1111111(0.1111111)2
其平均码长
K = ∑ P ( xi )li = 1.8 三元符号/信源符号
i =1
7
编码效率
ηX =
H (X ) H (X ) H (X ) 2.609 = = = ≈ 91.45% 1.8 × R K K log 2 m log 2 3 1 L
三进制
2006-12-25 11
5.5设无记忆二进制信源
(1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算其平均码长及编码效率． 解： (1)
H ( X ) = − ∑ p ( xi )log 2 p ( xi ) = 2.609 比特
i =1
7
2006-12-25
3
(2)
信源符号 x1 x2 x3 x4 x5 x6 x7
二进制香农编码
i =1
2
所以，这种游程编码的编码效率
H (S ) η= ≈ 0.986 ≈ 98.6% K 2 K1
（５）若对无记忆二元信源的四次扩展信源直接进行霍夫曼编码， 可得下表：
2006-12-25
17
S4
P(si )
码
字
码 长
S4
P(si )
码字 W(s )
i
码长
W(si )
0000 0.6561 0
16
二元码/4个信源符号
故
i =1
K = 0.4926 二元码/信源符号
H (S ) ≈ 0.952 = 95.2% K
编码效率 η =
此编码效率低于游程编码方法。这是因为霍夫曼码只 考虑N=4（固定值）时进行压缩，使概率大的对应于 短码，概率小的对应于长码。但无记忆二元信源符号 “0”出现的概率 P0 很大，所以在信源输出序列中符号 “0”连续出现的概率较大，而连续出现符号“1”的概率 极小。游程编码正是考虑了这些特性，使N较长 （N=8）的连续出现符号“0”序列压缩成一个二元码 符号。所以，游程编码的编码效率较高。当然，当N 很大时（N=8) 时霍夫曼编码效率会提高，但其编码 方法没有游程编码方法来得简单。
0 . 15
0 . 10 0 . 01
0 1 1
2006-12-25
8
其平均码长
K = ∑ P( xi )li = 2.72 二元符号/信源符号
i =1
7
编码效率
H 2 ( X ) 2.609 ηX = = ≈ 95.9% 2.72 K
二进制
2006-12-25
9
5.3 对题5.1的信源分别编二进制和三进制哈夫曼码，计算各自 的平均码长及编码效率．