信息论与编码习题课

V2 {(0100 ), (1000 ), (0000 ), (1100 )} V2的一个两维4重对偶子空间为
V2' {(0010 ), (0001), (0000 ), (0011)}
6-3某系统（8,4）码，其四位校验位 vi , i 0,1, ,3
与四位信息位 ui ,i 0,1, ,3 的关系是
0 1 1 1 0 0 1 0 1 1 1 0 0 0 0 1
从H看出，不相关的列数为3，即 dmin 1 3
所以
dmin 4
编码器逻辑连接图如下：
输入 u0 u1 u2 u3
++++
输出
v0 v1 v2 v3
6-5列出本章例6-4的（7,4）汉明码的标准阵列译码表。 若收码R=(0010100，0111000,1110010),由标准阵 列译码表判断发码是什么？
0
x3 0.1
x4 0.1
1
x 0.07 5
x6 0.06
x 0.05 7
x8 0.04
第二次 分组
0 1
0
1
第三次 分组
0 1 0
1
第四次 分组
0 1 0 1
码字
00 01 100 101 1100 1101 1110 1111
平均码长为
K p(xi )Ki 2.64码元/ 符号
i
编码效率为
H (X ) 2.55 0.966
K 2.64
第六章
6-1写出构成二元域上四维4重矢量空间的全部矢量元素， 并找出其中一个两维子空间及其相应的对偶子空间。 解：构成四维4重矢量空间的四个基底为 （0001),(0010),(0100),(1000),所以张成的四维4重矢 量空间为 V={(0000),(0001),(0010),(0011),(0100),(0101),(0 110),(0111),(1000),(1001),(1010),(1011),(1100),( 1101),(1110),(1111)} 以（1000），（0100）为基底的两维4重子空间为
解：（1）信源符号熵为
H (X ) p(xi ) log p(xi )
i
0.37log2 0.37 0.25log2 0.25 0.18log2 0.18
0.10log2 0.10 0.07log2 0.07 0.03log2 0.03
2.23bit / symbol
110 000100 00011000
0 00 000000000 10001
111 011000 01000000
1 01 000000010 10001
00
11
000111 110011 11000101 110011 01001101 110011 01110101 110011 00
01 000100 10011 10001
0.91 0.111010... 11101
0.96 0.111101... 11110
平均码长为
K p(xi )Ki 3.17码元/ 符号
i
编码效率为
H (X ) 2.55 0.804
K 3.17
(4)费诺编码
消息 符号概率 第一次
符号
分组
x1 0.4
x2 0.18
（2）哈夫曼编码：
符号 概率
x1 0.4
x2 0.18
x3 0.1
x4 0.1
0
x5 0.07 0 0.13 x6 0.06 1
x0 7 0.05 0.09 1
x8 0.04 1
0
0.23 1 0.19
0
0.37 0 0.6
1
1
码字
0
1
1.00 001
011
1
0000
0100
0101
00010 00011
，则求： （1）该信源在每秒内发出1个符号，求该信源
的熵及信息传输速率。 （2）对这8个符号作哈夫曼编码，写出相应码
字，并求出编码效率。 （3）采用香农编码，写出相应码字，求出编
码效率。 （4）进行费诺编码，写出相应码字，求出编
码效率。
解：（1）信源熵
H (X ) p(xi )log p(xi )
2.61码元 / 符号
编码效率为
H (X ) 2.55 0.977
K 2.61
(3)香农编码如下：
信源符号
x1 xx32 x4
x5
xx67
x8
符号概率 log p(xi ) 码字长度 Ki
0.4
1.32
2
0.18 2.47
3
0.1
3.32
4
0.1
3.32
4
0.07 3.84
解：由题意，可知
1 1 1 0 1 0 0 H 0 1 1 1 0 1 0
1 1 0 1 0 0 1
1 0 0 0 1 0 1 G 0 1 0 0 1 1 1
0 0 1 0 1 1 0 0 0 0 1 0 1 1
信息组m={（0000），（0001），（0010）， （0011），（0100），（0101），（0110）， （0111）（10000），（1001），（1010）， （1011），（1100）（1101），（1110）， （将1m11及1G）代} 入C=mG中求得16个对应的码字：
4
0.06 4.06
5
0.05 4.32
5
0.04 4.64
5
累加概率 二进制
码字
Pi
(Pi )
0
0
00
0.4 0.011001... 011
0.58 0.100101... 1001
0.68 0.101011... 1010
0.78 0.110001... 1100
0.85 0.110110... 11011
由切比雪夫不等式可得
L

2(X) 2

0.792 (0.07)2 103
1.62105
所以，至少需要1.62×105个信源符号一起编码才 能满足要求。
5-12 已知一信源包含8个消息符号，其出现的概率
P(X ) {0.1,0.18,0.4,0.05,0.06,0.1,0.07,0.04}
G [Ik P] [I4 P]
由已知条件
v0 u1 u2 u3
vv12
u0 u0
u1 u1
u2 u3
v3 u0 u2 u3
得，
1 0 0 0
1 1 0 1
0 1 0 0 P1 0 1 1
0 0 1 0
Leabharlann Baidu
0
1
00 00000 000000 000101
1 01
1
0
01 00000 000001 000100
0 10
0
1
01 00010 000100 000001
1 00
0
1
10 00001 000010
0 S 00 E 0 10001
10 10000 10001000
1 00 000000000 10001
C12 (1100010)C13 (1101001)C14 (1110100)C15 (1111111)
伴随式有 2nk 23 8 种组合，除了全零图案外， 代表1个差错的差错图案有C71 7 种。
由
1 0 1 1 1 1
1 1 0
S eH T [e6 , e5 , e4 , e3, e2 , e1, e0 ]0 1 1 可得,
11101100 011100
110100 1101010
10111100 001000
110100 1101010
00001100 100100
110101 1101011
1
0
011111 1011111 1111101 1011111 1010101 1011111 0001101 1011110 1
C0 (0000000)C1 (0001011)C2 (0010110)C3 (0011101)
C4 (0100111)C5 (0101100)C6 (0110001)C7 (0111010)
C8 (1000101)C9 (1001110)C10 (1010011)C11 (1011000)
00
0
00111 010010
11
1
00101 010111
01
1
00110 010001
01101100 111000
100111 11100011
01101100 111000
000011 01101011
01101100 111000
011111 01010011
01101101 111000
i
0.1log2 0.1 0.18log2 0.18 0.4log2 0.4 0.05log2 0.05 0.06log2 0.06 0.1log2 0.1 0.07log2 0.07 0.04log2 0.04
2.55bit / symbol
信息传输速率为
Rt 2.55bit / s
1 0 0
S
E
000 000000 0


0 1 0
0 0 1
001 000000 1
010 000001 0
011 000100 0
100 000010
根据构造标准阵列译码表的步骤，列出如下表：
S
E
000000 000101
0
1
00 00000 000000 000101
0 00
编码效率为
H ( X ) 2.23 0.9696
K
2.3
(3)信源序列的自信息方差为
2 ( X ) p(xi )[log p(xi )]2 [H ( X )]2
i
0.792 (bit)2
由 H ( X ) 0.9696 得， 0.07 H(X )
0 1 1 1
0 0 0 1
1 1 1 0
1 0 0 0 1 1 0 1 G 0 1 0 0 1 0 1 1
0 0 1 0 0 1 1 1 0 0 0 1 1 1 1 0
H [PT Ink ] [PT I4]
1 1 0 1 1 0 0 0 1 0 1 1 0 1 0 0
信源各符号的对应哈夫曼曼码字如下：
0.1 0.18 0.4 0.05 0.06 0.1 0.07 0.04
011 001 1 0001 010 000 010 0001
平均码长为
0 1001
K p(xi )Ki 0.1 3 0.18 3 0.41
i
0.05 5 0.06 4 0.1 4 0.07 4 0.04 5
0
00
101000 11010
0
10
0101100 01100 011101
01
0
0101100 01100 011101
01
0
0101101 01100 011101
00
1
0101110 01100 011100
11
0
0100100 01110 011001
01
0
0101000 01101
110100 1101010
第五章
5-10 设有离散无记忆信源P(X ) {0.37,0.25,0.18,0.10,0.07,0.03}
。（1）求该信源符号熵H(X)。 （2）用哈夫曼编码编成二元变长码，计算其编码
效率。
（3）要求译码错误小于 10，3 采用定长二元码达到
（2）中的哈夫曼编码效率，问需要多少个信源符 号连在一起编？
10
01
10
00101 10
00101 10
00101 11
00101 00
00111 10
00100 1100100 1101101 1100100 0101001 1100100 0110101 1100100 01
10110 11
00111 010011
01
1
00111 010011
01
1
00111 010011
v0 u1 u2 u3
vv12

u0 u0
u1 u1
u2 u3
v3 u0 u2 u3
求该码的生成矩阵、校验矩阵及该码的最小距离， 并画出该编码器硬件逻辑连接图。 解:由（8,4）系统码，得n=8,k=4。
C (m3 m2 m1 m0 c3 c2 c1 c0 ) (u3 u2 u1 u0 v3 v2 v1 v0 )
（2）
符号 概率
x1 0.37
x2 0.25 x3 0.18 x4 0.10
x5 0.07 x6 0.03
0 1
0
0.10
1
0.62
0
0.20
1
0
0
1.00
0.38 1 1
编码 00 01 11 101
1000 1001
该哈夫曼码的平均码长为
K p(xi )Ki
i
0.37 2 0.25 2 0.18 2 0.10 3 0.07 4 0.03 4 2.3码元 / 符号