信息论与编码理论1(A卷答案)

广州大学 2016—2017 学年第 一 学期考试卷
课程 《信息论与编码理论1》 考试形式（闭卷，考试）
学院 系 专业 班级 学号 姓名_
一、 单项选择题（每题2分，总计10分） 1．当底为e 时，信道容量的单位为（ C ）。

A 奈特
B 哈特
C 奈特/符号
D 哈特/符号 2．下列量中（ D ）一定最大。

A );(Y X I
B ),(X Y I
C )|(Y X H
D ),(Y X H
3．下列（ A ）陈述是错误的。

A 算术编码不需要知道信源的分布
B 游程编码不需要知道信源的分布
C LZ 编码不需要知道信源的分布
D LZW 编码不需要知道信源的分布 4．下列数组中（ C ）不满足二个字母上的Kraft 不等式。

A (2，2，1)
B (2,2)
C (1,1,3)
D （3，3，3） 5．下列（ A ）是准对称信道的状态转移概率矩阵。

A ⎪⎪⎪⎪⎭⎫ ⎝⎛613
12121613
1 B ⎪⎪⎪⎭⎫ ⎝⎛5.05.05.05.05.05.05.05.05.0 C ⎪⎪⎪⎪⎪⎪⎭
⎫
⎝⎛32313231
3231 D ⎪⎪⎭
⎫ ⎝⎛2.02.08.02.08.02.0 二、填空题（每空2分，总计20分）
1．若二元离散无记忆信源25.0)0(=p ，75.0)1(=p ，则当给出10比特的信源序列，其中有4个1，其自信息为3log 4202-比特，整个序列的熵为)3log 4
3
2(102-
比特/符号。

2．若某离散信道信道转移概率矩阵为⎥
⎦
⎤
⎢
⎣⎡125.0125.05.025.0125.0125.025.05.0，则其信道容量为4
3log 352-比特/符号；转移概率矩阵为⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡5.05.04.06.06.04.0，则其信道容量为1比特/符号。

3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为⎥⎦⎤
⎢
⎣⎡--p p
p p 11 ， 则级联信道的信道转移矩阵为⎥⎦⎤⎢⎣⎡+---+-22222212222221p p p
p p p p p ，无穷多个级联后的矩阵为⎥⎦⎤
⎢⎣⎡5.05.05.05.0。

4．若一个信道的输入熵为5.1)(=X H ，输出熵为3.1)(=Y H ，7.0);(=Y X I ，则
=),(Y X H _2.1比特/符号_，疑义度为0.8比特/符号_，散布度为0.6比特/符号_。

5．由
三、判断题（每题2分，总计10分） 1. 概率大的事件自信息大 （⨯）
2. 若一个码字集合中的码字长度满足Kraft 不等式 ，则其必为异字头码。

（⨯）
3. Huffman 编码一定是不等长码。

（⨯ ）
4. 平均互信息是下凸函数。

（ ⨯ ）
5. 对于离散无记忆信道，达到信道容量时的输入概率分布可以是不唯一的 （√） 四、计算题（60分）
1）（12分）设随机变量Y X ,的联合概率分布如下：
Y X Z ⊕=，⊕为模2加。

分别求);(),|(),(),(Z X I Y X H Y H X H 。

解: X 的分布率为
则1)(=X H 比特/符号.
Y 的分布率为
则3log 4
3
2)(2-=Y H 比特/符号.
)0()0,0()0|0(====
==Y P Y X p Y X p =1,)
1()1,0()1|0(======Y P Y X p Y X p =31
)0()0,1()0|1(====
==Y P Y X p Y X p =0,)
1()1,1()1|1(======Y P Y X p Y X p = 32
)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --
=32log 210log 031log 411log 412222----=2
1
3log 432-=0.6887比特/符号.
)0()0,0()0|0(====
==Z P Z X p Z X p =31,)
1()
1,0()1|0(======Z P Z X p Z X p =1 )0()0,1()0|1(======Z P Z X p Z X p =32,)
1()1,1()1|1(======Z P Z X p Z X p =0 则
)
1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2
222
=+=+=+==X p p p X p p p X p p p X p p p Z X I =2
10log 02132
log 21211log 412131
log 4
12
2
22+++=3log 43232-比特/符号.
2）（18分）若离散无记忆信源的概率分布为
⎪⎪⎭
⎫ ⎝⎛=3.01.04.005.005.01.0654321
a a a a a a U
① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon
编码，Fano 编码，Shannon-Fano-Elias 编码。

② 并求①中二元Huffman 编码的编码效率。

（只列出式子即可） 解:对信源按概率从大到小排序, ⎪⎪⎭
⎫
⎝
⎛=05.005.01.01.03.04
.0321564
a a a a a a U ,建立码树则有二
元Huffman 编码: ,00111→a ,00012→a ,00003→a ,14→a ,00105→a ,016→a 要进行三元Huffman 编码,则需要添加一个空信源,成为
⎪⎪⎭
⎫ ⎝⎛=005.005.01.01.03.04.07321
564a a a a a a a U ,建立码树则有三元Huffman 编码:
,011→a ,0002→a ,0013→a 24→a ,,025→a ,16→a
Shannon 编码如下:
Fano 编码如下:
Shannon-Fano-Elias 编码
二元Huffman 编码的平均码长为l =3.021.044.0105.0405.041.04⨯+⨯+⨯+⨯+⨯+⨯=2.2, 编码效率为2.2)3.0,1.0,4.0,05.0,05.0,1.0(2log )()(H l U H R U H ===η
3）（10分）若二元信源}1,0{，21)0(=
p ，2
1
)1(=p ，对10011进行算术编码。

32)21()21()10011(==s P ,码长5)(=⎤
⎢
⎢⎡=s P l
利用)()()()(r F P F r F +=,)0()1(,0)0(P F F ==,
)10011(=F =)0()1001()1001(P P F ⋅+==)
10010()0()100()100(P P P F +⋅+=
=)10010()1000
()0(P P P ++=32
19
=0.59375=(0.10011). 编码为10011. 4）（20分）对输入流10111000分别用LZ-77，LZ-78，LZW 和KY
算法进行编码,并对LZW 编码进行解码。

解：LZ-77编码：
(0,0,1),(0,0,0),(2,1,1),(4,2,0)(1,1, eof) ， ………………………………………….…...4分 LZ-78编码：
将输入流序列分段为1，0，11，10，00，则有字典
码字为(0,1), (0,0), (1,1),(1,0), (2,0) ………………………………………….…...8分
LZW 编码：
编码为初始字典和数列2，1，2，5，1，7， eof. ………………………….…...12分 解码：收到初始字典和数列2，1，2，5，1，7， eof.后重构字典和输出流如下： 1) 输入2，输出1，由于下一个输入为1，则存10为新词条3， 2) 输入1，输出0，由于下一个输入为2，则存01为新词条4， 3) 输入2，输出1，由于下一个输入为5，则存11为新词条5， 4) 输入5，输出11，由于下一个输入为1，则存110为新词条6， 5) 输入1，输出0，由于下一个输入为4，则存00为新词条7， 6) 输入7，输出00，由于下一个输入为eof ，则终止。

译码为10111000。

………………………………….…...16分 KY 编码：
1）读入前6位，令00=D ，11=D ，则0111011D D D D D D S =，令012D D D =，则
21121D D D D S =，动态字典为}10{2=D ；
2）读入第7位0，则021122D D D D D S =，动态字典为}0,10{02==D D ； 3）读入第8位0，则0021123D D D D D D S =，动态字典为}1,0,10{102===D D D . 故KY 编码为211200,其中动态字典为}1,0,10{102===D D D ……….…20 分。