模拟试卷及答案

信息理论与编码试卷Ａ答案
一、填空题 (每空２分，共２0分) １．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。

2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。

3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log
22
m m -+比特/符号。

4．离散对称信道输入等概率时，输出为 等概 分布。

5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。

6．设DMS 为⎥⎦
⎤
⎢
⎣⎡=⎥⎦⎤⎢⎣⎡03.007
.010
.018
.025
.037
.0.6
54321
u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，
则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。

二、简答题（30分） １．设信源为⎥⎦
⎤
⎢
⎣⎡=⎥⎦⎤⎢⎣⎡4/34
/121
x x P X X ，试求（1）信源的熵、信息含量效率以及冗余度； （2） 求二次扩展信源的概率空间和熵。

解： （1）
)
(11)(2log
/)()
3/4(log 4/34log
4/1)(2
22
X H X H X H X H -=-===+=ηγη
（2）二次扩展信源的概率空间为：
)9/16(log 16/9)3/16(log 16/3)3/16(log 16/316log 16/1)(2222+++=XX H
２．什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为s r ⨯，则它们的
分别信道容量为多少？
答：将H （X|Y ）称为信道},,{|Y P X X Y 的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr 。

将H （Y|X ）称为信道},,{|Y P X X Y 的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs 。

３．信源编码的和信道编码的目的是什么？ 答：信源编码的作用：
（1）符号变换：使信源的输出符号与信道的输入符号相匹配；
（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。

信道编码的作用：降低平均差错率。

４．什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？ 答：香农信道容量公式：)1(log )(02B
N P B P C S S +
=，B 为白噪声的频带限制，0N 为常数，
输入X （t ）的平均功率受限于S P 。

由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

５．什么是限失真信源编码？
答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。

三、综合题（20+15+15）
１． 设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为
⎥⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18
/38
/38
/1),(),(),(),(22122111y x y x y x y x P XY XY 定义一个新的随机变量Y X Z ⨯=(普通乘积)
（1） 计算熵H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ），以及H （XYZ ）； （2） 计算条件熵 H （X|Y ），H （Y|X ），H （X|Z ），H （Z|X ），H （Y|Z ），H （Z|Y ），H （X|YZ ），H （Y|XZ ）以及H （Z|XY ）； （3） 计算平均互信息量I （X ；Y ），I （X ：Z ），I （Y ：Z ），I （X ；Y|Z ），I （Y ；Z|X ）以及I （X ：，Z|Y ）。

解：（1）
1
2log
2/12log
2/1)(12log 2/12log 2/1)(2
2
22=+==+=Y H X H
8
/10
8
/30
8
/308
/1111110101100011010001000XYZ
8
/18
/71
0Z
8log
8/1)7/8(log 8/7)(2
2+=Z H
8
/18
/30
2
/111100100XZ
8log
8/1)3/8(log 8/32log
2/1)(2
22
++=XZ H
8
/18
/30
2
/111100100YZ
8log 8/1)3/8(log 8/32log
2/1)(222
++=YZ H
（2）
))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(22
22
+++=Y X H ))3/4(log 4/34log
4/1(2/1))3/4(log 4/34log
4/1(2/1)|(22
22+++=X Y H
)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(22
22+++=Z X H
)4log
4/1)3/4(log 4/3(2/1)0log
01log 1(2/1)|(2
22
2+++=X Z H
)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(22
22+++=Z Y H
)4log
4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2
22
2+++=Y Z H
)
0log
01log 1(8/1)0log
01log 1(8/3))3/4(log 4/34log
4/1(2/1)|(2
22222
+++++=YZ X H
)
0log
01log 1(8/1)0log
01log 1(8/3))3/4(log 4/34log
4/1(2/1)|(2
22
222
+++++=XZ Y H 0)|(=XY Z H
(3)
)|()();(Y X H X H Y X I -= )|()();(Z X H X H Z X I -= )|()();(Z Y H Y H Z Y I -=
)|()|()|;(YZ X H Z X H Z Y X I -= )|()|()|;(ZY X H Y X H Y Z X I -=
２． 设二元对称信道的输入概率分布分别为]4/14
/3[][=X P ，转移矩阵为
[]⎥⎦
⎤
⎢
⎣⎡=3/23/13/13/2|X
Y P
， （１） 求信道的输入熵，输出熵，平均互信息量； （２） 求信道容量和最佳输入分布； （３） 求信道剩余度。

解：（1）信道的输入熵4log
4/1)3/4(log 4/3)(2
2+=X H ；
⎥⎦
⎤
⎢
⎣⎡=6/112
/14/12
/1][XY
P ]12/512
/7[][=Y P
)5/12(log 12/5)7/12(log 12/7)(22+=Y H
)6/1,12/1(4/1)4/1,2/1(4/3)|(H H X Y H += )|()();(X Y H Y H Y X I -=
（2）最佳输入分布为]2/12/1[][=X P ，此时信道的容量为)3/1,3/2(1H C -=
(3)信道的剩余度：);(Y X I C -
３． 设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥
⎦
⎤
⎢⎢⎢⎣⎡=2/16
/13
/13/12/16
/16/13/12/1|X
Y P ，若信道输入概率为
[][]25.025
.05
.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应
的平均差错率。

解：⎥⎥⎥⎦
⎤
⎢⎢⎢
⎣⎡=8/124
/112
/112/18/124
/112/16/14
/1][XY
P
最佳译码规则：⎪⎩⎪
⎨⎧===33121
1)()()(a
b F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；
极大似然规则：⎪⎩
⎪
⎨⎧===33221
1)()()(a
b F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。