模拟试卷及答案

信息理论与编码试卷Ａ答案

一、填空题 (每空２分，共２0分) １．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。

2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。 3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log

22

m m -+比特/符号。

4．离散对称信道输入等概率时，输出为 等概 分布。

5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。 6．设DMS 为⎥⎦

⎤

⎢

⎣⎡=⎥⎦⎤⎢⎣⎡03.007

.010

.018

.025

.037

.0.6

54321

u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，

则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。

二、简答题（30分） １．设信源为⎥⎦

⎤

⎢

⎣⎡=⎥⎦⎤⎢⎣⎡4/34

/121

x x P X X ，试求（1）信源的熵、信息含量效率以及冗余度； （2） 求二次扩展信源的概率空间和熵。 解： （1）

)

(11)(2log

/)()

3/4(log 4/34log

4/1)(2

22

X H X H X H X H -=-===+=ηγη

（2）二次扩展信源的概率空间为：

)9/16(log 16/9)3/16(log 16/3)3/16(log 16/316log 16/1)(2222+++=XX H

２．什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为s r ⨯，则它们的

分别信道容量为多少？

答：将H （X|Y ）称为信道},,{|Y P X X Y 的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr 。

将H （Y|X ）称为信道},,{|Y P X X Y 的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs 。

３．信源编码的和信道编码的目的是什么？ 答：信源编码的作用：

（1）符号变换：使信源的输出符号与信道的输入符号相匹配；

（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。 信道编码的作用：降低平均差错率。

４．什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？ 答：香农信道容量公式：)1(log )(02B

N P B P C S S +

=，B 为白噪声的频带限制，0N 为常数，

输入X （t ）的平均功率受限于S P 。

由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 ５．什么是限失真信源编码？

答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。

三、综合题（20+15+15）

１． 设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为

⎥⎦

⎤

⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18

/38

/38

/1),(),(),(),(22122111y x y x y x y x P XY XY 定义一个新的随机变量Y X Z ⨯=(普通乘积)

（1） 计算熵H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ），以及H （XYZ ）； （2） 计算条件熵 H （X|Y ），H （Y|X ），H （X|Z ），H （Z|X ），H （Y|Z ），H （Z|Y ），H （X|YZ ），H （Y|XZ ）以及H （Z|XY ）； （3） 计算平均互信息量I （X ；Y ），I （X ：Z ），I （Y ：Z ），I （X ；Y|Z ），I （Y ；Z|X ）以及I （X ：，Z|Y ）。 解：（1）

1

2log

2/12log

2/1)(12log 2/12log 2/1)(2

2

22=+==+=Y H X H

8

/10

8

/30

8

/308

/1111110101100011010001000XYZ

8

/18

/71

0Z

8log

8/1)7/8(log 8/7)(2

2+=Z H

8

/18

/30

2

/111100100XZ

8log

8/1)3/8(log 8/32log

2/1)(2

22

++=XZ H

8

/18

/30

2

/111100100YZ

8log 8/1)3/8(log 8/32log

2/1)(222

++=YZ H

（2）

))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(22

22

+++=Y X H ))3/4(log 4/34log

4/1(2/1))3/4(log 4/34log

4/1(2/1)|(22

22+++=X Y H

)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(22

22+++=Z X H

)4log

4/1)3/4(log 4/3(2/1)0log

01log 1(2/1)|(2

22

2+++=X Z H

)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(22

22+++=Z Y H

)4log

4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2

22

2+++=Y Z H

)

0log

01log 1(8/1)0log

01log 1(8/3))3/4(log 4/34log

4/1(2/1)|(2

22222

+++++=YZ X H