信息论与编码B卷

绝密★启用前
座位号
西 京 学 院
2009-2010学年第二学期期末缓、补考试 07级电子信息工程专业《信息论与编码》试卷
总 分 题号 一 二 三 四 五 六 核分人 题分 30 10 20 10 30 复查人
得分
一、填空题：（每空1分，共30分）
1、若有一（n,k ）线性分组码，其最小汉明距离为d min ，则它至多能纠正 ______个错误，至多能检测出_______个错误。

2、无若某一信源的概率空间为⎥
⎦
⎤
⎢
⎣⎡4/14/14/14/14321x x x x ，则H （X ） =________。

3、当信源给定，平均互信息量);(Y X I 是信源分布概率)/(x y p 的______型凸函数。

4、两个码字1011010、0111011的重量为______，距离为______。

5、设X 的取值受限于有限区间[a,b],则X 服从______分布时，其熵达到最大；如果X 的均值为μ，方差受限为2σ，则X 服从 ______分布时，其熵达到最大。

6、X ，Y 分别为离散无记忆信道的输入、输出变量，当X 和Y 独立统计时，I （X ；Y ）=______，当X 和Y 满足______时，I （X ；Y ）=H （X ）=H （Y ）。

得分 评卷人 复查人
7、给定信源X 的概率空间为⎥⎥⎥
⎦
⎤⎢
⎢⎢⎣⎡
=⎥⎦⎤⎢⎣⎡214
1
4
1)(321
a a a x p X ，失真矩阵为⎥⎥⎥⎥⎥
⎥⎦
⎤⎢⎢⎢⎢
⎢⎢⎣
⎡=10212101D ，则min D =_______，max D =_______。

8、同时抛掷一对质地均匀的骰子，则“2和4同时发生”这事件的自信息量为______，“两个6同时发生” 这事件的自信息量为__________； “两个点数中至少有一个是1” 这事件的自信息量为__________。

9、差错控制的3种基本方式是：____________、____________、____________。

10、若信道的输入为X ，输出为Y ，信道疑义度H （X/Y ）表示________________________，在无噪情况下，H （X/Y ）=_____________。

11、自信息量反映了信源_________________，而信息熵反映的是信________________。

12、对某个含7个消息的信源，其熵的最大值为 ，对应的分布 为 分布。

13、编码分为信源编码和信道编码两种，信源编码以提高 性能为 目的，信道编码以提高 性能为目的。

14、从错误概率最小这一角度来说，当信源非等概率分布时应采用 译码准则，等概率分布时应采用 译码准则。

15、离散平稳有记忆信源的平均符号熵)(X H N 的表达式为______，极限 熵)(X H ∞表达式为______。

得分 评卷人 复查人
二、判断题（1×10）
1、两个相互独立事件的联合自信息量应等于它们各自信息量之和。

（ ）
2、为了有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布。

（ ）
3、离散对称信道达到容量时，输入与输出等概率分布。

（ ）
4、一般来说，哈夫曼编码的效率高于费诺码和香农码。

（ ）
5、设有离散平稳信源，其平均符号熵为H N （X ），则H N （X ）随着N 的增大而增大。

（ ）
6、小概率随机事件所包含的不确定性大，其自信息量大。

（ ）
7、信道容量与信源分布无关。

（ ）
8、转移概率矩阵不随时间变化的马氏链是平稳马氏链。

（ ） 9、互信息是非负的。

（ ）
10、离散级联信道的信道容量一定小于构成级联信道的每个子信道的容量。

（ ）
三、选择题（每题2分，共20分）
1、对于理想信道，下面的表达式正确的是（ ）
A 、I （X ；Y ）=0
B 、H （X/Y ）=H （X ）
C 、H （Y/X ）=H （Y ）
D 、I （X ；Y ）=H （X ） 2、 X ，Y 为n 维矢量，如果信道离散无记忆，则表达式正确的为（ ） A 、∑≥i
j i Y X I Y X I );();( B 、∑≤i
j i Y X I Y X I );();(
C 、∑=i
j i Y X I Y X I );();(
3、下列哪个不是造成信息存在冗余度的原因（ ）
得分 评卷人 复查人
A 、信源输出符号的相关性
B 、信源输出符号的概率统计冗余
C 、给定信源实际发出消息包含的多余信息
4、准对称信道的转移矩阵可以划分为几个互不相交的子集，每个子矩阵必须满足（ ）
A 、每行都是第一行的某种置换
B 、每列都是第一列的某种置换
C 、每行都是第一行的某种置换 ，每列都是第一列的某种置换 5、 n 个信道的信道容量分别为1C ，2C ，……Cn ，那么这n 个信道并联后信道的容量为（ ）
A 、,,min{
21C C C ≤……}
n C B 、,,max{
21C C C ≤……}
n C
C 、
∑=≤n
i i
C C 1
6、香农编码方法是根据（ ）推导出来的。

A 、香农第一极限定理 B 、香农第二极限定理 C 、香农第三极限定理 D 、香农第四极限定理
7、下面哪一项不属于熵的性质：
（ ）
A ．非负性
B ．完备性
C ．对称性
D ．确定性 8、下面哪一项不是增加信道容量的途径： （ ） A 、减小信道噪声功率 B 、增大信号功率 C 、增加码长
D 、增加带宽
9、下面哪一项不属于最简单的通信系统模型：（ ）
A 、信源
B 、加密
C 、信道
D 、信宿
10、下列离散信源，熵最大的是（ ）
A 、H （1/3,1/3,1/3）；
B 、H （1/4,1/4,1/2）；
C 、H （0.9,0.1）；
D 、H （1/2,1/4,1/8,1/8)
四、简答题（共10分）
得分评卷人复查人
1、什么是香农公式？为保证足够大的信道容量，可采用哪两种方法？（5分）
2、从通信的角度理解H（X/Y）的含义。

（5分）
五、计算题（5道题，共30分）
1、已知信源的数学模型⎭⎬⎫⎩⎨⎧=⎥
⎦⎤⎢⎣⎡05.005.01.025.025.03.0)(65432
1x x x x x x X P X ；对该信源编二进制哈夫曼码，并求其编码效率。

（8分）
2、设有两个离散信源集合
⎥⎦⎤⎢⎣⎡===⎥⎦⎤⎢⎣⎡4.06.010)(21a a x p X ，[]1021===b b Y ，其中概率转移矩阵为[]⎥⎦⎤
⎢⎣⎡=⎥⎦⎤⎢
⎣⎡=8.02.02.08.0)/()
/()/()
/()/(12211211a b p a b p a b p a b p X Y p ，求
（1）自信息量
)
(i a I ；
（2）条件自信息量
)
/(j i b a I ；
得分 评卷人 复查人
（3）互信息量
)
;
(
j
i
b
a
I。

（8分）
3、已知高斯加性信道的噪声单边功率谱密度N
=4×10-9W/Hz，最大信息传
输速率C
t
=5×104bps；（1）当信噪功率比为30dB时，求所需带宽W；（2）
当带宽W减小为3.5kHz时，求所需功率P
x。

（8分）
4、已知信源的概率分布P(X)=}3
1
,31,31{，失真矩阵⎥⎥⎥⎦⎤
⎢⎢⎢⎣⎡=022202220]D [；
（1）求失真度D 的取值范围；（2）当失真度D = 1时，求该信源的信息率失真函数R(D)。

（6分）。