信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题
一﹑填空题（每题2分，共20分）
1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑XX 性和认证性，使信息传输系统达到最优化。

（考点：信息论的研究目的）
2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5
31010⨯个不同的画面。

按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。

（考点：信息量的概念与计算）
3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。

（考点：信道按噪声统计特性的分类）
4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。

若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。

（考点：等长码编码位数的计算）
5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。

（考点：错误概率和译码准则的概念）
6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。

（考点：纠错码的分类）
7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，
2））线性分组码。

（考点：线性分组码的基本概念）
8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。

（考点：平均信息量的定义）
9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。

（考点：线性分组码的纠检错能力概念）
10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输
速率，称之为（信道容量）。

（考点：连续信道和波形信道的信道容量）
二﹑判断题（每题2分，共10分）
1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。

（对）（考点：信源剩余度的基本概念）
2.信道的噪声是有色噪声，称此信道为有色噪声信道，一般有色噪声信道都是无记忆信道。

（错）（考点：有色噪声信道的概念）
3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。

（对）（考点：非奇异码的基本概念）
4.在一个二元信道的n次无记忆扩展信道中，输入端有n2个符号序列可以作为消息。

（对）
5.卷积码的纠错能力随着约束长度的增加而增大，一般情况下卷积码的纠错能力劣于分组码。

（错）（考点：卷积码的纠错能力）
三﹑名词解释（每题3分，共12分）
1.信源编码
信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率，所以又称为信源压缩编码。

（考点：信源编码的基本概念）
2.马尔可夫信源
信源某t 时刻所处的状态由当前的输出符号和前一时刻（t-1）信源的状态唯一决定，则称此信源为马尔可夫信源。

（考点：马尔可夫信源的基本概念）
3. 熵功率
若平均功率为P 的非高斯分布的信源具有熵为h ，称熵也为h 的高斯信源的平均功率为熵功率P ，即熵功率是212h P e e
=
∏。

（考点：熵功率的定义）
4. 即时码
在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，则这类码称为即时码。

（考点：即时码的定义） 四﹑简答题（每题4分，共16分）
1．信息熵的基本性质有哪些？
答：信息熵的基本性质包括对称性﹑确定性﹑非负性﹑扩展性﹑可加性﹑可
强加性﹑递增性﹑极值性﹑上凸性。

（考点：信息熵的基本性质）
2．由香农公式可以得出的重要结论有哪些？
答：（1）提高信号与噪声功率之比能增加信道的信道容量；
（2）当噪声功率趋近于零时，信道容量趋于无穷大，这意味着无干扰连
续信道的信道容量为无穷大；
（3）信道容量一定时，带宽﹑传输时间和信噪功率比三者之间可以互换；
（4）增加信道带宽（也就是信号的带宽），并不能无限制地使信道容量增
大；
（5）给出了无错误通信的传输速率的理论极限，成为香农极限。

（考点：对香农公式的深入理解所得出的重要结论）
3．（n,k ）线性分组码的重要性质有哪些？
答：（1）（n,k ）线性分组码由其生成矩阵G 或校验矩阵H 确定；
（2）封闭性；
（3）含有零码字；
（4）所有许用码字可由其中一组k 个独立码字线性组合而成；
（5）码的最小距离等于非零码的最小重量。

（考点：（n,k ）线性分组码的重要性质）
4．通信网络信道可划分成哪几种情况？
答：（1）多址接入信道；（2）广播信道；（3）中继信道；（4）串扰信道；（5）
双向信道；（6）多用户通信网；（7）具有反馈的信道。

（考点：通信网络信道的划分）
五﹑计算题（每题8分，共32分）
1．有一布袋内放100个球，其中90个球是红色的，10个球是蓝色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。

(考点：自信息量的基本概念与计算方法)
解：这一随机事件的概率空间为
12()0.90.1X a a p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
1a ——表示摸出的是红球
2a ——表示摸出的是蓝球
若被告知摸出的是红球，那么获得的信息量为
I(1a )=-logp(1a )=-log0.9比特
若被告知摸出的是蓝球，那么获得的信息量为
I(2a )=-logp(2a )=-log0.1比特
若每次摸出一个球后又放回去，再进行第二次摸取。

那么摸取n 次后，红球出现的次数为n p(1a )次，蓝球出现的次数约为n p(2a )次。

则摸取n 次后总共所获得的信息量为
n p(1a )I(1a )+n p(2a )I(2a )
所以，平均摸取一次所能获得的信息量约为
[]
112221()()log ()()log ()()log ()
0.9log 0.90.1log 0.1
0.469/i i i H X p a p a p a p a p a p a ==-+=-=--=∑比特符号
2．设二进制对称信道的传递矩阵为
21331
233⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
若p(0)=3/4，p(1)=1/4，求H(X )﹑H(X|Y) ﹑H(Y|X) 和H(X;Y)。

（考点：信息熵和条件熵的计算）
解：联合概率矩阵为
2111(0)03324110(1)1
212633XY p P p ⎡⎤⎡⎤⎢⎥⎢⎥⎡⎤==⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
⎣⎦ 边缘概率分布为
[](0)
(1)111175212461212X Y P p p P =⎡⎤⎡⎤=++=⎢⎥⎢⎥⎣⎦⎣⎦
H(X)=22(0)log (0)(1)log (1)0.811p p p p bit --= 又信道传递矩阵|21331
233Y X
P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ 故
2211(|)()log (|)
i j j i i j H Y X p x y p y x ===-∑∑
222212111112log log log log 2343123630.918bit
=----=
227755()log log 0.9812121212
H Y bit =--= (|)(,)()
()(|)()
0.8110.9180.98
0.749H X Y H X Y H Y H X H Y X H Y bit
=-=+-=+-=
(;)()(|)0.8110.7490.06I X Y H X H Y X bit =-=-= 3．有一个二元对称信道，其信道矩阵如下图所示，设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设在这消息中1(0)(1)2
P P ==。

问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。

0 0.98 0
0.02
0.02
0.981
1
（考点：对二元对称信道的最大的信息传输速率，最大信息传输速率和最大信息量的深入理解与运用）
解：消息是一个二元序列，这二元符号是等概率分布，即1(0)(1)2
P P ==，所以消息信源的熵()1H X =（比特/符号），即每个二元符号含有1比特信息量。

那么这消息序列含有信息量=14000符号×1（比特/符号）=41.410⨯（比特）
现计算这二元对称信道能传输的最大的信息传输速率。

这信道是二元对称信道，信道传递矩阵
0.980.020.020.98P ⎡⎤=⎢⎥⎣⎦
所以其信道容量（即最大信息传输率）
1()1(0.98)0.8586C H p H =-=-≈比特/符号
得最大信息传输速率
1500t R ≈符号/秒*0.8586比特/符号
1287.9≈比特/ 秒
31.28810≈⨯比特/秒
此信道10秒钟内能无失真传输的最大信息量为
=410 1.28810t R ⨯≈⨯比特
可见，此信道10秒内能无失真传输的最大信息量小于这消息序列所含有的信息量，所以从信道传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。

4. 若线性分组码生成矩阵为
11010000110100=00110100001101G ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
(1) 由该G 矩阵指出（n,k ）码的信息位和监督元位数。

(2) 由G 矩阵确定对应的（n,k ）循环码生成多项式。

(3) 给出对应的H 矩阵（系统码形式）。

(4) 该（n,k ）码的最小汉明距离0d 为多少？
（考点：对线性分组码的深入理解与应用）
解：由[][]10(),,,()()k T k r x g x G I Q Q P H PI d r xg x g x -⎡⎤⎢⎥⎢⎥=====⎢⎥⎢⎥⎣⎦
解题 （1） 信息位k=4,监督元位r =3,n =7。

（2） 由G 矩阵得（7，4）循环码生成多项式32g()=1x x x ++
（3） [][]1101000100011001101000100011===00110100010111000110100011
01101110011100100111001k T r r G I Q H PI Q I ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎢⎥⎡⎤===⎣⎦⎢⎥⎢⎥⎣⎦
（4） 最小汉明距离0d = r =3
五﹑证明题（10分）
1.设信道输入随机变量为X ，输出随机变量为1Y 和2Y 。

并且在已知X 的条件下，1Y 和2Y 为等概率密度分布。

证明：(1) 12112(;)2(;)(;)I X YY I X Y I Y Y =-
(2) 信道I 的信道容量小于2倍的信道的信道容量。

（考点：对信道容量的深入理解与应用） 证明：（1）已知
12(;)I X Y Y =121(;)(;|)I X Y I X Y Y + =12()h Y Y -12(|)h YY X
=1122121()()()()()(|)h Y h Y h Y h Y h YY h Y X -+-+-
21212(|)(|)(|)(|)h Y X h Y X h Y X h YY X -++- =11221212()(|)()(|)[()()()]h Y h Y X h Y h Y X h Y h Y h YY -+--+-+ 11212()[(|)(|)(|)]h Y h Y X h Y X h YY X ++-
=121212(;)(;)(;)(;|)I X Y I X Y I Y Y I Y Y X +-+ 因为在已知X 的条件下1Y 和2Y 统计独立， 所以 12121(|)(|)(|)h YY X h Y X h Y XY =+ =12(|)(|)h Y X h Y X + 得 12(;|)I Y Y X =0
又因为在已知X 的条件下，1Y 和2Y 是等概率密度分布， 则有 12(;)(;)I X Y I X Y =
得 12112(;|)2(;)(;)I Y Y X I X Y I Y Y =-
（2）信道I 的输入为X ，输出为1Y 2Y ,其信道容量为
12112()()
max (;)max[2(;)(;)]I P x P x C I X YY I X Y I Y Y ==-
因为本题中1Y 和2Y 不统计独立所以12(;)I Y Y >0 则得 121()()max (;)max 2(;)2I P x P x C I X YY I X Y C =<= 所以 2I C C <
其中 1()
max (;)P x C I X Y =，是信道的信道容量，由此可得，信道I 的信道容量小于2倍的信道的信道容量。