信息论试卷题目及标准答案

信息论试卷题目及答案
————————————————————————————————作者：————————————————————————————————日期：
2
中国海洋大学2008—2009学年第一学期
一、填空题（每空2分，共20分）
1、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

2、信源编码的目的是提高通信的有效性。

信道编码的最终目的是提高信号传输的可靠性。

3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。

4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。

5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的 上凸 函数。

6、信道矩阵⎥⎦⎤⎢⎣⎡10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。

7、 设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号 ，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。

二、判断题（每题2分，共10分）
1、必然事件和不可能事件的自信息量都是0 。

（错）
2、最大后验概率准则与最大似然准则是等价的。

（错）
3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。

（对）
4、连续信源和离散信源的熵都具有非负性。

（错）
5、相同功率的噪声中，高斯噪声使信道容量最小。

（对） 三、简答题（第1、2题各6分，第三题10分，共22分）
1、简述最大离散熵定理。

对于一个有m 个符号的离散信源，其最大熵是什么？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

(3分) 最大熵值为
m
H 2max log = (3分)
2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以：
)
|()|()|()
|,()
|()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)
所以原命题得证。

3、什么是保真度准则？对二元信源()⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡ωω110u p u ，其失真矩阵⎥
⎦⎤
⎢⎣⎡=00ααD ，求0>α时率失真函数的min D 和max D ？
答：1)保真度准则为：平均失真度不大于允许的失真度。

（3分）
2)因为失真矩阵中每行都有一个0，所以有0min =D （2分），
而(){}()⎪⎩
⎪⎨⎧<
≥-=-=21
211,1min max
ωωαωαωωααωD 。

（5分）
四、计算题（第1、2、3题每题15分，第4题10分，共55分）
1、黑白气象传真图的消息只有黑色和白色两种，求：（1）黑色出现的概率为0.3，白色出现的概率为0.7。

给出这个只有两个符号的信源X 的数学模型，假设图上黑白消息出现前后没有关联，求熵
()X H ；（2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)=0.1，P(白/
黑)=0.2，P(黑/黑)=0.8，求其熵()X H 2。

答：（1）信源模型为()⎥⎦⎤
⎢⎣⎡===⎥
⎦⎤⎢⎣⎡7.03
.021白黑x x x p X (5分) ()()()符号/881.07.0log 7.03.0log 3.0log 2
1bit x p x p X H i i i =--=-=∑=(5分)
（2）由()()()()()⎪⎩⎪⎨⎧
=+=∑=1
21
2
1
x P x P x x P x P x P j j i j i （2,1=i ）(3分) 可得()()()()()()()()⎪⎩⎪⎨⎧=++=+=1
9.02.01.08.021212211x P x P x P x P x P x P x P x P 得⎪⎪⎩
⎪⎪⎨⎧====32)(3
1)(11白黑x P x P (3分)
则()()()
[][]符号
/5533.09.0log 9.01.0log 1.032
1.0log 1.08.0log 8.031log )(2212
1
2bit x x P x x P x P X H i j i j i j i =⨯+⨯⨯-⨯+⨯⨯-=-=∑∑== (4分)
2、设有一离散信道，其信道矩阵为⎥
⎦
⎤
⎢⎣⎡=7.01.02.02.01.07.0p ，求（1）最佳概率分布？（2）当()7.01=x P ，()3.02=x P 时，求平均互信息()Y X I ;和信道疑义度()Y X H /；（3）输入为等概分布时，试写出一译码
规则，使平均译码错误率E p 最小，并求此E p 。

答：（1）是准对称信道，因此其最佳输入概率分布为()()5.021==x p x p (2分) (2)由已知的输入概率空间和信道转移概率，可求得输出概率
()()()∑==2
1i i j i j x y p x p y p (2分)
()()()55.02.03.07.07.021
11=⨯+⨯==∑=i i i x y p x p y p
()()()1
.01.03.01.07.02
122=⨯+⨯==∑=i i i x y p x p y p
()()()35
.07.03.02.07.02
1
33=⨯+⨯==∑=i i i x y p x p y p
(2分)
()()()
符号/3367.135.0log 35.01.0log 1.055.0log 55.0log 3
1
bit y p y p Y H j j j =⨯-⨯-⨯-=-=∑=(2分)
()()()()
()
()符号
/1569.17.0log 7.01.0log 1.02.0log 2.03.02.0log 2.01.0log 1.07.0log 7.07.0log 3
1
2
1
bit x y p x y p x p X Y H j i i i i i i =⨯+⨯+⨯⨯-⨯+⨯+⨯⨯-=-=∑∑==(2分)
平均互信息()()()符号/1798.01569.13367.1;bit X Y H Y H Y X I =-=-=(2分)
()()()符号/8813.07.0log 7.03.0log 3.0log 2
1bit x p x p X H i i i =⨯-⨯-=-=∑=(2分)
信道疑义度()()()符号/7015.01798.08813.0;bit Y X I X H Y X H =-=-=(2分) (3)此时可用最大似然译码准则，译码规则为
()11x y F =，()212x x y F 或=，()23x y F = (2分)
平均译码错误率
()[]
()()25.02.01.02.02
1
18,=++⨯==
=∑-a X Y i j j E a b p r y e p E p (2分) 3、（共20分）某离散无记忆信源符号集为 ，所对应的概率分别为：0.4，0.2，0.1，0.1，
0.07，0.05，0.05，0.02，0.01，码符号集为{0，1，2，3}。

1） 求信源的熵H (X )及信源剩余度 ；（2+2＝4分）
信源的熵：
（2分）信源剩余度：（2分）
2）对其进行四元Huffman编码；（5分）
，其中，若取，可得大于9但与9最接近的正整数10，因此在Huffman 编码是加入一个零概率符号。

编码为332；编码为331；编码为330；编码为32；编码为31；编码为30；编码为2；
编码为1；编码为0
3）求平均码长，编码效率及编码器输出的信息传输率（码率）R。

平均码长：
码元/信息符号（2分）编码效率：0.9194（2分）
信息传输速率： 1.8388比特/符号（2分）
4、已知加性高斯白噪声(AWGN，Add itiveWhite Gaussian Noise)信道，信号的带宽范围为300～3400Hz，信号与噪声功率比为26 dB，（1）计算该信道的最大信息传输速率；（2）若信号与噪声功率比降到10dB，且保持信道最大信息传输速率不变，则信道带宽应该变为多少？
解：（1）计算该信道的最大信息传输速率；（5分）
W=3400-300=3100Hz
SNR=26dB=398
（2）若信号与噪声功率比降到10dB，且保持信道最大信息传输速率不变，则信道带宽应该变为多少？（5分）
SNR=10dB=10。