2014信息论基础试卷A

………密………封………线………以………内………答………题………无………效……

电子科技大学2013-2014学年第 二 学期期 末 考试 A 卷

课程名称： 信息论基础 考试形式： 一页开卷 考试日期：20 14年 6月 26日 考试时长：_120分钟 课程成绩构成：平时 30 %， 期中 0 %， 实验 0 %， 期末 70 % 本试卷试题由_三_部分构成，共_3_页。

题号 一 二 三 合计 得分

一、填空题（共30分，共15空，每空2分）

1、通信系统中信道传输信号，信号承载消息，消息所含能消除(不确定性)的内容是信息。

2、根据链式法则，两符号离散信源的联合熵+=)X (H )X X (H 121(H)。

3、如果多符号离散信源对任意两个不同时间起点，其概率及直到N 维的各维联合概率都相同，该信源是N 维( )信源。

4、指数信源的概率密度函数∞<≤μ

=μ-

x 0,e 1)x (p x

，其绝对熵H(X)=( ) bit ，相对熵=)X (H c ( )bit 。

5、平均互信息反映信宿每收到一条消息所含( )一条消息的平均信息量。

6、根据链式法则，两符号离散信道的联合平均互信息+=)Y ;X (I )Y Y ;X X (I 112121( ))Y X /Y ;X (I 1122+。

7、某二进制对称信道的信道矩阵⎥

⎦

⎤

⎢⎣⎡=9.01.01.09.0)X /Y (P ，其信道容量C=( )bit ，达到信道容量的信源概率P(0)=P(1)=( )。 8、高斯加性信道在最大信息传输速率s /Mb 120C t =、信号带宽B=20MHz 时，信噪功率比=N

X

P P lg

10( )dB 。 9、高斯信源取平方误差失真函数时达到率失真函数R(D)的实验信道是方差为 ( )的反向高斯加性信道。

10、香农第二定理给出的( )编码的信息传输率上界是C ，香农第三定理给出的保真度准则下( )编码的信息传输率下界是R(D)。

11、二进制香农码对应于消息k x 的码字k c 的码长=k l ( )。

12、某二进制对称信道的信道矩阵⎥

⎦

⎤

⎢⎣⎡=9.01.01.09.0)X /Y (P ，信源等概率时三重复码的平均译码错误概率=e P ( )。

得 分

………密………封………线………以………内………答………题………无………效……

二、计算题（共40分，共4题，每题10分）

1、某二进制一阶马尔科夫信源的转移概率P(0/0)=0.8、P(1/0)=0.

2、P(0/1)=0.4、P(1/1)=0.6，求∞→N 时的概率P(X)和极限熵∞H 。

2、某二进制信道的信道矩阵⎥⎦

⎤⎢⎣⎡=5.05.001

)X /Y (P ；①求信源等概率时的平均互信息)Y ;X (I ；②求信道容量C 及达到C 时的信源概率P(X)。

3、某高斯加性信道中噪声的概率密度函数∞<<-∞=

π-n ,e

e 2

1)n (p 2

n 2

e ；①求相对噪声熵)X /Y (H c ；②求达到信道容量C=1bit 时的信源概率

密度函数p(x)。

4、某四进制信源等概率，失真矩阵⎥

⎥

⎥⎥⎦

⎤

⎢⎢⎢

⎢⎣⎡=011110111101

1110]D [，分别求允许失真D=0和D=0.2时的率失真函数R(D)及达到R(D)的实验信道矩阵)X /X

ˆ(P D 。

得 分

………密………封………线………以………内………答………题………无………效……

三、编码题（共30分，共3题，每题10分）

1、某二进制信源的概率[]3.07.0)X (P =，对三次扩展信源编二进制费诺码，并求编码效率η。

2、某三进制信源的概率[]1.03.06.0)X (P =，对二次扩展信源编二进制赫夫曼码，并求编码效率η。

3、某(5,2)汉明码的校验矩阵⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=100110100100110H ，求相应的生成矩阵G 及所编出的4个码字，并求任意两个码字之间的码距

i j 4

,3,2,1j ,i d j i >=及最小码距min d 。

得 分