南京工程学院信息论参考试卷A

一、填空题（本题15空,每空1分,共15分 ）

1一个消息来自于四符号集{a ，b ，c ，d}，四符号等概出现。由10个符号构成的消息“abbbccddbb ”所含的信息量为（ ）bit ，平均每个符号所包含的信息量为（ ）bit 。

2两个二元信道的信道转移概率矩阵分别为

⎥⎥⎥⎦⎤

⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=2/16/13/13/12/16/16/13/12/1,10000121P P ，则此信道的信道容量C1=（ ）bit/符号，信道2的信道容量C2=（ ）bit/符号。两信道串联后，得到的信道转移概率矩阵为（ ），此时的信道容量C=（ ）bit/符号。

3条件熵H(Y/X)的物理含义为（ ），所以它又称为（ ）。

4一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。第一次实验包含的信息量为（ ）bit/符号；第二次实验包含的信息量为（ ）bit/符号。 5线性分组码的伴随式定义为（ ），其中错误图案E 指的是（ ）。二进制码中，差错个数可等效为（ ）。

6设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真

函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为

⎩⎨⎧=≠=j i j i d

ij

01，

⎩⎨⎧=-≠=j i j i P ji

εε1，则

失真矩阵[d ij ]=（ ），平均失真D=（ ）。

二、判断题（本题10小题,每小题1分,共10分）

1、I(p i ) = - logp i 被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。

（ ） 2、异前置码一定是唯一可译码。

（ ）

3、无记忆离散消息序列信道，其容量C ≥各个单个消息信道容量之和。 （ ）

4、冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。（ ）

5、当信道固定时，平均互信息),(Y X I 是信源分布的∪型凸函数。 （ ）

6、BCH 码是一类线性循环码，其纠错能力强、构造方便。

（ ）

7、R(D)被定义为在限定失真为D 的条件下，信源的最大信息速率。 （ ）

8、设P为某马尔可夫信源的转移概率矩阵，若存在正整数N使得N

P中的元素全都为0，则该马尔可夫信源存在稳态分布。（）

9、信道容量随信源概率分布的变化而变化。（）

10、如果两个错误图样e1、e2的和是一个有效的码字，则它们具有相同的伴随式。（）

三名词解释（本题4小题,每小题5分,共20分）

1 极限熵

2最佳变长码

3 限失真信源编码

4 信道容量

四计算题（本题3小题,共25分）

1 有一离散信道，其信道矩阵为

⎥

⎥

⎥

⎥

⎥

⎥

⎦

⎤

⎢

⎢

⎢

⎢

⎢

⎢

⎣

⎡

=

2

1

6

1

3

1

3

1

2

1

6

1

6

1

3

1

2

1

P

，并设2

1

)

(

,

4

1

)

(

)

(

3

2

1

=

=

=x

P

x

P

x

P

，，

试按最大似然概率译码准则确定译码规则，并计算其相应的平均译码错误概率。 (7分)

2 彩色电视显像管的屏幕上有5×105个像元，设每个像元有64种彩色度，每种彩色

度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。试：

1）计算一帧图像所包含的信息量；

2）计算每秒传送25帧图像所需要的信道容量；

3）如果信道上信号与噪声平均功率的比值为30dB，为实时传送彩色电视图像，信道的通频带应为多大？（3+3+3=9分）

3 考虑一个（8，4）系统线性分组码，其校验位与信息位的关系是：

，其中m1~m4是信息位（码元），C3~C0是校验位。

求出此分组码的生成矩阵G和校验矩阵H。（码字排列为m1~m4C0~C3）

求此码的最小距离d min。

若输入信息m=(1010)，试求对应的输出码字。

若接收序列R=（10111010），试判断接收是否有错？并说明理由。（2+2+2+3=9分）五综合题（本题3小题,共30分）

1 信源符号X的概率空间为

⎥

⎦

⎤

⎢

⎣

⎡

=

⎥

⎦

⎤

⎢

⎣

⎡

9.0

1.0

2

1

x

x

P

X

，每次两个符号一起编码，试写出其哈

夫曼编码，并求其平均码长L和编码效率。（4+4=8分）

2 设某卷积码的转移函数矩阵为G （D ）=（1+D ，1+D 2）， 试画出该卷积码的编码器结构图； 求该卷积码的状态图；

求该码的自由距离d f 。 （3+4+3=10分）

3 设有一个二进制二阶马尔可夫信源，信源符号集为}1,0{。条件概率为： p(0|00)=p(1|11)=p(1|00)=p(0|11)=0.5=p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5。 试：1）求出状态转移矩阵[P ji ]=[P(S j /S i )]； 2）画出该马氏信源的状态转移图； 3）求出各状态的平稳分布W i ；

4）求出该信源的极限熵 H 。 (3+3+3+3=12分)

答案：1、 20 ， 2

2、1bit/符号，0.126bit/符号， ，0.126bit/符号

3、唯一地确定信道噪声所需要的平均信息量，噪声熵或散布度

4、0.915bit/符号，0.915bit/符号 ，

5、S=EH T ，E=R-C (mod M) 收码和发码的汉明距离

6、

，ε