南京工程学院信息论参考试卷A

一、填空题（本题15空,每空1分,共15分 ）
1一个消息来自于四符号集{a ，b ，c ，d}，四符号等概出现。

由10个符号构成的消息“abbbccddbb ”所含的信息量为（ ）bit ，平均每个符号所包含的信息量为（ ）bit 。

2两个二元信道的信道转移概率矩阵分别为
⎥⎥⎥⎦⎤
⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=2/16/13/13/12/16/16/13/12/1,10000121P P ，则此信道的信道容量C1=（ ）bit/符号，信道2的信道容量C2=（ ）bit/符号。

两信道串联后，得到的信道转移概率矩阵为（ ），此时的信道容量C=（ ）bit/符号。

3条件熵H(Y/X)的物理含义为（ ），所以它又称为（ ）。

4一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。

第一次实验包含的信息量为（ ）bit/符号；第二次实验包含的信息量为（ ）bit/符号。

5线性分组码的伴随式定义为（ ），其中错误图案E 指的是（ ）。

二进制码中，差错个数可等效为（ ）。

6设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真
函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为
⎩⎨⎧=≠=j i j i d
ij
01，
⎩⎨⎧=-≠=j i j i P ji
εε1，则
失真矩阵[d ij ]=（ ），平均失真D=（ ）。

二、判断题（本题10小题,每小题1分,共10分）
1、I(p i ) = - logp i 被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。

（ ） 2、异前置码一定是唯一可译码。

（ ）
3、无记忆离散消息序列信道，其容量C ≥各个单个消息信道容量之和。

（ ）
4、冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。

（ ）
5、当信道固定时，平均互信息),(Y X I 是信源分布的∪型凸函数。

（ ）
6、BCH 码是一类线性循环码，其纠错能力强、构造方便。

（ ）
7、R(D)被定义为在限定失真为D 的条件下，信源的最大信息速率。

（ ）
8、设P为某马尔可夫信源的转移概率矩阵，若存在正整数N使得N
P中的元素全都为0，则该马尔可夫信源存在稳态分布。

（）
9、信道容量随信源概率分布的变化而变化。

（）
10、如果两个错误图样e1、e2的和是一个有效的码字，则它们具有相同的伴随式。

（）
三名词解释（本题4小题,每小题5分,共20分）
1 极限熵
2最佳变长码
3 限失真信源编码
4 信道容量
四计算题（本题3小题,共25分）
1 有一离散信道，其信道矩阵为
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=
2
1
6
1
3
1
3
1
2
1
6
1
6
1
3
1
2
1
P
，并设2
1
)
(
,
4
1
)
(
)
(
3
2
1
=
=
=x
P
x
P
x
P
，，
试按最大似然概率译码准则确定译码规则，并计算其相应的平均译码错误概率。

(7分)
2 彩色电视显像管的屏幕上有5×105个像元，设每个像元有64种彩色度，每种彩色
度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。

试：
1）计算一帧图像所包含的信息量；
2）计算每秒传送25帧图像所需要的信道容量；
3）如果信道上信号与噪声平均功率的比值为30dB，为实时传送彩色电视图像，信道的通频带应为多大？（3+3+3=9分）
3 考虑一个（8，4）系统线性分组码，其校验位与信息位的关系是：
，其中m1~m4是信息位（码元），C3~C0是校验位。

求出此分组码的生成矩阵G和校验矩阵H。

（码字排列为m1~m4C0~C3）
求此码的最小距离d min。

若输入信息m=(1010)，试求对应的输出码字。

若接收序列R=（10111010），试判断接收是否有错？并说明理由。

（2+2+2+3=9分）五综合题（本题3小题,共30分）
1 信源符号X的概率空间为
⎥
⎦
⎤
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
9.0
1.0
2
1
x
x
P
X
，每次两个符号一起编码，试写出其哈
夫曼编码，并求其平均码长L和编码效率。

（4+4=8分）
2 设某卷积码的转移函数矩阵为G （D ）=（1+D ，1+D 2）， 试画出该卷积码的编码器结构图； 求该卷积码的状态图；
求该码的自由距离d f 。

（3+4+3=10分）
3 设有一个二进制二阶马尔可夫信源，信源符号集为}1,0{。

条件概率为： p(0|00)=p(1|11)=p(1|00)=p(0|11)=0.5=p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5。

试：1）求出状态转移矩阵[P ji ]=[P(S j /S i )]； 2）画出该马氏信源的状态转移图； 3）求出各状态的平稳分布W i ；
4）求出该信源的极限熵 H 。

(3+3+3+3=12分)
答案：1、 20 ， 2
2、1bit/符号，0.126bit/符号， ，0.126bit/符号
3、唯一地确定信道噪声所需要的平均信息量，噪声熵或散布度
4、0.915bit/符号，0.915bit/符号 ，
5、S=EH T ，E=R-C (mod M) 收码和发码的汉明距离
6、
，ε
二、
1．√2．√3．×4．×5．×6．√7．×8．√9．×10．√
序列长度趋于无限大时，序列的平均符号熵称为极限熵，又称极限信息量。

2 最佳变长码
变长编码中，所有编出的唯一可译码中平均码长最短的码即为紧致码。

3 限失真信源编码
离散无记忆信源X的信息率失真函数为R(D)，当信息率大于R(D)时，只要信源
序列的长度足够长，一定存在一种编码方法，其译码失真小于或等于D+ε；反之，
则无论采用什么方法，其译码失真必大于D。

4 信道容量
平均互信息I（X；Y）在转移概率p(y/x)一定时，关于X的概率分布是上凸函数，
因此有极大值存在，这个极大值定义为信道容量。

四、
1、解：根据最大似然概率译码规则，得译码规则为：
F(y1)=x1 F(y2)=x2 F(y3)=x3 （1分）
收到y1后的错误概率Pe1=1/2 （1分）
收到y2后的错误概率Pe2=1/2 （1分）
收到y3后的错误概率Pe3=1/2 （1分）
Y的概率分布为：{1/4 1/4 1/2}
∴平均错误概率为：
P E=p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4*(1/2)+1/4*(1/2)+1/2*(1/2)=1/2 （3分）
2、解：1）一帧图像的信息量=5*105*6*4bit=1.2*107bit （3分）
2）1秒送25帧图像所需的信道容量C=1.2*107*25/s=3*108bit/s （3分）
3）根据香农公式C=Blog(1+SNR)，可得：
通频带B=C/log(1+1000)=1*108 Hz （3分）
3、
五、1、解：哈夫曼编码参考答案：
0，11，100，101（哈夫曼编码并不唯一）（4分）
平均码长=0.81+0.09*2+0.10*3=1.29bit/2符号=0.645bit/符号（2分）
编码效率（2分）2、解：1)输出与输入之间的关系为：
g1(x)=(110),g2(x)=(101)
输出C0(i)=m0(i)+m0(i-1)
C1(i)= m0(i)+m0(i-2) （3分）
编码器结果如下所示：
2）状态图：
3）自由距离d f=6（3分）3、。