南京工程学院信息论参考试卷iI

一 填空题（本题15空,每空1分,共15分 ）
1 某
地二月份的天气概率分布为
⎪⎭⎪
⎬⎫
⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321snow x rain x cloudy x fine x X P X ，这四种气候的自信息量
分别为：fine （ 1 ）bit 、cloudy （ 2 ）bit 、rain （ 3 ）bit 、snow （ 3 ）bit 。

可以看出，
自信息量具有（随机变量的）性质，在（ p(xi)=1 ）时为0。

2 平均互信息I(X;Y)是输入变量分布p(x)的（上凸）函数，存在最（大）值，将这个值定义为（ 信道容量C ）。

3 设信源X 包含n 个不同离散消息，当且仅当X 中各个消息出现的概率（ 相等 ）时，信
源熵达到最大，为（ n 2l o g
）bit 。

4 用公开密钥（e ,n ）=（3, 55）将报文“HIG ”按A=01，B=02，…，Z=26进行加密，“H ”
的加密结果为（17），“I ”为（14），“G ”为（13）。

5 已知X ，Y ∈{0，1}，XY 构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，则H （X ）=（ 1 bit/符号 ），H （XY ）=（ 1.8 bit/符号 ）。

二、判断题（本题10小题,每小题1分,共10分）
（1） 任意两个事件之间的互信息量不可能大于其中任一事件的自信息量。

（ ） （2） 熵H(X,Y)称为联合熵，共熵，，它表示通信完成之后，观察者对通信系统仍然存
在的平均不确定度。

（ ） （3） 码字集合{100，101，0，11}是唯一可译码。

（ ） （4） 用哈夫曼编码方法编出的码字是唯一的。

（ ） （5） 平均失真被定义为失真函数的数学期望。

（ ） （6） 若要求发现2个独立随机错误，则最小码距d min 大于2即可。

（ ） （7） 信道容量C 不仅与信源有关，还是信道转移概率的函数，不同的信道有不同的信
道容量。

（ ） （8） 信源不确定度的大小与信源的消息符号数有关，符号数越多，不确定度越大。

（ ）
（9） 信源的冗余度被定义为：
)()
(11max 0X H X H H H r -=-
=∞。

（ ） （10） 离散有记忆信源的记忆长度越长，信源熵越大。

（ ）
四 计算题（本题3小题,共25分）
1 设信道矩阵⎥
⎦⎤
⎢⎣
⎡4.04.02.01.04.05.0，输入符号概率为：⎩⎨⎧==3/2)(3/1)(21x P x P ，试求： 1） 联合概率矩阵；
2） p(yj)；
3） 转移概率矩阵[p(xi/yj)]；
4） 按照最大后验概率准则确定最佳译码规则；
5） 最佳译码规则下的译码平均错误概率。

（2*5=10分）
解：1)由)|()()(i j i j i x y P x P y x P =得联合概率矩阵⎥⎦⎤⎢⎣
⎡15/415/415/230/115/26/1（2分） 2）由∑=====n
i j i j y P y P y P y x P y P 132130
/9)(,15/6)(,30/1)()()(得 （2分）
3）由)()()|(j j i j i y P y x P y x P =得到98)|(,32)|(,94)|(,9
1)|(,31)|(,95)|(322212312111======
y x P y x P y x P y x P y x P y x P （2分）
4）可以确定最佳译码规则为：
232211)(;)(;)(x y F x y F x y F ===。

（2分）
5）在最佳译码规则下的译码平均错误概率为：
3
.030/115/215/2)()()(312112min =++=++=y x P y x P y x P P E （2分）
2 设输入符号表与输出符号表为X=Y={0，1，2，3}，且输入X 等概分布。

设失真矩阵为
11110111101111
0d ⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎪⎝
⎭，求max D 和min D 及max ()R D 。

（2+2+3=7分）
解：由题意得⎥
⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣
⎡414141413210)(X X P (){}
, )(1
min =⋅=∑=r
i j i j
i b a d min a p D （2分）
()43
43,43,43,43, )(1max =
⎭⎬⎫⎩⎨⎧=⎭
⎬⎫⎩⎨⎧⋅=∑=min b a d a p min D r i j i i j
（2分） 根据D max
的定义，可得
()0max =D R （3分）
3 已知（7，4）线性分组码的监督关系式为：0
0034613562456=+++=+++=++++x x x x x x x x x x x x ，其中x 6~x 3是信
息位，x 2~x 0是监督位，试：
1) 求该循环码的校验矩阵H ； 2) 生成矩阵G ；
3) 求此码的最小距离d min ； 4)
若接收序列R=（1101010），接收是否有错？如有错，错误图案对应的伴随式为多少？ （2*4=8分）
解：1）由监督关系式可直接得出校验阵
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
=
1
1
1
1
1
1
1
1
1
1
1
1
H
（2分）
2）根据系统码的G阵和H阵之间的关系，得
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
1
1
1
1
1
1
1
1
1
1
1
1
1
G
（2分）
3）16组码字为0000000、0001011、0010101、0011110、0100110、0101101、0110011、0111000、1000111、1001100、1010010、1011011、1100001、1101010、1110100、1111111
所以，改组码字间的最小距离d min=3
4）R=1101010，RH T的结果是否为零，如=0，则无错；≠0，则有错；（2分）
错误图案对应的伴随式为
[]0
1
1
1
1
1
1
1
1
1
1
1
1
]0
1
1
1
1[=
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=
=T
RH
S
（2
五、综合题（本题3小题,共30分）
1 设某二维离散信源的原始信源的概率空间
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
2
1
4
1
4
1
3
2
1
x
x
x
P
X
，一维条件概率
P{X2=x i/X1=x j}为：
p(x1/x1)=1/2；p(x2/x1)=1/2；p(x3/x1)=0；
p(x1/x2)=1/8；p(x2/x2)=3/4；p(x3/x2)=1/8；
p(x1/x3)=0；p(x2/x3)=1/4；p(x3/x3)=3/4；
求：1）原始信源的熵H（X）；
2）条件熵H(X2/X1)；
3）二维信源的熵H(X1，X2)；
4）每个信源符号提供的平均信息量。

（2+3+3+2=10分）解：1）原始信源的熵H(X)=1.5 bit/符号
2）条件熵：H(X2/X1)=1.4 bit/符号
可见：H(X2/X1)<H(X)
3）二维信源的熵：H(X1，X2)=H(X1)+H(X2/X1)=2.9 bit/消息
4）每个信源符号提供的平均信息量为：H2(X1,X2)=H(X1,X2)/2=1.45bit/符号。

2 一个一阶马尔可夫信源的原始信源的概率空间为
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
=
⎥
⎦
⎤
⎢
⎣
⎡
4
1
9
4
36
11
3
2
1
x
x
x
P
X
，该信源的一步
转移概率如表所示：
试求：1）该马尔可夫信源的状态图；
2）各状态的极限概率；
3）该信源的极限熵H∞。

（3+3+4=10分）解：1）状态转移图如下：
2）根据状态的极限概率Wi与状态转移概率P(Sj/Si)之间的关系，有⎪⎩
⎪
⎨
⎧
=
=
∙
∑
i
i
W
W
P
W
1
可得⎪
⎪
⎪
⎩
⎪
⎪
⎪
⎨
⎧
⎪
⎩
⎪
⎨
⎧
=
=
=
⇒
=
+
+
+
=
+
+
=
+
=
4/1
9/4
36
/
11
1
9
7
8
1
9
2
4
3
11
2
8
1
11
9
3
2
1
3
2
`
3
2
2
3
2
1
2
2
1
1
W
W
W
W
W
W
W
W
W
W
W
W
W
W
W
W
3）极限熵H1+1=H(j/i)=H(X j/X i)=0.89bit/符号。

设有(3,1,2)非系统卷积码，其生成多项式分别为：g(1)(x)=1+x；g(2)(x)=1+x2；g(3)(x)=1+x+x2，试：1）画出编码器；
2）画出状态图；
3）用网格图求自由距离df。

（3+4+3=10分）
解：1）编码器如下所示：
C i
m i
（3分）
2）状态图如下：
（4分）
3）由下图可知df=7
（3分。