南京工程学院信息论参考试卷iI

一 填空题（本题15空,每空1分,共15分 ）

1 某

地二月份的天气概率分布为

⎪⎭⎪

⎬⎫

⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321snow x rain x cloudy x fine x X P X ，这四种气候的自信息量

分别为：fine （ 1 ）bit 、cloudy （ 2 ）bit 、rain （ 3 ）bit 、snow （ 3 ）bit 。可以看出，

自信息量具有（随机变量的）性质，在（ p(xi)=1 ）时为0。

2 平均互信息I(X;Y)是输入变量分布p(x)的（上凸）函数，存在最（大）值，将这个值定义为（ 信道容量C ）。

3 设信源X 包含n 个不同离散消息，当且仅当X 中各个消息出现的概率（ 相等 ）时，信

源熵达到最大，为（ n 2l o g

）bit 。 4 用公开密钥（e ,n ）=（3, 55）将报文“HIG ”按A=01，B=02，…，Z=26进行加密，“H ”

的加密结果为（17），“I ”为（14），“G ”为（13）。

5 已知X ，Y ∈{0，1}，XY 构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，则H （X ）=（ 1 bit/符号 ），H （XY ）=（ 1.8 bit/符号 ）。 二、判断题（本题10小题,每小题1分,共10分）

（1） 任意两个事件之间的互信息量不可能大于其中任一事件的自信息量。 （ ） （2） 熵H(X,Y)称为联合熵，共熵，，它表示通信完成之后，观察者对通信系统仍然存

在的平均不确定度。 （ ） （3） 码字集合{100，101，0，11}是唯一可译码。 （ ） （4） 用哈夫曼编码方法编出的码字是唯一的。 （ ） （5） 平均失真被定义为失真函数的数学期望。 （ ） （6） 若要求发现2个独立随机错误，则最小码距d min 大于2即可。 （ ） （7） 信道容量C 不仅与信源有关，还是信道转移概率的函数，不同的信道有不同的信

道容量。 （ ） （8） 信源不确定度的大小与信源的消息符号数有关，符号数越多，不确定度越大。（ ）

（9） 信源的冗余度被定义为：

)()

(11max 0X H X H H H r -=-

=∞。

（ ） （10） 离散有记忆信源的记忆长度越长，信源熵越大。

（ ）

四 计算题（本题3小题,共25分）

1 设信道矩阵⎥

⎦⎤

⎢⎣

⎡4.04.02.01.04.05.0，输入符号概率为：⎩⎨⎧==3/2)(3/1)(21x P x P ，试求： 1） 联合概率矩阵；

2） p(yj)；

3） 转移概率矩阵[p(xi/yj)]；

4） 按照最大后验概率准则确定最佳译码规则；

5） 最佳译码规则下的译码平均错误概率。 （2*5=10分）

解：1)由)|()()(i j i j i x y P x P y x P =得联合概率矩阵⎥⎦⎤⎢⎣

⎡15/415/415/230/115/26/1（2分） 2）由∑=====n

i j i j y P y P y P y x P y P 132130

/9)(,15/6)(,30/1)()()(得 （2分）

3）由)()()|(j j i j i y P y x P y x P =得到98)|(,32)|(,94)|(,9

1)|(,31)|(,95)|(322212312111======

y x P y x P y x P y x P y x P y x P （2分）

4）可以确定最佳译码规则为：

232211)(;)(;)(x y F x y F x y F ===。 （2分）

5）在最佳译码规则下的译码平均错误概率为：

3

.030/115/215/2)()()(312112min =++=++=y x P y x P y x P P E （2分）

2 设输入符号表与输出符号表为X=Y={0，1，2，3}，且输入X 等概分布。设失真矩阵为

1111011110111

1

0d ⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎪⎝

⎭，求max D 和min D 及max ()R D 。（2+2+3=7分）

解：

⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡414141413210)(X X P

(){}

, )(1

min =⋅=∑=r

i j i j

i b a d min a p D （2分）

()43

43,43,43,43, )(1max =

⎭⎬⎫⎩⎨⎧=⎭

⎬⎫⎩⎨⎧⋅=∑=min b a d a p min D r i j i i j

（2分） 根据D max

的定义，可得

()0max =D R （3分）

3 已知（7，4）线性分组码的监督关系式为：0

0034613562456=+++=+++=++++x x x x x x x x x x x x ，其中x 6~x 3是信

息位，x 2~x 0是监督位，试：

1) 求该循环码的校验矩阵H ； 2) 生成矩阵G ；

3) 求此码的最小距离d min ； 4)

若接收序列R=（1101010），接收是否有错？如有错，错误图案对应的伴随式为多少？ （2*4=8分）

解：1）由监督关系式可直接得出校验阵

⎥

⎥

⎥

⎦

⎤

⎢

⎢

⎢

⎣

⎡

=

1

1

1

1

1

1

1

1

1

1

1

1

H

（2分）

2）根据系统码的G阵和H阵之间的关系，得

⎥

⎥

⎥

⎥

⎦

⎤

⎢

⎢

⎢

⎢

⎣

⎡

=

1

1

1

1

1

1

1

1

1

1

1

1

1

G

（2分）

3）16组码字为0000000、0001011、0010101、0011110、0100110、0101101、0110011、0111000、1000111、1001100、1010010、1011011、1100001、1101010、1110100、1111111

所以，改组码字间的最小距离d min=3

4）R=1101010，RH T的结果是否为零，如=0，则无错；≠0，则有错；（2分）

错误图案对应的伴随式为

[]0

1

1

1

1

1

1

1

1

1

1

1

1

]0

1

1

1

1[=

⎥

⎥

⎥

⎥

⎥

⎥

⎥

⎥

⎥

⎦

⎤

⎢

⎢

⎢

⎢

⎢

⎢

⎢

⎢

⎢

⎣

⎡

=

=T

RH

S

（2

五、综合题（本题3小题,共30分）

1 设某二维离散信源的原始信源的概率空间

⎥

⎥

⎦

⎤

⎢

⎢

⎣

⎡

=

⎥

⎦

⎤

⎢

⎣

⎡

2

1

4

1

4

1

3

2

1

x

x

x

P

X

，一维条件概率

P{X2=x i/X1=x j}为：

p(x1/x1)=1/2；p(x2/x1)=1/2；p(x3/x1)=0；

p(x1/x2)=1/8；p(x2/x2)=3/4；p(x3/x2)=1/8；

p(x1/x3)=0；p(x2/x3)=1/4；p(x3/x3)=3/4；

求：1）原始信源的熵H（X）；

2）条件熵H(X2/X1)；

3）二维信源的熵H(X1，X2)；

4）每个信源符号提供的平均信息量。（2+3+3+2=10分）解：1）原始信源的熵H(X)=1.5 bit/符号

2）条件熵：H(X2/X1)=1.4 bit/符号

可见：H(X2/X1)

3）二维信源的熵：H(X1，X2)=H(X1)+H(X2/X1)=2.9 bit/消息

4）每个信源符号提供的平均信息量为：H2(X1,X2)=H(X1,X2)/2=1.45bit/符号。

2 一个一阶马尔可夫信源的原始信源的概率空间为

⎥

⎥

⎦

⎤

⎢

⎢

⎣

⎡

=

⎥

⎦

⎤

⎢

⎣

⎡

4

1

9

4

36

11

3

2

1

x

x

x

P

X

，该信源的一步