南京工程学院信息论参考试卷iJ

一 填空题（本题15空，每空1分，共15分）

1 设在一8行×8列共64个方格的正方形棋盘上，甲随意将一粒棋子放在棋盘的某个方格，

让乙猜测棋子所在的位置。如将方格按顺序编号

64;......,3;2;188332211→→→→y x y x y x y x ，则令乙猜测棋子所在方格顺序号的信

息量为（log 264=6）bit ；如方格按行和列编号，甲将棋子所在方格的行编号告诉乙后，在令乙猜测棋子所在列所需的信息量为（3）bit 。

2 信源的平均自信息量指的是（平均每个符号所能提供的信息量 ）；信源熵用来表征信源

的（平均不确定度 ）；平均互信息量I(X;Y)的物理含义是（Y 已知后所获得的关于X 的信息 ），I(Y ; X)的物理含义是（X 已知后所获得的关于Y 的信息 ）。

3 传输信道中常见的错误有（随机错误）、（突发错误）和混合错误三种；差错控制方式主

要有（检错重发）、（前向纠错 ）和混合方式三种。

4 设C = {11100, 01001, 10010,00111}是一个二元码，该码的最小距离dmin =（3），则该码

最多能检测出（2）个随机错，最多能纠正（1）个随机错。

5 设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真

函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为

⎩⎨⎧=≠=j i j i d

ij

1，

⎩⎨

⎧=-≠=j i j i P

ji

ε

ε1，

则失真矩阵[d ij ]=（1

00

1⎛⎫

⎪⎝⎭），平均失真D=（ ε ）。

二判断题（本题10小题,每小题1分,共10分）

1．√2．×3．√4．√5．×6．×7．√8．√9．√10．× （1） 对于独立信源，不可能进行预测编码。

（ ）

（2） 信息率失真函数的意义是：对于给定的信源，在满足保真度准则*D D ≤的前提

下，信息率失真函数R(D)是信息率允许压缩到的最大值。 （ ） （3） 一般情况下，互信息满足：0≤I(X;Y)≤min(H(X),H(Y))。

（ ） （4） 码字集合{100，101，0，11}是唯一可译码。 （ ） （5） 互信息量

)

;(j i y x I ≥0，即具有非负性。

（ ） （6） 若要求发现n 个独立随机错误，则要求最小码距1n min

+=d 。

（ ）

（7） 对于强对称信道，只有当信源等概分布时，才能使其达到信道容量C 。 （ ） （8） 二维离散平稳有记忆信源的熵满足：H(X1,X2)≤H(X1)+H(X2)。

（ ） （9） 线性分组码中任意两个码字的模2加仍为一个有用码字。 （ ） （10） 马尔可夫序列的联合概率具有时间推移不变性。

（ ）

四计算题（本题3小题,共25分）

1设有离散无记忆信源X ，其概率分布为P （X ）={0.37，0.25，0.18，0.12，0.05，0.03}，求：1）信源符号熵H （X ）；

2）用哈夫曼编码编成二元变长码，并计算其编码效率；

3）如要求译码错误小于10-3，采用定长编码达到2）中的编码效率，需要多少个信源符号一起编码？ （3+4+4=11分）

解：1）

2()log i i

i

H X p p =-∑=2.22bit/符号

2）

两个小概率相加后，得到的概率重新排序，上分支编码为0，下分支编码为1。得

到整个信源编码如上所述。

平均码长0.3720.2520.1820.1230.0540.034K =⨯+⨯+⨯+⨯+⨯+⨯=2.58 编码效率

3）设采用定长二元码有：

2

222

22

75.0)]([)()]([])([bit

X H X I p X H X I E i i

i i =-=

-=∑

σ

编码效率为86.1% 即()

86.1%0.36

()H X H X εε

=⇒=+

按译码错误10-3有，

23

2

5.7910

e P L L σε

≤

⇒≥⨯个，所以，需要3

5.7910⨯个信源符号一起

编码，才可以达到86.1%的编码效率。

2 设C = {00000000, 00001111, 00110011, 00111100}是一个二元码。试：

1）计算码C 中所有码字之间的距离及最小距离；

2）在一个二元码中，如果把某一个码字中的0和1互换，即0换为1，1换为0，所得的字称为此码字的补。所有码字的补构成的集合称为此码的补码。求码C 的补码以及补码中所有码字之间的距离和最小距离，它们与1）中的结果有什么关系？ 3）试将2）中的结果推广到一般的二元码。 （2+2+2=6分） 解：1）d(00000000, 00001111)=4 d(00000000, 00110011)=4

d(00000000, 00111100)=4 d(00001111, 00110011)=4

d(00001111, 00111100)=4 d(00110011,00111100)=4 故码C 的最小距离d=4 （2分）

2） 码C 的补码是 {11111111, 11110000, 11001100, 11000011} d(11111111, 11110000)=4 d(11111111, 11001100)=4 d(11111111, 11000011)=4 d(11110000, 11001100)=4