信息论与编码理论1B卷答案

信息论与编码理论1（B 卷答案）

单项选择题（每题 3分；总计15分）

3

有5个1；则其自信息为200 _5log 2 3比特;整个序列的熵为100（2 log 2 3）比特/符号.

4

0.5

0.25 0.25

0.25 0.5 0.25 ;则其信道容量为log 23—1.5比

■0.25 0.25

0.5 J

0.5

0.25 0.25

0.25 0.25 0.5 ;则其信道容量为log 2 3—1.5比特/符号。 J3.25 0.5

0.25一

1.当底为e 时；熵的单位为（

C )0 A 奈特 B 哈特

C 奈特/符号

D 哈特/符

2.下列关系式中（B ）正确。

A l(X ；Y)_l(X) B

H(X,Y)_I(X;Y)

C H(X |Y) _ H (Y | X)

D 1 (X;Y) _ H (X;Y)

3.下列（D ）陈述是正确的。 A Shannon 编码是最优码

C Huffman 编码可以不需要知道信源的分布

B LZ 编码是异字头码

D 典型序列的数目不一定比非典型的多

4. 5. F 列数组中（

A F 列

(1 ； 1； D A ）不满足二个字母上的

Kraft 1） B （2 ； 2； 2； 2） C （3； 3； 不等式。

（4 ； 3) D 4；

4） 1 6 1 6

1 ?

2 1 3」

0.2 0.4 0.4 二、填空题（每空

1.若二元离散无记忆中 0.4 0.4 0.2 0.4 总计20 分）

p(0) = 0.25 ； 0.4 0.2

1 3

2

3 1 <3 2 ?

3 1 3 2 3」

02 0.2 0.4、 ,0.4 0.4 0.2 p(1) =0.75 ;则当给出 100比特的信源序列；其中

2.若某离散信道信道转移概率矩阵为 特/符号；转移概率矩阵为

3.两个相同的BSC做级联信道；其信道转移矩阵分别为1p p 1一pl ；则级联信道的p

信道转移矩阵为1 -2p 2p2 IL

2p -2p2

2p -2p2

1 2p+2p2

无穷多个级联后的矩阵为

0.5 0.5

]o.5 0.5 一

4 .若一个信道的输入熵为H（X） =2.6比特/符号；输出熵为H（Y） =2.3比特/符号

I （X;Y ） =1.7比特/符号；则H （X,Y ） =3.2比特/符号;散布度为0.6比特/符号。

5 •在二元LZ 编码中；若信源有 K 个；某段信源序列共有 M 个字典；则码长

log 2 M 「log ? K |

6 .存在D 元唯一可译码；其平均码长必小于

H （U

^ - 1。 log D

三、判断题（每题 2分；总计10分） 1•概率小的事件自信息大

（V ）

2. 若一个码字集合中的码字长度满足 Kraft 不等式；则其必为逗点码。

（）

3. 若码字都被配置在树的叶子节点处；则这种码一定是异字头码。

（V ）

4. 平均互信息是下凸函数。（ ）

5. 算数编码需要知道信源的分布。 （V ）

四、计算题（55分）

1） （15分）设随机变量 X ,Y 的联合概率分布如下:

Z =XY 。分别求 H (X), H (Y), H(X |Y), I (X;Z)。

解：X 的分布率为

则

H （X ） =1比特/符号.

Y 的分布率为

3

则H(Y) =2log23比特/符号.

4

p(X =0| Y =0)二p(X =0,Y =0)

P(Y =0)

P(X = 0|Y =1)二

p(X =0,Y =1)_ 1

P(Y=1) 3

P(X =1 |Y =0) P(X =1,Y =0)

P(Y =0) =0 ；

p(X =1|Y =1)

p(X =1,Y =1)_ 2

P(Y = 1) = 3

H(X |Y) - -p(0,0)log 2 p(0|0) -p(0,1)log 2 p(0 |1) - p(1,0)log 2 p(1|0) - p(1,1) log 2 p(1 |1)

1 1 1 1

2 3

1

= log 21 log 2 0log 2 0 log 2

= log 2 3

比特/符号.

=0比特/符号.

2）（ 20分）若离散无记忆信源的概率分布为

（a b c d

U =

<0.1 0.2 0.3 0.4 丿

① 分别构造二元；三元 Huffman 编码（要求码长方差最小；但不需求出） ；Shannon

编码；Fano 编码；Shannon-Fano-Elias 编码。

②并求①中二元Huffman 编码的编码效率。（只列出式子即可）

p(X =0|Z =0)=

p —0)=1

P(Z 二 0)

p(X =0 |Z =1)=

P (x =0,Z =1) P(Z =1)

=0

p(X =1|Z =0)=

p(X =1,Z =0) P(Z =0)

=0 ； p(X =1|Z

=1)= p —J P(Z =1)

l(X;Z)二 p(0,0)log 2

p(0|0).

p(X =0)

p(0,1) log 2

p(0|1) p(X =0)

p(1,0)log 2

p(1 | 0) p(X =1)

p(1,1)log 2

P (1|1) p(X =1)