信息论与编码期末考试题----学生复习用 2

1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22

212x

f x e

σ

πσ

-

=时，信源

具有最大熵，其值为值21

log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。 （2）()()

1222

H

X X H X =

≥()()

12333

H

X X X H X =

（3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

一、 选择题

1、有一离散无记忆信源

X ，其概率空间为⎥

⎦⎤⎢

⎣⎡=⎥⎦⎤⎢⎣⎡125.0125.025

.05

.04

3

21

x x x x P X ，则其无记忆二次扩展信源的熵

H(X 2)=( )

A 、1.75比特/符号；

B 、3.5比特/符号；

C 、9比特/符号；

D 、18比特/符号。

2、信道转移矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ⎡⎤

⎢⎥

⎢⎥⎢⎥⎣⎦

，其中(/)j i P y x 两两不相等，则该信道为

A 、一一对应的无噪信道

B 、具有并归性能的无噪信道

C 、对称信道

D 、具有扩展性能的无噪信道 3、设信道容量为C ，下列说法正确的是：（ ）

A 、互信息量一定不大于C

B 、交互熵一定不小于

C C 、有效信息量一定不大于C

D 、条件熵一定不大于C 5、若BSC 信道的差错率为P ，则其信道容量为：（ ）

A 、 (

)H

p B 、

()12log 1p

p

p p

-⎡⎤

-⎢⎥⎢⎥⎣⎦

C 、

()

1H p -D 、log()P P -

二、填空题

1、(7,4)线性分组码中，接受端收到分组R 的位数为____ ，伴随式S 可能的值有____ 种,差错图案e

的长度为 ，系统生成矩阵G s 为____ 行的矩阵，系统校验矩阵H s 为____ 行的矩阵，G s 和H s 满足的关系式是 。

2、一张1024×512像素的16位彩色BMP 图像能包含的最大信息量为 。

3、香农编码中,概率为

()

i P x 的信源符号x i 对应的码字C i 的长度K i 应满足不等

式 。

3、设有一个信道，其信道矩阵为 0.250.50.250.250.250.50.5

0.25

0.25⎡⎤

⎢⎥

⎢⎥⎢⎥⎣⎦

，则它是 信道（填对称，准对称），其信道容量是 比特/信道符号。

1． 设对称离散信道矩阵为1

1113

36611116

6

3

3P ⎡⎤

⎢⎥

=⎢

⎥⎢⎥⎢⎥⎣⎦

，求信道容量C 。 七.设有一离散信道，其信道传递矩阵为⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡2/16

/13

/13

/12/16/16/13/12/1，并设⎪⎪⎪

⎩

⎪

⎪⎪⎨⎧

===41

)(21)(41)(3

21x p x p x p ，试分别按最大后验概率准则与最大似然译码

准则确定译码规则，并计算相应的平均错误概率。1）最小似然译码准则下，有，

2）（最大后验概率准则下，有，

九、设一线性分组码具有一致监督矩阵⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=11

1

1

100110111000

H 1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G 。 3）写出此分组码的所有码字。

4）若接收到码字（101001），求出伴随式并给出翻译结果。

解：1）n=6,k=3,共有8个码字。（3分） 2）设码字

()

012345C C C C C C C =

由T

T

HC

0=得

⎪⎩⎪

⎨⎧=⊕⊕⊕=⊕⊕=⊕⊕0

000

135034012C C C C C C C C C C （3分）

令监督位为

()012C C C ，则有

⎪⎩⎪

⎨⎧⊕=⊕=⊕=3

404513

52C

C C C C C C C C （3分）

生成矩阵为⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡10

1

1

110010011001

（2

分）