暨南大学考试试卷

暨 南 大 学 考 试 试 卷

一、选择题（共5小题，每小题3分，共15分）

1. 下列关于离散随机变量X 信息熵()H X 的论断中错误的是（ D ）。

A 、信息熵表示了信源输出前，信源的平均不确定性；

B 、信息熵是其概率空间中每个事件所含有的自信息量的数学期望；

C 、信息熵表示了信源输出后，每个消息或符号所提供的平均信息量；

D 、信息熵并不反映随机变量X 的随机性。

2. 对于连续信源X ，若平均功率受限（方差受限）时，则其概率密度函数是

（ A ）时，差熵具有最大值。

A 、高斯分布

B 、均匀分布

C 、三角分布

D 、非均匀分布

3. 下图给出了两个离散信源X 、Y 的概率空间，其熵值间满足（ B ）。

1

2341

234()0.150.250.40.2()0.250.250.250.25X x x x x Y y y y y p x p y ⎡⎤⎡⎤⎡⎤⎡⎤==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦

A 、H(X)> H(Y)

B 、H(X)< H(Y)

C 、2H(X) =H(Y)

D 、H(X) =2H(Y)

4. 某无记忆信源U 为10

1111()333U p u -⎡⎤

⎡⎤⎢

⎥=⎢⎥⎢⎥⎣⎦

⎣⎦

，接收符号11,22V ⎧⎫=-⎨⎬⎩⎭，其失真矩阵121121D ⎡⎤

⎢⎥=⎢⎥⎢⎥⎣⎦

，则该信源的D max = （ A ）。

A 、43

B 、23

C 、13

D 、53

5. 某一信道，其输入U 的符号集为10,,12⎧⎫

⎨⎬⎩⎭

，输出Y 的符号集为{}0,1，信道

矩阵101

12201P ⎡⎤⎢⎥⎢

⎥=⎢⎥⎢⎥⎣⎦

，现有四个消息的信源通过这信道传输（消息等概率出现）。若对信源进行编码，我们选这样一种码

1211:,,,01(1,2)22i C x x x i ⎧⎫

⎛⎫==⎨⎬ ⎪⎝

⎭⎩⎭或

其码长为4n =。这样编码后信息传输率等于（ B ）。

A 、13

B 、12

C 、14

D 、23

二、填空题（共5小题，每小题3分，共15分）

1. 对于离散有噪无损信道，用r 表示输入变量X 的符号个数，用s 表示输出变

量Y 的符号个数，其信道容量C = log r

。

2. 若连续信源X 的取值区间为[0,)∞，其概率密度函数为()x m

e

p x m -

=，

其中0x ≥，m 是X 的数学期望，则连续信源X 的差熵()C H X =me 2log 。

3. 有噪信道编码定理：有噪信道的信道容量为C ，R C <若信息传输率，只

要码长n 足够长 ，必存在一种信道编码和相应的译码规则，使译码平均错误概率E P 为 任意小 。

4. 已知在GF(2)[x ]上有73231(1)(1)(1)x x x x x x +=+++++，构造(7, 4)循环码可

以选择生成多项式()g x =332(1)(1)x x x x ++++或。

5. 若纠错码的最小距离为d min ，要检测f 个随机错误，则要求

min 1

d f ≥+；

要纠正e 个随机错误，则要求min 21

d e ≥+；要纠正e 个同时检测f 个随机错误，

则要求

min 1

d e f ≥++。

三、计算题（共6小题，每小题10分，共60分）

1. 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；（3分）

(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100–m ）个“1”）的自信息量的表达式；（4分） (3) 计算(2)中序列的熵。（3分） 解：(1)

symbol bit x p x p X H i

i i / 811.043log 4341log 41

)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑ 。。。。。。。。。。。。。3分

(2)

bit m x p x I x p m

i i m m

m

i 585.15.414

3

log

)(log )(4

34341)(100

100100

100100+=-=-==⎪

⎭

⎫

⎝⎛⨯⎪⎭⎫ ⎝⎛=--- 。。。。。。。。。。。。。4分

(3)

symbol bit X H X H / 1.81811.0100)(100)(100=⨯== 。。。。。。。。。。。。。3分

2. 求下列可抹信道的容量，其条件概率P(Y/X)为1212211211s s s s s s s s --⎡⎤

⎢⎥--⎣⎦。 解：可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下：

()()()mi

k k k k M y p j

M y p j

k

M y p j k mi

k s

k k k H y p y p m C s y p m y p y p s y p y p m y p y p m y p y p s

s s x y p x p x y p x p y p s s s s x y p x p x y p x p y p s s s s x y p x p x y p x p y p H y p y p m Y X I C s s M s s s s s s M j j k

j --===

=

-=+=

=

=

⎪⎩

⎪

⎨⎧=+=+=-=--+=+=-=+--=+=--==⎥⎦⎤

⎢⎣⎡=⎥⎦⎤⎢⎣⎡----=∑∑∑∑∑=∈∈∈=)(log )(1

)

()

()(2

/12)

()()

()()()(2/2/)/()()/()()(2/12/)1(2/)/()()/()()(2/12/2/)1()/()()/()()()(log )();(max ,1122

1

132

)(21211

)(1)(111232131312122221212122121211112111221222112

1

7分

11

2121122121212221

121221222211(2log log )[(1)log (1)log log ]22

1(1)log (1)log (1)log /2s s s s s s s s s s s s s s s s s s s s bit symbol

--=-⨯

⨯++----++-=--+----+ 3分

3. 对信源：⎭

⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(765432

1x x x x x x x X P X ，编三进制哈夫曼码，并计算平均码长和码率。

解：三进制哈夫曼码： 。。。。。。。。。。。。。7分