信息论与编码习题与答案第二章

36

第一章

信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章

信源的分类？

自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、 噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？ 计算方法？ 冗余度？

具有概率为p （x ）的符号x 自信息量：I （X ）- -iogp （x ） 条件自信息量：|（X i

= —log p （X i y i ）

平均自信息量、平均不确定度、信源熵：

H （X ）二-為p （x ）log p （x ）

i

H (XY )=送 p (X i ,y j )|(X i y j ) 一瓦

ij

ij

联合熵： H (XY )=：Z p (X i ,y j )I(X i ,y j ^Z p (X i ,y j )log p (X i ,y j

)

ij

ij

互信息： 弋

pyx)亍 pyx) l(X;Y)=W p(X i , y .)log

=S p(X i )p(y . X i )log j 入儿

p(y j )

j 入儿入

p(y j )

熵的基本性质：非负性、对称性、确定性

2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求:

（1） “3和5同时出现”这事件的自信息； （2） “两个1同时出现”这事件的自信息；

（3） 两个点数的各种组合（无序）对的熵和平均信息量； （4） 两个点数之和（即2, 3, , , 12构成的子集）的熵； （5） 两个点数中至少有一个是1的自信息量。

解: （1）

I (xj =-log p(xj 工「log 丄 4.170 bit

18

1

l(xj - - log p(xj - - log 5.170 bit

条件熵: p (X i ,y j )lo gp (X i y j )

p(X i )

1111

6 6 6 6

1 18

1 p(x

"6

1 36

(1 1 11、 H(X)=—E p(X j )log p(xj = — 6汉 一log — +15 汉一log — 丨=4.337 bit/symbol i

< 36 36 18 18 丿

(4)两个点数求和的概率分布如下：

X

2

3

4 5 6 7 8 9 10 11 12

\=V

1 115 15 11 1 1

P(X)広 18 12 9 36 6 36 9 12 18 36 H(X) =

p(X i )log p(X i )

i

(

1 1 1

1 1 1 1 1 5511)

=_2汉 log +2 乂 log

+2 工 log +2乂 log +2 工 log + log

< 36 36 18

18

12 12 9 9

36 36 6 6 J

= 3.274 bit / symbol

(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}

11 l(x 」--log p(x 」-- log 1.710

36

X x 1 = 0 x 2 = 1 x 3 = 2 x 4 = 3

2.7设有一离散无记忆信源，其概率空间为

=

f 丿 <3/8 1/4

1/4 1/8 丿

(1 )求每个符号的自信息量 (2)

信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321

010 021

032 011 223

210}，求该序列的自信息量和平均每个符号携带的信息量

1

8

I (x 1

) = log 2

log 2

1.415bit p(x 1)

3

同理可以求得 1(x2)二 2bit, I (x3) = 2bit, I (x4) = 3bit

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就I =141(X 1) 131(X 2) 121(X 3) 61(X 4)=87.81bit

11 12 13 14 15

16 21 22 23 24 25

26 31 32 33 34 35

36 41 42 43 44 45

46 51 52 53 54 55

56 61

62

63

64

65

66

共有21种组合：其中11，22,

33， 44,

55, 66的概率是 1 1 X —

6 6 ⑶两个点数的排列如下:

1 1 1

其他15个组合的概率是2 ——二—

6 6 18

1 36

p(X i )

— 11 6 6 11 36

bit

解:

2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?

解：四进制脉冲可以表示 4个不同的消息，例如 八进制脉冲可以表示 8个不同的消息，例如 二进制脉冲可以表示 2个不同的消息，例如 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量 H (XJ = log n = Iog4 = 2 bit/symbol 八进制脉冲的平均信息量 H (X 2) = log n = Iog8 = 3 bit/symbol 二进制脉冲的平均信息量 H (X 0) = log n = log2 = 1 bit/symbol

所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2倍和3倍。

2-9国际莫尔斯电码用点和划的序列发送英文字母， 划用连续三个单位的电流脉冲表示，

点

用持续一个单位的电流脉冲表示。其划出现的概率是点出现概率的

1/3,计算：

（1）点和划的信息量； （2 ）点和划的平均信息量。 解：；

“一”出现的概率是“ ■•”出现概率的1/3

.'4

(1) K *) = Log - 1 3

4

⑵ H = Log (4) Log 0.811

' ' 4 4

丿

2-10在一个袋中放5个黑球、10个白球，以摸一个球为一次实验，摸出的球不在放进去。 求：（1） 一次实验包含的不确定度；

（2） 第一次实验 X 摸出的是黑球，第二次实验 Y 给出的不确定度； （3） 第一次实验X 摸出的是白球，第二次实验 Y 给出的不确定度； （4） 第二次实验Y 包含的不确定度。 1 2

解：⑴亍Lg +彳叫十嘶

4

10

（2） P （黑 /黑）=-

P （白 /黑）=.

'log 兰 ®logW=0.86

14 4 14 10

5

9

⑶ P(黑伯)=-

P(白 /白)=匚

平均每个符号携带的信息量为

87.81

{0, 1,2, 3}

{0, 1,2, 3, 4, 5, 6, 7} {0, 1} =0.415

1( -)= Log(4) =2

H(Y/ 黑)

H(Y/ 白)=