《信息论》试题及答案

期终练习

一、某地区的人群中,10％就是胖子,80％不胖不瘦,10％就是瘦子。已知胖子得高血压的概率就是15％,不胖不瘦者得高血压的概率就是10％,瘦子得高血压的概率就是5％,则“该地区的某一位高血压者就是胖子”这句话包含了多少信息量。

解:设事件A:某人就是胖子; B:某人就是不胖不瘦 C:某人就是瘦子 D:某人就是高血压者

根据题意,可知:P(A)=0、1 P(B)=0、8 P(C)=0、1 P(D|A)=0、15 P(D|B)=0、1 P(D|C)=0、05 而“该地区的某一位高血压者就是胖子” 这一消息表明在D 事件发生的条件下,A 事件的发生,故其概率为P(A|D)

根据贝叶斯定律,可得:

P(D)＝P(A)* P(D|A)＋P(B)* P(D|B)＋P(C)* P(D|C)＝0、1

P(A|D)＝P(AD)/P(D)＝P(D|A)*P(A)/ P(D)＝0、15*0、1/0、1＝0、15

故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为: I(A|D) = - logP(A|D)=log(0、15)≈2、73 (bit)

二、设有一个马尔可夫信源,它的状态集为{S 1,S 2,S 3},符号集为{a 1,a 2,a 3},以及在某状态下发出符号集的概率就是(|)k i p a s (i,k=1,2,3),如图所示

(1)求图中马尔可夫信源的状态极限概率并找出符号的极限概率

(2)计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1,s 2,s 3) (3)求出马尔可夫信源熵H ∞

解:(1)该信源达到平稳后,有以下关系成立:

13212312

123()()31()()()42

11()()()42

()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩

可得1232()73()72()7Q E Q E Q E ⎧

=⎪⎪

⎪=⎨⎪

⎪=⎪⎩

3

1113

2213

331

3()()(|)72()()(|)7

3

()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =====

==

==

∑∑∑

(2)3

11113

222133331

(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k k

k k k k k H X S p a S p a S H X S p a

S p a S H X S p a S p a S ====-==-

==-=∑∑∑（符号）

（符号）（符号）

(3)3

1

()(|)2/7*3/23/7*12/7*06/7i

i

i H Q E H X E ∞==

⨯=++=∑(比特/符号)

三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤

⎢

⎥⎣⎦

(1)若P(0)=3/4,P(1)=1/4,求H(X),H(X|Y)与I(X;Y)

(2)求该信道的信道容量及其最大信道容量对应的最佳输入分布 解:⑴()H X =2

1

()log ()i

i

i p x p x ==-

∑=0.75log 750.25log 25--≈0、811(比特/符号)

1111212()()(|)()(|)p y p x p y x p x p y x =+=0、75*0、6+0、25*0、4=0、55 2121222()()(|)()(|)p y p x p y x p x p y x =+=0、75*0、4+0、25*0、6=0、45

()0.55log0.550.45log0.45H Y =--=≈0、992(比特/符号)

122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）

(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+-

≈0、811+0、971-0、992=0、79 (比特/符号)

I(X;Y)=H(X)-H(X|Y)=0、811-0、79=0、021(比特/符号) (2)此信道为二元对称信道,所以信道容量为

C=1-H(p)=1-H(0、6)=1-0、971=0、029(比特/符号) 当输入等概分布时达到信道容量

四、求信道

2204

2240 p p

p p

εεε

εεε

⎡⎤

--

⎢⎥

--

⎢⎥

⎣⎦

的信道容量,其中1

p p

=-。

解:这就是一个准对称信道,可把信道矩阵分为:

22

22

p p

p p

εε

εε

⎡⎤

--

⎢⎥

--

⎢⎥

⎣⎦

,

04

40

ε

ε

⎡⎤

⎢⎥

⎣⎦11

14

N Mε

==-,

22

4,4

N M

εε

==

故

2

1

log(2,2,0,4)log

log2(2,2,0,4)(14)log(14)4log4

1(2,2,4)(14)log(14)4log4(/

k k

k

C r H p p N M

H p p

H p p

εεε

εεεεεεε

εεεεεεε

=

=----

=-------

=-------

∑

比特符号）

当输入等概分布时达到信道容量。 1

五、信源123456

()0.4

x x x x x x

X

P x

⎡⎤

⎡⎤

=⎢⎥

⎢⎥ 0.2 0.2 0.1 0.05 0.05

⎣⎦⎣⎦

(1)利用霍夫曼码编成二元变长的惟一可译码,并求其L

(2)利用费诺码编成二元变长的惟一可译码,并求其L

(3)利用香农码编成二元变长的惟一可译码,并求其

信源符号概率P(x i) 码长l i累积概率P 码字

x10、4 2 0 00

x20、2 3 0、4 011

x30、2 3 0、6 100

x40、1 4 0、8 1100

x50、05 5 0、9 11100

x60、05 5 0、95 11110

L=0、4×2＋0、2×3＋0、2×3＋0、1×4＋0、05×5＋0、05×5＝2、9(码元/信源符号) η＝H(X)/( L logr)=2、222/2、9=0、7662(2)霍夫曼编码: