信息论试题及答案

期终练习

一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。

解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者

根据题意，可知：P （A ）= P （B ）= P （C ）= P （D|A ）= P （D|B ）= P （D|C ）=

而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）

根据贝叶斯定律，可得：

P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝ P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝*＝

故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：

I （A|D ） = - logP （A|D ）=log （）≈ （bit ）

二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示 （1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率

（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞

解：（1）该信源达到平稳后，有以下关系成立：

13212312

123()()31()()()42

11()()()42

()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩

可得1232()73()72()7Q E Q E Q E ⎧

=⎪⎪

⎪=⎨⎪

⎪=⎪⎩

（2）3

1111322213

3331

(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k k k k k k k H X S p a S p a S H X S p a S p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）

（符号）（符号）

（3）3

1

()(|)2/7*3/23/7*12/7*06/7i i i H Q E H X E ∞==⨯=++=∑（比特/符号）

三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤

⎢⎥

⎣⎦

（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）

（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =2

1()log ()i i i p x p x ==-∑=0.75log 750.25log 25--≈(比特/符号)

1111212()()(|)()(|)p y p x p y x p x p y x =+=*+*= 2121222()()(|)()(|)p y p x p y x p x p y x =+=*+*=

()0.55log0.550.45log0.45H Y =--=≈(比特/符号) ≈+ (比特/符号)

I(X;Y)=H(X)-H(X|Y)=比特/符号) （2）此信道为二元对称信道，所以信道容量为

C=1-H(p)=1-H==(比特/符号) 当输入等概分布时达到信道容量 四、求信道

22042240p p p p εεεε

ε

ε⎡⎤

-- ⎢⎥-- ⎢⎥⎣⎦

的信道容量，其中1p p =-。 解：这是一个准对称信道，可把信道矩阵分为：2222p p p p ε

εε

ε⎡⎤--⎢

⎥--⎢⎥⎣⎦，0

440εε

⎡⎤

⎢⎥⎣⎦

1114N M ε==-，224,4N M εε==

故2

1

log (2,2,0,4)log log 2(2,2,0,4)(14)log(14)4log 41(2,2,4)(14)log(14)4log 4(/k k

k C r H p p N M H p p H p p εεεεεεεεεε

εεεεεεε==----=-------=-------∑比特符号）

当输入等概分布时达到信道容量。 1

五、信源123456()0.4x x x x x x X P x ⎡⎤

⎡⎤=⎢⎥⎢⎥

0.2 0.2 0.1 0.05 0.05⎣⎦⎣⎦

（1）利用霍夫曼码编成二元变长的惟一可译码，并求其L （2）利用费诺码编成二元变长的惟一可译码，并求其L （3）利用香农码编成二元变长的惟一可译码，并求其

L =×2＋×3＋×3＋×4＋×5＋×5＝(码元/信源符号)

η＝H(X)/( L logr)==（2）霍夫曼编码：

L =×2+×2×2+×3+×4×2=(码元/信源符号)

η＝H(X)/( L logr)=

(3)费诺编码：

L =×2+×2×2+×3+×4×2=(码元/信源符号)

η＝H(X)/( L logr)=

六、设有一离散信道，传递矩阵为111236111

623111362⎡⎤ ⎢⎥⎢⎥⎢⎥ ⎢⎥⎢⎥⎢⎥ ⎢⎥⎣⎦

设P(x 1)= P(x 2)=1/4，P(x 3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译

码规则，并相应的计算机平均错误概率的大小。 解：（1）按最大似然译码准则

F(y1)=x1 F(y2)=x2 F(y3)=x3

P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2

(2) 联合概率矩阵为，则按最小错误概率准

1

1181224111248121114612⎡⎤⎢⎥⎢⎥⎢

⎥⎢⎥⎢⎥⎢⎥⎥⎢⎦⎣

F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24

八、一个三元对称信源0,1,2111()33

3U P u ⎡⎤

⎡⎤⎢⎥=⎢⎥

⎢⎥

, , ⎣⎦⎣⎦ 接收符号为V ＝{0，1，2}，其失真矩阵为011101110 ⎡⎤

⎢⎥ ⎢⎥⎢⎥ ⎣⎦

（1）求D max 和D min 及信源的R(D)函数。

（2）求出达到()R D 的正向试验信道的传递概率