信息论试题及答案

期终练习
一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。

已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。

解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者
根据题意，可知：P （A ）= P （B ）= P （C ）= P （D|A ）= P （D|B ）= P （D|C ）=
而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）
根据贝叶斯定律，可得：
P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝ P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝*＝
故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：
I （A|D ） = - logP （A|D ）=log （）≈ （bit ）
二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示 （1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率
（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞
解：（1）该信源达到平稳后，有以下关系成立：
13212312
123()()31()()()42
11()()()42
()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩
可得1232()73()72()7Q E Q E Q E ⎧
=⎪⎪
⎪=⎨⎪
⎪=⎪⎩
（2）3
1111322213
3331
(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k k k k k k k H X S p a S p a S H X S p a S p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）
（符号）（符号）
（3）3
1
()(|)2/7*3/23/7*12/7*06/7i i i H Q E H X E ∞==⨯=++=∑（比特/符号）
三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤
⎢⎥
⎣⎦
（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）
（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =2
1()log ()i i i p x p x ==-∑=0.75log 750.25log 25--≈(比特/符号)
1111212()()(|)()(|)p y p x p y x p x p y x =+=*+*= 2121222()()(|)()(|)p y p x p y x p x p y x =+=*+*=
()0.55log0.550.45log0.45H Y =--=≈(比特/符号) ≈+ (比特/符号)
I(X;Y)=H(X)-H(X|Y)=比特/符号) （2）此信道为二元对称信道，所以信道容量为
C=1-H(p)=1-H==(比特/符号) 当输入等概分布时达到信道容量 四、求信道
22042240p p p p εεεε
ε
ε⎡⎤
-- ⎢⎥-- ⎢⎥⎣⎦
的信道容量，其中1p p =-。

解：这是一个准对称信道，可把信道矩阵分为：2222p p p p ε
εε
ε⎡⎤--⎢
⎥--⎢⎥⎣⎦，0
440εε
⎡⎤
⎢⎥⎣⎦
1114N M ε==-，224,4N M εε==
故2
1
log (2,2,0,4)log log 2(2,2,0,4)(14)log(14)4log 41(2,2,4)(14)log(14)4log 4(/k k
k C r H p p N M H p p H p p εεεεεεεεεε
εεεεεεε==----=-------=-------∑比特符号）
当输入等概分布时达到信道容量。

1
五、信源123456()0.4x x x x x x X P x ⎡⎤
⎡⎤=⎢⎥⎢⎥
0.2 0.2 0.1 0.05 0.05⎣⎦⎣⎦
（1）利用霍夫曼码编成二元变长的惟一可译码，并求其L （2）利用费诺码编成二元变长的惟一可译码，并求其L （3）利用香农码编成二元变长的惟一可译码，并求其
L =×2＋×3＋×3＋×4＋×5＋×5＝(码元/信源符号)
η＝H(X)/( L logr)==（2）霍夫曼编码：
L =×2+×2×2+×3+×4×2=(码元/信源符号)
η＝H(X)/( L logr)=
(3)费诺编码：
L =×2+×2×2+×3+×4×2=(码元/信源符号)
η＝H(X)/( L logr)=
六、设有一离散信道，传递矩阵为111236111
623111362⎡⎤ ⎢⎥⎢⎥⎢⎥ ⎢⎥⎢⎥⎢⎥ ⎢⎥⎣⎦
设P(x 1)= P(x 2)=1/4，P(x 3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译
码规则，并相应的计算机平均错误概率的大小。

解：（1）按最大似然译码准则
F(y1)=x1 F(y2)=x2 F(y3)=x3
P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2
(2) 联合概率矩阵为，则按最小错误概率准
1
1181224111248121114612⎡⎤⎢⎥⎢⎥⎢
⎥⎢⎥⎢⎥⎢⎥⎥⎢⎦⎣
F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24
八、一个三元对称信源0,1,2111()33
3U P u ⎡⎤
⎡⎤⎢⎥=⎢⎥
⎢⎥
, , ⎣⎦⎣⎦ 接收符号为V ＝{0，1，2}，其失真矩阵为011101110 ⎡⎤
⎢⎥ ⎢⎥⎢⎥ ⎣⎦
（1）求D max 和D min 及信源的R(D)函数。

（2）求出达到()R D 的正向试验信道的传递概率
解：（1）max 12
D )(,)13
U
P
d u v r =-=∑V
＝min （u 因为是三元对称信源，又是等概分布，所以根据r 元离散对称信源可得 R （D ）＝log3－Dlog2－H （D ）＝log3－D －H （D ） 0<=D<=2/3 ＝0 D>2/3
（2）满足R （D ）函数的信道其反向传递概率为
根据根据贝叶斯定律，可得该信道的正向传递概率为： 九、设二元码为C=[11100，01001，10010，00111] （1）求此码的最小距离min d ；
（2）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字？ （3）此码能纠正几位码元的错误？ 解：（1）码距如左图
00111
11100010011001011100
01001
10010
00111
334
43
3
故d min ＝
3
（2）码距如右图
故10000译为10010，01100译为11100，00100译为11100或00111 （3）根据min 21d e ≥+,知此码能纠正一位码元的错误。