《信息论》试题及答案

期终练习
一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。

已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。

解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者
根据题意，可知：P （A ）=0.1 P （B ）=0.8 P （C ）=0.1 P （D|A ）=0.15 P （D|B ）=0.1 P （D|C ）=0.05
而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）
根据贝叶斯定律，可得：
P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝0.1 P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （A|D ）=log （0.15）≈2.73 （bit ） 二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示
（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率
（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞
解：（1）该信源达到平稳后，有以下关系成立：
13212312
123()()31()()()42
11()()()42
()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩
可得1232()73()72()7Q E Q E Q E ⎧
=⎪⎪
⎪=⎨⎪
⎪=⎪⎩
3
1113
2213
331
3()()(|)72()()(|)7
3
()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =====
==
==
∑∑∑
（2）3
11113
222133331
(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k k
k k k k k H X S p a S p a S H X S p a
S p a S H X S p a S p a S ====-==-
==-=∑∑∑（符号）
（符号）（符号）
（3）3
1
()(|)2/7*3/23/7*12/7*06/7i
i
i H Q E H X E ∞==
⨯=++=∑（比特/符号）
三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤
⎢
⎥⎣⎦
（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）
（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =2
1
()log ()i
i
i p x p x ==-
∑=0.75log 750.25log 25--≈0.811(比特/符号)
1111212()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.6+0.25*0.4=0.55 2121222()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.4+0.25*0.6=0.45
()0.55log0.550.45log0.45H Y =--=≈0.992(比特/符号)
122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）
(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+-
≈0.811+0.971-0.992=0.79 (比特/符号)
I(X;Y)=H(X)-H(X|Y)=0.811-0.79=0.021(比特/符号) （2）此信道为二元对称信道，所以信道容量为
C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量
四、求信道
2204
2240 p p
p p
εεε
εεε
⎡⎤
--
⎢⎥
--
⎢⎥
⎣⎦
的信道容量，其中1
p p
=-。

解：这是一个准对称信道，可把信道矩阵分为：
22
22
p p
p p
εε
εε
⎡⎤
--
⎢⎥
--
⎢⎥
⎣⎦
，
04
40
ε
ε
⎡⎤
⎢⎥
⎣⎦11
14
N Mε
==-，
22
4,4
N M
εε
==
故
2
1
log(2,2,0,4)log
log2(2,2,0,4)(14)log(14)4log4
1(2,2,4)(14)log(14)4log4(/
k k
k
C r H p p N M
H p p
H p p
εεε
εεεεεεε
εεεεεεε
=
=----
=-------
=-------
∑
比特符号）当输入等概分布时达到信道容量。

1
五、信源123456
()0.4
x x x x x x
X
P x
⎡⎤
⎡⎤
=⎢⎥
⎢⎥ 0.2 0.2 0.1 0.05 0.05
⎣⎦⎣⎦
（1）利用霍夫曼码编成二元变长的惟一可译码，并求其L
（2）利用费诺码编成二元变长的惟一可译码，并求其L
（3）利用香农码编成二元变长的惟一可译码，并求其
信源符号概率P(x i) 码长l i累积概率P 码字x10.4 2 0 00
x20.2 3 0.4 011
x30.2 3 0.6 100
x40.1 4 0.8 1100
x50.05 5 0.9 11100
x60.05 5 0.95 11110
L=0.4×2＋0.2×3＋0.2×3＋0.1×4＋0.05×5＋0.05×5＝2.9(码元/信源符号)
η＝H(X)/( L logr)=2.222/2.9=0.7662（2）霍夫曼编码：
L
=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号)
η＝H(X)/( L logr)=0.9964
(3)费诺编码：
L =0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号)
η＝H(X)/( L logr)= 0.9964
六、设有一离散信道，传递矩阵为111236111
623111362⎡⎤ ⎢⎥⎢⎥⎢⎥ ⎢⎥⎢⎥⎢⎥ ⎢⎥⎣⎦
设P(x 1)= P(x 2)=1/4，P(x 3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译码
规则，并相应的计算机平均错误概率的大小。

解：（1）按最大似然译码准则
F(y1)=x1 F(y2)=x2 F(y3)=x3
P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2
(2) 联合概率矩阵为，则按最小错误概率准
1
1181224111248121114612⎡⎤⎢⎥⎢⎥⎢
⎥⎢⎥⎢⎥⎢⎥⎥
⎢⎦⎣ F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12
+1/24+1/12=11/24
八、一个三元对称信源0,1,2111()33
3U P u ⎡⎤
⎡⎤⎢⎥=⎢⎥
⎢⎥
, , ⎣⎦⎣⎦
接收符号为V ＝{0，1，2}，其失真矩阵为011101110 ⎡⎤⎢⎥ ⎢⎥⎢⎥ ⎣⎦
（1）求D max 和D min 及信源的R(D)函数。

（2）求出达到()R D 的正向试验信道的传递概率 解：（1）max 12D )(,)13
U
P
d u v r =-=∑V ＝min
（u 3
min 1
D )(,)0i P d u v ==∑j
＝（u min
因为是三元对称信源，又是等概分布，所以根据r 元离散对称信源可得
R （D ）＝log3－Dlog2－H （D ）＝log3－D －H （D ） 0<=D<=2/3 ＝0 D>2/3
（2）满足R （D ）函数的信道其反向传递概率为
1()(|)()21
3
i j D
i j P u v D
i j -=⎧⎪
=⎨≠⎪⎩j 以及有P(v )=
根据根据贝叶斯定律，可得该信道的正向传递概率为：
1()(|)()2
j i D
i j P v u D
i j -=⎧⎪
=⎨≠⎪⎩ 九、设二元码为C=[11100，01001，10010，00111] （1）求此码的最小距离min d ；
（2）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字？
（3）此码能纠正几位码元的错误？ 解：（1）码距如左图
00111
11100010011001011100
01001
10010
00111
334
43
3
故d min ＝3
（2）码距如右图
故10000译为10010，01100译为11100，00100译为11100或00111 （3）根据min 21d e ≥+,知此码能纠正一位码元的错误。