北邮信息论200806级期中考试试题及答案

北京邮电大学
06级《信息论》期中考试试题答案
（2008.11.15）
姓名班级学号分数
注意：要求将试卷和答题纸一起上交
一、(25分)已知基于字符表{“blank”, B, I, M, O, P, S, T}的一段文本如下：
OTTOS MOPS TOBT MIT OTTOS MOP BIS OTTO MOPPOT
（其中的blank表示空格）
(1) 统计文本中出现各字符的频度，并近似看作各字符的概率进行二元Huffman
编码，给出每个字符对应的码字（要求：码长方差最小）；(9分)
(2) 求平均码长及码长方差；(4+4=8分)
(3) 求编码速率和编码效率。

(4+4=8分)
解：
11
10
8
4
4
4
2 20
14
18
1
16
8
18
27
45
码字
1
1
1
1
00
10
010
110
0110
0111
1110
1111
O
T “blank”
M
P
S
B
I
O
T
M
P
S
B
I “blank”
（3+4=7分，每错一个码字扣0.5分）(2) 平均码长及码长方差为：
8.245/)2244(445/)48(345/)1011(2=+++⨯++⨯++⨯=-
l 码元/信源符号(4分)
693
.08.245/42245/44245/3445/3845/21045/21122222222
22=-⨯⨯+⨯⨯+⨯+⨯+⨯+⨯=-=∑i
i i l l p σ（4分）
3）编码速率8.22log '==l R 比特/信源符号（4分） 编码效率()
2.753298.32%2.8
log 2
H X L η-
=
==（4分）
二、（25分）一马氏源具有状态集合{}1,2,...,N ，状态转移图如下图所示
… …
p
其中0,0,1p q p q >>+=。

（1）当N=3时，写出状态转移概率矩阵，并求平稳分布。

（3+6=9分） （2）对任意N 值，写出状态转移概率矩阵，并求平稳分布。

（3+6=9分） （3）对任意N 值，求马氏源的符号熵。

（7分） 答：
（1） N=3,状态转移概率矩阵为：
000q p q p q
p ⎛⎫ ⎪
⎪ ⎪⎝
⎭
（3分） 由()()
1231231230001
q
p q p q
p πππππππππ⎛⎫ ⎪
= ⎪ ⎪⎝
⎭
++= （3分）
得平稳分布为：22
122
2
2222
22
3222
(1)1(1)
11q p p pq q p p pq p p p pq q p p
p p p pq q p p πππ-==++-+-==++-+==
++-+（各1分共3分）
（2） 对任意N ，状态转移概率概率矩阵如下：
00...0000...0000...00000...00........
.0000 (000)
0...q p q p q p q p q
p ⎛⎫ ⎪ ⎪ ⎪ ⎪
⎪ ⎪ ⎪ ⎪ ⎪⎝
⎭
（3分） 该马氏源处于平稳分布时，有：
()()123
1
123100...0000...0000...00 0
00...00.........0000 (000)
0...N N N N q
p
q p q p q p q
p ππππππππππ--⎛⎫ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪⎝
⎭
以及
N
i
i 1
1π
==∑（2+1=3分）
得：
i i-1i-1
N
1i i 11p q i 2N 1
11i N
p q p q πππππγγπγ===⎛⎫
== ⎪⎝⎭
-=
-∑（，），从而有：
， 令=，得：
因此，平稳分布为：
1i (1)
i 1N 1i N
γγπγ--==-，（，）
（3分） （3）由于马氏源状态转移概率矩阵的每行都相等，所以有：
12...()N h h h H p ====，
（4分） 从而对任意N ，有()H H p ∞=（3分）
三、（25分）x 和z 为独立同分布的连续随机变量，且都在区间[-1/2, 1/2]上服从
均匀分布，随机变量y=x+z 。

（1） 求连续随机变量集合Z 的差熵h(Z);（5分）
（2） 证明：h(Y|X) = h(Z);（提示：1011x x y z ⎡⎤⎡⎤⎡⎤
=⎢⎥⎢⎥⎢⎥
⎣⎦⎣⎦⎣⎦
）（7分） （3） 求连续随机变量Y 的概率密度函数；（提示：两个独立随机变量之和的概
率密度为这两个随机变量概率密度的卷积）（3分） （4） 求连续随机变量集合Y 的差熵h(Y); （5分） （5） 求I(X;Y)。

（5分） 解：
（1） h(Z) = 0bit; (5分) （2） 由提示：
1011x x y z ⎡⎤⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦ 有：
10h(XY)=h(XZ)+log det h(XZ)11⎛⎫= ⎪⎝⎭(3分)
又由Z 与X 独立，
从而：h(XY)=h(X)+h(Y|X)=h(XZ)= h(X)+h(Z|X)= h(X)+h(Z) (3分) 可得：h(Y|X)= h(Z) (1分)
（3）
110()101y y f y y y +-≤≤⎧=⎨
-+<≤⎩(3分) (用图形卷积或分区域积分的方法均给分)
（4）
1
-1
1
1
122000h(Y)=-(+1)ln(+1)d -(-+1)ln(-+1)d
1112ln d 2ln d 22t 1nat 2
y y y y y y t t t t t t t ⎡⎤
=-=--⎢⎥
⎢⎥⎣⎦=⎰⎰⎰⎰(5分)
或1/2loge=0.722bit
（5） I(X;Y) = h(Y) - h(Y|X) = h(Y) - h(Z) = 1/2nat 或1/2loge=0.722bit (5分)
四、（25分）在某地区篮球联赛的每个赛季，最终只有A 、B 两球队进入决赛争夺冠军。

决赛采用7场4胜制，首先赢得4场胜利的球队获得冠军，并结束比赛。

把产生冠军的事件x 用A 、B 两队各场次的比赛结果表示，作为信源X 产生的随机事件，例如：AAAA 表示事件“A 队胜前4场获得冠军”；ABBAAA ，表示事件“A 队在第1、4、5、6场取胜获得冠军(而B 队在第2、3场取胜)”，…。

假设两球队在每场比赛中的取胜机会均等，每场比赛只有“A 胜”或“B 胜”两种结果，并且各场比赛的结果是彼此独立的。

（1）写出信源X 的所有事件及其相应的概率；（5分） （2）求信源的熵H （X ）；（5分）
（3）求事件“两队打满7场”所提供的信息量；（5分）
（4）列出A 队前三场都失利的所有情况，求“A 队前三场都失利”所提供的信
息量；（5分）
（5）求事件“A 队在前三场都失利的条件下又取得冠军”所提供的信息量？
（5分）
解
（1）A 队获冠军的事件数和相应的概率如下表：（4分）
事件 数目 单事件的概率 概率的和
赛4场获冠军（AAAA ）
1 1/16 1/16 赛5场获冠军（前4场B 胜1场）
4 1/32 1/8 赛6场获冠军（前5场B 胜2场）
10 1/64 5/32 赛7场获冠军（前6场B 胜3场）
20 1/128 5/32 总概率 1/2 同理得到相同的B 队获冠军的事件数和相应的概率分布。

（1分） （2）信源X 的熵：
2221111
()2[()log 164()log 3210()log 6420()log(128)]
163264128
H X =⨯+⨯+⨯+⨯（3分）
186/32 5.8125==比特（1+1=2分） （3） “两队打满7场”事件数为40，（1分）
所求概率为40(1/128)5/16⨯=，（1分） 事件“两队打满7场”所提供的信息量：
12log (5/16) 1.6781I =-=比特（3分）
（4）A 队在前三场都失利情况下的所有事件与概率：（每概率0.5分共2分）
22log 83I ==比特（3分）
（5）A 队在前三场都失利的条件下又取得冠军的条件概率：
1/128
1/16(1/16)(1/32)(1/64)2(1/128)
=+++⨯（2分）
“A 队在前三场都失利的条件下又取得冠军的”的信息量：
32log 164I ==比特（3分）。