信息与编码理论课后习题答案

2.1 莫尔斯电报系统中，若采用点长为0.2s ，1划长为0.4s ，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。

解: 平均每个符号长为:
1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3
1
23log 32=⨯+⨯比特/符号
所以，信息速率为444.34
15
9183.0=⨯比特/秒
2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits ／s)。

解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；
所以，信息速率为
600010006=⨯比特/秒
2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a ) 7；(b ) 12。

试问各得到了多少信息量?
解: (a)一对骰子总点数为7的概率是
36
6 所以，得到的信息量为 585.2)366(log 2= 比特
(b) 一对骰子总点数为12的概率是36
1 所以，得到的信息量为 17.5361
log 2= 比特
2.4
经过充分洗牌后的一付扑克(含52张牌)，试问：(a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?
解: (a)任一特定排列的概率为
!
521, 所以，给出的信息量为 58.225!521
log 2
=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1313
1313
5252
13!44A C ⨯=
所以，得到的信息量为 21.134
log 1313
52
2=C 比特.
2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。

解:易证每次出现i 点的概率为21
i
,所以
比特比特比特
比特比特比特
比特398.221
log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21
log )(26
12=-==============-==∑
=i i X H x I x I x I x I x I x I i i
i x I i
2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。

设这12棵树可随机地排列，且每一种排列都是等可能的。

若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?
解: 可能有的排列总数为
27720!
5!4!3!
12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X
Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有
⎪
⎪⎭
⎫ ⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫
⎝⎛58种
排法，所以共有
⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭
⎫
⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960
log 27720log 22-=3.822 比特
2.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。

被录取的考生中有50%来自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。

(a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息? (b) 当已知考生学过英语时，给出多少有关考生是否被录取的信息? (c) 以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，x 、y 和z 取值为0或1。

试求H (X )，H (Y |X )，H (Z |YZ )。

解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得
31
(0),(1),
44
(0)(0)(00)(1)(01)31111,41042514
(1)1,
55
(0)(0)(00)(1)(01)144013,55100251312
(1)1,
2525
p x p x p y p x p y x p x p y x p y p z p y p z y p y p z y p z =========+====⨯+⨯===-======+====+⨯===-=
22221313()(00)(00)(0)/(0)/104581115
(10)(01)(1)/(0)/2458
(00)(10)
(;0)(00)log (10)log (0)(1)
3535
88
log log 318
844
0.4512a p x y p y x p x p y p x y p y x p x p y p x y p x y I X y p x y p x y p x p x ========
⨯=========⨯=
========+=====+=比特
()(00)
((00,0)(00)(01,0)(10))(0)/(0)19431369()/101010425104(10)
((00,1)(01)(01,1)(11))(1)/(0)11211335()/225425104(;b p x z p z y x p y x p z y x p y x p x p z p x z p z y x p y x p z y x p y x p x p z I X ========+========+⨯⨯=========+========+⨯⨯=2
2
222222(00)(10)
0)(00)log (10)log (0)(1)
6935
6935104104
log log 31104
10444
0.02698341
()()log log 40.8113434
()(0)(00)log (00)(0)(10)log (1p x z p x z z p x z p x z p x p x c H X H Y X p x p y x p y x p x p y x p y x ========+=====+==+=======+=====比特比特
2222220)
(1)(01)log (01)(1)(11)log (11)3139101111
log 10log log 2log 2410410942420.6017p x p y x p y x p x p y x p y x =====+======⨯+⨯+⨯+⨯=比特
2.8 在A 、B 两组人中进行民意测验，组A 中的人有50%讲真话(T )，30%讲假话(F )，20%拒绝回答(R )。

而组B 中有30%讲真话，50%讲假话和20%拒绝回答。

设选A 组进行测验的概率为p ，若以I (p )表示给定T 、F 或R 条件下得到的有关消息来自组A 或组B 的平均信息量，试求I (p )的最大值。

解:令
{}{}R F T Y B A X ,,,,==，则
比特
得令同理03645.0)()(5
.0,02.03.0)
2.05.0(log 2.0)()2.05.0(log )2.05.0()2.0
3.0(log )2.03.0(5.0log 5.03.0log 3.0)
5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()
()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)
()()()()(5.0max 2
'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p p
p p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P p
p p B P B T P A P A T P T P 2.9 随机掷三颗骰子，以X 表示第一颗骰子抛掷的结果，以Y 表示第一和第二颗骰子抛掷的点数之和，以Z 表示三颗骰子的点数之和。

试求H (Z |Y )、H (X |Y )、H (Z |XY )，H (XZ |Y )和H (Z |X )。

解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)=6log 2 比特 H(X)= H(X 1
) =6log 2=2.585 比特
H(Y)= H(X 2+X 3)
= 6log 6
1
)536log 365436log 364336log 363236log 36236log 361(
2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)
)27
216log 2162725216log 2162521216log 2162115216
log 2161510216log 216106216log 21663216log 2163216log 2161(
22222
2222++++++= = 3.5993 比特
所以
H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特
H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 2.12
计算习题2.9中的I (Y ；Z )，I (X ；Z )，I (XY ；Z )，I (Y ；Z |X )和I (X ；Z |Y )。

解:I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特
I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =0
2.10
设有一个系统传送10个数字：0, 1, …, 9。

奇数在传送时以0.5的概率错成另外的奇数，而其它数字总能正确接收。

试求收到一个数字平均得到的信息量。

解:设系统输出10个数字X 等概,接收数字为Y,
显然 101
)(101)()()(919
===∑∑==i j p i j p i Q j w i i ， H(Y)=log10 比特奇奇
奇
奇
偶
18log 81
101452log 211015)
(log
)()()(log )()(0)
(log ),()(log ),()/(22,2
222=⨯⨯⨯⨯+⨯⨯⨯
=-
-=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x
所以 I(X;Y)= 3219
.2110
log 2=-比特
2.11 令{u l , u 2, …, u 8}为一等概消息集，各消息相应被编成下述二元码字:
u l =0000，u 2=0011，u 3=0101，u 4=0110 u 5=1001，u 6=1010，u 7=1100，u 8=1111 通过转移概率为p 的BSC 传送。

试求：(a ) 接收的第一个数字0与u l 之间的互信息量。

(b ) 接收的前二个数字00与u l 之间的互信息量。

(c ) 接收的前三个数字000与u l 之间酌互信息量。

(d ) 接收的前四个数字0000与u l 之间的互信息量。

解:（a ）接收前一个数字为0的概率 2
18
)0()()
0(=
=∑=i i i u p u q w
bits p p
w u p u I )1(log 11log )0()0(log )0;(22
1212
1-+=-==
（b ）同理 41
8
)00()()
00(=
=∑=i i i u p u q w
bits p p w u p u I )1(log 22)1(log )00()00(log )00;(24
1
2
2121-+=-==
（c ）同理 81
8
)000()()
000(=
=∑=i i i u p u q w
bits p p w u p u I )1(log 33)1(log )000()000(log )000;(28
1
3
2121-+=-==
（d ）同理 ))1(6)1(()0000()()
0000(42268
18
p p p p u p u q w i i i +-+-==∑=
bits
p p p p p p p p p p w u p u I 4
2264
242268
1
4
2121)1(6)1()
1(8
log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==
2.13 令X 、Y 、Z 是概率空间，试证明下述关系式成立。

(a ) H (YZ |X )≤H (Y |X )＋H (Z |X )，给出等号成立的条件。

(b ) H (YZ |X )=H (Y |X )＋H (Z |XY )。

(c) H (Z |XY )≤H (Z |X )，给出等号成立的条件。

解: (b)
)
/()/()/(1
log
)()/(1log
)()
/()/(1
log
)()/(1log
)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z
x
y
z
x
y
z
x
y
z
+=+===∑∑∑∑∑∑∑∑∑∑∑∑
(c)
)
/()
/(1log
)/()()/(1
log
)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H x
y
z
x
y
z
=≤=∑∑∑∑∑∑（由第二基本不等式）
或
)
1)
/()
/((
log )/()()
/()/(log
)/()()
/(1log
)/()()
/(1log
)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H x
y
z
x
y
z
x
y
z
x
y
z
（由第一基本不等
式）
所以 )/()/(X Z H XY Z
H ≤，
等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。

(a)
)/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+
等号成立的条件为
)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。

2.14 对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立。

H (X |Y )＋H (Y |Z )≥H (X |Z ) H (X |Y )/H (XY )＋H (Y |Z )/H (YZ )≥H (X |Z )/H (XZ )
解: (a) )/()/()/()/()/()/(Z X H Z XY H Z Y H YZ X H Z Y H Y X
H ≥=+≥+
(b)
)
()/()()/()/()
()/()/()/()/()()/()()/(0)(,0)/()/()/()
()/()/()/()/()
/()()/()/()/()/()()/()/()
/()/()()
/()/()/()()/()
/()()
/()/()()/()()/()()/(XZ H Z X H Z H Z X H Z X H Z H Z Y H Y X H Z Y H Y X H YZ H Z Y H XY H Y X H Z H Z X H Z Y H Y X H Z H Z Y H Y X H Z Y H Y X H Y X H YZ H Z Y H Y X H Y Z H Y X H Y H Z Y H Y X H Y X H Y Z H Y H Z Y H Y Z H Y X H Y H Y X H Y Z H Y H Z Y H Y X H Y H Y X H YZ H Z Y H XY H Y X H =
+≥
+++=
+∴≥≥≥++++=
++=
+++=
+++
++≥++
+=+Θ
注：b
a a
b a a a a b a a a b a b a b a b a a +≥+→
+≥+→≥→>>≥22
1121221121210,0Θ
2.15 令d (X ，Y )=H (X |Y )＋H (Y |X )为X 和Y 的信息距离，令ρ(X ，Y )=[H (X |Y )＋H (Y |X )]/H (XY )为X 和Y 的信息距离系数。

试证明有关距离的三个公理： d (X ，X )=0 d (X ，Y )≥0
d (X ，Y )=d (Y ，X ) d (X ，Y )＋d (Y ，Z )≥d (X ，Z )
解: (a)
)/()/(),(0
)/()/(),(≥+==+=X Y H Y X H Y X d X X H X X H X X d
(b) ),()/()/()/()/(),(X Y d Y X H X Y H X Y H Y X H Y X d =+=+=
(c)
)
,()/()/(),(),()
/()/()/()/()/()/()/()/()/()
/()/()/()/(),(),(Z X d X Z H Z X H Z Y d Y X d X Z H X Y H Y Z H Z X H Z XY H Z Y H YZ X H Z Y H Y X H Y Z H Z Y H X Y H Y X H Z Y d Y X d =+≥+∴≥+≥=+≥++++=+同理
2.16 定义S (X ，Y )=1－ρ(X ，Y )=I (X ；Y )/H (XY )为X 和Y 之间的信息相似度，证明：
0≤S (X ，Y )≤1 S (X ，X )=1 S (X ，Y )=0，X 和Y 独立时。

解:(a)
1
)
()
,(),()
()
/()/()()()()()()(),(≤=
∴=++-+≤-+=XY H Y X I Y X S XY H X Y H Y X H XY H Y H X H XY H Y H X H Y X I 又由互信息的非负性，即0);(≥Y X I ，有0);(≥Y X S ，所以 1);(0≤≤Y X S
(b) 1)
()
()()/()()(),(),(==-==
X H X H XX H X X H X H XX H X X I X X S
(c) 当且仅当X 和Y 独立时，I （X ；Y ）=0，所以，当且仅当X 和Y 独立时，0)
()
,()
,(==
XY H Y X I Y X S 。

2.17 令X →Y →Z 为马尔可夫链，证明：I (X ；Z |Y )=0 I (XY ；Z )=I (Y ；Z ) I (Y ；Z |X )=I (Y |Z )－I (X ；
Z ) I (Y ；Z |X )≤I (Y ；Z )
解: X →Y →Z 为马尔可夫链，有p(z/xy)=p(z/y),对所有x,y,z 。

)
0);(()
;();();()/;()
;();()()
/(log
)()()/(log
)()
()/()()/(log
)()/()/(log
)()/;()
;()
()/(log
)()
()/(log )()()/(log
)();(0
)
/()
/(log
)()/;(≥≤-=-=-=
==
==
==
==∑∑∑∑
∑∑∑
∑∑∑∑∑∑∑∑∑∑∑
∑∑∑
Z X I Z Y I Z X I Z Y I X Z Y I Z X I Z Y I z p x z p xz p z p y z p yz p z p x z p z p y z p xyz p x z p xy z p xyz p X Z Y I Z Y I z p y z p yz p z p y z p xyz p z p xy z p xyz p Z XY I y z p xy z p xyz p Y Z X I x z
z
y
z
y
x
z
y
x
z
y
z
y
x
z y
x
z
y
x
Θ
2.18 若三个随机变量有如下关系：x ＋y =z ，其中x 和y 独立。

试证明：H (X )≤H (Z ) H (Y )≤H (Z ) H (XY )≥H (Z )
I (X ；Z )=H (Z )－H (Y ) I (XY ；Z )=H (Z ) I (X ；YZ )=H (X ) I (Y ；Z |X )=H (Y ) I (X ；Y |Z )=H (X |Z )=H (Y |Z )
解: (a) H (X )≤H (Z )
)
()
(0)()()/()();()
()(log )()(log )()()(log )()/()
(log )()/(log )()/()
/()();(//Z H X H X H Z H Y Z H Z H Z Y I X H x p x p y z p y p y z p y z p y p y z p y z p yz p y z p yz p Y Z H Y Z H Z H Z Y I x x
x z
y
x x z
y
x y z z
y
x z
y
y z ≤≥-=-=∴=-=---=--=
--=-=-=∑∑∑∑∑∑∑∑∑即
(b) H(Y)≤H(Z)
)
()
(0)()()/()(),()
()/()/()();(Z H Y H Y H Z H X Z H Z H Z X I Y H X Z H X Z H Z H Z X I ≤≥-=-=∴=-=即同理
(c)
H(XY)≥H(Z)
)
()()()/()();()
()/()();(0
)/(Z H XY H XY H Z XY H XY H Z XY I Z H XY Z H Z H Z XY I XY Z H ≥∴≤-==-==
(d) I(X ；Z)=H(Z)－H(Y) I(X;Z)=H(Z)-H(Z/X)=H(Z)-H(Y)
(e) I(XY ；Z)=H(Z)
)
()/()();(0
)/(Z H XY Z H Z H Z XY I XY Z H =-==
(f) I(X ；YZ)=H(X)
)
()/()();(0
)/(X H XY X H X H YZ X I YZ X H =-==
(g)
I(Y ；Z|X)=H(Y)
H(Y/XZ)=0
I(Y;Z/X)=H(Y/X)-H(Y/XZ)=H(Y/X)=H(Y)
(h) I(X ；Y|Z)=H(X|Z)=H(Y|Z)
I(X;Y/Z)=H(X/Z)-H(X/YZ)=H(Y/Z)-H(Y/XZ) 而 H(X/YZ)=0,H(Y/XZ)=0
所以 I （X ；Y/Z ）=H(X/Z ）=H(Y/Z) #
2.19 证明
)(P H K 是概率矢量),,,(21K p p p P Λ=的上凸函数，即对θ
，0<
θ
<1和矢量P 1和P 2有
)()1()())1((2121P H P H P P H θθθθ-+>-+
证明：
111121221222121121212212121212111221(,,...,),(,,...,),01
(1)((1),(1),...,(1))
((1))((1))log((1))
log((1))(1)k k k k k
i i i i i k i i i i i P p p p P p p p P P p p p p p p H P P p p p p p p p p θθθθθθθθθθθθθθθθθθθ====≤≤+-=+-+-+-+-=-+-+-=-+---∑∑设 121
11221
1
1212log((1))
log (1)log ()(1)()
k
i i i k
k
i i i i
i i p p p p p p H P H P P P θθθθθθ===+-≥---=+-=∑∑∑不等式中的等号当且仅当时成立. #
2.20 用拉格朗日乘因子法求解下述泛函的极值。

H n (p l , p 2, …, p n )，
∑=1i
p。

解：
121
12121
(1)12212(,,...,)ln (,,...,,)(,,...,)ln 10,1,2,...,,1
1,.
1
0111
(,,...,)(,,...,)log #
n
n n i i
i n
n n n i
i i i i
n
i i i i i
n n n H p p p p p p p p H p p p p f
p i n p e p p p n f p p H p p p H n n n n
λλλλ==--==-=+∂=--+===∂==∂=-<∂∴=∑∑∑令f 由
得 由得 又极大值为
2.22 令U 是非负整数集合，事件k ∈U 的概率为p (k )，且
∑∞
==0
)(k A k kp (常数)。

试求使H (U )为最大的分布p (k )。

解：
121210
0112120
1120
1
0()ln ,,,...,,)ln ,
ln 10,1,1{k k k k k k k k k k k k k k k k k k
k k k k k k k H P p p p kp A p p p p kp p f
p k p e p p kp A e ke λλλ
λλ
λλλλλλ∞
=∞∞
==∞∞∞
===+-∞
∞
==∞
+-==-==-++∂=--++==∂===∑∑∑∑∑∑∑∑∑约束条件为
=1 和
设 f(由
得 由约束条件 和得
21211
1(),0,1,2,...()()#k k k A
e e e p k H P H P λλλλ∞
+-=-=∴=
=∑Q A
1 解得 =
,=1-=
1+A
1+A 1
A 1+A 1+A
为P 的上凸函数,此时为极大值
2.23 设X 是在[－1，1]上为均匀分布的随机变量。

试求H c (X)，H c (X 2
)和H c (X 3
)。

解: (a)
⎩
⎨
⎧
≤≤-=其它
,01
1,)(2
1x x p X
比特1log )(2
11
1
21=-=⎰-dx X H C (b) 令
y
dy dx x y 21
,
2=
=
⎪⎩⎪
⎨⎧≤=其它
,01,21
)(y y
y p Y
比特
443.0log 121log
21)(log )()(21
2-=-=-=-=⎰
⎰+∞
∞-e dy
y
y
dy
y p y p X H Y Y C
(c)
令
32
3
1,
3-==z dz dx x z ⎪⎩⎪⎨⎧≤==-其它
,01,61)
()(32
z z dz
dx x p z p X Z
比特
3.0log 26log )6log(61)6log(61)(log )()(221
013323
2
3232-=-=+=-=⎰⎰⎰---+∞∞
-e dz z z dz z z dz
z p z p X H Z Z C
2.24．设连续随机变量X 和Y 的联合概率密度为
⎪⎩
⎪
⎨⎧>><+π=其它
00
,0,11
)(2
2
22b a b y a x ab
xy f 试求H c
(X )，H c
(Y )，H c
(XY )及I (X ；Y )。

解：
()()()()()()()()log ()ln
()()log ()()(x y c x x c y y c p x f xy dy f xy dy x a
p y f xy dx f xy dx y b
H X p x p x dx H Y p y p y dy H XY f xy +∞
-∞
+∞
-∞
+∞
-∞+∞
-∞=
==≤=
==≤=-==-==-⎰⎰⎰⎰同理
)log ()ln()
(;)()()()ln
#
c c c f xy dxdy ab I X Y H X H X H XY e
ππ
+∞+∞
-∞-∞
==+-=⎰
⎰
2.25 设X 和Y 为连续随机变量，且X 的概率密度为
2
2
4/21)(α-π
α=
x
e x q ，条件概率密度为
2
23/)2
1
()31(
)|(α--α
π=x y e
x y p 其中－∞<x ，y <∞。

试求H c (X )，H c (Y/X )，H c (X/Y )和I (X ；Y )。

解：
2222
~(0,2),2,
1()()log ()log(4)
2x c X N H X q x q x dx e ασαπα+∞
==-=⎰
222222
2222
211()/3()/3/42221
()/3/4/42
(/)()(/)log (/)1
log(3)2
()()(/)c y x y x x y x x y H Y X q x p y x p y x dxdy
e e dxdy e w y q x p y x dx e dx ααααααπα+∞+∞
-∞-∞
+∞+∞
------∞+∞
+∞
-----∞
=-=-==
==⎰
⎰⎰
⎰⎰⎰2221
()log(4)
2
1
(;)()(/)log(4/3)
21
(/)()(;)log(3)
#
2
c c c c c H Y e I X Y H Y H Y X H X Y H X I X Y e παπα==-==-=
2.27 设x 为[0，∞]上分布的连续随机变量，且满足
⎰
∞
)(dx x xq =S ，求实现最大微分熵的分布及相应的熵值。

解：
12
12
00
12120
12()()ln (),()()(),,)()ln ()()()()()(1)()
()
(),,)c x x H X q x q x dx q x dx xq x dx q x q x q x dx xq x dx q x dx
e e q x ln dx q x dx
q x q x q x λλλλλλλλλλ+∞
+∞
+∞
+∞
+∞
+∞
+∞
+∞
----=-=---=
≤
-⎰⎰⎰⎰⎰⎰⎰
⎰
约束条件为
=1 和=s .
设 f(当f(为最大值时12
()()x c H X q x e λλ--=,在约束条件下取得最大值,此时
12120
max max 0
()(),1{ln ()(),0
()ln ln 1#
x x c c q x dx xq x dx e dx xe dx s
H X q x e x H X e e dx s λλλλλλ+∞+∞
+∞
--+∞
---+∞--===∴=>=-=+⎰⎰⎰
⎰
⎰12x s
x x
s s
由约束条件=1 和=s 得
=s
1
解得 ,s
1实现的分布为s
11s s
2.28 令概率空间
⎪⎪⎭
⎫ ⎝⎛-=2/12/111X ，令Y 是连续随机变量。

已知条件概率率密度为
⎩⎨
⎧≤-<-=其它
224
/1)|(x y x y p
试求(a) Y 的概率密度ω(y ) (b) I (X ；Y ) (c) 若对Y 作如下的硬判决：
⎪⎩
⎪⎨⎧-≤-≤<->=1
11
10
11y y y V 求I (X ；Y )，并对结果进行解释。

解:(a) 由已知，
⎩⎨⎧≤<-=-=其它,013,)(41
1y y p x
⎩⎨⎧≤<-==其它,
031,)(41
1y y p x
⎪⎪⎩⎪⎪⎨⎧≤<≤<--≤<-===+-=-====∑∑其它,
031,11,13,)1()1()1()1()
()()()(814
1
8
1y y y x y p x p x y p x p x y p x p xy p y w x y x x y x x
x y x x
xy
（b ）
bits
dy dy dy Y H 5.28log 4log 8log )(23
1
8
121
1
4
121
3
8
1=++=
⎰⎰⎰---
bits
dy
dy X Y H 24log 4log )(23
1
41
2121
3
4
12
1=+=⎰⎰
--
bit X Y H Y H Y X I 5.0)/()();(=-=∴
(c)由
⎪⎩
⎪
⎨⎧-<-≤≤->=1,111,01,1y y y v
可求得V 的分布为
⎪⎪⎭
⎫ ⎝⎛-=412141101V
再由)/(x y p 及⎪⎩
⎪
⎨⎧-<-≤≤->=1,111,01,1y y y v 可求得V 的条件分布为
{}{}⎩⎨⎧-+-∈+++---∈=)1,1(),1,1(),(,0)1,1(),1,0(),1,0(),1,1(),(,)/(2
1
x v x v x v p .
),;();(5.0)/()();(1)
1/(log )1/()1()1/(log )1/()1()/(5.12log 4log 2)(2222
1241变换没有信息损失可见V Y V X I Y X I bit
X V H V H X V I bit
x v p x v p x p x v p x v p x p X V H bit V H v
v
→==-=====--=-=-=-==+⨯=∴∑∑
第三章 离散信源无失真编码
3.1解:长为n 码字的数目为D n
,因此长为N 的D 元不等长码至多有：
1)1(1
--=∑=D D D D N N
k i
3.2 解:
⎡⎤⎡⎤3
2
22
100991100100010012210011000100110755.7004.0996.0004.0996.0996.01,100)(13
3.125051log 5051
49501001100)(-⨯=⨯⋅-⨯⋅--=====++=++=C C C P a b N C C C M a a e 因此有
的序列出现的概率的事件序列中含有三个误组率为长为所需码长为因此在二元等长编码下的序列数目为
和更少个的事件序列中含有两个长为
3.4 解:
{}bit a p a p a p U I B
bit a p a p a p U I A a a a a U c bit a p a p a p a p a I B bit a p a p a p a I A b B A B A a k k k k k k k k 0)
()
1(log )1()1;(32.1)()
1(log )1()1;(,
,,,)(0)()
(log )()1(log )1;(32.1)
(1
log )()1(log )1;()(.,.,,)(2
4
12
4
1
4321112112
1121121===========∑∑==对码对码对码对码均是唯一可译码和码但码不是异字头码码是异字头码的字头任一码字不是其它码字中码
3.5解:
（a ）二元Huffman 编码
%
2.9926
.3234.3log )()(26
.3)(234.3)(log )()(210
1210
1
=======-=∑∑==D n U H R U H n a p n bits
a p a p U H k k k k k k η编码效率
平均码长
（b ）三元Huffman 编码
注意：K=10为偶数，需要添一个概率为零的虚假符号
%6.963
log 11.2234
.3log )()(11
.2)(2210
1=⨯===
==∑=D n U H R U H n a p n k k k η编码效率
平均码长
3.6解:二元Huffman 编码 （a ）二元Huffman 编码
%
995.1485.1log )()(5
.1)(485.1)(log )()(23
123
1
=======-=∑∑==D
n U H R U H n a p n bits
a p a p U H k k k k k k η编码效率平均码长
（b ）
%
990
.397.2log )(2)(0
.3)(97.2)(2)()(229
121222=========∑=D n U H R U H n a p n bits U H U U H U H k k k η编码效率
平均码长
（c ）
%
32.99487
.4455.4log )(3)(487
.4)(455.4)(3)()(2327
1321333=========∑=D n U H R U H n a p n bits U H U U U H U H k k k η编码效率
平均码长
3.13 解:
(a)根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以它是唯一可译码。

469.01.0log 1.09.0log 9.0)
(22=⨯-⨯-=U H 比特
(b)因为信源是二元无记忆信源，所以有 )()()()(21in i i i S P S P S P S P K =
其中{}1,0,,,),,,(2121∈=in i i in i i i
S S S S S S S K K
43046721
.0)(,1,104782969.0)(,1,10531441.0)(,1,1059049.0)(,1,106561.0)(,1,1729.0)(,1,1081.0)(,1,109.0)(,1,11.0)(,1,188,1877,1766,1655,1544,1433,1322,1211,1100,10===========================S p l S S p l S S p l S S p l S S p l S S p l S S p l S S p l S S p l S
可计算每个中间数字相应的信源数字的平均长度
6953.5)(,18
1
==∑=-
i i i l S P L 信源符号/中间数字
(c) 根据表有
1,48,27,26,25,24,23,22,21,20,2=========l l l l l l l l l
可计算每个中间数字所对应的平均长度
7086
.2)(,28
2==∑=-
i i i l S P L 二元码/中间数字
由4756.0_
1
_
2=L L 二元码/信源符号
编码效率为0.4756/0.469=98.6%
信道及其容量
4.1解： (a) 对称信道 (b) 对称信道
(c) 和信道(课堂教学例题)! 4.3解：
(a): 可先假设一种分布,利用信道其容量的充要条件来计算(课堂教学例题) (b): 准对称信道！ 4.5解：课堂教学例题
4.8解：该题概率有误，应把1/32改为1/64。

每个符号的熵为
bits p p S H i i i 2log )(28
1
=-=∑=
采样频率Fs 为 Fs=2W=8000 Hz 所以信息速率R 为
bps 101.628000H(S) Fs R 4⨯=⨯=⨯=
4.9解：每象点8电平量化认为各级出现的概率相等，即H(U)=3 bits 所以信息速率R 为
bps 7
102.760050030R ⨯=⨯⨯⨯=
4.10解：
bits
s kb 62210382.560310009.293,/9.29)10001(log 3000)N
S
(1Wlog C s 603T 1000,dB 30N S
3KHz,
W ⨯=⨯⨯⨯=+⨯=+=⨯====为分钟可能传送话音信息所以
4.12解：31N
S
8KHz,
W
== 高斯信道的信道容量为
C 。

C R ，bps ，R 。

，C R bps C ，C 。

C bps bps R bps ≤<⨯=⨯>=⨯>=⨯=+⨯=+
=高斯高斯
高斯因则一定可以实现如故无法判定是否能实现的大小关系与信道容量但无法判定即的信道容量大于高斯信道因此时信道容量如该信道不是高斯信道不可实现如该信道是高斯信道所以4445422103,104,,,10410104)311(log 8000)N
S
(1Wlog C 第五章 离散信道编码定理
习题5.1 解：DMC 信道
⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢
⎢⎢⎣⎡=2131616
12131
3
16121
P
有
4
1
)()(,21)(321===x Q x Q x Q
247
)2131(416121)(31
)6121(413121)(83)3161(412121)(321=
+⨯+⨯==+⨯+⨯==+⨯+⨯=
y w y w y w
因为
32)()()()(83212
1111111=⨯==y w x y p x p y x P
21)()()()(31312
1212121=⨯==y w x y p x p y x P
72)()()()(247612
1313131=⨯==y w x y p x p y x P
72)()()()(247314
1323232=⨯==y w x y p x p y x P
73)()()()(24
7214
1333333=⨯==y w x y p x p y x P
所以 最大后验概率译码为：
33121x ,x 判为判为和y y y 。

译码错误概率为：
2411)21
1(41416121))(1)(()()()(3332131=-⨯++⨯=
-++=x y p x Q x Q x y P x Q p e 若按最大似然译码准则译码为：
332211x ,x ,x 判为判为判为y y y 译码错误概率为：
21)211(4121412121))(1)(())(1)(())(1)((333222111=-⨯+⨯+⨯=
-+-+-=x y p x Q x y P x Q x y P x Q p e
可见,最大似然译码的译码错误概率大于最大后验概率译码的译码错误概率。

第七章 信道编码
1.
设(7,3)码的生成矩阵为
⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=111100001101100011101G
(1) 写出该码的一致校验矩阵H ； (2) 写出该码的所有许用码字；
(3) .写出该码的“译码表”---标准译码表或简化(伴随式)译码表； (4) 写出接收矢量R=1000001的错误图样,并译相应的许用码字；
(5) 写出该码在BSC(错误转移概率为p)中传输的(平均)正确译码概率p c 的表达式；
(6) 写出该码在BSC(错误转移概率为p)中传输的漏检概率P ud (也称不可检测错误概率)的表达式. 解: (1) G 不为系统码形式,我们通过初等行变换变为系统码形式
⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=111100001101100011101G ~⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡111100001010110011101 ~⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡100111001010110011101 因此
⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎣
⎡=11
110001010100
11000100110001H (2) 由C=MG 得该码的许用码字为
0000000,0111001,1101010,1010011,1011100,1100101,0110110,0001111 该码的最小汉明距离为4。

(3) 该码的标准阵由16个陪集构成, 在BSC(错误转移概率为p<1/2)应将重量最小的错误图样选作陪集首, 故该码的标准译码表为
译码规则为若接收矢量在第i列出现,则译码输出为对应列中的码字,也就是陪集首为可纠正错误图样. 伴随式译码表为
(4) 接收矢量R=1010101出现在标准译码表的第五列, 译码输出为1011100, 错误图样为0001001. (5) 该码标准译码表的陪集首重量分布为 A 0=1,A 1=7,A 2=7,A 3=1,A 4=A 5=A 6=A 7=0 所以正确译码概率p c 为
4326777
)1(5)1(7)1(7)1()1(p p p p p p p p p A P i i i i c -+-+-+-=-=-=∑
注意：i=0
(6) 该码的重量分布为 A 0=1,A 1=A 2=A 3=0,A 4=7,A 5=A 6=A 7=0 所以该码在BSC 中传输的漏检概率P ud 为
3477
1
)1(7)1(p p p p A P i i i i ud -=-=-=∑
注意：i=1。