信息论与编码_曹雪虹_张宗橙 北京邮电大学出版社课后习题答案

2 1
解：
P


3
3
1 0
由
2/3W1+W2=W1
1/3W1=W2
W1+W2=1
36 2020/3/8
得：
W2=1/4； W1=3/4；
H w1 H (x / s1) w2 H (x / s2)
3 ( 2 log 3 1 log 3) 1 log1
wenku.baidu.com
43 2 3
X=2.1*106 /13.288=158038个
24 2020/3/8
2-18
解： 2
由 k xdx 1
0
得 k=1/2
所以
H 2 x x
(X ) log dx 1.44bit
C
02 2
25 2020/3/8
2-20
解：
（1）已知
Px
(x)

1 6
所以
H (X ) 3 1 log 6dx log 6 2.58
38 2020/3/8
得：
W1=W2 =3/8
W 3=1/4
39 2020/3/8
H
(x
/
s1)

1 3
log
3

1 3
log
3

1 3
log
3

1.58
H
(x
/
s2)

1 3
log
3

1 3
log
3

1 3
log
3

1.58
H(x
/
s3)

1 2
log
2

1 2
log
2
1
40 2020/3/8
18 2020/3/8
2-13
解： H(IJ)=4*(1/8)*log8+2*(1/10)log10+2/15*log15
+3/36*log36+1/12*log12 =3.415
19 2020/3/8
2-15
解：
p(a1/b1)
p(a1/b1)
I(a1;b1)=log p(a1) =log 1/2
题目
2-2 设在一只布袋中装有100只对人手感觉 全相同的木球，每只球上涂有一种颜色。 100只球的颜色有下列3中情况： （1）红色球和白色球各50置； （2）红色球99只，白色球1只； （3）红、黄、蓝、白色各25只。 求从布袋中随意去除一只球时，猜测其颜色所
需要的信息量。
1 2020/3/8
分析
取出一个球，其颜色可能是红色、白色、 蓝色或黄色。都有可能，但各种颜色的 不确定度不同，即出现概率不同。 要求猜测其颜色信息所需要的信息量也 就是要求取出一个球所包含的平均信息 量（信源熵）。 根据H（X）的定义，就可求出。
2 2020/3/8
解答
根据定义
H（X）= - p(xi ) log p(xi )
4
0.69
37 2020/3/8
2-29
解：
1/ 3 1/ 3 1/ 3
p 1/ 3 1/ 3 1/ 3
1/ 2 1/ 2 0
由：
1/3W1 +1/3W2 +1/2W3= W 1 1/3W1+1/3W21/2 W 3=W2 1/3W1+1/3 W 2=W3 W1+W2+ W 3=1
17 2020/3/8
(3) I(X;Y)=H(X)-H(X/Y)=1-0.81=0.19
I(Y;Z)=I(X;Z)=H(X)-H(X/Z)=1-0.87=0.13
I(X;Y/Z)=I(X;YZ)-I(X;Z) =H(X)-H(X/YZ)-I(X;Z) =0.6-0.13=0.47
I(Y;Z/X)=I(X;Z/Y)=I(X;YZ)-I(X;Y) =H(X)-H(X/YZ)-I(X;Y) =1-0.4-0.19=0.41
6 2020/3/8
(5) I(1,X)=log36/11=1.7105bit
2-3 解： 因为：
P(v/u)=P(u,v)/P(u)=(1/4*3/4)/(1/2)=3/8 所以：
I=log(8/3)=1.42bit
7 2020/3/8
2-4
解： 平均信息量 h(X)=3/8log(8/3)+2/4log4+1/8log8
21 2020/3/8
2-16
解： (1) H(X)= -P(黑)*log P(黑)- P(白)*log P(白)
=0.3*log(1/0.3)+0.7*log(1/0.7)
=0.5211+0.3602
=0.8813
22 2020/3/8
4
(2) H(X)= Wi * H ( X / Si) i 1
33 2020/3/8
2-27
解：
0.8W1+0.5W3=W1 0.2W1+0.5W3=W2 0.5W2+0.2W4=W3 0.5W2+0.8W4=W4 W1+W2+W3+W4=1
34 2020/3/8
得： W1 =5/14 W2=2/14 W3=2/14 W4=5/14
35 2020/3/8
2-28
=1.58bit (3)H(X/Y)=H(X,Y)-H(Y)=0.72
15 2020/3/8
2-12
解： (1)H(X)=1;
H(Y)=1; H(Z)=7/8*log(8/7)+1/8*log8=0.54 H(YZ)=H(XZ)=H(X)+H(Z/X)
=1+1/8*log4+3/8*log(4/3)=1.41 H(XYZ)=H(XZ)+H(Y/XZ)=1.41+0.4=1.81
100m
I log *
411.59m
44
29 2020/3/8
(3)
H 100H (x) 81bit
30 2020/3/8
2-25
解： 0.25p(0)+0.5p(1)=p(0) 0.75p(0)+0.5p(1)=p(1) P(0)+p(1)=1 得： P(0)=0.4;p(1)=0.6
0
3 6
26 2020/3/8
（2）
已知 所以
P
x
(
x)

1 10
H (X ) 5 1 log10dx 3.322
0
510
27 2020/3/8
2-23
略
28 2020/3/8
2-24
解：
(1) H (x) 1 log 4 3 log 4 0.81
4
43
(2)
1 3 m
P(b1)=P(b1,a1)+P(b1,a2)=P(b1/a1)P(a1)+ P(b1/a2)P(a2)
=(1-ε)*(1/2)+1/2* ε=1/2
P(a1,b1)=1/2*(1-ε)
P(a1/b1)= P(a1,b1)/P(b1)=1- ε
20 2020/3/8
I(a1,b1)=log[2*(1-ε)]
12 2020/3/8
2-9
解：不确定度即为H(X) (1)H(X)=1/3log3+2/3log(3/2)
=0.39+0.53=0.92bit (2)H(X)=4/14log(14/4)+10/14log14/10
=0.346+0.516=0.86bit (3)H(X)=5/14log(14/5)+9/14log(14/9)
4 2020/3/8
（3） P（红）=P（白）=P（蓝）=P（黄）=1/4
所以
H（X）=
4
x
（
1 4
log 2
1 4
）
= 2比特
5 2020/3/8
2-2
解： (1)P（3,5）= 1/36+1/36= 1/18
I （3,5）= log18 = 4.17 bit (2)P（1,1）= 1/6*1/6= 1/36
i
得：随意取出一球时，所需要的信息量为 （1）
P（红）= P（白）=1/2
H（X）=

1 2
log 2
1 2

1 2
log 2
1 2
= 1比特
3 2020/3/8
（2）P（白）= 1/100
P（红）= 99/100
所以
H（X）=

1 100
log
2
1 100

99 100
log
2
99 100
= 0.08比特
=5.25bit (3)H(number|colour)=H(c,n)-H(c)
=5.25-1.24=4.01bit
14 2020/3/8
2-11
解： (1)H(X,Y)=14/24log(24/7)+4/24log24+1/4log4
=2.3bit (2)H(Y)=8/24log3+8/24log3+8/24log3
=1.905比特/符号 信息量
H(X)=60*1.905=114.3比特
8 2020/3/8
2-5
解： （1）I=log18=4.17bit （2）略
9 2020/3/8
2-6
解：
(1) 平均每个符号携带的信息量：
H(X)=14/45log(45/14)+13/45log(45/13) +12/45log(45/12)+6/45log(45/6)
信源熵
H w1H(x / s1) w2 H(x / s2)w3 H(x / s3)
1.435
41 2020/3/8
P=
0.9143 0.0857
0.2 0.8
W1=0.9143W1+0.0857W2 W2=0.2W1+0.8W2
得 W1=0.5,W2=0.5 H(X)=0.513
23 2020/3/8
2-17
解：
I(X)=log1283*105 =3* 105*7=2.1* 106
I(Y)=log 100001000 = 13288 Log10000X=2.1*106
16 2020/3/8
(2) H(X/Y)=H(Y/X)=H(XY)-H(X)=1.81-1=0.81 说明：H(XY)=2*[3/8log(8/3)+1/8log8]=1.81 H(Z/Y)=H(Z/X)=H(XZ)-H(X)=0.41 H(X/Z)=H(XZ)-H(Z)=1.41-0.54=0.87 H(Z/XY)=0
31 2020/3/8
2-26
1/ 2 1/ 2 0
解：

P 1/ 3 0
2 / 3


1/ 3 2 / 3 0


1/2 W1+1/3W2 +1/3W3 = W1 1/2 W1+2/3W3 = W2 2/3W2 =W3
W1 +W2 +W3=1
32 2020/3/8
得： W1=2/5；W2 =9/25；W3=6/25
=0.41+0.53=0.94bit (4)H(x)=1/3*0.86+2/3*0.94=0.92bit
13 2020/3/8
2-10
解： (1)H(colour)=2/38log19+2*(18/38)log(38/18)
=0.22+1.02=1.24bit (2)H(colour,number)=H(number)=log38
=1.95比特/符号 (2)消息自信息量： I=1.95*45=87.8
10 2020/3/8
2-7
解： I(2)=log2=1 I(4)=log4=2 I(8)=log8=3
11 2020/3/8
2-8
解： (1)I(点)=log(4/3)=0.42
I(划)=log4=2
(2)平均信息量： H(X)=1/4log4+3/4log(4/3)=0.81
I （1,1）= log36 = 5.17 bit (3)H（X）=1/36*6*log36+2/36*15*log18
=4.337 bit (4)H（X）=2*(1/36*log36+2/36*log18
+3/36log12+4/36log9+5/36log36/5)+6/36log6 =3.274bit
I (a1;b2)=log p(a1/b2)
p(a1)
P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2)
=(1-ε)*(1/2)+1/2* ε=1/2 P(a1,b2)= P(b2/a1)*P(a1)= 1/2* ε P(a1/b2)=P(a1,b2)/ P(b2)=ε I (a1,b2)=log2 ε