信息论习题答案

z1 0 z2 1
7
1
8
8
H ( XYZ )
p( xi y j zk ) log2 p( xi y j zk )
i jk
1 8
log
2
1 8
3 8
log
2
3 8
3 8
log
2
3 8
1 8
log
2
1 8
1.811
bit
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), Y X x1=0 x2=1
7
8
0
z2
1
1
8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
2
H(Z)
k
p(
zk
)
7 8
log2
7 8
1 8
log2
1 8
0.544
bit / symbol
(1) H(XZ), H(YZ)
p( x1) p( x2 ) 0.5
p( x1z1) 0.5
log2
1) 8
1.406
bit / symbol
（1）H(XYZ)；
p( x1 y1z2 ) 0, p( x1 y2 z2 ) 0
p( x2
y1z2
)
0,
p( x2
y2 z2
)
1 8
p(
x1
y1z1
)
1/
8,
p(
x1
y2
z1
)
3 8
p( x2
y1 z1 )
3 8
,
p( x2
y2 z1)
0
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
X P(X)
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有75%是身高160厘米以上的
即：p(y1/ x1) = 0.75
求：身高160厘米以上的某女孩是大学生的信息量,即：
I
解： 设随机变量X代表女孩子学历
源自文库
X P(X)
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有75%是身高160厘米以上的
即：p(y1/ x1) = 0.75
解： 设随机变量X代表女孩子学历
（1）红色球和白色球各50只；
（2）红色球99只，白色球1只；
（3）红、黄、蓝、白色各25只；
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。
(1) p(R) p(W ) 50 /100 1/ 2 I (R) I (W ) log 2 1(bit) (2) p(R) 99 /100 0.99 p(W ) 1/100 0.01 I (R) log100 / 99 0.0145(bit) I (W ) log100 6.644(bit) (3) p(R) p(Y ) p(B) p(W ) 25/100 1/ 4 I (R) I (W ) I (W ) I (W ) log 4 2(bit)
解：(1) H(X), H(Y)
p( x1 )
p(x1 y1)
p(x1 y2 )
1 8
3 8
1 2
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
p(x2 )
p(x2 y1)
p(x2 y2 )
3 8
1 8
1 2
H ( X ) p(xi ) log2 p(xi ) 1 bit / symbol
p p( A) p(B) 1/ 811/ 2 I log(1/ 811/ 2) 7.34(bit)
• 习题2.4 居住在某地区的女孩中有25%是大学生，在女 大学生中有75%是身高1.6米以上的，而女孩中身高1.6 米以上的占总数一半。假如我们得知“身高1.6米以上 的某女孩是大学生”的消息，问可获得多少信息量？
(
x1
/
y1 )
log
p(
x1
/
y1
)
log2
p(
x1
) p( y1 p( y1)
/
x1 )
log2
0.25 0.75 0.5
1.415
bit
2.18 有两个二元随机变量X和Y，它们的联合概率为
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。
p( x1z2 ) 0
p(
x2
z1
)
3 8
p(
x2
z2
)
1 8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
z1 0 z2 1
7
1
8
8
H ( XZ )
p( xi zk ) log2 p( xi zk )
ik
(
1 2
log2
1 2
3 8
log2
3 8
1 8
i
p( y1)
p(x1 y1)
p(x2 y1)
1 8
3 8
1 2
p( y2 )
p(x1 y2 )
p(x2 y2 )
3 8
1 8
1 2
H (Y ) p( y j ) log2 p( y j ) 1 bit / symbol
j
(1) H(Z)
Z = XY的概率分布如下：
Z P(Z
)
z1
H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
(2)
p( xi
)
1 6
1 6
1 36
I (xi )
log 2
p(xi )
log 2
1 36
5.170
bit
(3)
p( xi
)
1
5 6
5 6
11 36
I ( xi ) log2
p( xi
)
log2
11 36
1.710
bit
• 2.2 设在一只布袋中装有100只对人手的感觉完全相同的木球， 每只球上涂有一种颜色。100只球的颜色有下列三种情况：
• 2.3 在布袋中放入81个硬币，它们的外形完全相同。已 知有一个硬币的重量与其他81个硬币的重量不同，但 不知这一个硬币是比其他硬币重还是轻。问确定随意 取出的一个硬币恰好是重量不同的一个硬币所需要的 信息量是多少？若要进一步确定它比其他硬币是重一 些还是轻一些所需要的信息量是多少？
p( A) 1/ 81 I ( A) log P( A) 6.34(bit)