朱雪龙《应用信息论基础》习题答案全
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
综上：I( X k 1 ; X k | X 1 … X k 2 中有奇数个 1) －H( X k 1 ; X k | X 1 … X k 2 中有奇数个 1)
= H( X k 1 | X 1 … X k 2 中有奇数个 1) + H( X k | X 1 … X k 2 中有奇数个 1) =0 I( X k 1 ; X k | X 1 … X k 2 中有偶数个 1) = 0
Z
Y
假设输入 X、Y 是相互独立的，则满足 I(X;Y) = 0 又 I(X;Y|Z) = H(X|Z) － H(X|YZ) = H(X|Z) = 1 bit 不妨设 P(Z=0) = P(Z=1) = 设 P(X=0,Y=0|Z=0) = p
1 2
P(X=1,Y=1|Z=0) = 1－p
P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1－q
∴ 当 3≤k≤N－1 时，I( X k 1 ; X k | X 1 … X k 2 ) = 0 当 k=N时 即
I( X N 1 ; X N | X 1 … X N 2 ) = H( X N 1 | X 1 … X N 2 ) － H( X N 1 | X 1 … X N 2 , X N ) = 1 bit
P( X k 1 =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =0| X 1 … X k 2 中有奇数个 1) = P( X k =1| X 1 … X k 2 中有奇数个 1) = P( X k =0| X 1 … X k 2 中有奇数个 1) =
Q
2.14
1 1 1 P(X=n) = ( ) n 1 = ( )n 2 2 2
Q
bi t.
5d
6d
.co
m
2.15
Q bi t.
5d
2.16 证明：
P2 N ( a k )
6d .
2 2 12 2 (μ 1 μ 2） log 1 (nat) 2 2 2 2 1 2 1
则 H(X|Z) =
1 1 [ plogp + (1－p)log (1－p)] [ qlogq + (1－q)log(1－q)] =1 2 2
Q
2.5 考虑如下系统：
bi t.
2.4 证明：(1)根据熵的可加性，可直接得到
5d
6d
.co
m
m
1 4
6d .
∴ 满足条件的一个联合分布：
co
满足上式的 p、q 可取：p =
1 1 ;q= 2 2
P(X=Fra Baidu bibliotek, Y=0, Z=0) =
P(X=1, Y=1, Z=0) =
5d
1 4
P(X=1, Y=1, Z=0) =
Q bi t.
1 4
P(X=1, Y=0, Z=1) =
1 4
2.6 解：
给出均匀分布 p( x)
1 ba
a x b 其中 b a 1 , 则h( X ) 0
I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y) 1 3 1 6 1 6 1 12 1 24 1 24 1 12 1 24 1 24
H(X Y) ≤ H(X) + H(Y) 等号在 X、Y 独立时取得 P( a 1 b 2 ) = P( a 2 b 2 ) = P( a 3 b 2 ) = P( a 1 b 3 ) = P( a 2 b 3 ) = P( a 3 b 3 ) =
2.7 证明： I(X;Y;Z) = I(X;Y)－I(X;Y|Z)
= I(X;Z)－I(X;Z|Y)
∵A, B 处理器独立， ∴I(X;Z|Y) = 0 ∴I(X;Z) = I(X;Y)－I(X;Y|Z) ≤ I(X;Y) 等号于 p(x/yz) = p(x)下成立
I( X 1 ; X 2 ) = 1 bit N≠2 时， I( X k 1 ; X k | X 1 … X k 2 ) (3≤k)
n n 的概率为 pk ( ) ，其中 X 1 X 2 X N 中出现 a k 2N 2N ak ) n1 n 的概率为 pk ( 1 ) ， X N 1 X N 2 X 2 N 中出 N N
的频率为 PN ( a k )
1 N
I(X
n 1
n
现 ak 的频率为 PN ' (a k )
P( X k 1 =0， X k =0| X 1 … X k 2 中有奇数个 1) =
P( X k 1 =0， X k =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =1， X k =0| X 1 … X k 2 中有奇数个 1) = P( X k 1 =1， X k =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =0， X k =0| X 1 … X k 2 中有偶数个 1) = P( X k 1 =0， X k =1| X 1 … X k 2 中有偶数个 1) = P( X k 1 =1， X k =0| X 1 … X k 2 中有偶数个 1) = P( X k 1 =1， X k =1| X 1 … X k 2 中有偶数个 1) =
= P( X 1 … X k 2 中有奇数个 1) I( X k 1 ; X k | X 1 … X k 2 中有奇数个 1) 1 2 1 2 1 2 1 2 1 2 1 2
（注意，这里 k≤N－1）
P( X 1 … X k 2 中有奇数个 1) = P( X 1 … X k 2 中有偶数个 1) =
2.12 证明：
H ( XYZ ) H ( XZ ) H (Y | XZ ) I (Y ; Z | X ) H (Y | X ) H (Y | XZ ) H ( XYZ ) H ( XZ ) H (Y | X ) I (Y ; Z | X )
2.13 证明：
I ( X ;Y ; Z ) I ( X ;Y ) I ( X ;Y | Z ) H ( X ) H ( X | Y ) H (Y | Z ) H (Y | XZ ) H ( X ) H ( X | Y ) H (Y | Z ) H ( XYZ ) H ( XZ ) H ( XYZ ) H ( X | Y ) H (Y | Z ) H ( Z | X ) 而等式右边 H ( XYZ ) H ( X ) H (Y ) H ( Z ) H ( X ) H ( X | Y ) H (Y ) H (Y | Z ) H ( Z ) H ( Z | X ) H ( XYZ ) H ( X | Y ) H (Y | Z ) H ( Z | X ) 故左式 右式，原式成立
co 6d . Q bi t. 5d
2.2 证明： 2.1
2 2 y x nat 或 ln 2 x y
m
第二章 习题参考答案
2 2 x y bit log 2 2 x y
I ( X ; Y | Z ) H ( X | Z ) H ( X | YZ ) H ( XZ ) H ( Z ) H ( XYZ ) H (YZ ) H ( X ) H ( Z | X ) H ( Z ) H ( XY ) H ( Z | XY ) H (Y ) H ( Z | Y ) [ H ( X ) H (Y ) H ( XY )] H ( Z | X ) H ( Z ) H ( Z | XY ) H ( Z | Y ) I ( X ; Y ) H ( Z | X ) H ( Z ) H ( Z | XY ) H ( Z | Y ) 0 H ( Z ) H ( Z ) H ( Z | XY ) H ( Z ) H ( Z ) H ( Z | XY ) 1 H ( Z ) H ( Z | XY ),即 H ( Z ) 1 H ( Z | XY ) 又 H ( Z ) 1, H ( Z | XY ) 0, 故H ( Z ) 1, H ( Z | XY ) 0 同理，可推出H ( X ) 1; H (Y ) 1; H ( XYZ ) H ( XY ) H ( Z | XY ) H ( X ) H (Y ) H ( Z | XY ) 1 1 0 2
1 2 1 2 1 2 1 2 1 4 1 4 1 4
（注意，这里 k≤N－1）
Q bi t.
5d
6d .
P( X k 1 =0| X 1 … X k 2 中有偶数个 1) = P( X k =1| X 1 … X k 2 中有偶数个 1) = P( X k =0| X 1 … X k 2 中有偶数个 1) =
Q
(3≤k≤N－1)
bi t.
1 4
1 4
5d
1 4
6d
1 4
.co
1 4
m
2.9 1) 实例如 2.5 题
2）考虑随机变量 X=Y=Z 的情况
co
m
1 2
6d .
取 P(X=0, Y=0, Z=0) = 则 I(X;Y|Z) = 0
P(X=1, Y=1, Z=1) =
1 2
Q bi t.
5d
2.10
记 长 为 2N 随 机 序 列 X 1 X 2 X N X N 1 X 2 N 中 出 现 ak 的 频 率
1 2N
co
I(X
m 1 2N m
1 1 1 H(X) = ( ) n 1 log( ) n = 2 n 1 2 2
m
ak ) =
N
n( 2 )
1
n
= 2 bit
+ P( X 1 … X k 2 中有偶数个 1) I( X k 1 ; X k | X 1 … X k 2 中有偶数个 1)
bi t.
5d
6d
2.8 N=2 时， P(0 0) = , P(1 1) =
1 2
1 ,其它为 0 2
.co
m
m
co
P( X k 1 =1| X 1 … X k 2 中有偶数个 1) =
1 N
n N 1
I(X
2N
n
ak )
n2 n PN ( a k ) 的概率为 pk ( 2 ) ，则有 N N
1 1 E I ( PN (a k ), p (a k )) I ( PN ' (a k ), p (a k )) EI ( PN (a k ), p(a k )) EI ( PN ' (a k ), p(a k ) 2 2 1 1 EI ( P2 N (a k ), p (a k )) E I ( PN (a k ) PN ' (a k ), p (a k )) 2 2 1 1 E I ( PN (a k ), p (a k )) I ( PN ' (a k ), p (a k )) 2 2 EI ( PN (a k ), p(a k ))
2.3 1) H(X) = 0.918 bit , H(Y) = 0.918 bit
2) H(X|Y) =
2 2 2 bit , H(Y|X) = bit , H(X|Z) = bit 3 3 3
3) I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit
(2) Y的值取自 (a1 , a 2 , , a k 1 ), H (Y ) log(k 1), 故原式得证 X
∴P( a 1 b1 ) =
P( a 2 b1 ) = P( a 3 b1 ) =
满足 H(X Y) 取最大值
2.11 证明：
p( xyz ) p ( x) p ( y | x) p( z / y ) I ( X ; Z | Y ) 0, I ( X ;Y ) I ( X ;Y | Z ) I ( X ;Y ; Z ) I ( X ; Z ) I ( X ; Z | Y ) I ( X ; Z ) 0 故 I ( X ; Y ) I ( X ; Y | Z ) 成立
= H( X k 1 | X 1 … X k 2 中有奇数个 1) + H( X k | X 1 … X k 2 中有奇数个 1) =0 I( X k 1 ; X k | X 1 … X k 2 中有偶数个 1) = 0
Z
Y
假设输入 X、Y 是相互独立的，则满足 I(X;Y) = 0 又 I(X;Y|Z) = H(X|Z) － H(X|YZ) = H(X|Z) = 1 bit 不妨设 P(Z=0) = P(Z=1) = 设 P(X=0,Y=0|Z=0) = p
1 2
P(X=1,Y=1|Z=0) = 1－p
P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1－q
∴ 当 3≤k≤N－1 时，I( X k 1 ; X k | X 1 … X k 2 ) = 0 当 k=N时 即
I( X N 1 ; X N | X 1 … X N 2 ) = H( X N 1 | X 1 … X N 2 ) － H( X N 1 | X 1 … X N 2 , X N ) = 1 bit
P( X k 1 =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =0| X 1 … X k 2 中有奇数个 1) = P( X k =1| X 1 … X k 2 中有奇数个 1) = P( X k =0| X 1 … X k 2 中有奇数个 1) =
Q
2.14
1 1 1 P(X=n) = ( ) n 1 = ( )n 2 2 2
Q
bi t.
5d
6d
.co
m
2.15
Q bi t.
5d
2.16 证明：
P2 N ( a k )
6d .
2 2 12 2 (μ 1 μ 2） log 1 (nat) 2 2 2 2 1 2 1
则 H(X|Z) =
1 1 [ plogp + (1－p)log (1－p)] [ qlogq + (1－q)log(1－q)] =1 2 2
Q
2.5 考虑如下系统：
bi t.
2.4 证明：(1)根据熵的可加性，可直接得到
5d
6d
.co
m
m
1 4
6d .
∴ 满足条件的一个联合分布：
co
满足上式的 p、q 可取：p =
1 1 ;q= 2 2
P(X=Fra Baidu bibliotek, Y=0, Z=0) =
P(X=1, Y=1, Z=0) =
5d
1 4
P(X=1, Y=1, Z=0) =
Q bi t.
1 4
P(X=1, Y=0, Z=1) =
1 4
2.6 解：
给出均匀分布 p( x)
1 ba
a x b 其中 b a 1 , 则h( X ) 0
I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y) 1 3 1 6 1 6 1 12 1 24 1 24 1 12 1 24 1 24
H(X Y) ≤ H(X) + H(Y) 等号在 X、Y 独立时取得 P( a 1 b 2 ) = P( a 2 b 2 ) = P( a 3 b 2 ) = P( a 1 b 3 ) = P( a 2 b 3 ) = P( a 3 b 3 ) =
2.7 证明： I(X;Y;Z) = I(X;Y)－I(X;Y|Z)
= I(X;Z)－I(X;Z|Y)
∵A, B 处理器独立， ∴I(X;Z|Y) = 0 ∴I(X;Z) = I(X;Y)－I(X;Y|Z) ≤ I(X;Y) 等号于 p(x/yz) = p(x)下成立
I( X 1 ; X 2 ) = 1 bit N≠2 时， I( X k 1 ; X k | X 1 … X k 2 ) (3≤k)
n n 的概率为 pk ( ) ，其中 X 1 X 2 X N 中出现 a k 2N 2N ak ) n1 n 的概率为 pk ( 1 ) ， X N 1 X N 2 X 2 N 中出 N N
的频率为 PN ( a k )
1 N
I(X
n 1
n
现 ak 的频率为 PN ' (a k )
P( X k 1 =0， X k =0| X 1 … X k 2 中有奇数个 1) =
P( X k 1 =0， X k =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =1， X k =0| X 1 … X k 2 中有奇数个 1) = P( X k 1 =1， X k =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =0， X k =0| X 1 … X k 2 中有偶数个 1) = P( X k 1 =0， X k =1| X 1 … X k 2 中有偶数个 1) = P( X k 1 =1， X k =0| X 1 … X k 2 中有偶数个 1) = P( X k 1 =1， X k =1| X 1 … X k 2 中有偶数个 1) =
= P( X 1 … X k 2 中有奇数个 1) I( X k 1 ; X k | X 1 … X k 2 中有奇数个 1) 1 2 1 2 1 2 1 2 1 2 1 2
（注意，这里 k≤N－1）
P( X 1 … X k 2 中有奇数个 1) = P( X 1 … X k 2 中有偶数个 1) =
2.12 证明：
H ( XYZ ) H ( XZ ) H (Y | XZ ) I (Y ; Z | X ) H (Y | X ) H (Y | XZ ) H ( XYZ ) H ( XZ ) H (Y | X ) I (Y ; Z | X )
2.13 证明：
I ( X ;Y ; Z ) I ( X ;Y ) I ( X ;Y | Z ) H ( X ) H ( X | Y ) H (Y | Z ) H (Y | XZ ) H ( X ) H ( X | Y ) H (Y | Z ) H ( XYZ ) H ( XZ ) H ( XYZ ) H ( X | Y ) H (Y | Z ) H ( Z | X ) 而等式右边 H ( XYZ ) H ( X ) H (Y ) H ( Z ) H ( X ) H ( X | Y ) H (Y ) H (Y | Z ) H ( Z ) H ( Z | X ) H ( XYZ ) H ( X | Y ) H (Y | Z ) H ( Z | X ) 故左式 右式，原式成立
co 6d . Q bi t. 5d
2.2 证明： 2.1
2 2 y x nat 或 ln 2 x y
m
第二章 习题参考答案
2 2 x y bit log 2 2 x y
I ( X ; Y | Z ) H ( X | Z ) H ( X | YZ ) H ( XZ ) H ( Z ) H ( XYZ ) H (YZ ) H ( X ) H ( Z | X ) H ( Z ) H ( XY ) H ( Z | XY ) H (Y ) H ( Z | Y ) [ H ( X ) H (Y ) H ( XY )] H ( Z | X ) H ( Z ) H ( Z | XY ) H ( Z | Y ) I ( X ; Y ) H ( Z | X ) H ( Z ) H ( Z | XY ) H ( Z | Y ) 0 H ( Z ) H ( Z ) H ( Z | XY ) H ( Z ) H ( Z ) H ( Z | XY ) 1 H ( Z ) H ( Z | XY ),即 H ( Z ) 1 H ( Z | XY ) 又 H ( Z ) 1, H ( Z | XY ) 0, 故H ( Z ) 1, H ( Z | XY ) 0 同理，可推出H ( X ) 1; H (Y ) 1; H ( XYZ ) H ( XY ) H ( Z | XY ) H ( X ) H (Y ) H ( Z | XY ) 1 1 0 2
1 2 1 2 1 2 1 2 1 4 1 4 1 4
（注意，这里 k≤N－1）
Q bi t.
5d
6d .
P( X k 1 =0| X 1 … X k 2 中有偶数个 1) = P( X k =1| X 1 … X k 2 中有偶数个 1) = P( X k =0| X 1 … X k 2 中有偶数个 1) =
Q
(3≤k≤N－1)
bi t.
1 4
1 4
5d
1 4
6d
1 4
.co
1 4
m
2.9 1) 实例如 2.5 题
2）考虑随机变量 X=Y=Z 的情况
co
m
1 2
6d .
取 P(X=0, Y=0, Z=0) = 则 I(X;Y|Z) = 0
P(X=1, Y=1, Z=1) =
1 2
Q bi t.
5d
2.10
记 长 为 2N 随 机 序 列 X 1 X 2 X N X N 1 X 2 N 中 出 现 ak 的 频 率
1 2N
co
I(X
m 1 2N m
1 1 1 H(X) = ( ) n 1 log( ) n = 2 n 1 2 2
m
ak ) =
N
n( 2 )
1
n
= 2 bit
+ P( X 1 … X k 2 中有偶数个 1) I( X k 1 ; X k | X 1 … X k 2 中有偶数个 1)
bi t.
5d
6d
2.8 N=2 时， P(0 0) = , P(1 1) =
1 2
1 ,其它为 0 2
.co
m
m
co
P( X k 1 =1| X 1 … X k 2 中有偶数个 1) =
1 N
n N 1
I(X
2N
n
ak )
n2 n PN ( a k ) 的概率为 pk ( 2 ) ，则有 N N
1 1 E I ( PN (a k ), p (a k )) I ( PN ' (a k ), p (a k )) EI ( PN (a k ), p(a k )) EI ( PN ' (a k ), p(a k ) 2 2 1 1 EI ( P2 N (a k ), p (a k )) E I ( PN (a k ) PN ' (a k ), p (a k )) 2 2 1 1 E I ( PN (a k ), p (a k )) I ( PN ' (a k ), p (a k )) 2 2 EI ( PN (a k ), p(a k ))
2.3 1) H(X) = 0.918 bit , H(Y) = 0.918 bit
2) H(X|Y) =
2 2 2 bit , H(Y|X) = bit , H(X|Z) = bit 3 3 3
3) I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit
(2) Y的值取自 (a1 , a 2 , , a k 1 ), H (Y ) log(k 1), 故原式得证 X
∴P( a 1 b1 ) =
P( a 2 b1 ) = P( a 3 b1 ) =
满足 H(X Y) 取最大值
2.11 证明：
p( xyz ) p ( x) p ( y | x) p( z / y ) I ( X ; Z | Y ) 0, I ( X ;Y ) I ( X ;Y | Z ) I ( X ;Y ; Z ) I ( X ; Z ) I ( X ; Z | Y ) I ( X ; Z ) 0 故 I ( X ; Y ) I ( X ; Y | Z ) 成立