朱雪龙《应用信息论基础》习题答案

第二章习题参考答案

2.2证明:

l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)

H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)

0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)

1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1;

H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 2

2.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit

2) H(X|Y)

2

= bit H(Y|X)=

2

-bit , H(X|Z)= 3 2 —

bit

3

3) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit

2.4证明：（1）根据熵的可加性，可直接得到

,a k 1), H(Y) log(k 1),故原式得证

2.5考虑如下系统:

又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit

1

不妨设 P(Z=0) = P(Z=1)=

2

设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p

1

~[ Plogp + (1 — p)log (1 — p)]

-[qlogq + (1 — q)log(1 — q)] =11

满足上式的p 、q 可取：p =

; q =

2.1 In

2 x

nat

IOg 2

bi t

P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q

⑵ Y 的值取自（31,32,

假设输入X 、Y 是相互独立 的，则满足 I(X;Y) = 0

则 H(X|Z)=

•满足条件的一个联合分布：

1

1 P(X=0, Y=0, Z=0)=

4 P(X=1, Y=1, Z=0)=

4

1

1 P(X=1, Y=1, Z=0)= 4

P(X=1, Y=0, Z=1)=

4

2.6 解：

1 给出均匀分布p(x)

—a x b 其中b a

1,则 h(X) 0

b a

2.7 证明：l(X;Y;Z) = l(X;Y) — l(X;Y|Z)

=I(X;Z) — I(X;Z|Y)

•/ A, B 处理器独立，

l(X;Z|Y) = 0

••• l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立

1

1 2.8 N=

2 时， P(0 0) =

, P(1 1)=—，其它为 0

2

2

l( X ! ;X 2) = 1 bit N 工2时，

l(X k1;X k |X 1 …X k 2) (3 W k)

=P(X 「・・X k 2中有奇数个1) l(X k1;X k |X 「・・X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)

1

P(X 1…X k 2中有奇数个1)=-

2 1

P(X 1…X k 2中有偶数个1)=-

2

P(X k 1=1|X 1 - X k 2中有奇数个

1

P(X k1=0|X 1…X k 2中有奇数个1)=-

2 1

P(X k =1|X 1 - X k 2 中有奇数个 1)=-

2 1

P(X k =0|X 1…X k 2中有奇数个1)=-

2 1

P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-

+ P(X 1 - X k 2中有偶数个 1)

=1

(注意，这里k W N — 1)

1 P(X k 1=0|X1- X k 2中有偶数个1)=-

2

P（X k=1|X「・X k2中有偶数个1）= （注意，这里k w N-

1

P（X k=O|X i…X k 2中有偶数个1）=-

2

1

P（X k 1=0, X k=0|X1- X k 2中有奇数个1）=—

4

1

P（X k 1=0, X k=1|X1 …X k 2 中有奇数个1）=-

4

1

P（X k 1=1, X k=0|X1- X k 2中有奇数个1）=-

4

1

P（X k 1=1, X k=1|X1 …X k 2 中有奇数个1）=-

4

1

P（X k 1=0, X k=0|X1 …X k 2 中有偶数个1）=-

4

1

P（X k1=O, X k=1|X1- X k 2中有偶数个1）=-

4

1

P（X k 1=1, X k=0|X1 …X k 2 中有偶数个1）=-

4

1

P（X k 1=1, X k=1|X1- X k 2中有偶数个1）=-

4

综上：l（X k1；X k|X1 …X k 2 中有奇数个1）（3w k w N -1）

奇数个1）=H（X k 1|X1…X k 2中有奇数个1） + H（X k |X1…X k 2中有

-H（X k 1；XJX1…X k 2中有奇数个1）

=0

l（X k1；X k|X1…X k 2中有偶数个1） = 0

当 3 w k w N- 1 时，l（X k1；X k|X1 …X k 2） = 0

当k = N时即

l（

X N 1 ；X N | X1 X N 2）

=H（X N 1 |X 1 X N 2 ）—H（X N 1 |X 1 X N 2 ,X N ） =1 bit