朱雪龙《应用信息论基础》习题答案

第二章 习题参考答案2.1 y x 2y 2x 2ln σσσσ+ nat 或 yx yx σσσσ2log 222+ bit2.2 证明：2011)|()()()|()()(;1)(;1)(0)|(,1)(,0)|(,1)()|(1)(),|()(1)|()()()|()()(0)|()|()()|();()|()|()()|()]()()([)|()()|()()()|()()()()()()|()|()|;(=++=++=+=====≥≤+≥-≤∴-=+--+≤+--+=+--+-+=++---+=+--=-=XY Z H Y H X H XY Z H XY H XYZ H Y H X H XY Z H Z H XY Z H Z H XY Z H Z H XY Z H Z H XY Z H Z H Z H XY Z H Z H Z H Y Z H XY Z H Z H X Z H Y X I Y Z H XY Z H Z H X Z H XY H Y H X H Y Z H Y H XY Z H XY H Z H X Z H X H YZ H XYZ H Z H XZ H YZ X H Z X H Z Y X I 同理，可推出故又即 2.3 1) H(X) = 0.918 bit , H(Y) = 0.918 bit2) H(X|Y) =32 bit , H(Y|X) = 32 bit , H(X|Z) = 32bit 3) I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit2.4 证明：(1)根据熵的可加性，可直接得到(2)故原式得证的值取自),1log()(),,,,(121-≤∴-k Y H a a a Y k2.5 考虑如下系统：X⊕ Z Y假设输入X 、Y 是相互独立的，则满足 I(X;Y) = 0 又 I(X;Y|Z) = H(X|Z) － H(X|YZ) = H(X|Z) = 1 bit不妨设 P(Z=0) = P(Z=1) =21 设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1－p P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1－q则 H(X|Z) = 21-[ plogp + (1－p)log (1－p)]21-[ qlogq + (1－q)log(1－q)] =1 满足上式的p 、q 可取：p = 21 ; q = 21∴ 满足条件的一个联合分布：P(X=0, Y=0, Z=0) = 41P(X=1, Y=1, Z=0) = 41 P(X=1, Y=1, Z=0) = 41P(X=1, Y=0, Z=1) =412.6 解：给出均匀分布0)(,11)(<<-≤≤-=X h a b b x a ab x p 则其中2.7 证明： I(X;Y;Z) = I(X;Y)－I(X;Y|Z)= I(X;Z)－I(X;Z|Y)∵A, B 处理器独立， ∴I(X;Z|Y) = 0 ∴I(X;Z) = I(X;Y)－I(X;Y|Z) ≤ I(X;Y) 等号于 p(x/yz) = p(x)下成立2.8 N=2 时， P(0 0) =21, P(1 1) =21,其它为0 I(1X ;2X ) = 1 bit N ≠2时，I(1k X -;k X |1X …2k X -) (3≤k)= P(1X …2k X -中有奇数个1) I(1k X -;k X |1X …2k X -中有奇数个1) + P(1X …2k X -中有偶数个1) I(1k X -;k X |1X …2k X -中有偶数个1)P(1X …2k X -中有奇数个1) =21P(1X …2k X -中有偶数个1) = 21P(1k X -=1|1X …2k X -中有奇数个1) =21 P(1k X -=0|1X …2k X -中有奇数个1) = 21P(k X =1|1X …2k X -中有奇数个1) = 21P(k X =0|1X …2k X -中有奇数个1) = 21（注意，这里k ≤N －1）P(1k X -=1|1X …2k X -中有偶数个1) = 21P(1k X -=0|1X …2k X -中有偶数个1) = 21P(k X =1|1X …2k X -中有偶数个1) =21（注意，这里k ≤N －1） P(k X =0|1X …2k X -中有偶数个1) = 21P(1k X -=0，k X =0|1X …2k X -中有奇数个1) = 41P(1k X -=0，k X =1|1X …2k X -中有奇数个1) = 41P(1k X -=1，k X =0|1X …2k X -中有奇数个1) = 41P(1k X -=1，k X =1|1X …2k X -中有奇数个1) = 41P(1k X -=0，k X =0|1X …2k X -中有偶数个1) = 41P(1k X -=0，k X =1|1X …2k X -中有偶数个1) = 41P(1k X -=1，k X =0|1X …2k X -中有偶数个1) = 41P(1k X -=1，k X =1|1X …2k X -中有偶数个1) = 41综上：I(1k X -;k X |1X …2k X -中有奇数个1) (3≤k ≤N －1)= H(1k X -|1X …2k X -中有奇数个1) + H(k X |1X …2k X -中有奇数个1) －H(1k X -;k X |1X …2k X -中有奇数个1) = 0I(1k X -;k X |1X …2k X -中有偶数个1) = 0 ∴ 当 3≤k ≤N －1 时，I(1k X -;k X |1X …2k X -) = 0 当 k = N 时 即I(1N X -;N X |1X …2N X -)= H(1N X -|1X …2N X -) － H(1N X -|1X …2N X -, N X ) = 1 bit2.9 1) 实例如2.5题2）考虑随机变量 X=Y=Z 的情况 取 P(X=0, Y=0, Z=0) =21 P(X=1, Y=1, Z=1) = 21 则 I(X;Y|Z) = 0I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y)2.10H(X Y) ≤ H(X) + H(Y) 等号在X 、Y 独立时取得∴P(11b a ) =31 P(21b a ) = 121 P(31b a ) = 121 P(12b a ) = 61 P(22b a ) = 241 P(32b a ) = 241P(13b a ) = 61 P(23b a ) = 241 P(33b a ) = 241满足 H(X Y) 取最大值2.11 证明：成立故)|;();(0);()|;();();;()|;();(,0)|;()/()|()()(Z Y X I Y X I Z X I Y Z X I Z X I Z Y X I Z Y X I Y X I Y Z X I y z p x y p x p xyz p ≥≥=-==-=∴=2.12 证明：)|;()|()()()|()|()|;()|()()(X Z Y I X Y H XZ H XYZ H XZ Y H X Y H X Z Y I XZ Y H XZ H XYZ H -+=∴-=+=2.13 证明：右式，原式成立故左式而等式右边=---=-+-+-+---=---=-+--=+--=-=)|()|()|()()|()()|()()|()()()()()()|()|()|()()()()|()|()()|()|()|()()|;();();;(X Z H Z Y H Y X H XYZ H X Z H Z H Z Y H Y H Y X H X H Z H Y H X H XYZ H X Z H Z Y H Y X H XYZ H XZ H XYZ H Z Y H Y X H X H XZ Y H Z Y H Y X H X H Z Y X I Y X I Z Y X I2.14P(X=n) = 21)21(1n ⋅- = n )21( H(X) = ∑∞=--1n n1n )21log()21(21 = ∑n)21(n = 2 bit2.152121212221221log 22(σσσσσσ+-+-）μμ (nat) 2.16 证明：记长为2N随机序列N N N X X X X X 2121 +中出现k a 的频率∑===Nm k m k N a X I Na P 212)(21)(=N n 2的概率为)2(N n p k ，其中N X X X 21中出现k a 的频率为N n a X I Na P Nn k n k N 11)(1)(===∑=的概率为)(1Nnp k ，N N N X X X 221 ++中出现k a 的频率为)()(1)('221k N NN n k n k N a P N n a X I Na P ====∑+=的概率为)(2Nnp k ，则有 )('21)(21)(2k N k N k N a P a P a P +=所以{}{}{}{}{}{}{}))(),(())(),('(21))(),((21))(),('21)(21())(),(()(),('())(),(())(),('(21))(),((21)(),('(21))(),((21))(),('(21))(),((21))(),('(21))(),((21))(),('21)(21())(),('21)(21())(),((22k k N k k N k k N k k N k N k k N k k N k k N k k N k k N k k N k k N k k N k k N k k N k k N k k N k N k k N k N k k N a p a P I E a p a P I a p a P I E a p a P a P I E a p a P I E a p a P I E a p a P I E a p a P I a p a P I E a p a P I E a p a P I E a p a P I a p a P I E a p a P I a p a P I a p a P a P I a p a P a P I E a p a P I E =⎭⎬⎫⎩⎨⎧+≤⎭⎬⎫⎩⎨⎧+=∴==⎭⎬⎫⎩⎨⎧++=⎭⎬⎫⎩⎨⎧++≤+⎭⎬⎫⎩⎨⎧+=性，有：而根据随机序列的平稳又根据鉴别信息的凸性2.17 解：2.18 )Y |X ;q ,q (I )X ;p ,p (I 1212-=∑∑∑-kk j j k 1j k 2j 2j k 2k 1k 2k 2)y |x (q )y |x (q log)y (h )y |x (q )x (p )x (p log)x (p )11log();,();()(;0);()(log 1);,();,();,(log 1)11log()(2)()()1(2log )11log()()(log)();,()11log()(2)()()1(2log )11log(212)1(21)(log )11log()()()()(log)();,(;)2exp(21)(;)2exp(21)(;)()()(;)()(log)();,(212212221121222222222222211212222222222222222222222212222222112212ρρρρρρσσρσρσρρρρσσρσρσρρρσσσσσρσρρσπσσπσ-===-=+=∴-+--=⎥⎥⎦⎤⎢⎢⎣⎡-+-+--==-=⎥⎥⎦⎤⎢⎢⎣⎡-+---=⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛++⎪⎪⎭⎫ ⎝⎛+---⋅+-==∴-=-===⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰XY p p I Y X I xy p XY Y X I xy p XY e XY p p I XY p p I XY p p J e XY E Y E X E e dxdy xy p xy p xy p XY p p I XY E Y E X E e dxdy y x y xy x xy p e dxdyxy p dxdyy h x g xy p xy p XY p p I y y h x x g y h x g xy p dxdy xy p xy p xy p XY p p I y x y x y x y x y x y y x x yy x x分布时，满足当分布时，满足当其中其中 )y (h )y ,x (qj 2j kk 2=∑)y (h )y ,x(q j 1j kk1=∑)x (p )y ,x (qk 2j jk 2=∑)x (p )y ,x(q k 1j jk1=∑于是 )Y |X ;q ,q (I )X ;p ,p (I 1212-=)y |x (q )x (p )y |x (q )x (p log)y ,x (q j k 2k 1j k 1k 2j k kj2⋅⋅∑∑=)y ,x (q )x (p )y (h )y (h )x (p )y ,x (q log)y ,x (q j k 222j 1k 1j k 1j k kj2⋅⋅∑∑当 )y (h )x (p )y ,x (q 22j k 2=，且 )y (h )x (p )y ,x (q j 1k 1j k 1= 时 )Y |X ;q ,q (I )X ;p ,p (I 1212-=0当 )y (h )x (p )y ,x (q 22j k 2=，且 )y (h )x (p )y ,x (q j 1k 1j k 1≠ 时)Y |X ;q ,q (I )X ;p ,p (I 1212- =)()(),(log),(1112j k j k j k kjy h x p y x q y x q ⋅∑∑ 0 ∴ 关系不定2.19 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的不确定性为：24log 21121log =⋅- 因为 3log3＞log24∴3次测量可以找出该球 具体称法略。