信息论与编码(曹雪虹_张宗橙)第二、三章答案

2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为：对应的状态图如右图所示。

设各符号稳定概率为：1p ，2p ，3p 则可得方程组： 1p =211p +312p +313p 2p =211p +323p3p =322p1p +2p +3p =1解得各符号稳态概率为：1p =2510，2p =259，3p =256 2-2.解：该马尔可夫信源的符号条件概率矩阵为：状态转移概率矩阵为：对应的状态图如右图所示。

设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为：1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W4W =0.52W +0.84W1W +2W +3W +4W =1解得稳定分布的概率为:1W =145，2W =142，3W =142，4W =145 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)=181故其自信息量为： I(3,5)=-㏒2181=4.17bit （2）“两个1同时出现”事件的概率为：p(1,1)=361故其自信息量为： I(1,1)=- ㏒2361=5.17bit （3）两个点数的各种组合构成的信源，其概率空间为：则该信源熵为： H(x 1)=6×361lb36+15×181lb18=4.337bit/事件（4）两个点数之和构成的信源，其概率空间为：则该信源的熵为： H(x 2)=2×361lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+61lb6=3.274bit/事件（5）两个点数中至少有一个是1的概率为： p(1)=3611 故其自信息量为：I(1)= -㏒23611=1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为I(x 1)= -㏒283=1.415bit I(x 2)= -㏒241=2bitI(x 3)= -㏒241=2bitI(x 4)= -㏒281=3bit（2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符号序列的自信息量为： I(x)= -㏒2(83)14 (41)25 (81)6=87.81bit平均每个符号携带的信息量为： L H (x)=45)(x I =1.95bit/符号 2-10解：用1x 表示第一次摸出的球为黑色，用2x 表示第一次摸出的球为白色，用1y 表示第二次摸出的球为黑色，用2y 表示第二次摸出的球为白色，则(1)一次实验包含的不确定度为：H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=-13lb 13-23lb 23=0.92 bit (2)第一次实验X 摸出的球是黑色，第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x )= -27lb 27-57lb 57= 0.86 bit(3)第一次实验X 摸出的球是白色，第二次实验Y 给出的不确定度:H(Y|2x )=-p(1y |2x )lb p(1y |2x )-p(2y |2x )lb p(2y |2x )= -514lb 514-914lb 914= 0.94 bit（4）第二次Y 包含的不确定度：H （Y|X ）= -(,)(|)i j j i ijp x y lbp y x å= p(1x ) H(Y|1x )+p(2x )H(Y|2x ) =0.91 bit 2-11 解：（1）仅对颜色感兴趣的不确定度： H(colour)=H （238，1838，1838）= -238lb 238- 2´1838lb 1838=1.24 bit (2) 对颜色和数字都感兴趣的平均不确定度： H(clour,number)=H(number)= -18´118lb 118= 5.25 bit (3)颜色已知的条件熵：H （number|colour ）=H （colour,number ）- H(colour)=(5.25-1.24) bit=4.01 bit 2-12 解：（1）实验Ｘ和Ｙ的平均信息量： H(X,Y)= - (,)i j ijp x y ålb (,)i j p x y = -(,)i j ijr x y ålb (,)i j r x y=H(724,124,0,124,14,0,124,724) =2.3 bit/符号（2）由联合概率，可得p(1y )=11(,)p x y +21(,)p x y +31(,)p x y=11(,)r x y +21(,)r x y +31(,)r x y=724+124+0 =13同理可得P(2y )=p(3y )=13,则实验Y 的平均信息量：H(Y)=H(13,13,13)=1.58 bit/符号（3）在已知实验Y结果的条件下，实验X的平均信息量：H(X|Y)=H(X,Y)-H(Y)=(2.3-1.58) bit/符号=0.72 bit/符号2-13解：由X和Y的联合概率，可得P(x=0)=p(x=0,y=0)+p(x=0,y=1)= 18+38=12同理，p(x=1)= 12, p(y=0)=p(y=1)=12由于Z=XY，由X和Y的联合概率，可得P(z=0)= P(x=0,y=0)+P(x=1,y=0)+P(x=0,y=1)= 7 8P(z=1)=p(x=1,y=1)= 1 8P(x=0,z=0)= P(x=0,y=0)+ P(x=0,y=1)= 12, P(x=0,z=1)=0P(x=0,y=0)P(x=0,y=0) P(x=0,y=0) P(x=0,y=0)P(x=1,z=0)= P(x=1,y=0)= 38, P(x=1,z=1) =P(x=1,y=1)=18P(y=0,z=0)= 12P(y=0,z=1)=0 P(y=1,z=0)=38P(y=1,z=1)=18P(x=0,y=0,z=0)= 18P(x=0,y=0,z=1)=0 P(x=0,y=1,z=0)=38P(x=0,y=1,z=1)=0 P(x=1,y=0,z=0)= 38P(x=1,y=1,z=0)=0P(x=0,y=0,z=1)=0 P(x=0,y=1,z=1)=0 P(x=1,y=1,z=1)= 18,则:(1) H(X)=H(12,12)=1 bitH(Y)=H(12,12)=1 bitH(Z) =H(18,78)= 0.54 bitH(X,Z)=H(12,0,38,18)=1.41 bitH(Y,Z) =H(12,0,38,18)=1.41 bitH(X,Y,Z) =H(18,0,38,0,38,0,0,18)=1.8 bit(2) H(X,Y)=H(18,38,18, 38)=1.81 bitH(X|Y)= H(X,Y) – H(Y)=0.81 bit H(Y |X)= H(X,Y) – H(X)=0.81 bit H(X|Z)= H(X,Z) – H(Z)=0.87 bit H(Z|X)= H(X,Z) – H(X)=0.41 bit H(Y|Z)= H(Y ,Z) – H(Z)=0.87 bit H(Z|Y)=H(Y ,Z)-H(Y)=0.41bitH(X|Y ,Z)=H(X,Y ,Z)-H(Y ,Z)=0.4bit H(Y|X,Z)=H(X,Y ,Z)-H(X,Z)=0.4bit H(Z|X,Y)=H(X,Y ,Z)-H(X,Y)=0(3) I(X;Y)=H(X)-H(X|Y)=0.19bit I(X;Z)=H(X)-H(X|Z)=0.13bit I(Y;Z)=H(X)-H(Y|Z)=0.13bitI(X;Y|Z)=H(X|Z)-H(X|Y,Z)=0.47bit I(Y;Z|X)=H(Y|X)-H(Y|X,Z)=0.41bit I(X;Z|Y)=H(X|Y)-H(X|Y ,Z)=0.41bit 2-14 解：依题意，可得信道传输概率p(y=0|x=0)=1-p(y=1|x=0)=3/4, p(y=1|x=1)=1-p(y=0|x=1)=7/8 联合概率：p(x=0,y=0)=p(y=0|x=0)p(x=0)=3/8同理：p(x=0,y=1)=1/8,p(x=1,y=0)=1/16,p(x=1,y=1)=7/16 概率：p(y=0)=p(x=0,y=0)+p(x=1,y=0)=7/16 p(y=1)=p(x=0,y=1)+p(x=1,y=1)=9/16后验概率：p(x=0|y=0)=p(x=0,y=0)/p(y=0)=(3/8)/(7/16)=6/7 同理：p(x=1|y=0)=1/7,p(x=0|y=1)=2/9,p(x=1|y=1)=7/9,则（1） I （x;y=0）=(|0)(|0)log()i i ii p x y p x y p x ==å）22(0|0)(1|0)(0|0)log (1|0)log (0)(1)p x y p x y p x y p x y p x p x =======+====616177(log log )/0.41/117722bit bit =+=符号符号22222(|)()(|)log ()(0|0)(1|0)(0)(0|0)log (0)(1|0)log (0)(1)(0|1)(1|1)(0)(0|1)log (1)(1|1)log (0)(1)76(l 167i j j i j iji p x y p y p x y p x p x y p x y p y p x y p y p x y p x p x p x y p x y p y p x y p y p x y p x p x ========+=========+===+======å（2）I(X;Y)=222261277192977799og log log log )/111116716916922220.31/bit bit +++=符号符号21211111211212211212)(|)()(|)()(|)()112121722343412a P x a x a P x a P x a x a P x a P x a x a P x a =====+===+====???2-29 解：由已知起始概率和转移概率，可得：P(x 2223122211222122213255P(),()2424111111)(log log log ) 1.5224444111111H(|)(log log log ) 1.52244442211H(|)log 0log )0.9183333221H(|)log 333x a P x a bit bit x a bit bitx a bit bitx a =====---==---==-+-==--同理可得：由起始概率，可得：H(x 另外：21log 0)0.9183bit bit+=2111211222132332213122321333H(|)()(|)()(|)()(|)111( 1.50.9180.918) 1.209244H(|)()(|)()(|)()(|)755( 1.50.9180.918) 1.257122424x x P x a H x a P x a H x a P x a H x a bit bit x x P x a H x a P x a H x a P x a H x a bit bit H ==+=+==???==+=+==???12,31213121213212,3(,)H()H(|)H(|)H()H(|)H(|)(1.5 1.209 1.257) 3.996(,) 3.996()/331.322/L x x x x x x x x x x x x x x bit bitH x x x H x bit bit =++=++=++====符号符号12312311321231231231122332)w w w 122w w 23311w w 4311w w 43w w w 1833w ,w ,w ,141414()w (|)(|)(|)833( 1.50.9180.918) 1.251141414r r r w w w w H x H x a w H x a w H x a bit bit¥++=+=+=++=====++=???，（设各稳定时的概率为，，则解得：该链的极限平均符号熵为000111220(3)log 3 1.58/ 1.2511(/)10.211.417883333(log log log ) 1.4137/1414141414141.251()10.1151.4171.251/H bit r y H H H bit bit H r y H H H bit r ¥¥¥====-=-=-==---==-=-=-===符号符号符号2-30解：依题意，状态转移图如下图所示，其状态转移概率矩阵为P=213310⎛⎫⎪ ⎪ ⎪⎝⎭设状态稳定概率为1W 、2W ，则：231W +2W =1W 131W =2W 解得：1W =34 ；2W =141W +2W =1则：H(X |1S )=-232log 23-132log 13=0.918bit H(X |2S )=0信源熵为：H （X ）=1W H(X |1S )+2W H(X |2S )=(34*0.918+14*0)bit=0.688bit2-32解：（1）由状态图，可得状态转移概率矩阵为：P=122122122p p p p p p p p p ⎛⎫- ⎪ ⎪ ⎪- ⎪ ⎪ ⎪- ⎪⎝⎭设状态稳定概率为1W ,2W ,3W ，则： （1-p ）1W +2p 2W +2p3W =1W2p1W + (1-p) 2W +2p3W =2W 解得：1W =2W =3W =13，2p1W +2p2W +(1-p) 3W =3W 即p(0)=p(1)=p(2)= 131W +2W +3W =1(2) H(X|0)=H(X|1)=H(X|2)= - (1-p) 2log (1-p) -2p 2log 2p -2p 2log 2p= - (1-p) 2log (1-p) - p 2log 2pH ∞(X)=p(0)H(X|0)+p(1)H(X|1)+p(2)H(X|2)= - (1-p) 2log (1-p) - p 2log 2p bit (3) H(X)= 2log 3=1.58bit(4) 令()0dH X dp ∞=，得lnln(1)1120ln 2(1)ln 2ln 2ln 2pp p p --+---=- 解得p=23，则： 当p=23时，H ∞(X)= （- 132log 13-232log 13）bit =1.58 bit当p=0 时， H(X)=0当p=1时，H(X)=13-1 解（1）由输入概率分布和概率转移，可得： 00(,)p x y =00(|)p y x 0()p x =23*34=12同理，可得：01(,)p x y =14； 10(,)p x y =112； 11(,)p x y =16，则：0()p y =00(,)p x y +10(,)p x y =12+112=7121()p y =01(,)p x y +11(,)p x y =14+16=512因此，H(X)=( - 342log 34- 142log 14) bit =0.811 bit H(X ，Y)=( - 122log 12- 142log 14 - 1122log 112-162log 16)bit=1.73bit H(Y)=( -7122log 712 - 5122log 512)bit=0.98bit H(Y|X)=H(X ，Y)-H(X)=(1.73-0.811)bit=0.919 bitH(X|Y )= H(X ，Y)-H(X)=(1.73-0.98)bit=0.75bit I(X ；Y)=H(X)-H(X|Y)=(0.811-0.75)bit=0.061bit （2）该信道是对称DMC 信道，信道容量为 C= 2log m -1log mijij j pp =∑= 2log 2 +23 2log 23+ 13 2log 13=0.082bit 达到信道容量时输入概率分布为：0()p x = 1()p x =123-2 解：(1)由信源的概率分布和转移概率，可得11(,)p x y =11(|)p y x 1()p x =12α 同理可得：12(,)p x y =12α，13(,)p x y =0 ，21(,)p x y =12（1-α）， 22(,)p x y =14（1-α），23(,)p x y =14（1-α），则：1()p y =11(,)p x y +21(,)p x y =12α+12（1-α）=12，同理可得: 2()p y =14α+14；3()p y =14（1-α）因此，接收端的平均不确定度为：2222211111111log ()log ()(1)log (1)22444444311log (1)log (1)()244bit -??--??+??=-+?-?（2）由于噪声产生的不确定度为：22222111111111(|X )=l o g l o g 0l o g l o g l o g 22222244443()22H Y bit ????--?---¶=-由于互信息为：223113I X;Y)=H(Y)-(Y|X)=[-log (1)log (1)]24422+?抖+?-?-（（）令(;)0dI X Y d =¶,可得：35?，则：(3(;)()0.161bit 5max i p a C I X Y C ==?=）3-6 解：该信道的概率转移矩阵为 110022110022P=11002211022骣÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç÷ç÷ç÷ç÷ç÷ç÷ç÷÷ç桫 可见，该信道为对称DMC 信道，因此，该信道的信道容量为： 42222211111C log m log log 4log ()log ()12222ij ij j p p bit ==+=++=å3-7解：（1）由发送符号的概率分布和转移概率，可得： 1111111(,)(|)()0.536p x y p y x p x ==? 同理可得：12132122233132331121(,),(,),(,),(,)10151510113(,),(,),(,),(,)0103010p x y p x y p x y p x y p x y p x y p x y p x y ========11121311211()(,)(,)(,)615303p y p x y p x y p x y =++=++= 同理可得：2311(),()26p y p y ==;111111(,)16(|)1()23p x y p x y p y ===同理可得：21311222321323331221(|)(|)(|)(|)5555313(|)(|)(|)(|)05105p x y p x y p x y p x y p x y p x y p x y p x y ========，，，，，，因此，222222112233H Y)=p(y )log p(y )-p(y )log p(y )-p(y )log p(y )111111log log log 1.459332266bit=---=（（2）H Y|X)=(;)log (|i j j i ijp x y p y x -å（）222221113112213log log log log log 6210101551551010=----- 222131139log log log 101030101010--- 1.175bit =（3）当接收为2 y ，发出为2x 是正确，发出的是1x 和3x 为错误，由于各自概率为：122232113(|),(|),(|)555p x y p x y p x y === 因此，接收端收到一个符号2y 的错误概率为：123213(|)(|)0.855i p p x y p x y =+=+= （4）从接收端看的平均错误概率为：1213111232213233[(|)(|)]()[(|)(|)]()[(|)(|)]()e P p x y p x y p y p x y p x y p y p x y p x y p y =+++++ 213112321323(,)(,)(,)(,)(,)(,)p x y p x y p x y p x y p x y p x y =+++++ 211311153010101510=+++++0.733= （5）同理可得，从发送端看的平均错误概率为：__210.733e e p p == （6）从转移矩阵来看，正确发送的概率11x y -的概率为0.5，有一半失真；22x y -的概率为0.3，产生失真；33x y -的概率为0，完全失真。