信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =，(1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵解：令X 表示指针指向某一数字，则X={1,2, (38)Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = （1）3112381838()()loglog 2log 1.24()3823818j j j H Y p y p y ===+⨯=∑bit/符号 （2）2(,)()log 38 5.25H X Y H X ===bit/符号（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r rr r ⎛⎫⎛⎫⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少（3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少 解：联合概率(,)i j p x y 为22221(,)(,)log (,)724112log 4log 24log 4247244i j i j ijH X Y p x y p x y ==⨯+⨯+∑ =符号X 概率分布 21()3log 3 1.583H Y =⨯=bit/符号(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- Y 概率分布是 =符号黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝，白色出现的概率p(白)＝。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝，P(黑|白)＝，P(白|黑)＝，P(黑|黑)＝，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。

解：（1）221010()0.3log 0.7log 0.881337H X =+=bit/符号 P(黑|白)=P(黑)P(白|白)＝P(白)P(黑|黑)＝P(黑)P(白|黑)＝P(白)（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝不随时间变化，P(黑)＝不随时 间变化）21222221()(|)(,)log (,)1110.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.210.80.3log 0.8i j i j ijH X H X X p x y p x y ∞===⨯+⨯+⨯+⨯∑ ＝符号给定语音信号样值X 的概率密度为1()2xp x e λλ-=,x -∞<<+∞,求H c (X)，并证明它小于同样方差的正态变量的连续熵。

解：201()()log ()()log 21()log ()()log 211log log ()22111log log ()log()22211log 2log 22xc x x x x x xx xH X p x p x dx p x e dxp x dx p x x edxe e x dxe e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞--∞-∞+∞+∞-∞-∞+∞--∞+∞--∞+∞-=-=-=---=-+=-+⋅-+=-+⎰⎰⎰⎰⎰⎰⎰⎰01log log (1)212log log log2x x dxe x e e e λλλλλλ+∞-⎡⎤=--+⎣⎦=-+=22()0,()E X D X λ==,221214()log 2log ()22e H X e H X ππλλ===>=有一个一阶平稳马尔可夫链1,2,,,r X X X ,各X r 取值于集合{}1,2,3A a a a =,已知起始概率P(X r )为1231/2,1/4p p p ===，转移概率如下图所示(1) 求123(,,)X X X 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵(3) 求012,,H H H 和它们说对应的冗余度 解：（1）12312132,112132(,,)()(|)(|)()(|)(|)H X X X H X H X X H X X X H X H X X H X X =++=++1111111()log log log 1.5/224444H X bit =---=符号X 1，X 2的联合概率分布为212()()j i j ip x p x x =∑X 2的概率分布为那么2111(|)log 4lo48H X X =+=符号X 2X 3的联合概率分布为那么32771535535(|)log 2log 4log 4log log3log log3244883627236272H X X =++++++ =符号123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号所以平均符号熵3123 3.969(,,) 1.3233H X X X bit ==／符号 （2）设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1112442103321033P ⎛⎫ ⎪ ⎪⎪= ⎪ ⎪ ⎪ ⎪⎝⎭由1i WP W W =⎧⎪⎨=⎪⎩∑ 得到 123132123122123311431W W W W W W W W W ⎧++=⎪⎪⎪+=⎨⎪++=⎪⎪⎩计算得到12347314314W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩又满足不可约性和非周期性314111321()(|)(,,)2(,,0) 1.2572441433i i i H X W H X W H H bit ∞===+⨯=∑/符号 (3)0log3 1.58H bit ==/符号 1 1.5H bit =/符号 2 1.5 1.2091.3552H bit +==/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-= 22 1.25110.0781.355γη=-=-=一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为（0，1，2）。

（1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。

求近似信源的熵H(X)并与H ∞进行比较图2-13解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦令状态0,1,2平稳后的概率分布分别为W1,W2,W3311i i WP W W ==⎧⎪⎨=⎪⎩∑ 得到 12311232123(1)22(1)221p p p W W W W pp W p W W W W W W ⎧-++=⎪⎪⎪+-+=⎨⎪++=⎪⎪⎩计算得到131313W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩由齐次遍历可得112()(|)3(1,,)(1)log log 3221i i i p p H X W H X W H p p p p p ∞==⨯-=-+-∑,()log 3 1.58/H X bit ==符号 由最大熵定理可知()H X ∞存在极大值或者也可以通过下面的方法得出存在极大值:()121log(1)(1)log log1222(1)H X p p pp p p p p p ∞⎡⎤∂-=---+-++⋅⋅=-⎢⎥∂--⎣⎦112(1)22(1)p p p =-+-- 又01p ≤≤所以[]0,2(1)p p ∈+∞-当p=2/3时12(1)pp =- 0<p<2/3时()log 02(1)H X pp p ∞∂=->∂- 2/3<p<1时()log 02(1)H X pp p ∞∂=-<∂-所以当p=2/3时()H X ∞存在极大值,且max () 1.58/H X bit ∞=符号所以,()()H X H X ∞≤练习题：有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为0121/4,1/4,1/2p p p ===，设计两个独立的实验去观察它，其结果分别为{}{}120,1,0,1Y Y ∈∈，已知条件概率:(1) 求1(;)I X Y 和2(;)I X Y ，并判断哪一个实验好些(2) 求12(;)I X Y Y ，并计算做Y 1和Y 2两个实验比做Y 1和Y 2中的一个实验可多得多少关于X的信息(3) 求12(;|)I X Y Y 和21(;|)I X Y Y ，并解释它们的含义P(y 1=0)=p(y 1=1)=1/2 p(y 2=1)=p(y 2=1)=1/211111111(;)()(|)log 2log log 2log 242424I X Y H Y H Y X ∴=-=---⨯=符号222111(;)()(|)log 2log1log1log11/442I X Y H Y H Y X bit =-=---=符号>1(;)I X Y所以第二个实验比第一个实验好（2）因为Y 1和Y 2 相互独立，所以1212(|)(|)(|)p y y x p y x p y x =121212111(;)(,)(|)log 4log1log12log 2444I X Y Y H Y Y H Y Y X ∴=-=---⨯bit/符号=符号由此可见，做两个实验比单独做Y 1可多得1bit 的关于X 的信息量，比单独做Y 2多得的关于X 的信息量。