信息论与编码第三章曹雪虹习题答案
曹雪虹 信息论与编码答案
3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：由题意可知该二元信道的转移概率矩阵为：0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦为一个BSC 信道所以由BSC 信道的信道容量计算公式得到：211log ()log 2log0.92/11000920/seci i it C s H P p bit signp C C C bit t==-=-====∑3.5 求下列二个信道的信道容量，并加以比较（1）⎪⎪⎭⎫⎝⎛----εεεεεε22p p p p （2）⎪⎪⎭⎫⎝⎛----εεεεεε2002p p p p其中p+p =1解：（1）此信道是准对称信道，信道矩阵中Y 可划分成三个互不相交的子集 由于集列所组成的矩阵⎪⎪⎭⎫⎝⎛----εεεεp p p p ,⎪⎪⎭⎫⎝⎛εε22而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计算。
C1=logr-H(p1’ p2’ p3’)-Mk k N k log 21∑=其中r=2,N1=M1=1-2ε N2=ε2 M2=4ε 所以 C1=log2-H(ε-p ,p-ε,2ε)-(1-2ε)log(1-2ε)-2εlog4ε=log2+(ε-p )log(ε-p )+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) 输入等概率分布时达到信道容量。
（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。
先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y 可划分成两个互不相交的子集，由子集列所组成的矩阵为⎪⎪⎭⎫⎝⎛----εεεεp p p p ，⎪⎪⎭⎫⎝⎛εε2002这两矩阵为对称矩阵 其中r=2,N1=M1=1-2ε N2=M2=2ε，所以 C=logr-H(p -ε,p-ε,2ε,0)-∑=21log k Mk Nk=log2+(p -ε)log(p -ε)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( p -ε)log(p -ε)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p -ε)log(p -ε)+(p-ε)log(p-ε) =C1+2εlog2输入等概率分布（P （a1）=P （a2）=1/2）时达到此信道容量。
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
信息论与编码第三章曹雪虹习题答案
第三章3.1 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)2221122max (;)log log 2(lg lg )log 100.082 /3333mi C I X Y m H bit symbol==-=++⨯=其最佳输入分布为1()2i p x =3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。
信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论与编码-曹雪虹-课后习题参考答案
《信息论与编码》-曹雪虹-课后习题答案第二章错误!未定义书签。
2.1一个马尔可夫信源有3个符号{}1,23,uu u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
W 2、W 31231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWP WW==⎧⎪⎨=⎪⎩∑得13113224324412340.80.50.20.50.50.20.50.81W W WW W WW W WW W WW W W W+=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩计算得到12345141717514WWWW⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.31/6，求：(1)“3和5(2)“两个1(3)1的自信息量。
11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ (4)x p x p X H X P X i i i 1212181log 1812361log 3612 )(log )()(1211091936586173656915121418133612)( ⎝⎛⨯+⨯+⨯-=-=⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑2.575%是身高160厘米以上的占总数的厘米以上的某女孩是大学生”的设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生）P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y1（身高>160cm）y2（身高<160cm）P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11=求：身高160即：ypxypxpyxpyxI5.075.025.0log)()/()(log)/(log)/(11111111⨯-=-=-=2.6掷两颗骰子，1()(1,2)(2,1)18p x p p=+=log()log18 4.170p x bit=-==7的概率log()log6 2.585p x bit=-==341231/41/8x x===⎫⎪⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit === 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.81 1.9545=bit/符号 2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n XH / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论与编码第三章习题参考答案
第三章习题参考答案3-1 离散无记忆信道如图3.10所示，输入X 取值空间为，信道干扰的概率空间为求信道容量和最佳分布。
图3.10解：设X 的概率分布为根据ZX ⊕=Y可以算出条件转移概率矩阵为⎥⎦⎤⎢⎣⎡--=αααα11P X |Y这是一个完全对称的信道，信道容量为）-1（）-1（1)(2C αααααlb lb H lb ++=-= 最佳分布为等概率分布，即）5.0,5.0（3-2写出图3.11所示离散无记忆信道的条件转移矩阵，并求信道容量和最佳分布。
图3.11解：信道的条件转移概率为⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=4341031313104143P 观察1、3行，可以发现是相互置换的。
设信道输入为）5.0，0,5.0（，可以计算出相应概率p(bj),83)()(31==b p b p 41)(2=b p 平均互信息量为83)()|()|()()|()|()()|()|();(I 3131321212111111=++=b p a b p lb a b p b p a b p lb a b p b p a b p lb a b p Y a同理可以计算出3);(I2lb Y a -=，83);(I 3=Y a ，根据信道容量性质可知由于);(I );(I33Y a Y a =，且03);(I 2<-=lb Y a ，所以信道容量为83);(IC 1==Y a ，而最佳分布为）5.0，0,5.0（。
3-3 在某离散无记忆信道上传输二进制符号0和1，由于受到随机干扰影响，符号传输出现差错，每传输1000个符号会出现2个错误，假设每秒钟允许传输1000个符号，求该信道的信道容量。
解：信道的条件转移概率矩阵为⎥⎦⎤⎢⎣⎡=998.0002.0002.0998.0P信道容量为 98.0)002.0(2C =-=H lb 比特/符号，每秒钟的信道容量为9801000*98.0CN C t === 比特/秒3-4 如图3.12所示的信道，写出条件转移矩阵，求出信道容量和最佳分布，并且求出当和时的信道容量。
《信息论与编码》第三章习题解答
其 中 (i, k1 ) ， (k1 + 1, k 2 ) ， (k 2 + 1, j ) 是 由 内 节 点 (i, j ) 分 岔 出 去 的 三 个 节 点 ， 所 以
p (i, k1 ) + p(k1 + 1, k 2 ) + p (k 2 + 1, j ) = p(i, j ) 。由于码 D 的平均码长 L =
（c） {01,10}
[解] （a）{0，10，11}可能为 Huffman 码，因为它构成满树； （b）{00，01，10，110}不可能为 Huffman 码， 因为码字“110”可以用更短的“11”代替，而保持前缀码条件； （c）{01，10}不可能成为 Huffman 码，因为显然{0，1}是平均码长更短的前缀码； 3.8 一个随机变量 X 的取值范围为 X = { x1 , x2 " , xm } ,它的熵为 H(X)， 若对这个源能找到 一个平均码长为 L =
I 表示全体内节点 (i, j ) ， (i < j ) 的集合。 内节点 (i, j ) 上的累计概率定义为：
(1,13) (4,8) (6,8)
i
P (i, j ) =
于是
∑
k =i
j
(1, 3)
pk
a1 a2 a3
(9,13) (10,12)
L=
∑l ⋅ p = ∑ p(i, j )
i i =1
0.16 （1） 0.14 （1） 0.13 （0） 0.12 （1） 0.1 （1） 0.09 （0） 0.08 （1） 0.07 （0） 0.06 （1） 0.05 （0）
0.27 （0） 0.31 （1） 0.19 （0） 0.23 （1） 0.15 （0） 0.42 （0） 0.58 （1） 1
信息论与编码-曹雪虹-课后习题答案
第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论与编码(第二版)曹雪虹(最全版本)答案
《信息论与编码（第二版）》曹雪虹答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p ==u 1u 2u 31/21/21/32/32/31/3(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：000110110.80.20.50.50.50.50.20.8设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论与编码-曹雪虹-课后习题答案
(5) 两个点数中至少有一个是1的自信息量。
解：
(1)
(2)
(3)
两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
（2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与 进行比较
解:根据香农线图,列出转移概率距阵
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
得到 计算得到
由齐次遍历可得
符号 由最大熵定理可知 存在极大值
或者也可以通过下面的方法得出存在极大值:
同理可得
=1.5-0.5=1bit/符号
表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量
欢迎下载！
第三章
3.1 设二元对称信道的传递矩阵为
(1) 若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
又 所以 当p=2/3时
0<p<2/3时
2/3<p<1时
所以当p=2/3时 存在极大值,且 符号
所以
信息论与编码课后答案第三章课后习题
=
3×1 43
=3
P( y = 1)
5 /12 5
P(x = 1| y = 1) = 2 5
H (Y | X )
= −∑ P(x)∑ P( y | x) log P( y | x)
X
Y
=
−
3 4
2 3
log
2 3
+
1 3
log
1 3
−
1 4
1 3
log
1 3
+
2 3
log
2 3
2p2
+
4 pp
+
2p2
=1 4
因此接收到第二个数字也是 0 时，得到多少关于 M1 的互信息为：
I (M 1; y1 y2
=
00)
=
log
P( y1 y2 = 00 | M1) P( y1 y2 = 00)
=
p2 log
1/ 4
=
2 + 2 log
p
比特/符号
得到的附加信息为：
I (M1; y1 y2 = 00) − I (M1; y1 = 0) = 1 + log p 比特/符号 （3）根据已知条件，有
第三章课后习题
【3.1】 设信源
X P( x)
=
x1 0.6
x2 0.4
通过一干扰信道，接收符号为Y = [ y1, y2 ] ，信道传递概率如下图所示，求
（1）信源 X 中事件 x1和 x2 分别含有的自信息；
x1
5/6
y1
（2）收到消息 y j ( j = 1,2) 后，获得的关于 xi (i = 1,2) 的信
信息论与编码曹雪虹课后习题答案(供参考)
《信息论与编码》-曹雪虹-课后习题答案 第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下 状态转移矩阵为：设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
信息论与编码-曹雪虹-课后习题答案 (2)
《信息论与编码》-曹雪虹-课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p ==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章3.1 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)2221122max (;)log log 2(lg lg )log 100.082 /3333mi C I X Y m H bit symbol==-=++⨯=其最佳输入分布为1()2i p x =3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。
接受端有3种符号i y ，j ＝1，2，3，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦。
（1） 计算接受端的平均不确定度；（2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量。
解：1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦联合概率(,)i j p x y（1）()log 2log log24141H Y a a=+++- 211161log 2log log24141a aa a -=++-+ 211111log 2log16log log 244141a aa a -=+++-+ 23111log 2log log24141a aa a-=++-+ 取2为底2223111()(log log )24141a a H Y bit a a-=++-+ （2）11111111(|)log log log log log 2222224444aa a a a H Y X ---⎡⎤=-++++⎢⎥⎣⎦ 3(1)log 2log 22a a -=-+3log 22a -=取2为底3(|)2aH Y X bit -=[]2()()()111max (;)max ()(|)max log 2log log 24141i i i p x p x p x aa a c I X Y H Y H Y X a a -⎛⎫∴==-=++ ⎪-+⎝⎭取e 为底2111(ln 2ln ln )24141a a a a a a-∂++-+∂21121111ln 2ln ()24141411a a a a a a a -=+++---+-+ 221112ln 2ln 22(1)4141a a a a a a -=++--+- 111ln 2ln 241a a-=++ = 01114a a -=+35a ∴=9251311131log 2log log 2541454c ∴=⨯++⨯- 312531log 2log log 10416204=++ 3153log 2log log 2102410=+- 15log 24=3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：由题意可知该二元信道的转移概率矩阵为：0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦为一个BSC 信道所以由BSC 信道的信道容量计算公式得到：211log ()log 2log0.92/11000920/seci i it C s H P p bit sign p C C C bit t==-=-====∑3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道容量C 的大小。
解: 信道矩阵P=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-e 1e 0e e 10001－,此信道为非奇异矩阵,又r=s,可利用方程组求解31(|)j i jj P b a =31(|)log (|)j i j i j P b a P b a (i=1,2,3)X 0Y 01 1 1221－ 1－123230(1)(1)log(1)log (1)log(1)log(1)解得123(1)log(1)log所以 C=log2j j=log[20+2×2(1-)log(1-)+log ]=log[1+21-H()]=log[1+2(1)(1)]2311(1)1()2(1)3211()2212(1)12(1)()212(1)()2()CCH CC P b P b P b P b而 31()()(|)j i j i i P b P a P b a (j=1,2,3)得11223323()()()()(1)()()()()(1)P b P a P b Pa P a Pb P a P a 所以P(a 1)=P(b 1)=(1)112(1)2323(1)(1)()()()()12(1)P a P a P b P b当=0时,此信道为一一对应信道,得C=log3, 1231()()()3P a P a P a 当=1/2时,得 C=log2, 11()2P a ,231()()4P a P a3.5 求下列二个信道的信道容量，并加以比较（1）⎪⎪⎭⎫ ⎝⎛----εεεεεε22p p p p （2）⎪⎪⎭⎫ ⎝⎛----εεεεεε2002p p p p其中p+p =1解：（1）此信道是准对称信道，信道矩阵中Y 可划分成三个互不相交的子集 由于集列所组成的矩阵⎪⎪⎭⎫⎝⎛----εεεεp p p p ,⎪⎪⎭⎫⎝⎛εε22而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计算。
C1=logr-H(p1’ p2’ p3’)-Mk k N k log 21∑=其中r=2,N1=M1=1-2ε N2=ε2 M2=4ε 所以 C1=log2-H(ε-p ,p-ε,2ε)-(1-2ε)log(1-2ε)-2εlog4ε=log2+(ε-p )log(ε-p )+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) 输入等概率分布时达到信道容量。
（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。
先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y 可划分成两个互不相交的子集，由子集列所组成的矩阵为⎪⎪⎭⎫ ⎝⎛----εεεεp p p p ，⎪⎪⎭⎫⎝⎛εε2002这两矩阵为对称矩阵 其中r=2,N1=M1=1-2ε N2=M2=2ε，所以C=logr-H(p -ε,p-ε,2ε,0)-∑=21log k Mk Nk=log2+(p -ε)log(p -ε)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( p -ε)log(p -ε)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p -ε)log(p -ε)+(p-ε)log(p-ε) =C1+2εlog2输入等概率分布（P （a1）=P （a2）=1/2）时达到此信道容量。
比较此两信道容量，可得C2=C1+2εlog23-6 设有扰离散信道的传输情况分别如图3－17所示。
求出该信道的信道容量。
XY1/2图3-17解：112211221122 11 2200 00000⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦对称信道log(|)iC m H Y a=-1log42log22=-⨯取2为底1C=bit/符号3-7(1)条件概率，联合概率，后验概率p y0()13:=，p y1()12:=，p y2()16:=（2）H(Y/X)=（3）当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：P(x1/y2)=15，P(x2/y2)=15，P(x3/y2)=35其中错误概率为：Pe=P(x1/y2)+P(x3/y2)=1535+0.8=（4）平均错误概率为（5）仍为0.733（6）此信道不好原因是信源等概率分布，从转移信道来看正确发送的概率x1-y1的概率0.5有一半失真x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真 （7）H(X/Y)=16Log 2()110Log 5()+115Log 52⎛⎝⎫⎪⎭+215Log 52⎛⎝⎫⎪⎭+110Log 5()+110Log 53⎛⎝⎫⎪⎭+130Log 10()+310Log 53⎛⎝⎫⎪⎭+1.301=3. 8 设加性高斯白噪声信道中，信道带宽3kHz ，又设{(信号功率+噪声功率)/噪声功率}=10dB 。
试计算该信道的最大信息传输速率C t 。
解：3. 9 在图片传输中，每帧约有2.25 106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。
试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB ）。
解：sbit t I C bit NH I symbol bit n H t / 101.5601091010941025.2/ 416log log 566622⨯=⨯===⨯=⨯⨯=====z15049)10001(log 105.11log 1log 25H P P C W P P W C N X tN X t =+⨯=⎪⎪⎭⎫ ⎝⎛+=⎪⎪⎭⎫⎝⎛+=3-10 一个平均功率受限制的连续信道，其通频带为1MHZ ，信道上存在白色高斯噪声。