信息论与编码理论-第3章信道容量-习题解答-071102
信息论与编码习题与答案第三章
由于 ，每个二元符号的信息量为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间
不能无失真的传输
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵 ;
(3)计算接收端收到一个符号 的错误概率；
(4)计算从接收端看的平均错误概率；
(5)计算从发送端看的平均错误概率；
(6)从转移矩阵中能看出该新到的好坏吗？
(7)计算发送端的H(X)和 。
解：(1)
（2）联合概率 ，后验概率
H(Y/X)=
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
第三章 信道容量-习题答案
3.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量；(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。
解： 1)bitx p x I bit x p x I 322.14.0log)(log)( 737.06.0log )(log )(22222121=-=-==-=-=2)bity p x y p y x I bit y p x y p y x I bit y p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log)()/(log);( 263.16.04/1log)()/(log );( 263.14.06/1log )()/(log );( 474.06.06/5log )()/(log );(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(222222221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)symbolbit y p y p Y H symbolbit x p x p X H jj j ii i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑4)symbolbit Y H X Y H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10log )43log434.041log414.061log616.065log656.0( )/(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑5)symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=3.2 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i ii / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243()/(log )/()()/(/ 811.0)41log4143log43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log)32lg 3231lg 31(2loglog );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.3 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
信息论与编码_第3章信道容量
0.5 0.5
条件熵: H(X|Y) =0, H(Y|X) ≠ 0 互信息量: I(X; Y)=H(X) < H(Y) 信道容量: C = log |A|=logn.
x2
0.6 0.3 0.1 x3 1
16
3.2 离散无记忆信道容量
例3-2-1 设离散无噪有损信道的转移概率矩阵为
x1 x2 x3 1 1 1 y1 y2 y3
条件熵: H(X|Y)= H(Y|X)=0 互信息量: I(X;Y)=H(Y)=H(X) 信道容量: C=log|A|=log|B|=logn.
14
3.2 离散无记忆信道容量
无噪有损信道 X与Y是多对一关系.
1 1 P(Y | X ) = 0 0 0 0 1 1 .
随机变量的取值分类 根据输入与输出 随机变量的取值分类 离散信道(数字信道 时间、取值离散 数字信道: 离散) 离散信道 数字信道 时间、取值离散 连续信道(模拟信道 取值连续 模拟信道: 连续) 连续信道 模拟信道 取值连续 半连续信道( 时间、取值一个离散，另一个连续 半连续信道 时间、取值一个离散， 一个连续) 离散 连续 波形信道(时间 取值连续 时间、 连续) 波形信道 时间、取值连续
j
25
3.2 离散无记忆信道容量
准对称信道的最佳分布是等概的 设准对称信道的转移概率矩阵能够被列分割为等个对称 子矩阵。 当输入符号为等概分布时，互信息量在集合 上的统计平均值为
I ( X = ai , Y ) = ∑ p (b j / ai ) log
j
p ( b j / ai )
=∑
s
j∈Ω s
C = log n + ∑ p (b j | ai ) log p (b j | ai ) − ∑ N s log M s
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
信息论与编码技术第三章课后习题答案
Chap3 思考题与习题 参考答案3.1 设有一个信源，它产生0、1 序列的消息。
它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6 的概率发出符号。
(1) 试问这个信源是否平稳的? (2) 试计算H(X 2)，H(X 3/X 1X 2)及H ∞。
(3) 试计算H(X 4)，并写出X 4 信源中可能有的所有符号。
解：（1）根据题意，此信源在任何时刻发出的符号概率都是相同的，均按p(0)=0.4，p(1)=0.6，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无信赖的。
所以这信源是平稳信源。
(2)23123121()2()2(0.4log 0.40.6log 0.6) 1.942(/)(|)()()log ()(0.4log 0.40.6log 0.6)0.971(/)lim (|)()0.971(/)i i iN N N N H X H X bit symbols H X X X H X p x p x bit symbol H H X X X X H X bit symbol ∞−→∞==−×+===−=−+====∑" (3)4()4()4(0.4log 0.40.6log 0.6) 3.884(/)H X H X bit symbols ==−×+=4X 的所有符号：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11113.2 在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率(10)1/p y x ===4，(01)1/p y x ===8。
求：(1) 在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为，信源发出符号通过12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦一干扰信道，接收符号为，信道传递矩阵为，求：12{,}Y y y =51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（1） 信源中事件和分别含有的自信息量；X 1x 2x （2） 收到消息（j ＝1，2）后，获得的关于（i ＝1，2）的信息量；j y i x （3） 信源和信宿的信息熵；X Y （4） 信道疑义度和噪声熵；(/)H X Y (/)H Y X （5） 接收到消息后获得的平均互信息量。
Y (;)I X Y 解：（1）12()0.737,() 1.322I x bit I x bit==（2），，，11(;)0.474I x y bit =12(;) 1.263I x y bit =-21(;) 1.263I x y bit =-22(;)0.907I x y bit=（3）()(0.6,0.4)0.971/H X H bit symbol==()(0.6,0.4)0.971/H Y H bit symbol==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol==(/) 1.6850.9710.714/H X Y bit symbol =-=(/)0.714/H Y X bit symbol=（5）(;)0.9710.7140.257/I X Y bit symbol=-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：，信源信宿概率分布为：，11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦1111()(){,,,}4444P X P Y ==H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源包含两种消息：，且，信道是有扰的，X 12,x x 12()() 1/2P x P x ==信宿收到的消息集合包含。
信息论与编码第三章
模
型
P<Y1=V1,Y2=V2…Yn=Vn/X=U1…X=Un>
n
Õ = p(YR = UR / X = uR )
决定DMC特点的条件概率P<yj/xi>可写成矩阵形 式
P = [ pij ]
3.2.1
转移概率矩阵
æ p( y0 / x0) p( y1 / x0)
数
ç
学 模
P
=
ç ç
p( y0 / x1)
数 即P<Y=0/X=1>=P<Y=1/X=0>=P
学
模 型
P<Y=1/X=1>=P<Y=0/X=0>=1-P
01
这种对称二进二出的
0 é P P ù 信道叫做二进制对称信
P=1
ê ëê
P
ú P ûú
道,简称BSC信道.
3.2.1
信道模型:
数 学 模
1-P
0
0
P
型
P
1
1
1-P
这种信道的输出符号仅与对应时刻输 入符号有关,与以前输入无关,故称此信道是 无记忆信道的.
3.1
信道分类：
信
道
1.有线信道和无线信道
分
类
有线信道：明线、对称电缆、同轴电
缆及
光缆等.
无线信道：地波传播、短波电离层反 射、
超短波或微波视距中继、
3.1
2．恒参信道和随参信道
信 道
恒参信道：信道的统计特性不随时间而变化.如明
分 线、对称电缆、同轴电缆、光缆、卫星中继信道
类
一般被视为恒参信道.
p0,Q - 1 ö ÷
西电邓家先版信息论与编码第3章课后习题解答
3.1 设信源⎥⎦⎤⎢⎣⎡)(x P X =⎥⎦⎤⎢⎣⎡4.06.021x x 通过一干扰信道，接收符号Y=[]21y y ,信道传递概率如图3.33所示。
求：（1） 信源X 中事件x1,和x2分别含有的自信息。
（2） 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3） 信源X 和信源Y 的信息熵。
（4） 信道疑义度H （X|Y ）和噪声熵H （Y|X ）。
（5） 接收到消息Y 后获得的平均互信息。
解：（1）由定义得：I （X1）= －log0.6=0.74bitI （X2）= －log0.4=1.32bit（2）P （y1）= 0.6×5/6＋0.4×3/4=0.8 P （y2）= 0.6×1/6＋0.4×1/4=0.2I （xi ；xj ）= I （xi ）－I （xi|yj ）=log[P （xi|yj ）/p （xi ）]= log[P （yj|xi ）/p （yj ）]则 I （x1；y1）= log[P （y1|x1）/p （y1）]=log5/6/0.8=0.059bit I （x1；y2）= log[P （y2|x2）/p （y2）]=log1/6/0.2=-0.263bit I （x2；y1）= log[P （y1|x2）/p （y1）]=log3/4/0.8=-0.093bit I （x2；y2）= log[P （y2|x2）/p （y2）]=log1/4/0.2=0.322bit（3）由定义显然 H （X ）=0.97095bit/符号H （Y ）=0.72193bit/符号（4）H （Y|X ）=∑P （xy ）log[1/P （y|x ）]=2211i j ==∑∑p （xi ）P （yj|xi ）log[1/P （yj|xi ）]=0.6·5/6·log6/5+0.6·1/6·log6+0.4·3/4·log4/3+0.4·1/4·log4 =0.7145bit/符号H （X|Y ）= H （X ）+H （Y|X ）－H （Y ）=0.9635bit/符号(5) I （X ；Y ）= H （X ）－H （X|Y ）=0.00745 bit/符号图3.1 二元信道1/63/41/45/6x 1y 1y 2x 23.2设8个等概率分布的消息通过传递概率为p 的BSC 进行传送。
信息论与编码第三章习题参考答案
第三章习题参考答案3-1 离散无记忆信道如图3.10所示，输入X 取值空间为，信道干扰的概率空间为求信道容量和最佳分布。
图3.10解：设X 的概率分布为根据ZX ⊕=Y可以算出条件转移概率矩阵为⎥⎦⎤⎢⎣⎡--=αααα11P X |Y这是一个完全对称的信道，信道容量为）-1（）-1（1)(2C αααααlb lb H lb ++=-= 最佳分布为等概率分布，即）5.0,5.0（3-2写出图3.11所示离散无记忆信道的条件转移矩阵，并求信道容量和最佳分布。
图3.11解：信道的条件转移概率为⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=4341031313104143P 观察1、3行，可以发现是相互置换的。
设信道输入为）5.0，0,5.0（，可以计算出相应概率p(bj),83)()(31==b p b p 41)(2=b p 平均互信息量为83)()|()|()()|()|()()|()|();(I 3131321212111111=++=b p a b p lb a b p b p a b p lb a b p b p a b p lb a b p Y a同理可以计算出3);(I2lb Y a -=，83);(I 3=Y a ，根据信道容量性质可知由于);(I );(I33Y a Y a =，且03);(I 2<-=lb Y a ，所以信道容量为83);(IC 1==Y a ，而最佳分布为）5.0，0,5.0（。
3-3 在某离散无记忆信道上传输二进制符号0和1，由于受到随机干扰影响，符号传输出现差错，每传输1000个符号会出现2个错误，假设每秒钟允许传输1000个符号，求该信道的信道容量。
解：信道的条件转移概率矩阵为⎥⎦⎤⎢⎣⎡=998.0002.0002.0998.0P信道容量为 98.0)002.0(2C =-=H lb 比特/符号，每秒钟的信道容量为9801000*98.0CN C t === 比特/秒3-4 如图3.12所示的信道，写出条件转移矩阵，求出信道容量和最佳分布，并且求出当和时的信道容量。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
《信息论与编码》第三章习题解答
其 中 (i, k1 ) ， (k1 + 1, k 2 ) ， (k 2 + 1, j ) 是 由 内 节 点 (i, j ) 分 岔 出 去 的 三 个 节 点 ， 所 以
p (i, k1 ) + p(k1 + 1, k 2 ) + p (k 2 + 1, j ) = p(i, j ) 。由于码 D 的平均码长 L =
（c） {01,10}
[解] （a）{0，10，11}可能为 Huffman 码，因为它构成满树； （b）{00，01，10，110}不可能为 Huffman 码， 因为码字“110”可以用更短的“11”代替，而保持前缀码条件； （c）{01，10}不可能成为 Huffman 码，因为显然{0，1}是平均码长更短的前缀码； 3.8 一个随机变量 X 的取值范围为 X = { x1 , x2 " , xm } ,它的熵为 H(X)， 若对这个源能找到 一个平均码长为 L =
I 表示全体内节点 (i, j ) ， (i < j ) 的集合。 内节点 (i, j ) 上的累计概率定义为：
(1,13) (4,8) (6,8)
i
P (i, j ) =
于是
∑
k =i
j
(1, 3)
pk
a1 a2 a3
(9,13) (10,12)
L=
∑l ⋅ p = ∑ p(i, j )
i i =1
0.16 （1） 0.14 （1） 0.13 （0） 0.12 （1） 0.1 （1） 0.09 （0） 0.08 （1） 0.07 （0） 0.06 （1） 0.05 （0）
0.27 （0） 0.31 （1） 0.19 （0） 0.23 （1） 0.15 （0） 0.42 （0） 0.58 （1） 1
信息论与编码课后答案第三章课后习题
=
3×1 43
=3
P( y = 1)
5 /12 5
P(x = 1| y = 1) = 2 5
H (Y | X )
= −∑ P(x)∑ P( y | x) log P( y | x)
X
Y
=
−
3 4
2 3
log
2 3
+
1 3
log
1 3
−
1 4
1 3
log
1 3
+
2 3
log
2 3
2p2
+
4 pp
+
2p2
=1 4
因此接收到第二个数字也是 0 时，得到多少关于 M1 的互信息为：
I (M 1; y1 y2
=
00)
=
log
P( y1 y2 = 00 | M1) P( y1 y2 = 00)
=
p2 log
1/ 4
=
2 + 2 log
p
比特/符号
得到的附加信息为：
I (M1; y1 y2 = 00) − I (M1; y1 = 0) = 1 + log p 比特/符号 （3）根据已知条件，有
第三章课后习题
【3.1】 设信源
X P( x)
=
x1 0.6
x2 0.4
通过一干扰信道，接收符号为Y = [ y1, y2 ] ，信道传递概率如下图所示，求
（1）信源 X 中事件 x1和 x2 分别含有的自信息；
x1
5/6
y1
（2）收到消息 y j ( j = 1,2) 后，获得的关于 xi (i = 1,2) 的信
信息理论与编码课后答案第3章
第3章 信道模型和信道容量3.1 基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义，掌握无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算，了解一般离散无记忆信道（DMC ）达到信道容量的充要条件，掌握DMC 扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。
3.2 学习要点3.2.1 信道的分类信道是信息传输的通道。
研究信道的目的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。
信息理论中常用的信道分类方法如下。
（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类,如表3.1所示。
（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关。
有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。
（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类： 无噪声信道：信道的输入/输出关系是确定关系。
有噪声信道：信道的输入/输出关系是统计依存关系。
3.2.2 信道的数学模型3.2.2.1 离散无记忆信道（DMC ）的数学模型离散无记忆信道（DMC ）的数学模型如图3.1所示，记为|{,,}Y X X P Y 。
信道的输入X 取值于集合12{,,,}r A a aa = ，输出Y 取值于集合12{,,,}s Bb b b = 。
|{(|)|1,2,,;1,2,,}Y X j i P P b a i r j s === （3.1） 为分析计算方便，常常把所有转移概率排成矩阵：图3.1 离散无记忆信道（DMC ）模型示意图噪声干扰12112111122222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)ss s Y X r r s r rb b b P b a P b a P b a a P b a P b a P b a a P P b a P b a P b a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（3.2） 转移矩阵中各行s 个转移概率自身是完备的：1(|)1,1,2,,sji j P ba i r ===∑ （3.3）3.2.2.2 扩展信道的数学模型图3.2所示的是N 次扩展信道的模型，其输入和输出均为N 元随机变量序列。
第三章 信道与信道容量 习题解答
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
2）根据()H ε的变化曲线，定性分析信道的容道容量，并说明当12εε=的信道容量。
解：（1）设输入信号的概率颁布是{p,1-p}111121212()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =⨯+⨯=⨯-ε+-⨯ε212122212()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =⨯+⨯=⨯ε+-⨯-ε11221212121212()()log ()()log ()[(1)(1)]log[(1)(1)][(1)(1)]log[(1)(1)][(1)(1)]H Y p b p b p b p b p p p p p p p p H p p =--=-⨯-ε+-⨯ε⨯-ε+-⨯ε-⨯ε+-⨯-ε⨯ε+-⨯-ε=⋅-ε+-⋅ε2,1111222212(|)()(|)log (|)[(1)log(1)1log()](1)[(1)log(1)log()]()(1)()i j i j i i j H Y X p a p b a p b a p p p H p H ==-=-⨯-ε-ε+εε---ε-ε+εε=⋅ε+-⋅ε∑（2）()H ε的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。
()()1212()max{(;)}max{()(|)}max{[(1)(1)]()(1)()}p x p x p x C I X Y H Y H Y X H p p p H p H ==-=⨯-ε+-⨯ε-⨯ε+-⨯ε由于函数H （ε）是一个凸函数，有一个性质：1212((1))()(1)()f f f θ⋅α+-θ⋅α≥θ⋅α+-θ⋅α可知：C ≥0假设12εε==ε时此信道是一个二元对称信道，转移概率分布为：11Q ε-εε⎡⎤=⎢⎥ε-⎣⎦ 信道容量：121-log -(1-)log(1-)1-()C H εεεεεεεε==== 3-10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。
为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB ，试计算在这些条件下传送电视的视频信号所需的带宽。
解：i 1p(x )=10()log10 3.32/I X bit ==像素1秒内可以传送的信息量为：3.3219/bit bit ⨯⨯⨯⨯7像素3010000像素30=2.98971010336log(1),:10log ()3010log(110): 2.999510S SC B dB N NSNB B HZ=+=∴=⨯=+=⨯7已知2.989710可得3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度80/20.510N -=⨯W ／Hz 的加性高斯白噪声的干扰，信息传输速率24R =kbit/s ，信号功率1P =W 。
1）若信道带宽无约束，求信道容量；解：带限的加性高斯白噪声波形信道的信道容量为无带宽约束时：00080lim limlog(1)log 1.442710/S S t w w S S P N W PC C N P N W Pe bit sN ->∞->∞==+==⨯2）若信道的频率范围为0到3KHz ，求信道容量和系统的频带利用率/R W （bps/Hz ）(注：W 为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的最小0/b E N 是多少dB W=3KHZ在最大信息速率条件下，每传输1比特信息所需的信号能量记为E bSb P E =C0488400log(1)log(1)13000log(1) 4.507410110300024/8/3133.47110 4.507410Sb S P C W W SNR N Wbps R kbit s bps Hz W KHz E P dB N N C --=+=+=⨯+=⨯⨯⨯=====⨯⨯⨯3）若信道带宽变为100KHz ，欲保持与2）相同的信道容量，则此时的信噪比为多少dB 信号功率要变化多数dB4500058331004.507410log(1)10log(1)0.3667: 4.3654'0.366710100.366710'0.36671034.35691S S Ss s W KHZP Pbps W N W N WP SNR dB N WPs w P dBP ---=⨯=+=+==-=⨯⨯=⨯⨯==-1010即信号功率的变化为:10log 10log第4章 无失真信源编码习题参考答案4-1：(1) A 、B 、C 、E 编码是唯一可译码。
(2) A 、C 、E 码是及时码。
(3) 唯一可译码的平均码长如下：61111111()3()32416161616A i i i l p s l ===⨯+++++=∑ 码元/信源符号61111111()123456 2.1252416161616B i i i l p s l ===⨯+⨯+⨯+⨯+⨯+⨯=∑码元/信源符号61111111()123456 2.1252416161616C i i i l p s l ===⨯+⨯+⨯+⨯+⨯+⨯=∑码元/信源符号61111111()12()422416161616E i i i l p s l ===⨯+⨯++++⨯=∑码元/信源符号4-3：(1)/bit ∑8i i i=1H(X)=-p(x )logp(x )1111111111=-log -log -log -log -log 22448816163232111111 -log -log -log646412812812812863=164符 (2) 平均码长：6111111111()3()3248163264128128i i i l p s l ===⨯+++++++=∑码元/信源符号所以编码效率：()0.6615H X lη== (3) 仙农编码：费诺码：4-5：(1)霍夫曼编码：对X的霍夫曼编码如下：l=⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/0.220.1920.1830.1730.1530.140.014 2.72信源符号71()log 2.61i i i H X p p ===∑ 码元/符号() 2.610.95962.72H X lη===Y 的二元霍夫曼编码：平均码长：0.4910.14320.07420.0440.0250.0260.016 2.23l =⨯+⨯⨯+⨯⨯+⨯+⨯+⨯+⨯=码元/信源符91()log 2.31i i i H Y p p ===∑码元/符号编码效率：() 2.310.99142.33H Y lη=== (2) 仙农编码：对X 的仙农编码：平均码长：0.230.1930.1830.1730.1530.140.017 3.14l =⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/信源符() 2.610.83123.14H X lη=== 对Y 的仙农编码：平均编码长度：0.4920.1420.07420.0450.02620.0260.017 2.89 l=⨯+⨯+⨯⨯+⨯+⨯⨯+⨯+⨯=码元/信源符编码效率：() 2.310.79932.89H Ylη===(3)费诺编码：对X的费诺编码：平均编码长度：0.220.1930.1830.1720.1530.140.014 2.74 l=⨯+⨯+⨯+⨯+⨯+⨯+⨯=码元/信源符号编码效率：() 2.610.95262.74H Xlη===对Y 进行费诺编码： 平均码长：0.4910.14230.07420.0440.0250.0260.016 2.33l =⨯+⨯⨯+⨯⨯+⨯+⨯+⨯+⨯=码元/信源符号 编码效率：() 2.310.99142.33H Y lη=== (4) 由三种编码的编码效率可知：仙农编码的编码效率为最低，平均码长最长；霍夫曼编码的编码长度最短，编码效率最高，费诺码居中。
4-7： 由三元编码方式可知：R=D －B=R D-1(K －2)+2由本题可知D=3，K=8，R=2，所以，首先合并最后两个信源概率，其中一种编码方式如下：4-21： 由题目可知信源符号为： 1011 0111 1011 0111124124()31(1)(0)()()0.0001237441011 0111 1011 0111p s p p ==== 算术码的码长log ()13l p s =-=由序列S 的分布函数F （S ）由二元整树图来计算：2482103124()1(11)(10111)(1011011111)(1011011110111)(1011011110110111)3313131311()()()()()()()()()4444444440.35114030.0101100110011F S p p p p p =-----=-----==所以算术编码为：0100 0011 0011 平均码长及编码效率如下：130.812516l ==码元/符号()(1)log (1)(0)log (0)0.8113H S p p p p =--= bit/符号()0.9985H S lη== (2) 由于信源符号集中共有2个元素，因此只需要⎡⎤12log =位二进制数就可以表示其编码，该符号集的编码表如下：按照分段规则，分段为：1 0 11 01 111 011 0111 短语数为7，可用⎡⎤37log ==n 位来表示段号；每个信源符号编码长度为1，所以短语长度为：3+1=4，具体编码过程如下：平均编码长度： 1.7516l ==码元/符号编码效率为：4636.075.18113.0)(===lS H η失真矩阵：0120d ⎡⎤=⎢⎥⎣⎦， min min 2max 1112211122221,21,211,21,2max 0,()()(1/2,1/2)log 21/10:01min min{,)111111min{02,10}min{1,}22222201,:,()001()i ij j j i j j D R D H X H bit P D p d p d p d p d p d P R D R D ==========⎡⎤=⎢⎥⎣⎦==++=⨯+⨯⨯+⨯==⎡⎤==⎢⎥⎣⎦∑符号转移矩阵此时转移矩阵定12义域:[0,]第6章 信道编码概述习题答案6-2极大似然译码规则译码时，由转移概率矩阵可知：第一列中12，第二列中12，第三列中12为转移概率的最大值，所以平均错误概率为： 1111111111()()()2364364362E P =⨯++⨯++⨯+=最小错误概率译码，输入x 与输出y 的联合概率分布为：111,,4612111,,24812111,,12248⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦11111111()()()2412824121224E P =+++++= 由于111242< 可以看出最佳译码为最小错误概率译码，平均错误概率为11246-4(1) 求信息传输率；log 412R n == bit/符号 (2) 求平均错误译码概率。