信息论基础与编码课后题答案(第三章)
信息论与编码（第3版）第3章部分习题答案
3.1设信源()12345670.20.190.180.170.150.10.01X a a a a a a a P X ⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭ (1) 求信源熵()H X (2) 编二进制香农码(3) 计算平均码长及编码效率。
答：(1)根据信源熵公式()()()()21log 2.6087bit/symbol i i i H X p a p a ==−=∑(2)利用到3个关键公式：①根据()()()100,0i a i k k p a p a p a −===∑计算累加概率；②根据()()*22log 1log ,i i i i p a k p a k N −≤<−∈计算码长；③根据()a i p a 不断地乘m 取整（m 表示编码的进制），依次得到的i k 个整数就是i a 对应的码字根据①②③可得香农编码为(3)平均码长公式为()13.14i i i K p a k ===∑单符号信源L =1，以及二进制m =2, 根据信息率公式()2log bit/symbol m KR K L==编码效率()83.08%H X Rη==3.2对习题3.1的信源编二进制费诺码，计算其编码效率答：将概率从大到小排列，且进制m=2,因此，分成2组（每一组概率必须满足最接近相等）。
根据平均码长公式为()12.74i iiK p a k===∑单符号信源L=1，以及二进制m=2, 根据信息率公式()2log bit/symbolmKR KL==编码效率（信源熵看题3.1）()95.21%H XRη==3.3对习题3.1的信源编二进制赫夫曼码，计算平均码长和编码效率答：将n个信源符号的概率从大到小排列，且进制m=2。
从m个最小概率的“0”各自分配一个“0”和“1”，将其合成1个新的符号，与其余剩余的符号组成具有n-1个符号的新信源。
排列规则和继续分配码元的规则如上，直到分配完所有信源符号。
必须保证两点：(1)当合成后的信源符号与剩余的信源符号概率相等时，将合并后的新符号放在靠前的位置来分配码元【注：“0”位表示在前，“1”表示在后】，这样码长方差更小；(2)读取码字时是从后向前读取，确保码字是即时码。
信息论与编码第3版第3章习题解答
第3章 无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。
解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。
解：a i p (a i ) 编 码 码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
姜丹 信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bitP a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(3666样本空间：2221111616==-=∴====-=∴===⨯==(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率 bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码技术第三章课后习题答案
Chap3 思考题与习题 参考答案3.1 设有一个信源，它产生0、1 序列的消息。
它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6 的概率发出符号。
(1) 试问这个信源是否平稳的? (2) 试计算H(X 2)，H(X 3/X 1X 2)及H ∞。
(3) 试计算H(X 4)，并写出X 4 信源中可能有的所有符号。
解：（1）根据题意，此信源在任何时刻发出的符号概率都是相同的，均按p(0)=0.4，p(1)=0.6，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无信赖的。
所以这信源是平稳信源。
(2)23123121()2()2(0.4log 0.40.6log 0.6) 1.942(/)(|)()()log ()(0.4log 0.40.6log 0.6)0.971(/)lim (|)()0.971(/)i i iN N N N H X H X bit symbols H X X X H X p x p x bit symbol H H X X X X H X bit symbol ∞−→∞==−×+===−=−+====∑" (3)4()4()4(0.4log 0.40.6log 0.6) 3.884(/)H X H X bit symbols ==−×+=4X 的所有符号：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11113.2 在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率(10)1/p y x ===4，(01)1/p y x ===8。
求：(1) 在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
《信息论与编码》第三章部分习题参考答案
第三章习题参考答案第三章习题参考答案3-1解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。
如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。
可译码的定义来判断是不是。
其中C1,C2,C3,C6都是唯一可译码。
都是唯一可译码。
对于码C2和C4都满足craft 不等式。
但是不满足码树的条件。
但是不满足码树的条件。
就只能就只能举例来判断。
举例来判断。
对C5：61319225218ki i ---==+´=>å，不满足该不等式。
所以C5不是唯一可译码。
译码。
(2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。
特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。
唯一可译码不一定是即时码。
其中C1,C3,C6都是即时码。
都是即时码。
对C2：“0”是“01”的前缀，……，所以C2不是即时码。
不是即时码。
(1) 由平均码长61()i i i K p x k ==å得1236 3 1111712(3456) 241681111712(3456) 2416811152334 24162K bitK bit K bitK bit==´+´+´+++==´+´+´+++==´+´+´´=62111223366()()log () 2 /()266.7%3()294.1%178()294.1%178()280.0%52i i i H U p u p u H U K H U K H U K H U K h h h h ==-=============å比特符号3-7解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ·, i, ····；对应的编码分别为：0, 10, 110, ···, 111…110 ( i 110 ( i –– 1个1), ·1), ····。
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论课后习题答案高等教育出版社信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:1544.0312.032=+?秒每个符号的熵为9183.03log 3123log 32=?+?比特/符号所以信息速率为444.34159183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =? 所以得到的信息量为 21.134log 1313522=C 比特.解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,2 1log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有37种排法，Y 表示梧桐树可以栽种的位置，它有58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特比特6017.02log 21412log 2141910log 1094310log 10143)11(log )11()1()10(log )10()1()01(log )01()0()00(log )00()0()( 8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222222222=?+?+?+?======+=====+=====+=======+==+======+== ======??+========+=========??+========+=== ======+======+=================?=========-===?+====+======-===?+?====+=========x y p x y p x p x y p x y p x p x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-?+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P &解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 比特所以H(Z/Y)= H(X 3)= 比特H(Z/X) = H(X 2+X 3)= 比特H(X/Y)=H(X)-H(Y)+H(Y/X) = =比特H(Z/XY)=H(Z/Y)= 比特H(XZ/Y)=H(X/Y)+H(Z/XY) =+ =比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 比特 I(X;Z)=H(Z)-H(Z/X)= =比特I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =比特I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X 2+X 3)-H(X 3) = =比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =0解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=+???=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-== （b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-==（c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(42268180p p p p u p u q w i i i +-+-==∑= bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--== 解:见解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式）或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-?≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
信息论与编码第三章习题参考答案
第三章习题参考答案3-1 离散无记忆信道如图3.10所示，输入X 取值空间为，信道干扰的概率空间为求信道容量和最佳分布。
图3.10解：设X 的概率分布为根据ZX ⊕=Y可以算出条件转移概率矩阵为⎥⎦⎤⎢⎣⎡--=αααα11P X |Y这是一个完全对称的信道，信道容量为）-1（）-1（1)(2C αααααlb lb H lb ++=-= 最佳分布为等概率分布，即）5.0,5.0（3-2写出图3.11所示离散无记忆信道的条件转移矩阵，并求信道容量和最佳分布。
图3.11解：信道的条件转移概率为⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=4341031313104143P 观察1、3行，可以发现是相互置换的。
设信道输入为）5.0，0,5.0（，可以计算出相应概率p(bj),83)()(31==b p b p 41)(2=b p 平均互信息量为83)()|()|()()|()|()()|()|();(I 3131321212111111=++=b p a b p lb a b p b p a b p lb a b p b p a b p lb a b p Y a同理可以计算出3);(I2lb Y a -=，83);(I 3=Y a ，根据信道容量性质可知由于);(I );(I33Y a Y a =，且03);(I 2<-=lb Y a ，所以信道容量为83);(IC 1==Y a ，而最佳分布为）5.0，0,5.0（。
3-3 在某离散无记忆信道上传输二进制符号0和1，由于受到随机干扰影响，符号传输出现差错，每传输1000个符号会出现2个错误，假设每秒钟允许传输1000个符号，求该信道的信道容量。
解：信道的条件转移概率矩阵为⎥⎦⎤⎢⎣⎡=998.0002.0002.0998.0P信道容量为 98.0)002.0(2C =-=H lb 比特/符号，每秒钟的信道容量为9801000*98.0CN C t === 比特/秒3-4 如图3.12所示的信道，写出条件转移矩阵，求出信道容量和最佳分布，并且求出当和时的信道容量。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
《信息论与编码》第三章习题解答
其 中 (i, k1 ) ， (k1 + 1, k 2 ) ， (k 2 + 1, j ) 是 由 内 节 点 (i, j ) 分 岔 出 去 的 三 个 节 点 ， 所 以
p (i, k1 ) + p(k1 + 1, k 2 ) + p (k 2 + 1, j ) = p(i, j ) 。由于码 D 的平均码长 L =
（c） {01,10}
[解] （a）{0，10，11}可能为 Huffman 码，因为它构成满树； （b）{00，01，10，110}不可能为 Huffman 码， 因为码字“110”可以用更短的“11”代替，而保持前缀码条件； （c）{01，10}不可能成为 Huffman 码，因为显然{0，1}是平均码长更短的前缀码； 3.8 一个随机变量 X 的取值范围为 X = { x1 , x2 " , xm } ,它的熵为 H(X)， 若对这个源能找到 一个平均码长为 L =
I 表示全体内节点 (i, j ) ， (i < j ) 的集合。 内节点 (i, j ) 上的累计概率定义为：
(1,13) (4,8) (6,8)
i
P (i, j ) =
于是
∑
k =i
j
(1, 3)
pk
a1 a2 a3
(9,13) (10,12)
L=
∑l ⋅ p = ∑ p(i, j )
i i =1
0.16 （1） 0.14 （1） 0.13 （0） 0.12 （1） 0.1 （1） 0.09 （0） 0.08 （1） 0.07 （0） 0.06 （1） 0.05 （0）
0.27 （0） 0.31 （1） 0.19 （0） 0.23 （1） 0.15 （0） 0.42 （0） 0.58 （1） 1
信息论编码部分课后习题习题
7
第3章习题 章习题
8
第3章习题 章习题
9
第3章习题 章习题
10
第3章习题 章习题
11
第4章习题 章习题
12
第4章习题 章习题
13
第6章习题 章习题
14
第6章习题 章习题
15
第8章习题 章习题
16
第8章习题 章习题
17
第8章习题 章习题
18
第8章习题 章习题
19
第8章习题 章习题
20
第8章习题 章习题
21
第9章习题 章习题
某线性分组码的生成矩阵为
0 0 G= 1 1 1 0 1 0 1 0 1 1 1 0 0 1 1 1 0 0 1 0 0 1 0 1 0 1
求： （1）用系统码的形式表示G； （2）计算系统码的校验矩阵H； （3）若接收到的码字为R1=0010100，检验它是否为码字？
解：(1)对G作行运算，得到系统化后的生成矩阵为
1 0 G= 0 0 0 1 0 0 0 0 1 0 0 0 0 1 1 1 0 1 1 1 1 0 0 1 1 1
(3)计算
1 1 0 1 1 0 0 T R1 H = [ 0 0 1 0 1 0 0] 1 1 1 0 0 1 0 0 1 1 1 0 0 1 = [1 0 1] ≠ 0
T
(2)由系统化后的生成矩阵得系统码的校验矩阵H为
1 1 0 1 1 0 0 H = 1 1 1 0 0 1 0 0 1 1 1 0 0 1
因此可断言R1不是码字。
22
信息论课后习题答案信息论基础课后答案信息论导引习题答案信息论与编码信息论与编码论文信息论基础习题解答信息论基础习题信息论与编码试卷信息论与编码试题信息论与编码答案第2章 Nhomakorabea题 章习题
《信息论、编码与密码学》课后习题答案
《信息论、编码与密码学》课后习题答案第1章信源编码1.1 考虑一个信源概率为｛0.30 , 0.25 , 0.20 , 0.15 , 0.10｝的DMS求信源嫡H (X)。
5解：信源嫡H(X) = -£P k log 2( P k)H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332]=2.228(bit)故得其信源嫡H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其嫡达到最大值。
解：若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)]对H(X)求导求极值，由dH(X)/d(P)=0可得log可知当概率P=Q=1/2时,有信源嫡H (X)max = 1(bit)对丁三元离散信源，当概率R = P2 = P3 = 1/3时，信源嫡H (X )m a=x1 .5 8 (5bit ),此结论可以推广到N元的离散信源。
1.3证明不等式lnx^x—1。
画出曲线y〔=lnx和y2 = x — 1的平■面图以表明上述不等式的正确性。
证明：f (x) = ln x 「x 1(x - 0) f(x)=【x令f(x)，=0, x =1 又有x 0. 0 ：. x < 1 时f(x) 0 此时 f(x) fx =0 也即 In x _x -1当x _1时同理可得此时Inx _x -1综上可得lnx 笑x -1证毕 绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4证明I(X;Y)芝0。
在什么条件下等号成立?n mI(X ； V =' ' P(x,y j )i(x, y j )i 目j 目n m =' P(x,y j )logi 注j T 当和相互独立时等号成立。
信息论与编码第二版答案 (3)
信息论与编码第二版答案第一章：信息论基础1.问题：信息论的基本概念是什么？答案：信息论是一种数学理论，研究的是信息的表示、传输和处理。
它的基本概念包括：信息、信息的熵和信息的编码。
2.问题：什么是信息熵？答案：信息熵是信息的度量单位，表示信息的不确定度。
它的计算公式为H(X) = -ΣP(x) * log2(P(x))，其中P(x)表示事件x发生的概率。
3.问题：信息熵有什么特性？答案：信息熵具有以下特性：•信息熵的值越大，表示信息的不确定度越高；•信息熵的值越小，表示信息的不确定度越低；•信息熵的最小值为0，表示信息是确定的。
4.问题：信息熵与概率分布有什么关系？答案：信息熵与概率分布之间存在着直接的关系。
当概率分布均匀时，信息熵达到最大值；而当概率分布不均匀时，信息熵会减小。
第二章：数据压缩1.问题：数据压缩的目的是什么？答案：数据压缩的目的是通过消除冗余和重复信息，使数据占用更少的存储空间或传输更快。
2.问题：数据压缩的两种基本方法是什么？答案：数据压缩可以通过无损压缩和有损压缩两种方法来实现。
无损压缩是指压缩后的数据可以完全还原为原始数据；而有损压缩则是指压缩后的数据不完全还原为原始数据。
3.问题：信息压缩的度量单位是什么？答案：信息压缩的度量单位是比特（bit），表示信息的数量。
4.问题：哪些方法可以用于数据压缩？答案：数据压缩可以通过以下方法来实现：•无结构压缩方法：如霍夫曼编码、算术编码等；•有结构压缩方法：如词典编码、RLE编码等；•字典方法：如LZW、LZ77等。
第三章：信道容量1.问题：什么是信道容量？答案：信道容量是指在给定信噪比的条件下，信道传输的最大数据速率。
2.问题：信道容量的计算公式是什么？答案：信道容量的计算公式为C = W * log2(1 + S/N)，其中C表示信道容量，W表示信道带宽，S表示信号的平均功率，N表示噪声的平均功率。
3.问题：信道容量与信噪比有什么关系？答案：信道容量与信噪比成正比，信噪比越高，信道容量越大；反之，信噪比越低，信道容量越小。
信息理论与编码课后答案第3章
第3章 信道模型和信道容量3.1 基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义，掌握无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算，了解一般离散无记忆信道（DMC ）达到信道容量的充要条件，掌握DMC 扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。
3.2 学习要点3.2.1 信道的分类信道是信息传输的通道。
研究信道的目的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。
信息理论中常用的信道分类方法如下。
（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类,如表3.1所示。
（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关。
有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。
（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类： 无噪声信道：信道的输入/输出关系是确定关系。
有噪声信道：信道的输入/输出关系是统计依存关系。
3.2.2 信道的数学模型3.2.2.1 离散无记忆信道（DMC ）的数学模型离散无记忆信道（DMC ）的数学模型如图3.1所示，记为|{,,}Y X X P Y 。
信道的输入X 取值于集合12{,,,}r A a aa = ，输出Y 取值于集合12{,,,}s Bb b b = 。
|{(|)|1,2,,;1,2,,}Y X j i P P b a i r j s === （3.1） 为分析计算方便，常常把所有转移概率排成矩阵：图3.1 离散无记忆信道（DMC ）模型示意图噪声干扰12112111122222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)ss s Y X r r s r rb b b P b a P b a P b a a P b a P b a P b a a P P b a P b a P b a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（3.2） 转移矩阵中各行s 个转移概率自身是完备的：1(|)1,1,2,,sji j P ba i r ===∑ （3.3）3.2.2.2 扩展信道的数学模型图3.2所示的是N 次扩展信道的模型，其输入和输出均为N 元随机变量序列。
信息论与编码理论习题答案
资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载信息论与编码理论习题答案地点：__________________时间：__________________说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2=23=6 bit因此，信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==得到的信息量 ===2.585 bit(2) 可能的唯一，为 {6，6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。
解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=，所以= 2-=1.8955 bit或=-=+-而= ，所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
信息论语编码第3章习题解答
3.1 设信源⎥⎦⎤⎢⎣⎡)(x P X =⎥⎦⎤⎢⎣⎡4.06.021x x 通过一干扰信道，接收符号Y=[]21y y ,信道传递概率如图3.33所示。
求： （1） 信源X 中事件x1,和x2分别含有的自信息。
（2） 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3） 信源X 和信源Y 的信息熵。
（4） 信道疑义度H （X|Y ）和噪声熵H （Y|X ）。
（5） 接收到消息Y 后获得的平均互信息。
解：（1）由定义得：I （X1）= －log0.6=0.74bitI （X2）= －log0.4=1.32bit（2）P （y1）= 0.6×5/6＋0.4×3/4=0.8 P （y2）= 0.6×1/6＋0.4×1/4=0.2I （xi ；xj ）= I （xi ）－I （xi|yj ）=log[P （xi|yj ）/p （xi ）]= log[P （yj|xi ）/p （yj ）]则 I （x1；y1）= log[P （y1|x1）/p （y1）]=log5/6/0.8=0.059bit I （x1；y2）= log[P （y2|x2）/p （y2）]=log1/6/0.2=-0.263bit I （x2；y1）= log[P （y1|x2）/p （y1）]=log3/4/0.8=-0.093bit I （x2；y2）= log[P （y2|x2）/p （y2）]=log1/4/0.2=0.322bit（3）由定义显然 H （X ）=0.97095bit/符号H （Y ）=0.72193bit/符号 （4）H （Y|X ）=∑P （xy ）log[1/P （y|x ）]=2211i j ==∑∑p （xi ）P （yj|xi ）log[1/P （yj|xi ）]=0.6·5/6·log6/5+0.6·1/6·log6+0.4·3/4·log4/3+0.4·1/4·log4 =0.7145bit/符号H （X|Y ）= H （X ）+H （Y|X ）－H （Y ）=0.9635bit/符号(5) I （X ；Y ）= H （X ）－H （X|Y ）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p 的BSC 进行传送。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
给定信道矩阵为：0.980.020.20.8P ⎡⎤=⎢⎥⎣⎦，求平均互信息(;)I X Y 。
解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1 bit/符号,H(Y)=0.93 bit/符号,H(XY)=1.34 bit/符号, I(X;Y)=0.59 bit/符号。
3-4 设二元对称信道的传递矩阵为：21331233⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， （1） 若P(0)=34，P(1)=14，求()H X ，(/)H X Y ，(/)H Y X 和(;)I X Y ； （2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）H(X)=0.811（bit/符号），H(XY)=1.73（bit/符号），H(Y)=0.98（bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X ；Y)=0.06（bit/符号）；（2）C ＝0.082（bit/符号），最佳输入分布为：11{}22X P = 3-5 求下列两个信道的信道容量，并加以比较：（1） 22p p p p εεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦ （2） 2002p p p p εεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦其中1p p +=。
解：（1）1log 2(,,2)(12)log(12)2log 41()log()()log()2log 2(12)log(12)2log 412()log()()log()(12)log(12)C H p p p p p p p p p p εεεεεεεεεεεεεεεεεεεεεεεε=-------=+--+--+----=-+--+-----（2）2log 2(,,2)(12)log(12)2log 21()log()()log()2log 2(12)log(12)2log 21()log()()log()(12)log(12)C H p p p p p p p p p p εεεεεεεεεεεεεεεεεεεεεεε=-------=+--+--+----=+--+-----两者的信道容量比较：212C C ε=+3-6 求题图3-6中信道的信道容量及最佳的输入概率分布。
并求当0ε=和12时的信道容量C 。
0012121ε-X Y题图 3-6解：由图知信道转移矩阵为：1000101P εεεε⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦，此信道非对称信道，也非准对称信道，不能利用其公式计算。
此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。
但此信道矩阵是非奇异矩阵，又r ＝s ，则可利用方程组求解：3311(/)(/)log (/),1,2,3ji j j i j i j j P ba Pb a P b a i β====∑∑，所以123230(1)(1)log(1)log (1)(1)log(1)log βεβεβεεεεεβεβεεεε=⎧⎪-+=--+⎨⎪+-=--+⎩ 解得：10β=，23(1)log(1)log ββεεεε==--+，所以1()log 2log[12]j H jC βε-==+∑，11()22C C p b β--==，2()2()22C H C p b βε---==，3()3()22C H C p b βε---==，根据31()()(/),1,2,3j iji i P b P a P ba j ===∑，得最佳输入分布为：11()()2C p a p b -==，()2323()()()()2H C p a p a p b p b ε--====，当ε＝0时，此信道为一一对应信道，1231log3,()()()3C p a p a p a ====；当ε＝0.5时，12311log 2,(),()()24C p a p a p a ====。
3-7 有一个二元对称信道，其信道矩阵为0.980.020.020.98⎡⎤⎢⎥⎣⎦。
设该信道以1500个二元符号每秒的速率传输输入符号。
现有一消息序列共有14000个二元符号，并设在这个消息中，(0)(1)1/2P P ==。
问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：信道容量：C ＝0.859（bit/符号），15000.8591288(/)t C bit s =⨯=，10秒内最大信息传输能力＝12880 bits ，消息序列含有信息量＝14000 bits ，12880<14000，所以10秒内不能将这消息序列无失真地传送完。
3-8 有一离散信道，其信道转移概率如题图3-8所示，试求： （1） 信道容量C ；（2） 若2ε＝0，求信道容量。
11ε1εε--12题图 3-8解：（1）112212121(1)loglog (1)log(1)2C εεεεεεεε-=--++---- （2）若20ε=，则11C ε=- 3-9 设离散信道矩阵为：1111336611116363P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦， 求信道容量C 。
解：C ＝0.041（bit/符号）。
3-10 若有一离散非对称信道，其信道转移概率如题图3-10所示。
试求：111/21/21/43/4题图 3-10（1） 信道容量1C ；（2） 若将两个同样信道串接，求串接后的转移概率； （3） 求串接后信道的信道容量2C 。
答案：（1）此信道转移概率矩阵11221344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，信道容量1C ＝0.0487 bit/符号； （2）串接后的转移概率矩阵35885111616P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦；（3）串接后信道的信道容量2C ＝0.0033 bit/符号。
3-11 设有一离散级联信道如题图3-11所示。
试求：x 1x 0y 1y 0z 1z 2z 3434题图 3-11（1）X 与Y 间的信道容量1C ； （2） Y 与Z 间的信道容量2C ；（3）X 与Z 间的信道容量3C 及其输入分布()P x 。
答案：（1）11()C H ε=-（2）2C ＝0.75 （bit/符号） （3）X 、Z 间信道转移概率矩阵为313310(1)1444441313310(1)44444εεεεεεεε⎡⎤⎡⎤-⎢⎥⎢⎥-⎡⎤=⎢⎥⎢⎥⎢⎥-⎣⎦⎢⎥⎢⎥-⎢⎥⎢⎥⎣⎦⎣⎦它是准对称信道，当输入等概率分布时达到信道容量。
()p x ＝{0.5,0.5}333331.06(1)log (1)log 4444C εεεε=+--+3-12 若有两个串接的离散信道，它们的信道矩阵都是：00100011100220010P ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， 并设第一个信道的输入符号1234{,,,}X a a a a ∈是等概率分布，求(;)I X Z 和(;)I X Y 并加以比较。
解：串接后信道矩阵为'000100010010000100010010111100010000222211000010001022P PP ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦1111()[,,,]8842p Y =，(;)()(/) 1.5I X Y H Y H Y X =-= 比特/符号1111()[,,,]8824p Z =，(;)()(/) 1.5I X Z H Z H Z X =-= 比特/符号可见，(;)(;)I X Z I X Y =3-13 若X ，Y ，Z 是三个随机变量，试证明：（1）();(;)(;/)(;)(;/)I X YZ I X Y I X Z Y I X Z I X Y Z =+=+； （2）();/(;/)(/)(/)I X Y Z I Y X Z H X Z H X YZ ==-；（3）();/0I X Y Z ≥,当且仅当（X Y Z ，，）是马氏链时等式成立。
3-14 若三个离散随机变量有如下关系：X Y Z =+，其中X 和Y 相互独立，试证明： （1） (;)()()I X Z H Z H Y =-；（2） (;)()I XY Z H Z =； （3） ();()I X YZ H X =； （4） ();/()I Y Z X H Y =；（5）();/(/)(/)I X Y Z H X Z H Y Z ==。