(完整版)信息论与编码习题参考答案
信息论与编码 陈运主编 完整版答案
2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号， 均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。
+ p(e2 ) ) + p(e3
p(x1 / ) p(x2
e2 ) / e3
= p⋅ )= p
p(e1 ) ⋅ p(e2
+p )+
⋅ p
p(e2 ) ⋅ p(e3
=( )=
p + p) / 3 = 1/ 3 ( p + p) / 3 = 1/ 3
⎪ ⎪⎩
p(
x3
)
=
p(e3 ) p(x3
/ e3 ) +
p(xi1xi2 xi3 ) log
p ( xi 3 p(xi3 /
/ xi1) xi1xi2 )
∑ ∑ ∑ ≤
i1
i2
i3
p(xi1xi2 xi3 )⎜⎜⎝⎛
p( xi 3 p(xi3 /
/ xi1) xi1xi2 )
−1⎟⎟⎠⎞ log2
e
∑∑∑ ∑∑∑ = ⎜⎛ ⎝ i1
i2
i3
p(xi1xi2 ) p(xi3 / xi1) −
所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女
孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大
姜丹 信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bitP a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(3666样本空间：2221111616==-=∴====-=∴===⨯==(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率 bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。
设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。
则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？1100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。
信息论与编码课后答案
2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
信息论与编码习题答案
信息论与编码习题答案1.在无失真的信源中，信源输出由H(X) 来度量；在有失真的信源中，信源输出由R(D) 来度量。
2.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。
3.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)=+；当归一化信道容量C/W趋C W SNR近于零时，也即信道完全丧失了通信能力，此时E b/N0为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大。
5.已知n＝7的循环码42=+++，则信息位长g x x x x()1度k为 3 ，校验多项式《信息论与编码A》试卷第 2 页共 10 页《信息论与编码A 》试卷 第 3 页 共 10 页h(x)=31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
(完整版)信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
《信息论与编码》部分课后习题参考答案
答：信源 P(M1)= P(M2)= P(M3)= P(M4)=1/4, 信道为二元对称无记忆信道，消息 Mi 与码字一一 对应，所以设 M i = ( xi1 xi2 ) 设接收序列为 Y=(y1y2) 接收到第一个数字为 0，即 y1=0。那么，接收到第一个数字 0 与 M1 之间的互信息为
I ( M 1 ; y1 = 0) = log
所以 I ( M 1; y1 y2 = 00) = log
p2 = 2(1 + lbp ) 比特 1 4
得附加互信息为 I ( M 1; y2 = 0 | y1 = 0) = 1 + lbp 比特 2.6 证明如果随机变量空间 X、Y、Z 构成马尔科夫链，即 X-Y-Z,则有 Z-Y-X。 答：证明：因为(X,Y, Z)是马氏链，有 P(z|xy)=P(z|y),对所有 x ∈ X , y ∈ Y , z ∈ Z 成立，而 P(x|yz)=P(xyz)/P(yz) = P(z|xy) P(xy)/ P(y) P(z|y) = P(z|xy) P(y) P(x|y)/ P(y) P(z|y) 对所有 x ∈ X , y ∈ Y , z ∈ Z 成立
1.4 从香农信息论的角度看来，分别播送半小时新闻联播和半小时的轻音乐，听众接受到的 信息是否相同，为什么？ 答：新闻联播是语言，频率为 300~3400Hz ，而轻音乐的频率为 20~20000Hz 。同样的时间内 轻音乐的采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大。但 是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与音乐的信息量大小在广 义上说，因人而异。
1 3 1 p = × × 8 8 4
14
25
6
此消息的信息量是： I = − log p = 87.811 bit (2) 此消息中平均每符号携带的信息量是： I / n = 87.811/ 45 = 1.951 bit 2.8 一个信源发出二重符号序列消息（m, n） ，其中第一个符号 m 可以是 A、B、C 中任一个， 第二个符号 n 可以是 D、E、F、G 中的任一个。各信源符号概率及条件概率如题表 2.1 所示。 试求这个信源的联合熵 H(MN)。
《信息论与编码》部分课后习题参考答案
1 5 1 5 1 1 1 1 1 1 1 1 = − 2 × log + 2 × log + 2 × log + 2 × log + 2 × log + log 6 36 6 36 9 9 12 12 18 18 36 36 = 3.274 bit / symbol
2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多 少信息量？如果你在已知今天是星期四的情况下提出同样的问题， 从别人的答案中你能获得 多少信息量（假设已知星期一至星期日得排序）？ 答：若不知道今天是星期几，则答案可能有 7 种，这 7 种都是有价值的，所以答案的信息量 为：
2.5 4 个等概率分布的消息 M1、M2、M3、M4 被送入如题所示的信道进行传输，通过编码 使 M1=00，M2=01、M3=10、M4=11.求输入是 M1 和输出的第一个符号是 0 的互信息量是多 少?如果知道第二个符号也是 0，这时带来多少附加信息量？ X 0 p p 1 1-p 1-p Y
I(X N ) I (Y )
=
2.1 × 106 13.29
= 1.58 ×105 字
2.4 某居住地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女 孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的
消息，问获得多少信息量？ 答：设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高>160cm） P(Y) 0.5
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求： （1）事件“2 和 6 同时出现”的自信息量； （2）事件“两个 3 同时出现”的自信息量； （3）事件“两个点数中至少有一个是 5”的自信息量； （4）两个点数之和的熵。 答： （1）事件“2 和 6 同时出现”的概率为：
信息论与编码考题标准答案
信 息 论 与 编 码 考题与标准答案第一题 选择题1．信息是（ b ）a. 是事物运动状态或存在方式的描述b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象d.信号 2．下列表达式哪一个是正确的（e ）a. H (X /Y )=H (Y /X )b. )();(0Y H Y X I <≤c.)/()(),(X Y H X H Y X I -=d. )()/(Y H Y X H ≤e. H (XY )=H (X )+H (Y /X )3．离散信源序列长度为L ，其序列熵可以表示为（ b ）a. )()(1X LH X H =b.c. ∑==Ll lXH X H 1)()(d. )()(X H X H L =4.若代表信源的N 维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。
a. 指数分布b. 正态分布c. 均匀分布d. 泊松分布 5．对于平均互信息);(Y X I ，下列说法正确的是（ b ）a. 当)(i x p 一定时，是信道传递概率)(i j x y p 的上凸函数，存在极大值b. 当)(i x p 一定时，是信道传递概率)(i j x y p 的下凸函数，存在极小值c.当)(i j x y p 一定时，是先验概率)(i x p 的上凸函数，存在极小值d.当)(i j x y p 一定时，是先验概率)(i x p 的下凸函数，存在极小值 6．当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7.当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ） a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.04.0)(21x x X p X 通过一干扰信道，接收符号为Y={y 1,y 2}，信道传递矩阵为⎥⎦⎤⎢⎣⎡43416165 求：(1) 信源 X 中事件 x 1 和 x 2 分别含有的自信息量。
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。
解：该信源的香农线图为：1/3○ ○2/3 (x 1) 1 (x 2)在计算信源熵之前，先用转移概率求稳固状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p=)()(2132x p x p +)()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得431)(=x p 412)(=x p马尔可夫信源熵H = ∑∑-IJi j i jix x p x xp x p )(log )()( 得 H=0.689bit/符号2．设有一个无经历信源发出符号A 和B ，已知4341)(.)(==B p A p 。
求：①计算该信源熵；②设该信源改成发出二重符号序列消息的信源，采纳费诺编码方式，求其平均信息传输速度； ③又设该信源改成发三重序列消息的信源，采纳霍夫曼编码方式，求其平均信息传输速度。
解：①∑-=Xiix p x p X H )(log )()( =0.812 bit/符号②发出二重符号序列消息的信源,发出四种消息的概率别离为1614141)(=⨯=AA p 1634341)(=⨯=AB p1634143)(=⨯=BA p 1694343)(=⨯=BB p用费诺编码方式 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3无经历信源 624.1)(2)(2==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号BX H R )(22==0.963 bit/码元时刻③三重符号序列消息有8个,它们的概率别离为641)(=AAA p 643)(=AAB p 643)(=BAA p 643)(=ABA p 649)(=BBA p 649)(=BAB p 649)(=ABB p 6427)(=BBB p用霍夫曼编码方式 代码组 b iBBB 6427 0 0 1 BBA 649 0 )(6419 1 110 3BAB 649 1 )(6418 )(644 1 101 3ABB 649 0 0 100 3AAB 6431 )(6461 11111 5 BAA 643 0 1 11110 5ABA6431 )(6440 11101 5 AAA641 0 11100 5)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列3R =BX H )(3=0.987 bit/码元时刻3．已知符号集合{ 321,,x x x }为无穷离散消息集合，它们的显现概率别离为 211)(=x p ，412)(=x p 813)(=x p ···ii x p 21)(=···求： ① 用香农编码方式写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速度； ③ 计算信源编码效率。
《信息论与编码》部分课后习题参考答案
P ( y1 = 0 | M 1 ) P ( y1 = 0)
因为信道为无记忆信道，所以
P( y1 = 0 | M 1 ) = P( y1 = 0 | x11 x12 = 00) = P( y1 = 0 | x11 = 0) = P(0 | 0) = p
同理，得 I ( y1 = 0 | M i ) = P ( y1 = 0 | xi1 xi 2 ) = P ( y1 = 0 | xi1 ) 输出第一个符号是 y1=0 时， 有可能是四个消息中任意一个第一个数字传送来的。 所以
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求： （1）事件“2 和 6 同时出现”的自信息量； （2）事件“两个 3 同时出现”的自信息量； （3）事件“两个点数中至少有一个是 5”的自信息量； （4）两个点数之和的熵。 答： （1）事件“2 和 6 同时出现”的概率为：
《信息论与编码》
部分课后习题参考答案
1.1 怎样理解消息、信号和信息三者之间的区别与联系。 答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是 信号。 消息是信息的载体， 信息是指消息中包含的有意义的内容， 是消息中的未知成分。 1.2 信息论的研究范畴可以分成哪几种，它们之间是如何区分的？ 答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。 1.3 有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背 诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。 ” ，随着年龄的增长， 离家求学、远赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这 些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。 答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识 水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广 义信息论的范畴。
信息论与编码 课后习题答案
信息论与编码课后习题答案信息论与编码课后习题答案[信息论与编码]课后习题答案1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分为语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的就是为了高效率、可信、安全地互换和利用各种各样的信息。
6、信息的是建立信息论的基础。
8、就是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号线性信源通常用随机变量叙述，而多符号线性信源通常用随机矢量叙述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位通常存有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能将事件的自信息量就是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处置后，随着处理器数目的激增，输出消息与输入消息之间的平均值互信息量趋向变大。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。
limh(xn/x1x2xn1)h n18、线性稳定存有记忆信源的音速熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维已连续随即变量x在[a，b]。
1log22ep21、平均功率为p的高斯分布的已连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于减半平均功率的一维已连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一线性并无记忆信源的信源熵h（x）等同于2.5，对信源展开相切的并无杂讯二进制编码，则编码长度至少为。
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。
解：该信源的香农线图为： 1/3○○2/3(x 1) 1 (x 2)在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p=)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p=)(0)(2131x p x p + )()(21x p x p +=1 得431)(=x p 412)(=x p 马尔可夫信源熵H = ∑∑-IJi j i jix x p x xp x p )(log )()( 得 H=0.689bit/符号2．设有一个无记忆信源发出符号A 和B ，已知4341)(.)(==B p A p 。
求： ①计算该信源熵；②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。
解：①∑-=Xiix p x p X H )(log )()( =0.812 bit/符号②发出二重符号序列消息的信源,发出四种消息的概率分别为1614141)(=⨯=AA p 1634341)(=⨯=AB p 1634143)(=⨯=BA p 1694343)(=⨯=BB p 用费诺编码方法 代码组 b iBB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号BX H R )(22==0.963 bit/码元时间③三重符号序列消息有8个,它们的概率分别为641)(=AAA p 643)(=AAB p 643)(=BAA p 643)(=ABA p 649)(=BBA p 649)(=BAB p 649)(=ABB p 6427)(=BBB p用霍夫曼编码方法 代码组 b i BBB 6427 0 0 1 BBA 649 0 )(6419 1 110 3 BAB 649 1 )(6418)(644 1 101 3 ABB 649 0 0 100 3AAB 643 1 )(646 1 11111 5 BAA 643 0 1 11110 5ABA 643 1 )(6440 11101 5AAA 6410 11100 5)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列3R =BX H )(3=0.987 bit/码元时间 3．已知符号集合{ 321,,x x x }为无限离散消息集合，它们的出现概率分别为 211)(=x p ，412)(=x p 813)(=x p ···i i x p 21)(=···求： ① 用香农编码方法写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速率； ③ 计算信源编码效率。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码课后习题答案
信息论与编码课后习题答案信息论与编码课后习题答案第⼆章2.3 同时掷出两个正常的骰⼦，也就是各⾯呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的⾃信息； (2) “两个1同时出现”这事件的⾃信息；(3) 两个点数的各种组合（⽆序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的⼦集）的熵； (5) 两个点数中⾄少有⼀个是1的⾃信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==+=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-===(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=? 其他15个组合的概率是18161612=?symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=??? ??+-=-=∑参考上⾯的两个点数的排列，可以得出两个点数求和的概率分布如下：bit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=?+?+?+?+?+?-=-==?∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-===2.42.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r rr r=（1）如果有⼈告诉你X 和Y 的实验结果，你得到的平均信息量是多少？（2）如果有⼈告诉你Y 的实验结果，你得到的平均信息量是多少？（3）在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？解：联合概率(,)i j p x y 为 22221(,)(,)log (,)724112log 4log 24log 4247244i j i j ijH X Y p x y p x y ==?=2.3bit/符号X 概率分布 21()3log 3 1.583H Y =?=bit/符号(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- Y 概率分布是 =0.72bit/符号 Y y1 y2 y3 P8/248/248/242.15P(j/i)=2.16 ⿊⽩传真机的消息元只有⿊⾊和⽩⾊两种，即X={⿊，⽩}，⼀般⽓象图上，⿊⾊的Y X y1y 2 y 3 x 1 7/24 1/24 0 x 2 1/24 1/4 1/24 x 31/247/24X x 1 x 2 x 3 P8/248/248/24出现概率p(⿊)＝0.3，⽩⾊出现的概率p(⽩)＝0.7。
信息论与编码习题答案
信息论与编码习题答案信息论与编码是通信和数据传输领域的基础学科，它涉及到信息的量化、传输和编码。
以下是一些典型的信息论与编码习题及其答案。
# 习题1：信息熵的计算问题：给定一个随机变量X，其可能的取值为{A, B, C, D}，概率分别为P(A) = 0.3, P(B) = 0.25, P(C) = 0.25, P(D) = 0.2。
计算X的熵H(X)。
答案：H(X) = -∑(P(x) * log2(P(x)))= -(0.3 * log2(0.3) + 0.25 * log2(0.25) + 0.25 *log2(0.25) + 0.2 * log2(0.2))≈ 1.846# 习题2：信道容量的计算问题：考虑一个二进制信道，其中传输错误的概率为0.01。
求该信道的信道容量C。
答案：C = log2(2) * (1 - H(error))= 1 * (1 - (-0.01 * log2(0.01) - 0.99 * log2(0.99))) ≈ 0.98 nats# 习题3：编码效率的分析问题：一个编码器将4位二进制数字编码为8位二进制码字。
如果编码器使用了一种特定的编码方案，使得每个码字都具有相同的汉明距离，求这个编码方案的效率。
答案：编码效率 = 信息位数 / 总位数= 4 / 8= 0.5# 习题4：错误检测与纠正问题：给定一个(7,4)汉明码，它能够检测最多2个错误并纠正1个错误。
如果接收到的码字是1101100，请确定原始的4位信息位是什么。
答案：通过汉明码的生成矩阵和校验矩阵，我们可以计算出接收到的码字的校验位，并与接收到的码字的校验位进行比较，从而确定错误的位置并纠正。
通过计算，我们发现原始的4位信息位是0101。
# 习题5：数据压缩问题：如果一个文本文件包含10000个字符，每个字符使用8位编码，如何通过霍夫曼编码实现数据压缩？答案：首先，我们需要统计文本中每个字符的出现频率。
信息论和编码陈运主编答案解析(完整版)
⇒ H X( 2 )
≥ H X( 2 / X1 ) I X( 3;X X1 2 ) ≥ 0
⇒ H X( 3 ) ≥ H X( 3 / X X1 2 )
... I X( N;X X1 2...Xn−1) ≥ 0
⇒ H X( N ) ≥ H X( N / X X1 2...Xn−1)
WORD 完美格式
专业整理
不满足极值性的原因是
。
i
2.7 证明：H(X3/X1X2) ≤ H(X3/X1)，并说明当 X1, X2, X3 是马氏链时等式成立。证明：
H X(3 / X X12 ) − H X(3 / X1)
∑∑∑ ∑∑ = −
p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) +
⎢p e( 1 ) = p e( 2 ) = p e( 3 ) ⎢
⎢p e( 1 ) + p e( 2 ) + p e( 3 ) =1
⎢p e( 1 ) =1/3 ⎢ ⎢p e( 2 )
⎢
=1/3 ⎢p e( 3 ) =1/3
⎢p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e⋅( 1 ) + p p e⋅ ( 2 ) = (p + p)/3 =1/3 ⎢⎢ ⎢p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e⋅( 2 ) + p p e⋅ ( 3 ) = (p + p)/3 =1/3
解： (1)
这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符 号．．．．．．．．．．．……”
(完整word版)信息论与编码试卷及答案分解
-、(11'填空题(1) 1948年，美国数学家香农_________ 发表了题为"通信的数学理论”的长篇论文，从而创立了信息论。
(2) 必然事件的自信息是_0 ________ 。
(3) 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍 _________ 。
(4) 对于离散无记忆信源，当信源熵有最大值时，满足条件为「信源符号等概分布_(5) 若一离散无记忆信源的信源熵H(X)等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为」________ 。
(6) 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
(7) 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2 _________ 个码元错误，最多能纠正1__个码元错误。
(8) 设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R _小于_ C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9) 平均错误概率不仅与信道本身的统计特性有关，还与—译码规则_______________ 和_编码方法___有关三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的, 而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高 1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示"大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 ( 2 分)故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 ( 2分) I(A|B)=-Iog0.375=1.42bit ( 1 分)四、(5)证明：平均互信息量同信息熵之间满足l(X;Y)=H(X)+H(Y)-H(XY)证明：< p(x yj )l(X;Y) = Z 送pgy j )og ----------- -----X Y p(x )=-Z Z p(xy j )og pg )—」—E Z p(xy j Jog p(x y ji (2分)X Y X Y=H X -H XY同理I X;Y =HY -HYX (1分)则HYX 二H Y -I X;Y因为H(XY )=H(X )+H(Y|X ) (1 分)故H XY =HX H Y -I X;Y即I X;Y = H X H Y - H XY (1 分)五、（18' •黑白气象传真图的消息只有黑色和白色两种，求：X的数学模型。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。
求传输此图象所需要的信息率（bit/s ）。
解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。
证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。
问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，nm ≤≤0。
定义∑=-=mi im p q 11，证明：)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。
并说明等式何时成立？证：∑∑+==--=>-=<-=''-=''∴>-=''-=''>-=nm i iimi i i n pp p p p p p H x x x x f x ex x x f x x ex x x f x x x x f 1121log log ),...,,()0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。
即又为凸函数，如下：先证明时等式成立。
当且仅当时等式成立。
当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n mm m i i i m m m m m mi i i nm i iimi i i n n m m m m m nm i iimm nm i inm i inm i inm i i nm i ii p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p pp p p p p p H p p p m n q q q pp mn qq m n p m n p m n m n p f m n mn p f m n pp ===-+≤--=-+--≤--=∴===-+-≤---=----=---≤---=-++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑∑...)log(),,...,,(),...,,(log log ),,...,,()log(log log log log ),...,,(...)log(log log log log )()()()()(log 21212112111121211111112.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0<p<1)，试证明：整个串接信道的错误传输概率p n =0.5[1-(1-2p)n ]。
再证明：n →∞时，limI(X 0;X n )=0。
信道串接如下图所示：解：1log )( )()(log)()()(log)();(lim )10)(()(21)1( 21)10()0()00()0()0(:)10(1)1(,)0(:21])21(1[21lim lim 121])21(1[21])21(1[21])21(1[21])21(1[21])21(1[21])21(1[21 11])21(1[21])21(1[21])21(1[21])21(1[21][,])21(1[212222221221221111][:2:212102121002121000000000000111111122222222====∴=∴=====•=+==•===<<-=====--=∴<---=--=∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+-----+=⎥⎦⎤⎢⎣⎡--•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+-----+==--=-=∴⎥⎦⎤⎢⎣⎡-+-+--=⎥⎦⎤⎢⎣⎡--•⎥⎦⎤⎢⎣⎡--==∑∑∑∑∑∑==∞==∞∞∞==∞∞∞∞→∞∞∞∞∞∞∞∞∞→∞→+++++++i j j i i j j i j j i i j j i j j i n n n n n n n n k k k k k k k k k k k X X p X p X X p X X p X p X X p X X p X X I x x x p x x p X p X X p X p X X p X p X p X a a X p a X p X p P p p P p P p p p p p p p p p p p p P k n p p p p p p pp p p p p p p p p p p p pP n 或取、则输出信源其中设输入信源空间故则时公式成立假设时由当用数学归纳法证明2.18试求下列各信道矩阵代表的信道的信道容量： (1)⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0010100000010100][ 432114321a a a a P b b b b(2)⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=100100010010001001][b b b 6543212321a a a a a a P(3)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=3.01.02.04.000000000007.03.000000000004.03.02.01.0][b b b b b b b b b b 3213109876 54321a a a P解：bit/symble585.13log log :(3)bit/symble 585.13log log (2)symble /bit 24log log )1(======∴===∴r C s C r C 信道为扩张性无噪信道信道为归并性无噪信道系的无噪信道信道为一一对应确定关 2.19设二进制对称信道的信道矩阵为：⎥⎦⎤⎢⎣⎡=4/34/14/14/310][1 0 PX n(1) 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到的输入概率分布。
解：bit/symble8113.0)43log 433141log 413241log 413143log 4332( )(log )()()(log )()(bit/symble 9799.0)125log 125127log 127()(log )()(12543314132)1()()1(12741314332)0()()0(bit/symble9183.0)31log 3132log 32()(log )()()1(2121212121212121=⨯+⨯+⨯+⨯-=-=-==⨯+⨯-=-==⨯+⨯====⨯+⨯====⨯+⨯-=-=∑∑∑∑∑∑∑∑========i j i j i j i i j i j j i j j j i i i y i i i y i i i x y p x y p x p x y p y x p X Y H y p y p Y H x y p x p p x y p x p p x p x p X H.时达到信道容量21)1()0(即,信源输入为等概分布/1887.01log 25.0)25.0(2log )1log()(log 本信道为强对称信道7497.01686.09183.0);()()(1686.08113.09799.0)()();(C X p X p H r H r C Y X I X H Y X H X Y H Y H Y X I =====--=---=∴=-=-==-==∴symble bit (2)bit/symblebit/symble-εε2.21设某信道的信道矩阵为⎥⎦⎤⎢⎣⎡=3/13/16/16/16/16/13/13/1][ b b b b 214321a a P试求：(1)该信道的信道容量C ； (2)I(a 1;Y)； (3)I(a 2;Y)。
解:bymble/bit 0817.0);();()3()2(symble /bit 0817.0)61,61,31,31(4log ),,,(log 1214321====-=''''-=∴C Y a I Y a I H p p p p H s C 、道）本信道为对称离散信（2.27设某信道的信道矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=N p p p P0000][21其中P 1,P 2，…，PN是N 个离散信道的信道矩阵。
令C 1，C 2，…，C N 表示N 个离散信道的容量。
试证明，该信道的容量∑==Ni c iC 12log 比特/符号，且当每个信道i 的利用率p i ＝2Ci-C(i ＝1,2,…,N)时达其容量C 。
证明::)1(,]P [),](2log[)1(),2,1()/(log )/()/(),2,1(:11111可以改写为方程组特点由其中可得解出由方程组列行为设∑∑∑∑∑===========⨯Nm m N m m sj j sj i j i j sj j i j m m m l r k s C r i a b p a b p a b p N m k l P j βββ]2log[),,2,1(222:]2log[])2(log[]2log[22),,,2,1](2log[)2(),2,1( )/(log )/()/()/(log )/()/()/(log )/()/(1)()2log (1)(11111111111221221111111121∑∑∑∑∑∑∑∑∑∑∑∑∑∑=--∑=-====================∴====⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧====Nm C C C C k j C m Nm C Nm k j sj C k j k j m s j i j pn i j pn k j j pn ij pn s j i j p i j p k j j p i j p sj i j p i j p k j j p i j p m m mk j jpm mj pm m mjpmj mmjpmmjpmNC N m p C N m C r i a b p a b p a b p a b p a b p a b p a b p a b p a b p 时取得信道容量且在各信道利用率为即其中 βββββββββ第三章 多符号离散信源与信道3.1设X ＝X 1X 2…X N 是平稳离散有记忆信源，试证明：H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N -1)。