信息论与编码习题参考答案
信息论与编码 陈运主编 完整版答案
2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号， 均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。
+ p(e2 ) ) + p(e3
p(x1 / ) p(x2
e2 ) / e3
= p⋅ )= p
p(e1 ) ⋅ p(e2
+p )+
⋅ p
p(e2 ) ⋅ p(e3
=( )=
p + p) / 3 = 1/ 3 ( p + p) / 3 = 1/ 3
⎪ ⎪⎩
p(
x3
)
=
p(e3 ) p(x3
/ e3 ) +
p(xi1xi2 xi3 ) log
p ( xi 3 p(xi3 /
/ xi1) xi1xi2 )
∑ ∑ ∑ ≤
i1
i2
i3
p(xi1xi2 xi3 )⎜⎜⎝⎛
p( xi 3 p(xi3 /
/ xi1) xi1xi2 )
−1⎟⎟⎠⎞ log2
e
∑∑∑ ∑∑∑ = ⎜⎛ ⎝ i1
i2
i3
p(xi1xi2 ) p(xi3 / xi1) −
所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女
孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大
姜丹 信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bitP a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(3666样本空间：2221111616==-=∴====-=∴===⨯==(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率 bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码习题答案
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
《信息论与编码》部分课后习题参考答案
若知道是星期几，则从别人的答案中获得的信息量为 0。 2.3 每帧电视图像可以认为是 3*10^5 个像素构成，所有像素均独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像喊多少信息量？如果一个广 播员在约 10000 个汉字的字汇中选取 1000 个字来口述此电视图像，试问广播员描述此图像 所广播的信息量是多少（假设汉字字汇是等概率分布，并且彼此独立）？若要恰当地描述此 图像，广播员在口述中至少需用多少汉字？ 答：由于每一象素取 128 个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平 包含的信息量为 I(X) = – lb(1/128)=lb128=7 bit/像素 每帧图像中像素均是独立变化的， 因此每帧图像信源就是离散亮度电平信源的无记忆 N 次扩展。由此，每帧图像包含的信息量为 I(XN) = NI(X)= 3×105×7 =2.1×106 bit/帧 广播员在约 10000 个汉字中选取字汇来口述此电视图像， 各个汉字等概分布， 因此每个 汉字包含的信息量为 I(Y) = – lb(1/10000)=lb1000=13.29 bit/ 字 广播员述电视图像是从这个汉字字汇信源中独立地选取 1000 个字进行描述，因此广播 员描述此图像所广播的信息量是 I(YN) = NI(Y)= 1000×13.29 =1.329 ×104 bit/字 由于口述一个汉字所包含的信息量为 I(Y)，而一帧电视图像包含的信息量是 I(XN)，因此 广播员要恰当地描述此图像，需要的汉字数量为：
《信息论与编码》
部分课后习题参考答案
1.1 怎样理解消息、信号和信息三者之间的区别与联系。 答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是 信号。 消息是信息的载体， 信息是指消息中包含的有意义的内容， 是消息中的未知成分。 1.2 信息论的研究范畴可以分成哪几种，它们之间是如何区分的？ 答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。 1.3 有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背 诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。 ” ，随着年龄的增长， 离家求学、远赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这 些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。 答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识 水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广 义信息论的范畴。
信息论与编码习题答案
信息论与编码习题答案1.在无失真的信源中，信源输出由H(X) 来度量；在有失真的信源中，信源输出由R(D) 来度量。
2.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。
3.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)=+；当归一化信道容量C/W趋C W SNR近于零时，也即信道完全丧失了通信能力，此时E b/N0为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大。
5.已知n＝7的循环码42=+++，则信息位长g x x x x()1度k为 3 ，校验多项式《信息论与编码A》试卷第 2 页共 10 页《信息论与编码A 》试卷 第 3 页 共 10 页h(x)=31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
《信息论与编码》习题答案(高等教育出版社)仇佩亮编
――――――――――――――――――――――――――课外习题1．设某信道，其信道矩阵为若信道的输入符号a1,a2,a3先验等概，（1）若使平均错误译码概率最小,请选择译码函数。
（2）求出此错误译码概率Pemin。
解：(1)因为先验等概,所以选择最大似然译码准则F(b1)=a1 F(b2)=a3 F(b3)=a2(2) Pemin=2. 有二进制对称信道p=0.01 =0.99(1) 采用最大似然译码准则确定译码函数,(2) 求出最小平均错误译码概率。
(3) 对该信道进行扩展,采用简单重复编码，000,111, 采用最大似然译码准则确定译码规则。
(4) 求出扩展后的最小平均错误译码概率。
(5) 求出扩展后的信道传输率解：（1）P(j/i)= 译码函数为F(b1)=a1，F(b2)=a2(2) P emin=(0.01+0.01)/2=0.01(3)译码函数F(β1)= F(β2)= F(β3)= F(β4)=000=α 1F(β5)= F(β6)= F(β7)= F(β8)=000=α2（4）平均错误最小概率为（5）R==3．αi，βj是两个码符号{0,1}组成的符号序列，求αi，βj之间的汉明距离解：D(αi，βj)=4．W:{000,001,010,100,011,110,101,111}的最小汉明距离解：D min=15．设有一离散信道，其信道矩阵为(1) 当信源X的概率分布为p(a1)=2/3，p(a2)=p(a3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率P emin(2) 当信源是等概率是分布时，选择最大似然译码准则选择译码函数，并计算其平均错误译码概率P emin。
解：(1) 联合概率：后验概率根据最大后验概率准则F(b1)=a1，F(b2)=a1，F(b3)=a1最小错误译码概率为(2) 当信源是等概率分布时采用最大似然译码准则F(b1)=a1，F(b2)=a2，F(b3)=a36．设离散无记忆信道的输入符号集X:{0,1}，输出符号集Y:{0,1,2}，信道矩阵为P=若某信源输出两个等该消息x1，x2，现在用信道输入符号集对x1，x2进行编码，W1=00，W2=11代表x1，x2。
信息论与编码理论习题答案
第二章 信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信息速率.解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2。
3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。
问各得到多少信息量.解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝)(a p =366=61得到的信息量 =)(1loga p =6log =2。
585 bit (2） 可能的唯一，为 {6,6｝)(b p =361得到的信息量=)(1logb p =36log =5。
17 bit2.4 经过充分洗牌后的一副扑克(52张）,问：（a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:（a ） )(a p =!521信息量=)(1loga p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13。
208 bit2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3。
信息论与编码陈运主编答案完整版
p x( i3 / xi1) 1 0 时等式等等当 − = p x( i3 / x xi1 2i )
⇒ p x( i3 / xi1) = p x( i3 / x xi1 2i ) ⇒ p x x( i1 2i ) (p xi3 / xi1) = p x( i3 / x xi1 2i ) (p x xi1 2i ) ⇒ p x( i1) (p xi2 / xi1) (p xi3 / xi1) = p x x x( i1 2 3i i ) ⇒ p x( i2 / xi1) (p xi3 / xi1) = p x x( i2 3i / xi1) ∴等式等等的等等是 X1, X2, X3 是马氏链_
0.25
0.75
设随机变量 Y 代表女孩子身高
Y
y1（身高>160cm）
P(Y)
0.5
ห้องสมุดไป่ตู้
y2（身高<160cm） 0.5
已知：在女大学生中有 75%是身高 160 厘米以上的
即： p y( 1 / x1) = 0.75 bit
求：身高 160 厘米以上的某女孩是大学生的信息量
p x p y( 1) ( 1 / x1 ) log 0.25×0.75 =1.415 bit 即：I
∑∑∑ =
i1 i2
i3 p x x x( i1 i2 i3 )log p x( i3 / x xi1 i2 )
∑∑∑ ≤
i1 i2
⎛ p x( i3 / xi1) 1⎞⎟⎟log2 e i3 p x x x( i1 i2 i3 )⎜⎜⎝ p x( i3 / x xi1 i2 ) − ⎠
∑∑∑ ∑∑∑ = ⎜⎛
⇒ H X( 2 ) ≥ H X( 2
/ X1 ) I X( 3;X X1 2 ) ≥ 0
信息论与编码姜丹第三版答案
信息论与编码习题参考答案 第一章单符号离散信源信息论与编码作业是 74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的 连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “2和6同时出现”这一事件的自信息量； (2) “两个5同时出现”这一事件的自信息量； (3) 两个点数的各种组合的熵； ⑷两个点数之和的熵；(5) “两个点数中至少有一个是 1”的自信息量。
解：样本空间：N =c ；c ； =6 X6 =36n 12(1) R =—”1(a) =—log R =log18=4.17bitN 36 n 2 1(2) F 2 N =36 I (a) = -log F 2 =log36 =5.17bit (3) 信源空间:2 36 1.H(x)=15 log 6 log 36 = 4.32bit36 2 36(4)log 36+ — l og 36 — log 36 — log 迸36 2 36 3 36 4 log 塑 + — log 36 =3.71bit5 36 6 (5) F 3 =匹 二11. 1(a) - Tog F 3 -log 36 =1.17bit N 36 111.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它2H(r.卫36们的坐标分别为(Xa，Ya) , (Xb，Yb),但A，B不能同时落入同一方格内。
(1)若仅有质点A，求A落入任一方格的平均信息量；(2)若已知A已落入，求B落入的平均信息量；(3)若A，B是可辨认的，求A，B落入的平均信息量。
解：1(1) 幕A落入任一格的概率:P(a i) I (aj =-log P(aJ = log 484848.H(a) - P(a j)log P(aJ = log 48 =5.58biti 41(2) ；在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ = —47.I(b) - -logP(b i) =log4748.H(b) = -' P(b i)log P(b i) =log47 =5.55biti -11 1(3) AB同时落入某两格的概率是P(ABJ二一一48 47.I(ABJ =-log P(AB i)48 47H(AB」-八P(ABJIog P(ABJ =log(48 47)=11.14biti 二1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码-曹雪虹-课后习题参考答案
《信息论与编码》-曹雪虹-课后习题答案第二章错误!未定义书签。
2.1一个马尔可夫信源有3个符号{}1,23,uu u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
W 2、W 31231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWP WW==⎧⎪⎨=⎪⎩∑得13113224324412340.80.50.20.50.50.20.50.81W W WW W WW W WW W WW W W W+=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩计算得到12345141717514WWWW⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.31/6，求：(1)“3和5(2)“两个1(3)1的自信息量。
11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ (4)x p x p X H X P X i i i 1212181log 1812361log 3612 )(log )()(1211091936586173656915121418133612)( ⎝⎛⨯+⨯+⨯-=-=⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑2.575%是身高160厘米以上的占总数的厘米以上的某女孩是大学生”的设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生）P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y1（身高>160cm）y2（身高<160cm）P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11=求：身高160即：ypxypxpyxpyxI5.075.025.0log)()/()(log)/(log)/(11111111⨯-=-=-=2.6掷两颗骰子，1()(1,2)(2,1)18p x p p=+=log()log18 4.170p x bit=-==7的概率log()log6 2.585p x bit=-==341231/41/8x x===⎫⎪⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit === 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.81 1.9545=bit/符号 2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n XH / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
《信息论与编码》课后习题答案
《信息论与编码》课后习题答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论与编码理论习题答案
足下式
（a）在=0、０５,=0、1 下求 (b）在＝，＝下求 （c)令就是序列得集合，其中
试求Ｌ=时情况（a)(b）下,T 中元素个数得上下限. 解：＝==０、８１ bit
= ＝=—
= =0、471 则根据契比雪夫大数定理
0、2
00１
10０
a４
0、１
０00１
10００
(a) 各码就是否满足异字头条件？就是否为唯一可译码？
(b) 当收到 1 时得到多少关于字母 a 得信息？
(c) 当收到 1 时得到多少关于信源得平均信息?
２、14 对于任意概率事件集 X，Y,Z，证明下述关系式成立 (ａ）＋,给出等号成立得条件 (ｂ）=+ （c）
证明：(b) =-
=＝—-
=+ (c) ＝-
=［—］ [-］
＝—
= 当=，即Ｘ给定条件下，Y 与 Z 相互独立时等号成立 (ａ） 上式(ｃ)左右两边加上，可得 ＋＋ 于就是+ ２、2８ 令概率空间，令 Y 就是连续随机变量。已知条件概率密度为 ，求： (a)Y 得概率密度 (ｂ) （ｃ) 若对 Y 做如下硬判决
求，并对结果进行解释. 解：（a) 由已知,可得
= ＝
＝＋
= （ｂ) ==2、５ bｉt
=
= =2 bｉt =-＝0、5 ｂit （c) 由可得到Ｖ得分布律
Ｖ
—１
p
1/4
再由可知
V
－1
p(V|x=－１）
１/2
p(V｜x=1）
0
bｉt
=1 bit ＝= 0、5 bit
０ 1/2
0 1/2 1/2
信息论与编码理论习题答案
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。
解：该信源的香农线图为： 1/3○○2/3(x 1) 1 (x 2)在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p=)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p=)(0)(2131x p x p + )()(21x p x p +=1 得431)(=x p 412)(=x p 马尔可夫信源熵H = ∑∑-IJi j i jix x p x xp x p )(log )()( 得 H=0.689bit/符号2．设有一个无记忆信源发出符号A 和B ，已知4341)(.)(==B p A p 。
求： ①计算该信源熵；②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。
解：①∑-=Xiix p x p X H )(log )()( =0.812 bit/符号②发出二重符号序列消息的信源,发出四种消息的概率分别为1614141)(=⨯=AA p 1634341)(=⨯=AB p 1634143)(=⨯=BA p 1694343)(=⨯=BB p 用费诺编码方法 代码组 b iBB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号BX H R )(22==0.963 bit/码元时间③三重符号序列消息有8个,它们的概率分别为641)(=AAA p 643)(=AAB p 643)(=BAA p 643)(=ABA p 649)(=BBA p 649)(=BAB p 649)(=ABB p 6427)(=BBB p用霍夫曼编码方法 代码组 b i BBB 6427 0 0 1 BBA 649 0 )(6419 1 110 3 BAB 649 1 )(6418)(644 1 101 3 ABB 649 0 0 100 3AAB 643 1 )(646 1 11111 5 BAA 643 0 1 11110 5ABA 643 1 )(6440 11101 5AAA 6410 11100 5)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列3R =BX H )(3=0.987 bit/码元时间 3．已知符号集合{ 321,,x x x }为无限离散消息集合，它们的出现概率分别为 211)(=x p ，412)(=x p 813)(=x p ···i i x p 21)(=···求： ① 用香农编码方法写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速率； ③ 计算信源编码效率。
《信息论与编码》课后习题答案
《信息论与编码》课后习题答案第二章Equation Chapter 1 Section 12.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p ==(0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p ==(1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p ==(1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H),...,,(21n p p p n m ≤≤0∑=-=mi i m p q 11)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤∑∑+==--=>-=<-=''-=''∴>-=''-=''>-=nm i iimi i i n pp p p p p p H x x x x f x ex x x f x x ex x x f x x x x f 1121log log ),...,,()0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。
即又为凸函数，如下：先证明时等式成立。
当且仅当时等式成立。
当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n mm m i i i m m m m m mi i i nm i iimi i i n n m m m m m nm i iimm nm i inm i inm i inm i i nm i ii p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p pp p p p p p H p p p m n q q q pp mn qq m n p m n p m n m n p f m n mn p f m n pp ===-+≤--=-+--≤--=∴===-+-≤---=----=---≤---=-++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑∑...)log(),,...,,(),...,,(log log ),,...,,()log(log log log log ),...,,(...)log(log log log log )()()()()(log 2121211211112121111111X n1log )( )()(log)()()(log)();(lim )10)(()(21)1( 21)10()0()00()0()0(:)10(1)1(,)0(:21])21(1[21lim lim 121])21(1[21])21(1[21])21(1[21])21(1[21])21(1[21])21(1[21 11])21(1[21])21(1[21])21(1[21])21(1[21][,])21(1[212222221221221111][:2:212102121002121000000000000111111122222222====∴=∴=====•=+==•===<<-=====--=∴<---=--=∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+-----+=⎥⎦⎤⎢⎣⎡--•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+-----+==--=-=∴⎥⎦⎤⎢⎣⎡-+-+--=⎥⎦⎤⎢⎣⎡--•⎥⎦⎤⎢⎣⎡--==∑∑∑∑∑∑==∞==∞∞∞==∞∞∞∞→∞∞∞∞∞∞∞∞∞→∞→+++++++i j j i i j j i j j i i j j i j j i n n n n n n n n k k k k k k k k k k k X X p X p X X p X X p X p X X p X X p X X I x x x p x x p X p X X p X p X X p X p X p X a a X p a X p X p P p p P p P p p p p p p p p p p p p P k n p p p p p p pp p p p p p p p p p p p pP n 或取、则输出信源其中设输入信源空间故则时公式成立假设时由当用数学归纳法证明(1)⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0010100000010100][ 432114321a a a a P b b b b(2)⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=100100010010001001][b b b 6543212321a a a a a a P(3)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=3.01.02.04.000000000007.03.000000000004.03.02.01.0][b b b b b b b b b b 3213109876 54321a a a Pbit/symble585.13log log :(3)bit/symble 585.13log log (2)symble /bit 24log log )1(======∴===∴r C s C r C 信道为扩张性无噪信道信道为归并性无噪信道系的无噪信道信道为一一对应确定关⎥⎦⎤⎢⎣⎡=4/34/14/14/310][1 0 P(1) (2)bit/symble8113.0)43log 433141log 413241log 413143log 4332( )(log )()()(log )()(bit/symble 9799.0)125log 125127log 127()(log )()(12543314132)1()()1(12741314332)0()()0(bit/symble9183.0)31log 3132log 32()(log )()()1(2121212121212121=⨯+⨯+⨯+⨯-=-=-==⨯+⨯-=-==⨯+⨯====⨯+⨯====⨯+⨯-=-=∑∑∑∑∑∑∑∑========i j i j i j i i j i j j i j j j i i i y i i i y i i i x y p x y p x p x y p y x p X Y H y p y p Y H x y p x p p x y p x p p x p x p X H.时达到信道容量21)1()0(即,信源输入为等概分布/1887.01log 25.0)25.0(2log )1log()(log 本信道为强对称信道7497.01686.09183.0);()()(1686.08113.09799.0)()();(C X p X p H r H r C Y X I X H Y X H X Y H Y H Y X I =====--=---=∴=-=-==-==∴symble bit (2)bit/symblebit/symble-εε⎥⎦⎤⎢⎣⎡=3/13/16/16/16/16/13/13/1][ b b b b 214321a a Pbymble/bit 0817.0);();()3()2(symble /bit 0817.0)61,61,31,31(4log ),,,(log 1214321====-=''''-=∴C Y a I Y a I H p p p p H s C 、道）本信道为对称离散信（⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=N p p p P0000][21∑==Ni c iC 12log:)1(,]P [),](2log[)1(),2,1()/(log )/()/(),2,1(:11111可以改写为方程组特点由其中可得解出由方程组列行为设∑∑∑∑∑===========⨯Nm m N m m sj j sj i j i j sj j i j m m m l r k s C r i a b p a b p a b p N m k l P jβββ]2log[),,2,1(222:]2log[])2(log[]2log[22),,,2,1](2log[)2(),2,1( )/(log )/()/()/(log )/()/()/(log )/()/(1)()2log (1)(11111111111221221111111121∑∑∑∑∑∑∑∑∑∑∑∑∑∑=--∑=-====================∴====⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧====Nm C C C C k j C m Nm C Nm k j sj C k j k j m s j i j pni j pn k j j pn i j pn s j i j p i j p k j j p i j p sj i j p i j p k j j p i j p m m mk j jpm mj pm m mjpmj mmjpmmjpmNC N m p C N m C r i a b p a b p a b p a b p a b p a b p a b p a b p a b p 时取得信道容量且在各信道利用率为即其中 βββββββββp p -=1(1) (2) (3))bit/symbl2log log ()2log 2312log 231log 31(3 )/(log )/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(2/2/2/2/2/2/)()()()3,2,1)(()3,2,1,(0)1(012/2/2/2/2/2/210][21 0 )1(3132132132132100pp p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p p p p S p S p S p i S p j i n p n p p p p p p p p p P i j i ji j i i T i ij +-=⨯+⨯+⨯-=-=∴⎪⎪⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴=>==∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∑∑=∞＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于移概率为：由题意，此信源一步转symble /bit 585.13log 323122122)2log 22log 2log ()2loglog ((3)max ======∴=++++-=+-=∞∞∞H H p p p p p p p pp p p p p p p p p H 取得最大，且时即由熵的极限定理，当bit/symbl0)1(,1 bit/symbl 0)0(,0(3)bit/symbl )()log log ( )log 31log 31log 31log 31log 31log 31( )/(log )/()()2(31)(31)(31)()3,2,1(0)(1)()()()()()(000)()()()3,2,1)((,000210][21 0 )1(31321321321321=======+-=⨯++⨯++⨯+-=-=∴⎪⎪⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴∴⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∞∞=∞∑∑H H p H H p p H p p p p p p p p p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p S p S p S p i S p p p p p p p P i j i j i j i i T i 时时＝由存在极限概率期性、各态经历性信源此信源为不可约、非周由状态转移图可知移概率为：由题意，此信源一步转⎩⎨⎧•0.8 0.2 :)S (P s s:S :]P [21S (1)n (2)n(3)⎪⎩⎪⎨⎧=•===≥∴=⨯+⨯-=-=∑=0.64 0.16 0.160.04 )(][2(2)7219.02log 7219.0log )(:/bit 7219.0)8.0log 8.02.0log 2.0()(log )()()1(2222112112221S P S S S S S P S N r S H n symbles p s p S H i i i 时由平均码长界限定理pp信源符号码符号信源符号码符号/ 84.0268.12)2(/2 68.1308.0316.0216.0164.0)2(41====⨯+⨯+⨯+⨯==∴∑=n n n p n i i i⎪⎩⎪⎨⎧=•=0.5120.128 0.128 0.032 0.128 0.032 0.032 0.008 )( ][3322222121221112212111211123S P S S S S S S S S S P S N 时信源符号码符号信源符号码符号/ 728.03184.23)3(/3 184.2 5008.05032.05032.05032.03128.03128.03128.01512.0 )3(81====⨯+⨯++⨯+⨯+⨯+⨯+⨯+⨯==∴∑=n n n p n i ii⎪⎪⎪⎩⎪⎪⎪⎨⎧=•=0.4096 0.1024 0.1024 0.0256 0.1024 0.0256 0.02560.0064 )( 0.1024 0.0512 0.0512 0.0064 0.0512 0.0064 0.00640.0016 )( ][4322222221221222112122212121122111231222122112121211112211211112111123S P S S S S S S S S S S P S S S S S S S S S P S N 时信源符号码符号信源符号码符号/ 7408.049632.24)4(/4 9632.2 80016.080064.0)777(0064.0 )666666(0256.0)4433(1024.014096.0 )4(1====⨯+⨯+++⨯++++++⨯++++⨯+⨯==∴∑=n n n p n i iisymble/bit 9745.07408.07219.0)(,4symble/bit 9916.0728.07219.0)(,3symble/bit 8594.084.07219.0)(,2symble/bit 1)(,7129.0 symble /bit 7219.0)(1Huffman ,1=================∴==n S H R N nS H R N nS H R N nS H R n nS H R n N 时时时时限若编码平均码长达到下编码则进行时⎩⎨⎧• 0.05 0.05 0.05 0.05 0.2 0.3 0.10.2 :)S (P s s s s s s s s:S :]P [87654321Sn信源符号码符号/ 8.1 405.0405.0305.0305.021.022.012.013.0 81=⨯+⨯++⨯+⨯+⨯+⨯+⨯+⨯==∴∑=i ii n p n⎩⎨⎧⋯⋯•r 21r 21:)U (P:U :]P U [p p p a a a ),2,1(1lim N r i r p i ， ==∞→),,2,1(1lim :,log )(,,,log ,bit/symblelog log )H(lim )H(lim lim )H()H(,log lim log lim log )1log )((lim lim log )(lim, 1log )(log )(N , 1log )(log )(1log )(log )(:,.,Huffam N max r i rp r U H N U r R U N r r H H nS n S R R nS n S R H r H n rH n r H Nr S H n r S H S n Nr S H n r S H N r N S H N n r N S H r S H n r S H S S i N N N N N N N N rN N N N N N N N N N N N ==∴=∞→=∞→∴=====∴====∴<≤+<≤∴+<≤∴+⨯<≤⨯+<≤∞→∞∞∞∞→∞→∞→∞∞∞∞→∞∞→∞∞→∞→∞→此时各符号等概出现知由信源熵的最大值定理最大时提供的信息量达到了在对于码符号集可见平均信息量每一符号所包含信源的编码速率即码符号集时在编码速率有定理同时由无失真信源编码不等式仍成立对上式各项求极限码长每个符号所需要的平均为信源其中要的平均码长次扩张信源每个符号需为其中则有由平均码长的界限定理延长有效码得到的编码是无失真非编码进行次扩展信源的对信源⎪⎩⎪⎨⎧•641641 321 161 81 41 21 :)S (P s s s s s s s:S :]P [7654321S n信源符号码符号/ 96875.1 6641664153214161381241121 71=⨯+⨯+⨯+⨯+⨯+⨯+⨯==∴∑=i ii n p n223443343222233222234334P P P P P P 41P P 41P P 41P 81P P 41P P 21P P 21P P 21P P 41P P 21P P 21P P 21P 81P P 21P P 21P 21231 )(1 )()(1*161min ---=+++++++++++++++-=-==∴∑=j j j e e b a P b P P P⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡210212121000021210000212100002121(1) (2) (3)symblebit C i a b p a b p a b p s r j j i j i j j j i j j/322.125log 2log 1111122222)5,4,3,2,1()/(log )/()/(]P [5)1(515432151544332215151===⇒⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=-=-=⇒⎪⎪⎪⎩⎪⎪⎪⎨⎧-=+-=+-=+-=+-=+==∴==∑∑∑===βββββββββββββββββ得由为非奇异矩阵，且)3()2([]⎥⎦⎤⎢⎣⎡=3222222332222223P P P P P P P P P P P P P PP P P P P P P P P P P P P P 111000P3232P P P P P P +=+===∑∑=≠3)26(21)()(81*min j i i j i e e w b P w P P P。