信息论与编码理论1B卷答案
信息论与编码理论习题答案
资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载信息论与编码理论习题答案地点：__________________时间：__________________说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2=23=6 bit因此，信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==得到的信息量 ===2.585 bit(2) 可能的唯一，为 {6，6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。
解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=，所以= 2-=1.8955 bit或=-=+-而= ，所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
信息论与编码试卷及答案(多篇)
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则6.解释无失真变长信源编码定理。
.答：只要，当N足够长时，一定存在一种无失真编码。
7.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码试卷及答案
一、概念简答题（每题5分，共40分）二、1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。
平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
6.由得，则7.解释无失真变长信源编码定理。
只要，当N足够长时，一定存在一种无失真编码。
8.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
9.10.8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
11.2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
《信息论》期末考试B卷答案
第1 页 共5 页北方民族大学试卷课程代码: 01100622 课程： 信息理论及编码 B 卷答案说明：此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源熵）与平均互信息的异同.答：平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。
答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………（3分） 当N 足够长，总可以实现无失真编码。
………………………………………(3分）3、简述唯一可译变长码的判断方法？答：将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时，码C 为唯一可译变长码。
构成集合F 的方法：…………………(2分)首先，观察码C 中最短的码字是否是其他码字的前缀.若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。
依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分） 接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。
…………………(2分)4、简述最大离散熵定理.第2 页 共5 页答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。
……（3分）对于有m 个符号的离散信源，其最大熵为log m 。
…………………………（3分)5、什么是汉明距离；两个二元序列1230210,0210210i j αβ==,求其汉明距离.答：长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。
信息论与编码试卷及答案
信息论与编码试卷及答案⼀、概念简答题（每题5分，共40分）1.什么是平均⾃信息量与平均互信息，⽐较⼀下这两个概念的异同？2.简述最⼤离散熵定理。
对于⼀个有m个符号的离散信源，其最⼤熵是多少？3.解释信息传输率、信道容量、最佳输⼊分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于⼀个⼀般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出⾹农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪⽐为30dB时求信道容量。
6.解释⽆失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？对⼆元信源，其失真矩阵，求a>0时率失真函数的和？⼆、综合题（每题10分，共60分）1.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上⿊⽩消息出现前后没有关联，求熵；2）假设⿊⽩消息出现前后有关联，其依赖关系为：，，，，求其熵；2.⼆元对称信道如图。
；1）若，，求和；2）求该信道的信道容量和最佳输⼊分布。
3.信源空间为，试分别构造⼆元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有⼀离散信道，其信道传递矩阵为，并设，试分别按最⼩错误概率准则与最⼤似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知⼀（8，5）线性分组码的⽣成矩阵为。
求：1）输⼊为全00011和10100时该码的码字；2）最⼩码距。
6.设某⼀信号的信息传输率为5.6kbit/s，在带宽为4kHz的⾼斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）⽆差错传输需要的最⼩输⼊功率是多少？（2）此时输⼊信号的最⼤连续熵是多少？写出对应的输⼊概率密度函数的形式。
⼀、概念简答题（每题5分，共40分）1.答：平均⾃信息为表⽰信源的平均不确定度，也表⽰平均每个信源消息所提供的信息量。
信息论与编码试题集与答案
信息论与编码试题集与答案1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。
4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。
7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。
⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。
（√ ）2. 线性码⼀定包含全零码。
（√ ）3. 算术编码是⼀种⽆失真的分组信源编码，其基本思想是将⼀定精度数值作为序列的编码，是以另外⼀种形式实现的最佳统计匹配编码。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码习题1及答案1
一、dr)填空题(1)1948年.美国数学家_____________________ 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论.(2)必然事件的自信息是_0 ___________ 。
(3)离散平稳无记忆信源X的N次扩展信源的嫡等于离散信源X的嫡的N倍°(4)对于离散无记忆信源，当信源爛有最大值时，满足条件为.信源符号等槪分術一(5)若一离散无记忆信源的信源爛H (X)等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 _____ ・(6)对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 __________________ 。
(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出2 个码元错误.最多能纠正—1_个码元错误.(8)设有一离散无记忆平稳信道，其信道容董为C,只要待传送的信息传输率R_小于_C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与— ___________ 和_编码方巷—有关二、(9 )判斷题(1)信息就是一种消息。
( )(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
( )(3)概率大的事件自信息量大。
( )(4)互信息量可正、可负亦可为零。
( )(5)信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
( )(6)对于固定的信源分布，平均互信息董是信道传递概率的下凸函数。
( )(7)非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
( )(8)信源变长编码的核心问题是寻找紧致码(或最佳码)，霍夫曼编码方法构造的是最佳码。
( )(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1o 6米以上的,而女孩中身爲1・6米以上的占总数的一半。
信息论与编码习题参考答案(全)
111
(1)在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2)在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；
(3)在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；
(4)从码字W4＝011中获取关于a4的信息量I(a4;011)。
其中N=2FT,б2X是信号的方差(均值为零),б2N是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct.
解:
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).
(2)求信源的极限熵H∞；
(3)求当p=0,p=1时的信息熵，并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
证明:
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)>0，则对每个j＝1，2，…，r都存在状态极限概率：
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间：bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
信息论与编码考试答案
B 卷答案一、设有一离散无记忆信源，其概率空间为⎥⎦⎤====⎢⎣⎡=⎥⎦⎤⎢⎣⎡8141418343213210x x x x P X （1）求每个符号的自信息量；（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 22 3 210}，求该消息序列的自信息量及平均每个符号携带的信息量。
解：（1）每个符号携带的自信息量：I(0)=－log3/8=1.42bit, I(1)=－log1/4=2bit I(2)=－log1/4=2bit, I(3)=－log1.8=3bit （2）消息序列的自信息量：I=14I(0)+13I(1)+12I(2)+6I(3)=87.8bit 平均每个符号携带的信息量为 I/n=87.8/45=1.95比特/符号 二、某信源有8个符号{1u ，···，8u }，概率分别为21，41，81，161，321，641，1281，1281，试编成000,001,010,011,100,101,110,111的码。
（1）求信源的符号熵H(U)； （2）求这种码的编码效率；（3）求出相应的香农码和费诺码； （4）求该码的编码效率。
解： （1）H(U)=i i ip p261log ∑=-=1.984（bit/符号）（2）编码效率LU H )(=η=66.15﹪平均码长∑==81i ii Lp L =1.984编码效率LX H )(=η=100﹪平均码长∑==81i ii Lp L =1.984编码效率LX H )(=η=100﹪ 三、有四个符号a ，b ，c ，d 对应概率分别为p(a)=21，p(b)=41，p(c)=81，p(d)=81，对序列S=abda 做算术编码。
解：设起始状态为空序列φ，则A(φ)=1，C(φ)=0，递推得 C(a,b,d,a)=0.010111 A(a,b,d,a)=0.0000001 因此编码的码字为010111 四、某线性二进制码的生成矩阵为G=⎢⎢⎢⎣⎡011100111100101011100⎥⎥⎥⎦⎤，求： （1）用系统码[I ︱P]的形式表示G ；（2）计算该码的校验矩阵H ；（3）列出该码的伴随式表； （4）计算该码的最小距离。
信息论与编码试题集与答案(新)
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
信息论与编码试卷及答案
信息论与编码试卷及答案一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X 的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9'）判断题（1）信息就是一种消息。
（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（√）（3）概率大的事件自信息量大。
（?）（4）互信息量可正、可负亦可为零。
（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（√ ）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（ ? ）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（√ ）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息论与编码试卷与答案
N
Ck
37、对于 N 个对立并联信道，其信道容量 CN = k 1
。
38、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。
39、多用户信道可以分成几种最基本的类型： 多址接入信道、广播信道 和相关信源信道。
40、广播信道是只有 一个输入端和多个输出端 的信道。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道 。
最大熵值为
。
3.答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息 传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的 U 型凸函数。
4.答：通信系统模型如下：
数据处理定理为：串联信道的输入输出 X、Y、Z 组成一个马尔可夫链，且有
42、高斯加性信道的信道容量
C=
1 2
log2 (1
PX PN
)
。
43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。
1/ 2 1/ 2 0
44、信道矩阵
0
0 1 代表的信道的信道容量 C= 1 。
1 0 1 0 45、信道矩阵 0 1 代表的信道的信道容量 C= 1 。
，
。说明经数据处理后，一般只会增加信息的损失。
5.答：香农公式为 信道容量，其值取决于信噪比和带宽。
由
得
，则
，它是高斯加性白噪声信道在单位时间内的
6.答：只要
，当 N 足够长时，一定存在一种无失真编码。
7.答：当 R＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.答：1）保真度准则为：平均失真度不大于允许的失真度。
信息论与编码理论1B卷答案
广州大学 2015-2016 学年第 1 学期考试B 卷答案课程 信息论与编码理论1 考试形式（闭卷，考试）一、 单项选择题（每题3分，总计15分） 1．当底为2时，自信息的单位为（ B ）。
A 奈特B 比特C 奈特/符号D 比特/符号 2．下列量当Y X ,交换位置时（ C ）没有对称性。
A );(Y X IB ),(Y X HC )|(Y X HD )|,(Z Y X I3 下列性质不是离散集的熵性质的是 （ C ）A 对称性B 非负性C 不确定性D 可加性4．下列数组中（ A ）不满足两个字母上的Kraft 不等式。
A (1，1，1)B (2,2)C (1,2,3)D （3，3，3）5．异字头码中平均码长最短的称为最佳码，下列编码方法不能得到最佳码的是（D ） A Shannon-Fano 编码 B Huffman 编码 C 算术编码 D LZ 编码二、填空题（每空2分，总计14分）1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有5个1，则其自信息为3log 52002-比特，整个序列的熵为)3log 432(1002-比特/符号. 2．若一个信道的输入熵为1.2)(=X H 比特/符号，输出熵为2)(=Y H 比特/符号，2.1);(=Y X I 比特/符号，则=),(Y X H 2.9比特/符号，散布度为0.8比特/符号。
3．平均互信息对信源概率分布是 上 凸函数，对信道的状态转移概率分布是 下 凸函数。
4．在二元LZ 编码中，若信源有K 个，某段信源序列共有M 个字典，则码长⎡⎤⎡⎤K M 22log log +。
三、计算题（71分）1）（15分）设随机变量Y X ,的联合概率分布如下：XY Z =。
分别求);(),|(),(),(Z X I Y X H Y H X H 。
解: X 的分布率为则1)(=X H 比特/符号. ..3分Y 的分布率为则3log 432)(2-=Y H 比特/符号. …………………………………………………..……..6分)0()0,0()0|0(======Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =31)0()0,1()0|1(======Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 32)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --=32log 210log 031log 411log 412222----=213log 432-比特/符号. ……………..10分)0()0,0()0|0(======Z P Z X p Z X p =1,)1()1,0()1|0(======Z P Z X p Z X p =0)0()0,1()0|1(======Z P Z X p Z X p =0,)1()1,1()1|1(======Z P Z X p Z X p =1则)1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2222=+=+=+==X p p p X p p p X p p p X p p p Z X I =0比特/符号. . …………………………………………………………………………..15分 2）（22分）若离散无记忆信源的概率分布为⎪⎪⎭⎫ ⎝⎛=4.03.02.01.0d c b a U① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon编码，Fano 编码，Shannon-Fano-Elias 编码。
信息论与编码习题参考答案(全)
(1,4)
(1,5)
(1,6)
P(X)
1/36
2/36
2/36
2/36
2/36
2/36
X
(2,2)
(2,3)
(2,4)
(2,5)
(2,6)
P(x)
1/36
2/36
2/36
2/36
2/36
X
(3,3)
(3,4)
(3,5)
(3,6)
P(x)
1/36
2/36
2/36
2/36
X
(4,4)
(4,5)
信息论与编码习题参考答案
第一章单符号离散信源
同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量；
(2)“两个5同时出现”这一事件的自信息量；
(3)两个点数的各种组合的熵；
(4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。
解：
(3)信源空间：
X
(1,1)
(1,2)
解:
设电话信号的信息率为×104比特/秒.在一个噪声功率谱为N0=5×10-6mW/Hz,限频F、限输入功率P的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P是多少W若
F→∞则P是多少W
解:
已知一个高斯信道,输入信噪功率比为3dB,频带为3kHz,求最大可能传送的信息率是多少若信噪比提高到15dB,求理论上传送同样的信息率所需的频带.
(1)求状态极限概率并找出符号的极限概率;
(2)计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj);
(3)信源的极限熵H∞.
解:
下图所示的二进制对称信道是无记忆信道,其中 ,试写出N=3次扩展无记忆信道的信道矩阵[P].
信息论与编码试卷及答案
一、概念简答题〔每题5分，共40分〕1.什么是平均自信息量与平均互信息，比拟一下这两个概念的异同？2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最正确输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
6.解释无失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准那么？对二元信源，其失真矩阵，求a>0时率失真函数的和？二、综合题〔每题10分，共60分〕1.黑白气象图的消息只有黑色和白色两种，求：1〕黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；2〕假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。
；1〕假设，，求和；2〕求该信道的信道容量和最正确输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准那么与最大似然译码准那么确定译码规那么，并计算相应的平均错误概率。
5.一〔8，5〕线性分组码的生成矩阵为。
求：1〕输入为全00011和10100时该码的码字；2〕最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：〔1〕无过失传输需要的最小输入功率是多少？〔2〕此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
一、概念简答题〔每题5分，共40分〕1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码理论(最全试题集+带答案+各种题型)
答：抗干扰能力强，中继时可再生，可消除噪声累计；差错可控制，可改善通信质量；便于加密和使用DSP处理技术；可综合传输各种信息，传送模拟系统时，只要在发送端增加莫属转换器，在接收端增加数模转换器即可。
7.简述信息的性质。
答：存在普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性；
A.形式、含义和安全性
B.形式、载体和安全性
C.形式、含义和效用
D.内容、载体和可靠性
20.（D）是香农信息论最基本最重要的概念
A.信源B.信息C.消息D.熵
三．简答（
1.通信系统模型如下：
2.信息和消息的概念有何区别？
答：消息有两个特点：一是能被通信双方所理解，二是能够互相传递。相对于消息而言，信息是指包含在消息中的对通信者有意义的那部分内容，所以消息是信息的载体，消息中可能包含信息。
31．简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。
32． 的后验概率与先念概率的比值的对数为 对 的互信息量。
33．在信息论中，互信息量等于自信息量减去条件自信息量。
34．当X和Y相互独立时，互信息为0。
35．信源各个离散消息的自信息量的数学期望为信源的平均信息量，也称信息熵。
第一章
一、填空（
1．1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2．按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
3．按照信息的地位，可以把信息分成客观信息和主观信息。
4．人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息论与编码理论1(B卷答案)
3 整个序列的熵为100（2 — log 2 3）比特/符号.44 •若一个信道的输入熵为 H （X ） 2.6比特/符号，输出熵为 H （Y ）I （X;Y ） 1.7比特/符号，则H （X, Y ） 3.2比特/符号，散布度为0.6比特/符号。
2011-2012信息论与编码理论1一、 单项选择题（每题 3分，总计15分） 1•当底为e 时， A 奈特 2.下列关系式中 B 卷答案A l(X ； Y)C H(X |Y) 3. A C 4. 熵的单位为（ B （B哈特 ）正确。
）。
C 奈特/符号 D 哈特/符号 l(X) H(X, Y) I(X;Y) H(Y |X) I(X; Y) H (X;Y) 下列（D ） Shannon 编码是最优码 Huffman 编码可以不需要知道信源的分布 下列数组中（ A ）不满足二个字母上的陈述是正确的。
B D Kraf t LZ 编码是异字头码典型序列的数目不一定比非典型的多 不等式。
A (1 , 1, 1)B (2,2,2,2)C (3 ,3,3)D (4, 4, 4)5.下列 (D ）是只对输出对称的。
1 21 1 10.2 0.4 0.43 3 A3 6 2B 0.40.2 0.42 C - 11 13 326 30.4 0.4 0.21 23 3二、填空 了题（每空 2分，总计20分）1.若二元离散忆中 p(0) 0.25, p(1) 0.75，则当给出 100比特的信源序列，其中 0.2 0.2 0.4 D0.4 0.40.20.50.25 0.250.25 0.25 0.5 ，则其信道容量为log 2 3 1.5比特/符号。
0.25 0.5 0.25特/符号；转移概率矩阵为有5个1,则其自信息为200 5log 2 3比特, 2.若某离散信道信道转移概率矩阵为0.5 0.25 0.25 0.25 0.5 0.25 0.250.25，则其信道容量为log 23 1.5比0.53.两个相同的BSC 做级联信道, 其信道转移矩阵分别为 则级联信道的信道转移矩阵为1 2p 2p2 2p 2p 22p 2p 21 2p 2p 2，无穷多个级联后的矩阵为0.5 0.5 0.5 0.5 °2.3比特/符号,5 .在二元LZ 编码中，若信源有 K 个，某段信源序列共有M 个字典，则码长分别求 H(X), H( Y), H(X |Y ),I (X;Z)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码理论1（B 卷答案）
单项选择题（每题 3分；总计15分）
3
有5个1；则其自信息为200 _5log 2 3比特;整个序列的熵为100（2 log 2 3）比特/符号.
4
0.5
0.25 0.25
0.25 0.5 0.25 ;则其信道容量为log 23—1.5比
■0.25 0.25
0.5 J
0.5
0.25 0.25
0.25 0.25 0.5 ;则其信道容量为log 2 3—1.5比特/符号。
J3.25 0.5
0.25一
1.当底为e 时；熵的单位为（
C )0 A 奈特 B 哈特
C 奈特/符号
D 哈特/符
2.下列关系式中（B ）正确。
A l(X ；Y)_l(X) B
H(X,Y)_I(X;Y)
C H(X |Y) _ H (Y | X)
D 1 (X;Y) _ H (X;Y)
3.下列（D ）陈述是正确的。
A Shannon 编码是最优码
C Huffman 编码可以不需要知道信源的分布
B LZ 编码是异字头码
D 典型序列的数目不一定比非典型的多
4. 5. F 列数组中（
A F 列
(1 ； 1； D A ）不满足二个字母上的
Kraft 1） B （2 ； 2； 2； 2） C （3； 3； 不等式。
（4 ； 3) D 4；
4） 1 6 1 6
1 ?
2 1 3」
0.2 0.4 0.4 二、填空题（每空
1.若二元离散无记忆中 0.4 0.4 0.2 0.4 总计20 分）
p(0) = 0.25 ； 0.4 0.2
1 3
2
3 1 <3 2 ?
3 1 3 2 3」
02 0.2 0.4、 ,0.4 0.4 0.2 p(1) =0.75 ;则当给出 100比特的信源序列；其中
2.若某离散信道信道转移概率矩阵为 特/符号；转移概率矩阵为
3.两个相同的BSC做级联信道；其信道转移矩阵分别为1p p 1一pl ；则级联信道的p
信道转移矩阵为1 -2p 2p2 IL
2p -2p2
2p -2p2
1 2p+2p2
无穷多个级联后的矩阵为
0.5 0.5
]o.5 0.5 一
4 .若一个信道的输入熵为H（X） =2.6比特/符号；输出熵为H（Y） =2.3比特/符号
I （X;Y ） =1.7比特/符号；则H （X,Y ） =3.2比特/符号;散布度为0.6比特/符号。
5 •在二元LZ 编码中；若信源有 K 个；某段信源序列共有 M 个字典；则码长
log 2 M 「log ? K |
6 .存在D 元唯一可译码；其平均码长必小于
H （U
^ - 1。
log D
三、判断题（每题 2分；总计10分） 1•概率小的事件自信息大
（V ）
2. 若一个码字集合中的码字长度满足 Kraft 不等式；则其必为逗点码。
（）
3. 若码字都被配置在树的叶子节点处；则这种码一定是异字头码。
（V ）
4. 平均互信息是下凸函数。
（ ）
5. 算数编码需要知道信源的分布。
（V ）
四、计算题（55分）
1） （15分）设随机变量 X ,Y 的联合概率分布如下:
Z =XY 。
分别求 H (X), H (Y), H(X |Y), I (X;Z)。
解：X 的分布率为
则
H （X ） =1比特/符号.
Y 的分布率为
3
则H(Y) =2log23比特/符号.
4
p(X =0| Y =0)二p(X =0,Y =0)
P(Y =0)
P(X = 0|Y =1)二
p(X =0,Y =1)_ 1
P(Y=1) 3
P(X =1 |Y =0) P(X =1,Y =0)
P(Y =0) =0 ；
p(X =1|Y =1)
p(X =1,Y =1)_ 2
P(Y = 1) = 3
H(X |Y) - -p(0,0)log 2 p(0|0) -p(0,1)log 2 p(0 |1) - p(1,0)log 2 p(1|0) - p(1,1) log 2 p(1 |1)
1 1 1 1
2 3
1
= log 21 log 2 0log 2 0 log 2
= log 2 3
比特/符号.
=0比特/符号.
2）（ 20分）若离散无记忆信源的概率分布为
（a b c d
U =
<0.1 0.2 0.3 0.4 丿
① 分别构造二元；三元 Huffman 编码（要求码长方差最小；但不需求出） ；Shannon
编码；Fano 编码；Shannon-Fano-Elias 编码。
②并求①中二元Huffman 编码的编码效率。
（只列出式子即可）
p(X =0|Z =0)=
p —0)=1
P(Z 二 0)
p(X =0 |Z =1)=
P (x =0,Z =1) P(Z =1)
=0
p(X =1|Z =0)=
p(X =1,Z =0) P(Z =0)
=0 ； p(X =1|Z
=1)= p —J P(Z =1)
l(X;Z)二 p(0,0)log 2
p(0|0).
p(X =0)
p(0,1) log 2
p(0|1) p(X =0)
p(1,0)log 2
p(1 | 0) p(X =1)
p(1,1)log 2
P (1|1) p(X =1)
编码：a -; 000, b _； 001, c _； 01, d 「. 1
要进行三元Huffman 编码；则需要添加一个空信源；成为 建立码树则有三元 Huffman 编码：a — 00, b — 01, c —； 1, d _. 2
⑥编码效率为
_H (U) _H(U) _H (
0.1,02
0.3,0
.4) R l log 2
1.9
广d
c
b
a e"
U =
04 0.3 0.2 0.10丿
解:对信源按概率从大到小排序;
(d c b U =
04 0.3 0.2
a
oj ；建立码树则有二元
Huffma n
广1 1、
3）（20分）若离散无记忆信道的信道转移矩阵为 2 2 ；用两种方法求该信道容量。
<4 4」
方法一：
11 0.5 0.5 00.5log0.5 0.5log0.5 -1
||0.25 0.75 i 一0.25log0.25 0.75log0.75 一-0.811281
弹]_「0.5 0.5 1打-1 1
3 —2 | -1 ■-1.3774381
低「^0.25 0.75- [-0.811281- ]-1 20.811281- -[-0.622562一
C =log(2 0 2 J =log(0.384763 0.649773)
=log 1.034536 二0.0345
(w(0),w(1)) =(2 0 =2 2) =(0.371918,0.628082)
_0.5 0.5]
(q(0),q(1)) =(w(0),w(1)) | =(0.3429795,
0.25 0.75-
方法二：令输入概率为(p,1—p)时达到了信道容量；则代入函数；另其导数为0；解得p = 0.3429795;则当
(p,1 -p) = (0.3429795, 0.6570205)时达到信道容量；为0.657020®
l(X;Y)中；得到关于p的0.0345.。