信息论与编码理论1(B卷答案)
信息论与编码理论习题答案
资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载信息论与编码理论习题答案地点：__________________时间：__________________说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2=23=6 bit因此，信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==得到的信息量 ===2.585 bit(2) 可能的唯一，为 {6，6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。
解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=，所以= 2-=1.8955 bit或=-=+-而= ，所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
信息论与编码试卷及答案(多篇)
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则6.解释无失真变长信源编码定理。
.答：只要，当N足够长时，一定存在一种无失真编码。
7.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
信息理论与编码答案 人民邮电出版社
第一章 自我测试题一、填空题1. 在认识论层次上研究信息的时候，必须同时考虑到形式、__语义___和__语用___三个方面的因素。
2. 如果从随机不确定性的角度来定义信息，信息是用以消除__随机不确定性___的东西。
3. 信源编码的结果是__减小_冗余；而信道编码的手段是__增加___冗余。
4. _1948_年，香农发表了著名的论文__通信的数学理论__，标志着信息论诞生。
5. 信息商品是一种特殊商品，它有__保存性_性、_共享_性、_老化可能_性和 知识创造性 等特征。
二、判断题1. 信息传输系统模型表明，噪声仅仅来源于信道（×）2. 本体论层次信息表明，信息不依赖于人而存在（√）3. 信道编码与译码是一对可逆变换（×）4. 1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（×）5. 基因组序列信息的提取和分析是生物信息学的研究内容之一（√）三、选择题1.下列表述中，属于从随机不确定性的角度来定义信息的是__D___ A ． 信息是数据B ． 信息是集合之间的变异度C ． 信息是控制的指令D ． 信息是收信者事先不知道的报道 2.___B__是最高层次的信息 A ． 认识论 B ． 本体论 C ． 价值论 D ． 唯物论 3.下列不属于狭义信息论的是__D___ A ． 信息的测度 B ． 信源编码 C ． 信道容量 D ． 计算机翻译 4.下列不属于信息论的研究内容的是__A___ A ． 信息的产生 B ． 信道传输能力 C ． 文字的统计特性 D ． 抗干扰编码 5.下列关于信息论发展历史描述不正确的是__B___A ． 偶然性、熵函数引进物理学为信息论的产生提供了理论前提。
B ． 1952年，香农发展了信道容量的迭代算法C ． 哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。
D ． 1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
《信息论》期末考试B卷答案
第1 页 共5 页北方民族大学试卷课程代码: 01100622 课程： 信息理论及编码 B 卷答案说明：此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源熵）与平均互信息的异同.答：平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。
答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………（3分） 当N 足够长，总可以实现无失真编码。
………………………………………(3分）3、简述唯一可译变长码的判断方法？答：将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时，码C 为唯一可译变长码。
构成集合F 的方法：…………………(2分)首先，观察码C 中最短的码字是否是其他码字的前缀.若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。
依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分） 接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。
…………………(2分)4、简述最大离散熵定理.第2 页 共5 页答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。
……（3分）对于有m 个符号的离散信源，其最大熵为log m 。
…………………………（3分)5、什么是汉明距离；两个二元序列1230210,0210210i j αβ==,求其汉明距离.答：长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。
信息论与编码试题集与答案
信息论与编码试题集与答案1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。
4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。
7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。
⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。
（√ ）2. 线性码⼀定包含全零码。
（√ ）3. 算术编码是⼀种⽆失真的分组信源编码，其基本思想是将⼀定精度数值作为序列的编码，是以另外⼀种形式实现的最佳统计匹配编码。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码习题1及答案1
一、dr)填空题(1)1948年.美国数学家_____________________ 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论.(2)必然事件的自信息是_0 ___________ 。
(3)离散平稳无记忆信源X的N次扩展信源的嫡等于离散信源X的嫡的N倍°(4)对于离散无记忆信源，当信源爛有最大值时，满足条件为.信源符号等槪分術一(5)若一离散无记忆信源的信源爛H (X)等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 _____ ・(6)对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 __________________ 。
(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出2 个码元错误.最多能纠正—1_个码元错误.(8)设有一离散无记忆平稳信道，其信道容董为C,只要待传送的信息传输率R_小于_C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与— ___________ 和_编码方巷—有关二、(9 )判斷题(1)信息就是一种消息。
( )(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
( )(3)概率大的事件自信息量大。
( )(4)互信息量可正、可负亦可为零。
( )(5)信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
( )(6)对于固定的信源分布，平均互信息董是信道传递概率的下凸函数。
( )(7)非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
( )(8)信源变长编码的核心问题是寻找紧致码(或最佳码)，霍夫曼编码方法构造的是最佳码。
( )(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1o 6米以上的,而女孩中身爲1・6米以上的占总数的一半。
【西安电子科技大学】信息论与编码理论试题-l答案（供参考勿外传）
西安电子科技大学考试时间120分钟试题1.考试形式：闭卷；2.本试卷共七大题，满分100分。
班级 学号 姓名 任课教师一（30分）基本概念题（1）请判断正误：平均互信息I （X ；Y ）不大于条件平均互信息I （X ；Y|Z ）。
（2）请给出Kraft 不等式，并说明它是否为判断唯一可译码的充要条件。
（3）请说明最大似然译码准则是否为最佳译码准则。
（4）请给出信息率失真函数R(D)的定义并解释其物理含义。
（5）请说明为什么对于平均功率受限的时间离散恒参可加噪声信道，高斯干扰是最坏的干扰及该结论在实际通信中的作用。
（6）设有一硬币，其正面出现的概率为1/3，令0表示正面，试说明在ε→0情况下一个典型序列应具备的特点，并给出这一序列出现的概率。
（7）若失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡130102，输入集合X 的概率为（1/3、1/3、1/3），请分别给出D min和D max 。
解：（1）该结论错误。
（2）craft 不等式：长度为n 1,n 2,…,n K 的D 元异字头码存在的充分必要条件是∑=-≤Kk knD11。
该不等式可以用来判断是否存在对应长度的唯一可译码，但是不能作为判断唯一可译码的充要条件。
（3）当先验等概时，最大似然准则等价于最佳译码准则；当先验不等概时，不符合最佳译码准则。
（4）信息率失真函数R (D )定义为在满足D 保真度准则下所有许可试验信道所对应的平均互信息的最小值。
其物理含义为：当给定失真度D 时，R(D)是满足保真度第2页共6页准则情况下传输信源信息速率的最低值，即信源压缩的下限。
（5）对平均功率受限的时间离散的恒参可加噪声信道容量C 满足：⎥⎦⎤⎢⎣⎡+≤≤⎪⎪⎭⎫ ⎝⎛+222log 211log 21σσσS C S 其中-2σ是噪声集Z 的熵功率。
由于在平均功率受限条件下，同样噪声功率时，高斯分布可以达到最大的熵功率，从而在高斯噪声时，上述C 取得最小值。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间：bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
信息论与编码理论1(B卷答案)
信息论与编码理论1(B 卷答案) 一、单项选择题（每题3分,总计15分）1．当底为e 时,熵的单位为（ C ）。
A 奈特B 哈特C 奈特/符号D 哈特/符号 2．下列关系式中( B )正确。
A )();(X I Y X I ≥B );(),(Y X I Y X H ≥C )|()|(X Y H Y X H ≥D );();(Y X H Y X I ≤3．下列（ D ）陈述是正确的。
A Shannon 编码是最优码B LZ 编码是异字头码C Huffman 编码可以不需要知道信源的分布D 典型序列的数目不一定比非典型的多 4．下列数组中（ A ）不满足二个字母上的Kraft 不等式。
A (1,1,1)B (2,2,2,2)C (3,3,3)D （4,4,4） 5．下列（ D ）是只对输出对称的。
A ⎪⎪⎪⎪⎭⎫ ⎝⎛316121216131 B ⎪⎪⎪⎭⎫ ⎝⎛2.04.04.04.02.04.04.04.02.0 C ⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛323131323231 D ⎪⎪⎭⎫ ⎝⎛2.04.04.04.02.02.0 二、填空题（每空2分,总计20分）1．若二元离散无记忆中25.0)0(=p ,75.0)1(=p ,则当给出100比特的信源序列,其中有5个1,则其自信息为3log 52002-比特,整个序列的熵为)3log 432(1002-比特/符号. 2．若某离散信道信道转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡5.025.025.025.05.025.025.025.05.0,则其信道容量为5.13log 2-比特/符号；转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡25.05.025.05.025.025.025.025.05.0,则其信道容量为5.13log 2-比特/符号。
3. 两个相同的BSC 做级联信道,其信道转移矩阵分别为⎥⎦⎤⎢⎣⎡--p pp p 11 , 则级联信道的信道转移矩阵为⎥⎦⎤⎢⎣⎡+---+-22222212222221p p pp p p p p ,无穷多个级联后的矩阵为⎥⎦⎤⎢⎣⎡5.05.05.05.0。
信息论与编码试卷及答案
信息论与编码试卷及答案一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X 的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9'）判断题（1）信息就是一种消息。
（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（√）（3）概率大的事件自信息量大。
（?）（4）互信息量可正、可负亦可为零。
（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（√ ）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（ ? ）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（√ ）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间：bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量；（3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码理论1B卷答案
广州大学 2015-2016 学年第 1 学期考试B 卷答案课程 信息论与编码理论1 考试形式（闭卷，考试）一、 单项选择题（每题3分，总计15分） 1．当底为2时，自信息的单位为（ B ）。
A 奈特B 比特C 奈特/符号D 比特/符号 2．下列量当Y X ,交换位置时（ C ）没有对称性。
A );(Y X IB ),(Y X HC )|(Y X HD )|,(Z Y X I3 下列性质不是离散集的熵性质的是 （ C ）A 对称性B 非负性C 不确定性D 可加性4．下列数组中（ A ）不满足两个字母上的Kraft 不等式。
A (1，1，1)B (2,2)C (1,2,3)D （3，3，3）5．异字头码中平均码长最短的称为最佳码，下列编码方法不能得到最佳码的是（D ） A Shannon-Fano 编码 B Huffman 编码 C 算术编码 D LZ 编码二、填空题（每空2分，总计14分）1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有5个1，则其自信息为3log 52002-比特，整个序列的熵为)3log 432(1002-比特/符号. 2．若一个信道的输入熵为1.2)(=X H 比特/符号，输出熵为2)(=Y H 比特/符号，2.1);(=Y X I 比特/符号，则=),(Y X H 2.9比特/符号，散布度为0.8比特/符号。
3．平均互信息对信源概率分布是 上 凸函数，对信道的状态转移概率分布是 下 凸函数。
4．在二元LZ 编码中，若信源有K 个，某段信源序列共有M 个字典，则码长⎡⎤⎡⎤K M 22log log +。
三、计算题（71分）1）（15分）设随机变量Y X ,的联合概率分布如下：XY Z =。
分别求);(),|(),(),(Z X I Y X H Y H X H 。
解: X 的分布率为则1)(=X H 比特/符号. ..3分Y 的分布率为则3log 432)(2-=Y H 比特/符号. …………………………………………………..……..6分)0()0,0()0|0(======Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =31)0()0,1()0|1(======Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 32)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --=32log 210log 031log 411log 412222----=213log 432-比特/符号. ……………..10分)0()0,0()0|0(======Z P Z X p Z X p =1,)1()1,0()1|0(======Z P Z X p Z X p =0)0()0,1()0|1(======Z P Z X p Z X p =0,)1()1,1()1|1(======Z P Z X p Z X p =1则)1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2222=+=+=+==X p p p X p p p X p p p X p p p Z X I =0比特/符号. . …………………………………………………………………………..15分 2）（22分）若离散无记忆信源的概率分布为⎪⎪⎭⎫ ⎝⎛=4.03.02.01.0d c b a U① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon编码，Fano 编码，Shannon-Fano-Elias 编码。
信息论与编码试题集与答案(新)
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码理论(最全试题集+带答案+各种题型)
答：抗干扰能力强，中继时可再生，可消除噪声累计；差错可控制，可改善通信质量；便于加密和使用DSP处理技术；可综合传输各种信息，传送模拟系统时，只要在发送端增加莫属转换器，在接收端增加数模转换器即可。
7.简述信息的性质。
答：存在普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性；
A.形式、含义和安全性
B.形式、载体和安全性
C.形式、含义和效用
D.内容、载体和可靠性
20.（D）是香农信息论最基本最重要的概念
A.信源B.信息C.消息D.熵
三．简答（
1.通信系统模型如下：
2.信息和消息的概念有何区别？
答：消息有两个特点：一是能被通信双方所理解，二是能够互相传递。相对于消息而言，信息是指包含在消息中的对通信者有意义的那部分内容，所以消息是信息的载体，消息中可能包含信息。
31．简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。
32． 的后验概率与先念概率的比值的对数为 对 的互信息量。
33．在信息论中，互信息量等于自信息量减去条件自信息量。
34．当X和Y相互独立时，互信息为0。
35．信源各个离散消息的自信息量的数学期望为信源的平均信息量，也称信息熵。
第一章
一、填空（
1．1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2．按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
3．按照信息的地位，可以把信息分成客观信息和主观信息。
4．人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2011-2012 信息论与编码理论1 B 卷答案
一、 单项选择题（每题3分，总计15分） 1．当底为e 时，熵的单位为（ C ）。
A 奈特
B 哈特
C 奈特/符号
D 哈特/符号 2．下列关系式中( B )正确。
A )();(X I Y X I ≥
B );(),(Y X I Y X H ≥
C )|()|(X Y H Y X H ≥
D );();(Y X H Y X I ≤
3．下列（ D ）陈述是正确的。
A Shannon 编码是最优码
B LZ 编码是异字头码
C Huffman 编码可以不需要知道信源的分布
D 典型序列的数目不一定比非典型的多 )
4．下列数组中（ A ）不满足二个字母上的Kraft 不等式。
A (1，1，1)
B (2,2,2,2)
C (3,3,3)
D （4，4，4） 5．下列（ D ）是只对输出对称的。
A ⎪⎪⎪⎪⎭
⎫ ⎝⎛316
12121613
1 B ⎪⎪⎪⎭⎫ ⎝⎛2.04.04.04.02.04.04.04.02.0 C ⎪⎪⎪⎪⎪⎪⎭
⎫ ⎝⎛32313132
3231 D ⎪⎪⎭
⎫ ⎝⎛2.04.04.04.02.02.0 二、填空题（每空2分，总计20分）
1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有5个1，则其自信息为3log 52002-比特，整个序列的熵为)3log 4
3
2(1002-
比特/符号. 2．若某离散信道信道转移概率矩阵为⎥⎥
⎥⎦⎤⎢⎢⎢⎣⎡5.025.025.025.05.025.025.025.05.0，则其信道容量为5.13log 2-比
特/符号；转移概率矩阵为⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡25.05.025.05.025.025.025.025.05.0，则其信道容量为5.13log 2-比特/符号。
3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为⎥⎦⎤
⎢
⎣⎡--p p
p p 11 ， 则级联信道的信道转移矩阵为⎥⎦⎤⎢⎣⎡+---+-22222212222221p p p
p p p p p ，无穷多个级联后的矩阵为⎥⎦⎤
⎢⎣⎡5.05.05.05.0。
4．若一个信道的输入熵为6.2)(=X H 比特/符号，输出熵为3.2)(=Y H 比特/符号，
7.1);(=Y X I 比特/符号，则=),(Y X H 比特/符号，散布度为比特/符号。
5．在二元LZ 编码中，若信源有K 个，某段信源序列共有M 个字典，则码长
^
⎡⎤⎡⎤K M 22log log +。
6．存在D 元唯一可译码，其平均码长必小于
1log )
(+D
U H 。
三、判断题（每题2分，总计10分） 1. 概率小的事件自信息大 （√ ）
2. 若一个码字集合中的码字长度满足Kraft 不等式 ，则其必为逗点码。
（⨯ ）
3. 若码字都被配置在树的叶子节点处，则这种码一定是异字头码。
（ √ ）
4. 平均互信息是下凸函数。
（ ⨯ ）
5. 算数编码需要知道信源的分布。
（√） 四、计算题（55分） }
1）（15分）设随机变量Y X ,的联合概率分布如下：
XY Z =。
分别求);(),|(),(),(Z X I Y X H Y H X H 。
解: X 的分布率为
则1)(=X H 比特/符号.
Y 的分布率为
则3log 4
3
2)(2-
=Y H 比特/符号.
（
)0()0,0()0|0(====
==Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =3
1
)0()0,1()0|1(====
==Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 3
2
)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p -- =32log 210log 031log 411log 412222----=2
1
3log 432-比特/符号.
)0()0,0()0|0(====
==Z P Z X p Z X p =1,)
1()
1,0()1|0(======Z P Z X p Z X p =0
)0()0,1()0|1(====
==Z P Z X p Z X p =0,)
1()
1,1()1|1(======Z P Z X p Z X p =1
…
则
)
1()
1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2
222
=+=+=+==X p p p X p p p X p p p X p p p Z X I =0比特/符号.
2）（20分）若离散无记忆信源的概率分布为
⎪⎪⎭
⎫ ⎝⎛=4.03.02.01.0d c b a U
① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon
编码，Fano 编码，Shannon-Fano-Elias 编码。
② 并求①中二元Huffman 编码的编码效率。
（只列出式子即可） 解:对信源按概率从大到小排序, ⎪⎪⎭
⎫ ⎝⎛=1.02.03.04
.0a b
c d
U ,建立码树则有二元Huffman 编码: ,000→a ,001→b ,01→c 1→d
要进行三元Huffman 编码,则需要添加一个空信源,成为⎪⎪⎭
⎫ ⎝⎛=01.02.03.04.0e a b c d U , 建立码树则有三元Huffman 编码: ,00→a ,01→b ,1→c 2→d
Shannon 编码如下:
③ Fano 编码如下:
④ :
⑤
Shannon-Fano-Elias 编码
⑥ 二元Huffman 编码的平均码长为l =4.013.022.031.03⨯+⨯+⨯+⨯= ⑦ 编码效率为9.1)4.0,3.0,2.0,1.0(2log )()(H l U H R U H ===η
"
3）（20分）若离散无记忆信道的信道转移矩阵为⎪⎪⎪⎪
⎭
⎫
⎝⎛434
1212
1
，用两种方法求该信道容量。
方法一:
方法二: 令输入概率为)1,(p p -时达到了信道容量,则代入);(Y X I 中,得到关于p 的函数,另其导数为0,解得p =3429795.0,则当)1,(p p -=)
6570205.0,
3429795.0(⎥
⎦
⎤
⎢⎣⎡--=⎥⎦⎤⎢⎣⎡++=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡811281.0175.0log 75.025.0log 25.05.0log 5.05.0log 5.075.025.05.05.010ββ⎥⎦
⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡-622562.0377438.1811281.012123811281.0175.025.05.05.01
10ββ)
628082.0,371918.0()2,2())1(),0((10==--C C w w ββ0345
.0034536.1log )649773.0384763.0log()22log(10==+=+=ββC )6570205.0,3429795.0(75.025.05.05.0))1(),0(())1(),0((=⎥⎦
⎤
⎢⎣⎡=w w q q
.0.时达到信道容量,为0345。