专升本《信息论与编码》
《信息论与编码》考核大纲
信息论与编码课程考核大纲一、适应对象修读完本课程规定内容的通信工程专业的学生。
二、考核目的考核学生对信息论的基本理论以及编码理论与实现原理的理解和掌握程度；并通过实验教学加深学生对基本概念的理解，巩固基础理论知识，提升学生参与课堂的积极性，充分发挥其主观能动性。
最后通过分析考核成绩，检查本门课程的教学效果，不断改进和提高课程教学水平，促进课程建设和学科建设。
三、考核形式与方法开卷考试、实验成绩和平时成绩均为百分制。
1、平时成绩考核方法如下：1) 作业：50%按交作业的次数、每次作业质量和态度确定。
2) 考勤：50%2、实验成绩考核方法如下：实验成绩为单次实验成绩的平均值。
单次实验成绩考核方法及所占比例如下：单次实验成绩＝实验方案×40%+实验操作×20%+实验结果×40%1) 实验方案：40%实验方案主要考察方案设计的合理性和可靠性；实验数据的整理归纳能力；实验报告完成的质量等。
不做实验预习报告的、不能回答教师问题的，扣除当次实验方案成绩的40%；不按时交实验报告的，扣除当次实验方案成绩的20%；书写不合格的重写，扣除当次实验方案成绩的40%；未交试验报告的，扣除当次实验方案成绩的100%。
2) 实际操作: 20%着重考察学生实际操作的科学性、主动性、认真性、熟练性。
实验课程缺勤的，扣除当次实验成绩的100%。
3) 实验结果：40%实验结果着重考查其与实验方案、实验要求、实验操作的一致性。
4) 实验课堂纪律：凡违反学生实验守则或安全规则的扣除实验总成绩的60%，损坏物品要赔偿。
5) 考勤：实验课程缺勤的，扣除当次实验成绩的100%。
3、期末考核采用开卷笔试形式。
四、课程考核成绩构成本门课程考核成绩按百分计。
课程考核成绩=平时成绩×20%+实验成绩×20%+期末考核成绩×60%五、考核内容与要求第1章概论【考核内容】信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。
《信息理论与编码》,答案,考试重点(1--3章)
《信息理论与编码》习题参考答案1. 信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
《信息论与编码》课程教学大纲.doc
《信息论与编码》课程教学大纲Information Theory & Codec.一、课程教学目标1、性质和地位：信息论与编码是通信工程（与计算机通信）专业的一门重要的专业课。
该课程是继通信原理与程控交换之后，为从事通信信息的编码研究学习而开设的专业必修或选修课。
2、知识要求：本课程的教学目的是通过教学和必要的练习、实践环节，使学生了解信息论的信源、信源炳概念，熟悉信源、信道编码定理，掌握一些重要的编码方法，为将来从事通信信息资源研发应用打好必要的基础。
3、能力要求：除课堂学习理论知识之外，通过练习与实践掌握一些常用的编码定理与编码方法，加深对信息论编码与通信可靠性、安全性的关系的认识。
二、教学原则和基本要求本课程教学采用课堂讲授与课外作业为主，以必要实习、实践（4~8学时）为辅的方法教学，通过本课程学习应达到如下基本要求：1.了解信息论信源炳重要基本概念；2.了解信息论的信源、信道编码定理；3.掌握信源炳的计算；4.掌握无失真信源最佳编码法（香农码、费诺码、哈夫曼码）；5.掌握限失真信源常用编码法；6.了解几种信道差错编码及密码编码原理与方法。
三、教学内容和学时分配1.总体安排：本课程授课时间为48学时，3学分。
具体授课内容与学时列表分配如下: 教学内容章目本课程学分：3学时分配讲课学时课堂讨论编程实习合计第一章绪论1第二章信源及信源嫡8第三章无失真信源编码72第四章限失真信源编码9第五章信道编码132第六章密码学6合计444482.具体要求：第一章绪论［目的要求］了解信息论的发展及通信系统的模型。
［教学内容］信息论的发展，通信系统的模型。
［重点难点］无。
［教学方法］课堂教学。
［作业］无。
［课时］1学时第二章信源及信源炳［目的要求］了解信源的信息量与嫡的概念，掌握信源炳的计算。
［教学内容］信源的描述分类，离散信源的炳和互信息，连续信源的炳和互信息, 离散序列信源的炳，冗余度。
［重点难点］自信息量、互信息，炳的计算。
《信息论与编码技术》
《信息论与编码技术》信息论与编码技术信息论是从理论层面研究信息传输的数量、安全性和可靠性的一门学科。
在信息传输时，信息量的大小直接关系到通信速度和传输距离。
在信息论中，熵是定义信息量的重要概念。
熵指的是消息的不确定性，即消息的平均信息量。
在信息论中，随机事件的熵是该事件发生所带来的信息量的平均值。
这个理论已经被广泛应用到生产和科技领域，发挥了重要的作用。
在通信系统中，为了保证数据的传输质量，需要采用各种编码技术。
编码是一种把消息转换为另一种形式的技术，通常是通过将消息转化为开关状态或电信号来进行处理。
编码技术在通信系统中起到了举足轻重的作用，从而提高了通信系统的效率和性能。
信息论和编码技术密切相关，通过信息熵的计算和数据处理，可以提高通信系统的信息传输质量和效率。
信息熵被广泛使用在数据压缩、无线电通信和网络安全等领域中。
信息熵理论支持着我们对信息传输的掌控和管理，并将信息传输从一件单一的事情转化为一件科学的、可预测的事情。
另外，现在编码技术已经广泛应用于数字媒体，尤其是音频和视频。
数字化的媒体可以进行压缩来减少文件大小，并提高文件的传输速度。
常见的音频和视频编码技术包括AAC、MP3和H.264等。
这些编码技术不仅可以减小文件大小，同时也可以保证音频和视频的质量。
因此，它们在音频和视频存储和传输中扮演着重要的角色。
编码技术还可以用于网络安全。
信号编码技术可以用于加密和解密数据以保证数据安全传输。
这些技术可以通过独特的代码模式来识别数据，并防止黑客窃取和修改数据。
目前，经过证实的最安全的网络编码技术是量子编码技术。
总之，信息论和编码技术是通信和科技领域中最重要的支柱之一。
它们是解决数据传输中最基本问题的关键因素，为数据安全、存储和传输工作奠定了坚实的基础。
《信息论与编码》课程教学大纲
《信息论与编码》课程教学大纲一、课程基本信息课程代码：16052603课程名称：信息论与编码英文名称：Information Theory and Coding课程类别：专业课学时：48学分：3适用对象:信息与计算科学考核方式：考试先修课程：数学分析、高等代数、概率论二、课程简介《信息论与编码》是信息科学类专业本科生必修的专业理论课程。
通过本课程的学习，学生将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。
本课程的主要内容包括：信息的度量、信源和信源熵、信道及信道容量、无失真信源编码、有噪信道编码等。
Information Theory and Coding is a compulsory professional theory course for undergraduates in information science. Through this course, students will understand and master the basic concepts of information measurement and channel capacity, source and channel characteristics, coding theory, etc., lay the foundation for the future in-depth study of information and communication courses, for the future to engage in information processing in the actual work.The main contents of this course include: information measurement, source and source entropy, channel and channel capacity, distortion-free source coding, noisy channel coding, etc。
专升本《信息论与编码》_试卷_答案
专升本《信息论与编码》_试卷_答案专升本《信息论与编码》⼀、（共48题,共150分）1. H(X)____________0，⼩概率事件对熵的贡献____________，确定事件的信息量____________0。
（6分）标准答案：1. >= ;2. ⼩;3. =;2. 确定信道的H(Y/X) ____0，H(X/Y) ____0。
（4分）标准答案：1. =;2. ;3. 霍夫曼编码可以编出不同的码，这些码的平均码长________，.编码效率________，码长⽅差________。
（6分）标准答案：1. ⼀样;2. ⼀样;3. 不⼀定⼀样;4. N个独⽴并联的信道，每个信道的信道容量为C，为了达到总的信道容量NC，所有信道的输⼊要________________，.所有信道的输⼊概率分布是各⾃信道的________________。
（4分）标准答案：1. 相互独⽴;2. 最佳分布;5. 通信系统中的编码器包括____________________，____________________，____________________。
（6分）标准答案：1. 信源编码器;2. 纠错编码器;3. 调制器;6. 率失真函数R（D）的最⼤值为________________，最⼩值为________________。
（4分）标准答案：1. H(X);2. 0;7. 某事件的概率为p(x)，则⾃信息量为（）。
（2分）A.-p(x)B.1/ p(x)C.-log p(x)D.log p(x)标准答案：C8. 有事件x，y，I(x)=2 bit，I(x/y)=1 bit，则互信息量I(x；y)的值为（）。
（2分）A.1 bitB.2 bitC.3 bitD.4 bit标准答案：A9. 下列关于条件熵的结论，不成⽴的是（）（2分）A.H(X/Y)C.H(X/Y)标准答案：B10. 使I(X;Y)=0成⽴的条件是（）: （2分）A.X和Y相互独⽴B.H (X) =H(Y)C.X和Y的概率分布相同标准答案：A11. 以下关于离散⽆记忆信源（熵为H(X)）的结论，不正确的是（）: （2分）A.是平稳信源B.其N次⽆记忆扩展信源的熵是NH(X)C.其极限熵⼤于H(X)标准答案：C12. 以下关于信道容量C和信息传输率R间的关系，正确的是（）: （2分）A.C RB.C=RC.C R 标准答案：A13. 某信源有8个符号，其信源熵为2.4 bit，进⾏⼆元定长编码（不扩展），则其编码效率⾄少可达（）（2分）A.80%B.85%C.90%D.95%标准答案：A14. 在准对称信道中，要达到信道容量，要求（）: （2分）A.信源和信宿的概率分布⼀致B.信源为等概分布C.信宿为等概分布标准答案：B15. 在信道编码中，简单重复编码可以（）: （2分）A.减⼩但降低了信息传输率B.提⾼了信息传输率，但增⼤了PEC.减⼩并提⾼了信息传输率标准答案：A16. ⼆元码C={(000),(011),(101),(110)，该码的最⼩码距是（）:。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
《信息论与编码》教学大纲
《信息论与编码》教学大纲一、课程基本信息1．课程代码：219054002．课程中文名称：信息论与编码A课程英文名称：（Information Theory and code A）3．面向对象：信息工程专业4．开课学院（课部）、系（中心、室）：信息工程学院信息工程系5．总学时数：48讲课学时数：40 ，实验学时数：86．学分数： 37．授课语种：中文，考试语种：中文8．教材：《信息论与编码》（第二版），陈运，电子工业出版社;二、课程内容简介《信息论与编码》重点介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。
本课程在介绍了有关信息度量的基础上，重点讨论了信道容量、率失真函数，以及无失真信源编码、限失真信源编码和信道编码中的理论知识及其实现原理。
迄今为止香农理论已经广泛的成为各项信息技术的理论指导。
三、课程的地位、作用和教学目标信息论是信息学科的数学基础，是所有从事信息学科的工程技术及研究人员必须掌握的一门基础课。
这门课从信息的最本质、最基础的基本概念和基本原理着手，主要介绍香农信息论的基本概念和香农有名的三大定理，以及编码理论和纠错编码。
从而为各种具体的信息技术提供了理论基础。
本课程要求在建立了熵的概念的基础上，重点掌握信道容量、率失真函数，以及无失真信源编码、限失真信源编码和信道编码中的理论知识及其实现原理。
四、与本课程相联系的其他课程在本专业，高等数学A、线性代数A、概率论与数理统计A可以作为本课程的先修课程。
五、教学基本要求1．学习和掌握信源熵、条件熵、联合熵等各种熵的概念、意义、性质，以及它们之间的相互关系；2．学习和掌握离散无失真信源编码定理；3．学习和掌握信道模型、信道容量及其计算；4．学习和掌握信道编码定理；5．学习和掌握离散信源的信息率失真函数及其性质、保真度准则下的信源编码定理；6．学习和了解离散信源编码、连续信源编码方法；7．学习和掌握信道编码方法：线性分组码和循环码；六、考核方式与评价结构比例考核方式：笔试平时成绩：作业10%+实验10%+考勤10%期末考试成绩：70%-60%七、教学参考资料1．《信息论与信源编码理论及应用》，刘建成著，北京邮电大学出版社，20102．《信息论与编码》，曹雪虹著，清华大学出版社3．《Information Theory & Coding》(英文版)(21世纪高等院校规划教材)，梁建武等编著，水利水电出版社，2008。
信息理论与编码,答案,考试重点
《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
(完整word版)信息论与编码试卷及答案分解
-、(11'填空题(1) 1948年，美国数学家香农_________ 发表了题为"通信的数学理论”的长篇论文，从而创立了信息论。
(2) 必然事件的自信息是_0 ________ 。
(3) 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍 _________ 。
(4) 对于离散无记忆信源，当信源熵有最大值时，满足条件为「信源符号等概分布_(5) 若一离散无记忆信源的信源熵H(X)等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为」________ 。
(6) 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
(7) 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2 _________ 个码元错误，最多能纠正1__个码元错误。
(8) 设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R _小于_ C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9) 平均错误概率不仅与信道本身的统计特性有关，还与—译码规则_______________ 和_编码方法___有关三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的, 而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高 1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示"大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 ( 2 分)故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 ( 2分) I(A|B)=-Iog0.375=1.42bit ( 1 分)四、(5)证明：平均互信息量同信息熵之间满足l(X;Y)=H(X)+H(Y)-H(XY)证明：< p(x yj )l(X;Y) = Z 送pgy j )og ----------- -----X Y p(x )=-Z Z p(xy j )og pg )—」—E Z p(xy j Jog p(x y ji (2分)X Y X Y=H X -H XY同理I X;Y =HY -HYX (1分)则HYX 二H Y -I X;Y因为H(XY )=H(X )+H(Y|X ) (1 分)故H XY =HX H Y -I X;Y即I X;Y = H X H Y - H XY (1 分)五、（18' •黑白气象传真图的消息只有黑色和白色两种，求：X的数学模型。
信息论与编码(上)
信息论与编码 简答
四、简答（每题4分）1、信息的主要特征有哪些？（4）答：信息具有以下特征：（1）信息是可以识别的（2）信息的载体是可以转换的（3）信息是可以存贮的（4）信息是可以传递的（5）信息是可以加工的（6）信息是可以共享的2、信息的重要性质有哪些？答：可靠性、保密性、有效性、认证性3、简述几种信息分类的准则和方法。
狭义信息论、一般信息论、广义信息论4、信息论研究的内容主要有哪些？答：对信息论的研究内容一般有以下三种理解。
狭义信息论（经典信息论）：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。
这部分内容是信息论的基础理论，又称为香农信息论。
一般信息论（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。
广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。
五、简述自信息的性质。
答：概率为0时，相应的自信量无意义、非负性、可加性六、简述信源熵的基本性质。
答：1、对称性：H(P) 的取值与分量p1, p2, 〃〃〃 , p q的顺序无关。
2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=03、非负性：H(P)≥ 04、扩展性5、可加性：统计独立信源X和Y的联合信源的熵等于信源X和Y各自的熵之和。
H(XY) = H(X)+ H(Y)6、强可加性：两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵。
H（XY）=H（X）+ H（Y/X）7、递增性8、极值性在离散信源情况下，信源各符号等概率分布时，熵值达到最大。
9、上凸性七、简述信源熵、条件熵、联合熵和交互熵之间的关系。
H(XY) = H(X) + H(Y|X)H(XY) = H(Y) + H(X|Y)H(X) >= H(X|Y)H(Y) >= H(Y|X)H(XY) <= H(X) + H(Y)H(X1X2)＝H(X1)+H(X2/X1) ≤ H(X1)+H(X2) = 2H(X)八、信道的分类方法有哪些？答：根据载荷消息的媒体不同（邮递信道、电信道、光信道、声信道）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[试题分类]:专升本《信息论与编码》_08005150[题型]:单选[分数]:21.费诺编码在（）的情况下，编码效率最高A.编码时每次分组的概率相等B.概率分布极不平均C.信源为等概分布答案:A2.离散信源的熵跟条件（）有关:A.消息符号的排列顺序B.信源发生的时间C.信源的概率分布D.信源的消息类型答案:C3.信源X包含n个不同的离散消息，其信源熵的最大值为（）。
A.nB.log nC.1D.n+1答案:B4.对一个两级串联信道，要使串联传输不增加信息损失，信道需满足（）:A.两个信道都是对称信道B.总的信道矩阵等于第一级信道矩阵C.两个信道的信道矩阵相同D.两个信道的信道容量相等答案:B5.无失真信源编码的码字必须是（）。
A.非奇异码B.变长码C.定长码D.唯一可译码答案:D6..等式H(X/Y)=H(X)成立的条件是（）A.X和Y的符号个数相等B.X的分布为等概分布，Y的分布随意C.X和Y有相同分布D.X和Y统计独立答案:D7.霍夫曼编码有不同的编码方法，关于这些方法，下述结论不正确的是（）:A.码长方差是一样的B.平均码长是一样的C.编码效率是一样的答案:A8.(5,3)线性分组码的编码效率为:A.5/8B.3/5C.3/4D.2/5答案:B9.信道编码的目的是（）:A.为了提高效率B.为了提高安全性C.为了提高可靠性D.为了提高有效性答案:C10.离散无记忆信源X的熵为2，则其三次扩展信源的熵为（）:A.6B.8C.2D.4答案:A11.R(D)的定义域为[0,Dmax]，则当D>Dmax时，R(D)的值为（）。
A.H(X)B.0C.无穷大D.H(Y)答案:B12.信源X的熵为2，信源Y的熵为3，X、Y相互独立，则其联合熵H(XY)=（）A.6B.2C.3D.5答案:D13.对于平均互信息量I(X;Y)和各种熵之间的关系，下列结论不正确的是（）:A.I(X;Y)>=0B.I(X;Y)<=H(X)C.I(X;Y)<=H(Y)D.I(X;Y)>H(XY)答案:D14.对有噪信道来说，PE（）:A.编码方法和译码规则只能使PE尽可能小，但不能为0B.可以适当地选择编码方法和译码规则，使PE为0C.编码方法和译码规则与PE无关答案:A15.为了正确译码，信源编码必须是（）:A.非奇异码B.唯一可译码C.奇异码答案:B16.平均互信息I(X;Y)是信源概率分布的（）函数:A.上凸函数B.下凸函数C.单调递增函数D.单调递减函数答案:A17.对有n个输入符号、m个输出符号的确定信道来说，其信道容量为（）:A.H(Y)B.H(X)C.log nD.log m答案:D18.下列关于自信息量的不等式，不正确的是（）。
A.I(x)>=I(x/y)B.I(xy)>=I(x/y)C.I(xy)>=I(x)答案:A19.对于离散信源，（）不可能是自信息量。
A.0B.-2C.1.5D.100答案:B20.对马尔科夫信源来说，下列结论不正确的是（）:A.其记忆长度是无限的B.是有记忆信源C.是平稳信源答案:A21.有7个符号的离散信源进行二元定长编码，为了保证唯一可译性，码长应不小于（）。
A.4B.3C.2D.5答案:B22.在信源编码中，变长码和定长码的编码效率相比（）A.变长码的效率高B.编码效率一样C.定长码的效率高D.不好比较答案:A23.一个线性分组码的校验矩阵中，任意2t列线性无关，有2t+1列线性相关，则此码可检测（）位错。
A.2t-1B.tC.2t+1D.2t答案:A24.对于单符号离散信道，信息传输速率要达到最大，即信道容量，需满足（）:A.信源符号和信宿符号个数必须相等B.信道传输信息时没有任何噪声影响C.信道传输信息时没有任何信息损失D.信源符号个数大于信宿符号个数答案:C25.事件A、B相互独立，其发生的概率分别为1/2和1/8，则它们的联合自信息量为（）。
A.2bitB.5bitC.3bitD.4bit答案:D26.率失真函数R(D)的取值与（）无关A.失真函数B.保真度DC.信道转移矩阵D.信源的概率分布答案:C27.信息传输率R与信道容量C的关系是（）:A.R<=CB.R>CC.R=CD.不确定答案:A28.两个事件A和B，P(A)>P(B)，则两者包含的自信息量I(A)和I(B)的关系是（）。
A.I(A)>I(B)B.要看语义信息C.I(A)=I(B)D.I(A)<I(B)答案:D29.在信源输出平均功率受限的情况下，服从（）分布的连续信源具有最大输出熵。
A.高斯分布B.瑞利分布C.均匀分布D.指数分布答案:A30.有8个输入符号的离散无损信道的信道容量是（）:A.2bitB.0.5bitC.1bitD.3bit答案:D[试题分类]:专升本《信息论与编码》_08005150[题型]:填空[分数]:01.I(xi,yj) ________ I(yj, xi)，I(xi,yj) ________ I(xi)，I(xi,yj) ________ I(yj)。
答案:=||2.无噪信道的H（X/Y）______0，收到Y可完全确定______，其最佳输入分布为____________。
答案:=|X|等概分布3.信源编码的目的是提高系统的____________，纠错编码的目的是提高系统的____________。
答案:有效性|可靠性4.熵函数是信源概率分布的_________函数，函数值_________0。
答案:上凸|5.有m 个输入符号的离散无损信道的信道容量为______bit ，其最佳输入分布为____________。
答案:logm|等概分布6.一个(n,k)线性分组码的最小汉明距离为5，则其校验矩阵中任意______个列向量线性无关，可检测_____个错误，可纠正_____个错误。
答案:4|4|2[试题分类]:专升本《信息论与编码》_08005150[题型]:空[分数]:01.当事件xi ，yj 统计独立时，I(xi;yj)等于______，I(yj;xi)=______。
答案:0;02.一单符号离散无记忆信源，信源符号____________的自信息量最大，信源符号____________的自信息量最小。
答案:X1；X23.二元离散信源发出“0”符号的概率为p ，发出“1”符号的概率为1-p ，则信源熵为_________________bit/符号，当P 为__________信源熵最大，当P 为___________信源熵最小。
答案:；1/2；0或者14.在信息、消息和信号的关系中，消息是__________的载体，信号是___________的载体。
答案:信息；消息5.离散无损信道的损失熵H(X/Y)___0；离散无噪信道的噪声熵H(Y/X)____0。
123113()828x x x X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭22log (1)log (1)p p p p ----答案:=;=6.在通信系统中，信源编码的目的是提高______________________________，信道编码的目的是提高__________________________。
答案:信息传输的效率；信息传输的可靠性7.对离散信源来说，小概率消息符号对熵的贡献_____，大概率消息符号对熵的贡献_____。
答案:小；大8.率失真函数R(D)的最大值为_______，最小值为______。
答案:H(X);09.某离散无记忆信源的熵为4bit/符号，其二次扩展信源的熵值为_____bit/符号，其三次扩展信源的熵值为_____bit/符号。
答案:8；1210.信源输出符号间的相关性越强，信源的实际熵值越____；若相关性减小，则信源实际熵_______。
答案:小；增大11.一个(n,k)线性分组码的最小汉明距离为7，则可纠正______个错误，可检测_____个错误；可纠正2个错误，同时发现_____个错误。
答案:3;6;412.有3个输入符号的离散无损信道的信道容量为______bit，其最佳输入分布为____________。
答案:log3;等概分布或1/3，1/3，1/313.零概率事件的自信息量为________，确定概率事件的自信息量为________。
答案:无穷大；014.香农信息论又称为狭义信息论，主要研究信息的测度即信源熵、_______________、____________，以及与这三个概念相对应的香农三定理:无失真信源编码定理，信道编码定理和限失真信源编码定理。
答案:信道容量;信息率失真函数。