《信息论基础》教学大纲
《信息论基础》教学大纲
《信息论基础》教学大纲课程编码：1512105602课程名称：信息论基础学时/学分：36/2先修课程：《概率论与数理统计》、《随机过程》、《信息科学导论》适用专业：信息与计算科学开课教研室：信息与计算科学教研室一、课程性质与任务1．课程性质：本课程是信息与计算科学专业的一门专业选修课，是拟从事通信及相关行业工作的学生所必修，为本科三年级学生所选修。
2．课程任务：通过本课程的学习，学生应熟练掌握离散（连续）条件下的熵、条件熵、相对熵、互信息的概念，熟练掌握有（无）失真条件下的信源（信道）编码定理和一些常用编码并能熟练的应用它们，为今后的学习与科研打下坚实的基础。
二、课程教学基本要求掌握信息的基本理论，理解离散信源、连续信源的有关理论，熟练掌握信息、信息熵、条件熵、联合熵、互信息等的计算，了解通信系统的整个过程，熟练掌握基本的信源编码方法和信道编码方法，会判定信源码、信道码的优劣。
本课程主要以课堂讲授为主，在教学方法和手段上采用现代教育技术。
成绩考核形式：期终成绩（考查）（70%）＋平时成绩（平时测验、作业、课堂提问、 课堂讨论等）（30％）。
成绩评定采用百分制，60分为及格。
三、课程教学内容第一章 随机变量的信息度量1.教学基本要求理解和掌握的定义和计算式，理解有关熵的一些基本性质，了解广义熵及相互间的关系。
2.要求学生掌握的基本概念、理论通过本章学习，使学生能准确理解并掌握信息、熵、联合熵、条件熵等有关信息量的定义及计算式，理解熵的基本性质，了解广义熵的多种形式并了解它们之间的关系。
3.教学重点和难点教学重点是要让学生掌握熵的概念和性质，熟练计算熵、联合熵、条件熵、相对熵和互信息，并会用熵求解一些实际问题。
4.教学内容第一节 自信息第二节 熵、联合熵、条件熵第三节 相对熵和互信息第四节 信息量的一些基本性质第五节 广义熵第二章 随机过程的信息度量和渐进等分性1.教学基本要求理解和掌握信源、随机过程的基本概念，掌握无记忆信源、马氏信源、平稳性、遍历性，理解AEP性质，理解AEP性质在数据压缩中的应用，了解香农-麦克米兰-布瑞曼定理。
信息论基础教学大纲
《信息论基础》课程教学大纲课程编号：总学时数：48总学分数：3课程性质：专业必修课适用专业：一、课程的任务和基本要求：信息论基础即香农信息论是研究信息处理的数学规律性的数学理论分支之一，是以概率论和随机过程为主要工具研究通信系统极限性能的科学理论。
重点解决关于信息传输的有效性和可靠性的理论问题，是信息科学与相关专业的必修专业课程。
本课程的指导思想是既要到理论的严谨性,更要考虑本专业的实用性,既要求掌握基本原理,又要求了解新理论与新技术。
通过该门课程的学习，期望学生能较好地理解香农信息论的基本思想与基本原理，掌握几个基本运算方法，培养学生利用信息论的基本原理分析和解决实际问题能力，从而提高学生的数学素质，加强学生开展科研工作能力。
为今后进行更深入的研究奠定良好的理论基础。
二、基本内容和要求：第1章绪论§1.1 基本概念§1.2 数字通信系统模型§1.3 信息论与编码理论研究的主要内容和意义要求：理解信息论的形成与发展，通信系统模型，掌握信源、信宿、信道、信息、消息、信号等基本概念，了解通信系统信源编码器、信道编码器有关基本原理及功能。
第2章信源及其熵§2.1 信源的数学模型和分类§2.2 离散信源的信息熵及其性质§2.3 离散无记忆信源的扩展信源§2.4 离散平稳信源§2.5 连续信源的信息熵§2.6 信源的冗余度§2.7 离散无失真信源编码定理要求：理解信源的分类与描述方式，掌握自信息量、信源熵、互信息等相关的基本概念、公式以及熵的基本性质，了解最大熵定理及其冗余度的相关问题。
第3章信道及其容量§3.1 信道的数学模型与分类§3.2 信道疑义度与平均互信息§3.3 离散无记忆的扩展信道§3.4 离散信道的信道容量§3.5 连续信道的信道容量§3.6 信源与信道的匹配§3.7 信道编码定理要求：理解信道模型及其相关的实际信道，掌握信道容量的概念并会计算各种信道的信道容量。
《信息论基础》教学大纲
《信息论基础》教学大纲课程编号：CE6006课程名称：信息论基础英文名称：Foundation of Information Theory学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。
通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。
本课程的教学目标：本课程对学生达到如下毕业要求有贡献：1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。
2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。
完成课程后，学生将具备以下能力：1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。
2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。
本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。
二、课程具体内容及基本要求（一）绪论（2学时）1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题3.作业及课外学习要求（1）阅读IEEE IT 1998年信息论50年专刊（2）数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt（3）信息论与通信、密码、信息隐藏（一）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”http://202.117.112.49/xxl2/dzjiaoan/sponit.mht（二）信息量和熵（8学时）1.基本要求（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质（2）掌握平均互信息的凸性（3）理解信息处理定理2.重点与难点（1）重点：对信息量进行定量描述（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题3.作业及课外学习要求熵、平均互信息的计算、信息处理定理等应用（三）离散信源无失真编码（8学时）1.基本要求（1）掌握离散无记忆源等长编码、不等长编码基本概念（2）掌握离散无记忆信源无失真编码定理（3）掌握Huffman编码（4）理解算术编码和LZ编码基本原理2.重点与难点（1）重点：掌握离散无记忆信源无失真编码定理（2）难点：典型序列的概念及其性质、最佳不等长编码3.作业及课外学习要求离散无记忆信源无失真编码定理、无失真信源编码方法（四）信道容量（6学时）1.基本要求（1）掌握信道容量的基本概念（2）掌握离散无记忆信道、组合信道的信道容量计算2.重点与难点（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算（2）难点：信道的描述方法及信道容量的计算3.作业及课外学习要求信道容量的计算（五）离散信道编码定理（4学时）1.基本要求（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念（3）理解离散信道编码定理2.重点与难点（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理（2）难点：离散信道编码定理3.作业及课外学习要求译码准则的应用、离散信道编码定理的应用（六）信息论在信息安全中的应用（4学时）1.基本要求（1）了解保密系统模型（2）理解保密、认证的信息理论2.重点与难点（1）重点：完善保密性（2）难点：保密的信息理论3.作业及课外学习要求信息论在信息安全中的应用三、教学安排及方式四、本课程对培养学生能力和素质的贡献点信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：五、考核及成绩评定方式理论课最终成绩由平时成绩和期末考试成绩组成。
《信息论基础》教学大纲
《信息论基础》教学大纲《信息论基础》教学大纲课程编号：CE6006课程名称：信息论基础英文名称：Foundation of Information Theory学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。
通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。
本课程的教学目标：本课程对学生达到如下毕业要求有贡献：1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。
2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。
完成课程后，学生将具备以下能力：1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。
2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。
本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。
二、课程具体内容及基本要求（一）绪论（2学时）1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题3.作业及课外学习要求（1）阅读IEEE IT 1998年信息论50年专刊（2）数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt（3）信息论与通信、密码、信息隐藏（一）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”http://202.117.112.49/xxl2/dzjiaoan/sponit.mht（二）信息量和熵（8学时）1.基本要求（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质（2）掌握平均互信息的凸性（3）理解信息处理定理2.重点与难点（1）重点：对信息量进行定量描述（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题3.作业及课外学习要求熵、平均互信息的计算、信息处理定理等应用（三）离散信源无失真编码（8学时）1.基本要求（1）掌握离散无记忆源等长编码、不等长编码基本概念（2）掌握离散无记忆信源无失真编码定理（3）掌握Huffman编码（4）理解算术编码和LZ编码基本原理2.重点与难点（1）重点：掌握离散无记忆信源无失真编码定理（2）难点：典型序列的概念及其性质、最佳不等长编码3.作业及课外学习要求离散无记忆信源无失真编码定理、无失真信源编码方法（四）信道容量（6学时）1.基本要求（1）掌握信道容量的基本概念（2）掌握离散无记忆信道、组合信道的信道容量计算2.重点与难点（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算（2）难点：信道的描述方法及信道容量的计算3.作业及课外学习要求信道容量的计算（五）离散信道编码定理（4学时）1.基本要求（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念（3）理解离散信道编码定理2.重点与难点（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理（2）难点：离散信道编码定理3.作业及课外学习要求译码准则的应用、离散信道编码定理的应用（六）信息论在信息安全中的应用（4学时）1.基本要求（1）了解保密系统模型（2）理解保密、认证的信息理论2.重点与难点（1）重点：完善保密性（2）难点：保密的信息理论3.作业及课外学习要求信息论在信息安全中的应用三、教学安排及方式四、本课程对培养学生能力和素质的贡献点信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：五、考核及成绩评定方式理论课最终成绩由平时成绩和期末考试成绩组成。
信息论基础教案
信息论基础教案篇1一、教学目标（一）知识与技能目标1. 学生能够准确理解信息的概念，包括信息的定义、信息的度量（如熵、互信息等）。
在理解概念的基础上，能熟练运用相关公式进行计算，例如计算离散信源的熵。
2. 掌握信息论中的基本定理，像香农三大定理（无失真信源编码定理、有噪信道编码定理、保真度准则下的信源编码定理）。
能够阐述这些定理的内容，并且可以用简单的例子解释定理的意义。
例如，用日常生活中的通信场景来解释有噪信道编码定理，让学生明白在存在噪声干扰的通信环境下，如何保证信息的可靠传输。
3. 学会使用信息论的知识分析简单的通信系统或者数据处理系统。
比如，能够分析一个简单的数字通信系统中，从信源编码、信道编码到译码的整个过程中，信息是如何被处理和传输的，每个环节对信息的准确性和有效性有什么影响。
（二）过程与方法目标1. 通过实际案例分析，培养学生观察、分析和解决问题的能力。
例如，给出一些实际的通信故障案例，让学生从信息论的角度去分析故障产生的原因，是因为信息编码错误，还是信道传输过程中的噪声干扰等原因造成的。
在这个过程中，引导学生学会从复杂的现象中提取关键信息，运用所学的信息论知识进行推理和判断。
2. 采用小组合作学习的方式，提高学生的团队协作能力和沟通能力。
在学习信息论的过程中，安排一些小组任务，如设计一个简单的信息编码方案。
小组成员需要共同讨论、分工合作，完成方案的设计。
在这个过程中，学生们需要相互交流自己的想法，协调彼此的工作，从而提高团队协作和沟通能力。
3. 鼓励学生自主探究，培养学生的创新思维。
在讲解完基本的知识和定理后，给学生提出一些拓展性的问题，如如何改进现有的信息编码方式，以提高信息传输的效率和可靠性。
让学生自己去查阅资料、思考、尝试，提出自己的创新想法。
（三）情感态度与价值观目标1. 激发学生对信息论这门学科的兴趣。
信息论是一门比较抽象和理论性较强的学科，通过引入一些有趣的实际应用案例，如密码学中的信息加密、大数据中的数据压缩等，让学生感受到信息论在现代科技中的广泛应用和重要性，从而激发他们对这门学科的学习兴趣。
信息论基础教学大纲
《信息论基础》课程教学大纲课程代码：030032125课程英文名称：Information Theory Foundations课程总学时：32 讲课：32 实验：0 上机：0适用专业：信息科学与工程学院各专业大纲编写（修订）时间：2017.5一、大纲使用说明（一）课程的地位及教学目标信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。
信息论是应用近代数理统计方法研究信息传输、存贮和处理，并在工程实践中不断发展的一门新兴科学。
本课程是电子信息科学与技术本科的专业基础选修课。
本课程系统地讲授香农信息论的基本内容及应用。
通过本课程的学习，要求学生了解信息系统各部分的主要组成以及作用, 理解和领会信息论的基本概念、理解各类离散信源的信息测度、离散信道的信息传输率及信道容量；理解离散信源无失真编码定理，离散有噪信道编码定理；牢固掌握离散信源的信息率失真理论。
理解连续信源和波形信源的概念及信息测度、连续信道和波形信道的信息传输率及信道容量；了解连续信源的信息率失真理论。
对应用信息论工具研究信息科学问题和信息技术开发方法有一定认识。
（二）知识、能力及技能方面的基本要求知识和能力方面的基本要求：了解和理解信息的定义和测度方法，领会各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理。
理解离散有噪信道编码理论和编码原则。
了解信息系统各部分的主要组成以及作用,理解香农的三大编码定理。
技能方面的基本要求：能够用信息论理论建立工程实践问题的数学模型，能够综合应用信息论的测度方法、香农信息论的三个基本概念和三个编码定理解决实际问题。
（三）实施说明将课堂讲授、自学、研究讨论的方式相结合，使学生从被动吸收知识的状态转化到主动索取知识的状态中来，以提高学生的学习兴趣和学习效果。
课程教学注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。
《信息论基础》教学大纲InformationTheory
《信息论基础》教学大纲Information Theory课程编号： 0070307027 适用专业：数学专业执笔：刘立伟适用年级：08-12级 一、课程的性质和教学目的课程性质：专业限选课。
信息理论与技术不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学和经济学等各领域。
教学目的：信息论是研究信息的有效处理和可靠传输的一般规律的学科。
它在社会生活的各个方面有着广泛的应用，是信息与计算科学专业学生的必修课程，该课程的开设有助于培养顺应现代高科技的数学人才。
通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。
二、课程教学内容第一章 信息科学与信息技术概论第二章 信息的度量问题第三章 通信系统概论第四章 信源编码问题第五章 信道编码定理三、课程教学的基本要求本门课程的内容按教学要求的不同，分为两个层次。
文中概念、理论用“理解”、“了解”表述，方法、运算用“掌握”、“会”或“了解”表述。
第一章信息科学与信息技术概论理解信息、信息科学、信息技术、信息产业的概念；了解信息论的产生、发展与应用。
第二章 信息的度量问题理解香农熵、联合熵、条件熵的概念；掌握熵的一些基本性质；理解互熵和互信息的定义；理解连续型随机变量的信息量和最大熵与原理。
第三章 通信系统概论了解通信系统的基本模型和基本问题。
第四章 信源编码问题理解等长码、变长编码、哈夫曼码，算术码等编码问题；掌握通用信源编码中的LZW码和Yang-Kieffer 码运算；了解信源定长码的编码理论。
第五章 信道编码定理掌握离散的无记忆信道和其信道容量的计算；理解信道序列的正、反编码定理；了解可加高斯信道的容量计算问题。
四、课程的教学环节要求教学环节包括：课堂讲授、习题课、课外作业、辅导答疑。
（一）课堂讲授教学方法上尽量采用启发式、讨论式教学，在课堂上多提问题，安排一些自学内容，鼓励学生自学，培养学生的自学能力。
《信息论基础与随机过程》教学大纲(本科)
信息论基础与随机过程一、课程简介信息论基础这门课程涉及信息学、统计学、计算机科学等领域，系统并全面地介绍了香农信息论，通过对理论知识的讲解，使学生掌握熵、互信息、自信息量、霍夫曼编码、香农编码、费诺编码等知识及其在生物医学中的应用，把理论知识和实际应用结合起来，为生物信息专业学生提供理论基础，培养科研思维，掌握医学信息分析方法。
随机过程是一连串随机事件动态关系的定量描述。
随机过程理论在物理、生物、工程、经济和管理等方面都得到了广泛应用，已成为近代科技工作者谋求掌握的一个理论工具。
通过随机过程的学习，期望学生能较好地理解随机数学的基本思想，掌握几个基本而常用的过程的处理方法，如正态过程、泊松过程等；特别是马氏过程要重点理解并掌握。
并将随机过程理论与生物信息学专业相结合，为阅读文献和未来的科研工作奠定基础。
二、理论教学内容1.信息论绪论掌握内容：为什么要学习信息论这门课程？信息论基础与生物信息学之间的关系以及信息论基础与医学生物学之间的关系。
信息熵在现代生物医学中的应用。
了解内容：信息论的起源、发展，信息论的研究对象、目的、内容，信息与消息的区别。
2.信息的度量掌握内容：计算自信息、互信息、熵、联合熵、条件熵、平均互信息、理解熵的性质、各类熵之间的关系。
例如：自信息、互信息等分析方法应用生物芯片数据选择差异表达基因及技术系统混乱度；基于熵互信息理论的基因调控网络的研究；度量反映对于刺激的条件熵；重患者与轻患者在得病期间的血清中蛋白质谱的信息分析。
了解内容：自信息、互信息、熵、联合熵、条件熵、平均互信息的计算公式，理解意义并熟悉医学信息分析方法。
3.信源及信源熵掌握内容：多符号离散信源、马尔可夫信源、信源的相关性和剩余度，应用相关性和剩余度进行疾病诊断与治疗，例如：分析血清中蛋白质种类的百分含量诊断患者病情发展情况及肌体复杂程度；基于互信息的差异共表达致病基因挖掘方法。
了解内容：单符号离散信源。
4.信道及信道容量掌握内容：计算信道容量，单符号离散信道的编程及计算、独立并联信道、串联信道的计算及意义。
信息论基础教学教案-信息论知识总结
送端发送 ai 的概率，称为后验概率。收信者获得的信息量定义为互信息， 即收信者在收到消息（符号）b j 后，已经消除的关于 ai 的不确定性。因此， 互信息就是先验的不确定性减去尚存在的不确定性，其定义为
I
(ai
;bj
)
log
1 P(ai
)
log
1 P(ai
bj
)
3
《信息论基础》教案
本节小结
1. 消息和信息的概念以及信息、消息和信号之间的关系
2. 香农信息的含义和度量
自信息
I (ai
)
log
1 P(ai
)
log
P(ai
)
互信息
I
(ai
;
bj
)
log
1 P(ai
)
log
1 P(ai
bj
)
教学方法 时 和手段 间
利用多媒 体演示， 分条目进 10 行总结
4
《信息论基础》教案
教学章节 教学目的
教学内容 教学重点 教学难点
教学方式
授课时间
第一章绪论 1. 理解信息论的研究对象、目的和内容 2. 了解信息论的发展简史与现状 1. 信息论的研究对象、目的和内容 2. 信息论的发展简史与现状 1. 信息论的研究对象、目的和内容 1. 信息论的研究对象、目的和内容 以多媒体电子教案为主讲解主要内容，以板书为辅将知识点和方法明确化； 采取结合例子 讲授、逐 步深入、分 析的方法 进行讲解， 并着重强 调各种概 念的物理意义。 1 学时
状态（是否正确和可靠），因此，消息是千变万化的、不规则的以及 学生，讲解
随机的。
信息和消息
2、信息
概念，以及
《信息论基础》课程教学大纲
《信息论基础》课程教学大纲《信息论基础》课程教学大纲一、《信息论基础》课程说明（一）课程代码：14131054（二）课程英文名称：Information Theory（三）开课对象：信息管理与信息系统专业（四）课程性质：信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。
本课程是信息管理与信息系统本科的专业课。
它应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。
因而它是一门新兴科学，亦称为通信的数学理论。
建立在通信理论的数学知识基础之上的信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密码学等方面有着广泛的用途。
要使学生领会信息论的基本思想，具备解决实际问题的能力。
从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。
先修课程为概率论与数理统计（五）教学目的：本课程是信息管理与信息系统本科生的专业课，采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解Shannon信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。
（六）教学内容：掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定理与Huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码定理；理解R（d）函数与有失真的信源编码定理.（七）学时数、学分数及学时数具体分配学时数： 36分数： 2（八）教学方式：采用多媒体教学方式（九）考核方式和成绩记载说明考试方式将结合平时作业、平时考核(40%)、期末考试(60%)的各个环节。
使学生能够注重平时学习的过程，改变学生从应试型到能力型。
030732004《信息论基础》教学大纲
030732004《信息论基础》教学大纲《信息论基础》课程教学大纲课程代码：030732004课程英文名称：Information Theory Fundation课程总学时：32 讲课：32 实验：0 上机：0适用专业：电子信息科学与技术大纲编写（修订）时间：2011-5-10一、大纲使用说明（一）课程的地位及教学目标本课程是电子信息科学与技术专业学生所应必备学习的基础理论课程，是一门专业选修基础课，也可作为高年级学生的先修课程。
通过本课程的学习，学生应掌握信息论的基本概念及香农的编码定理等内容，使学生具备了学习有关通信、数字信号处理与传输等后续课程所必须的信息论与编码的基本知识。
该课程现在已经成为信息学科的基础理论之一。
并在各种工程应用中经实践检验卓有成效的应用技术，如编码技术、多媒体技术、通信技术的发展反过来又丰富了信息论与编码技术的理论内涵。
这些理论对于从事相关领域进行研究和工程应用的科技人员具有很高的参考价值。
（二）知识、能力及技能方面的基本要求本课程是信息类及通信专业本科高年级学生选修的一门比较重要的专业基础课。
专业基础课。
本课程采用概率论与随机过程等数学方法研究信息的统计度量、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的技术奠定良好的理论基础。
应掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。
是更好掌握其它专业课的必备基础。
（三）实施说明在教学环节中,重点讲授信源的信息量的计算、信源编码、信道容量的计算及信道编码。
另外，教师可以根据具体情况适当调整大纲的学时分配。
（四）对先修课的要求《概率论与数理统计》、《线性代数》（五）对习题课、实验环节的要求要求学生对典型习题一定要掌握，做到举一反三。
信息论基础-教学大纲-赵勇
中国海洋大学本科生课程大纲课程名称信息论基础Information Theory课程代码 0753********课程属性 专业知识 课时/学分 32/2课程性质 选修 实践学时责任教师 赵勇 课外学时 64(32×2) 课程属性：公共基础/通识教育/学科基础/专业知识/工作技能，课程性质：必修、选修一、课程介绍1.课程描述：信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
本课程的主要内容包括信源和信道两大部分。
信源方面主要包括：信源的数学模型及分类、离散信源的自信息和信息熵、信息熵的基本性质、离散无记忆的扩展信源、离散平稳信源、马尔科夫信源、信源剩余度与自然语言的熵、意义信息和加权熵。
信道方面主要包括：信道的数学模型及分类、平均互信息及平均条件互信息、平均互信息的特性、信道容量及其一般计算方法、离散无记忆扩展信道及其信道容量、独立并联信道及其信道容量、串联信道的互信息和数据处理定理、信源与信道的匹配。
2.设计思路：当前信息产业发展很快，需要大量的从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，也是信息与计算科学专业的专业选修课。
课程从各种信源开始，重点是讲授其信息熵的计算方法；然后是各种信道，重点是讲授其信道容量的计算方法。
信源是发出信息的，信息熵是衡量信息量的重要标准。
信道是传输信息的，信道容量反映了信道所能传输的最大信息量。
- 1 -3.其他课程的关系：先修课程：《概率论》二、课程目标通过本课程的学习，学生能够掌握有关信息论的基本理论和实现原理，并能根据所学的内容进行一些初步的应用。
到课程结束时，学生应该（1）理解各种信源的信息熵、各种信道的容量，及其计算方法。
（2）能够将相关知识应用到具体的数据处理中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论基础A》教学大纲
Basic Information Theory A
课程代码：课程性质：专业方向理论课/选修
适用专业：信息安全 开课学期：5
总学时数：56 总学分数：3.5
编写年月：2003年7月修订年月：2007年7月
执笔：郭芬红
一、课程的性质和目的
当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业（信息安全方向）的专业课程。
通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。
重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，讨论了信道编码理论以及各种常用的信道编码方法。
而且针对信息安全的具体问题，研究了信息论的应用，信息论与安全理论的关系。
本课程为以后开设的专业课程打下了坚实的基础，也为学生更好的理解信息安全理论奠定了基础。
二、课程教学内容及学时分配
1.绪论(2学时)
本章要求了解信息论的形成和发展，了解信息，信号，消息的区别和联系；掌握通信系统的模型。
本章的主要内容为：信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。
2.离散信源及其信息测度(10学时)
本章要求掌握信源的数学模型，了解信源的分类；掌握离散信源熵，了解信息熵的基本性质；掌握离散序列信源及马尔可夫信源信息熵的求法。
本章的主要内容为：信源的数学模型及分类，离散信源熵及其性质，离散序列信源的熵，离散平稳信信源的极限熵，马尔可夫信源，信源剩余度。
3.离散信道及其信道容量(10学时)
本章要求掌握信道的数学模型，了解信道的分类；掌握平均互信息的定义，了解平均互信息的特性；了解离散信道信道容量的一般计算方法，会计算对称离散信道的信道容量；理解数据处理定理以及信源与信道匹配的意义。
本章的主要内容为：信道的数学模型及其分类，平均互信息及其特性，信道容量及其一般计算方法，数据处理定理，信源和信道的匹配。
4.无失真信源编码(8学时)
本章要求了解码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时
码等；理解定长编码定理和变长编码定理；了解几种编码方法：香农编码方法、费诺编码方法、MH编码及算术编码；掌握哈夫曼编码方法；会确定编码效率。
本章的主要内容为：编码器，码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。
5.有噪信道编码(6学时)
本章要求了解几种译码规则；理解有噪信道的编码定理及联合信源信道编码定理；掌握汉明码的编译码方法；了解其他线性分组码的概念。
本章的主要内容为：错误概率及译码规则，有噪信道编码定理，联合信源信道编码定理，纠错码的基本思想和汉明码，线性分组码、卷积码、网格编码调制与级联码简介。
6.波形信源和波形信道(6学时)
本章要求掌握不同条件下连续信源的最大熵定理；了解连续信道和波形信道的分类；掌握香农公式及其意义；理解连续信道编码定理；了解香农定理在移动通信中的应用。
本章的主要内容为：连续信源的差熵，具有最大熵的连续信源，连续信道和波形信道的分类，高斯白噪声加性波形信道的信道容量，连续信道编码定理。
7.限失真信源编码(6学时)
本章要求理解平均失真和信息率失真函数的定义、R(D)的定义域和单调性等性质；理解限失真信源编码定理及其实用意义；了解JPEG等数据压缩标准等限失真信源编码的应用。
本章的主要内容为：平均失真和信息率失真函数，R(D)的定义域和单调性等性质，限失真信源编码定理，常用的信源编码方法简介，游程编码。
8.信息论的应用(6学时)
本章要求了解传统加密算法和公开秘钥加密算法原理；掌握RSA算法；了解AES及其应用，了解信息安全新技术。
本章的主要内容为：保密学应用：传统加密算法和公开秘钥加密算法如DES，RSA，AES等。
三、课程教学的基本要求
本课程是信息与计算科学专业（信息安全方向）的专业课程，理论性较强，是本专业的理论基础课程。
在教学方法上，采用课堂讲授，课后自学，课堂讨论等教学形式。
(一)课堂讲授
本课程属基础理论课程，涉及到较多的数学知识，在讲述的过程中教师应尽量联系生产生活实际，注重物理意义，不要陷入到繁复的数学推导之中。
在教学中要求同学重点掌握信源、信道、信源编码、信道编码的基本概念、基本方法，要着重培养学生定性分析、定量估算和动手上机实验的能力，在学习理论知识和计算的基础上，更多的讲解课本上没有涉及的工程背景及工程应用，以培养学生的兴趣。
在课程内容方面既要保持理论的系统性，又要注
意联系工程实际，并且重视信息论与现代通信系统尤其是信息安全相结合的问题及应用，培养学生理论联系实际的能力。
（二）课后自学
为了培养学生整理归纳，综合分析和处理问题的能力，每章都安排一部分内容，课上教师只给出自学提纲，不作详细讲解，课后学生自学。
（三）课堂讨论
课堂讨论的目的是活跃学习气氛，开拓思路，提高学生的创新能力和团队协作精神。
教师应认真组织，安排重点发言，充分调动每一名同学的学习积极性，做好总结。
（四）习题课
习题课以典型例题分析为主，并适当安排开阔思路及综合性的练习及讨论。
（五）课外作业和期中考试
课外作业的内容选择基于对基本理论的理解和巩固，培养综合计算和分析、判断能力以及使用计算工具的能力。
习题以计算性小题为主，平均每学时１-２道题。
另外，针对具体的与信息安全直接相关的信道编码及密码学问题，安排学生上机实验，并交作业。
期中考试安排学生自己分组做PPT并选代表讲解，旨在提高学生的自学能力和口头表达能力；并让学生写出自己的学习心得，可以查找网络资源，旨在培养学生的兴趣以及提高他们的知识面；练习几个与实际结合紧密的作业题，旨在让学生理论联系实际，培养他们的思维能力。
（六）考试
考试可采用开卷形式。
闭卷部分的试题包括基本概念，基本理论和计算，题型可采用填空，简答，计算等方式。
总评成绩：课外作业和期中考试占30%；期末闭卷考试占60%。
四、本课程与其它课程的联系与分工
先修课程：线性代数，概率论与数理统计，数学分析。
信息论基础可以加深学生对这些先修课程的理解和应用，让学生清楚的知道数学基础课的用途，通过这门课，加深对信息安全理论的理解。
五、建议教材与教学参考书
［1］《信息论—基础理论与应用》傅祖芸主编，电子工业出版社
［2］《信息论及其应用》仇佩亮编著，浙江大学出版社
［3］《信息论与编码》仇佩亮编著，高等教育出版社
［4］《信息论与编码》曹雪虹张宗橙编著，清华大学出版社
［5］《信息论基础》（美）科弗（美）托马斯阮吉寿等，机械工业出版社。