信息论基础-理论教学大纲.doc
信息论课程教学大纲
信息论课程教学大纲Information Theory一、课程教学目标1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。
编码技术是信息论的重要分支的基础。
它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。
通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。
课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。
2、知识要求：通过一个学期的学习要达到如下要求:1)掌握平均信息量—熵的概念，了解信息论的基本知识和信道容量的计算。
2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。
3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。
4)掌握伪随机码的基本概念，m序列码的产生及应用。
先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。
3、能力要求：本课程重点是通过讲解信息论与编码技术使学生掌握提高信道传输的“有效性”和“可靠性”的基本理论。
二、教学内容的基本要求和学时分配1.信息论与编码课程教学学时数分配表：2．具体要求第一章绪论[目的要求]了解信息论的产生、发展、应用，为以后学习打下基础[教学内容] 信息论研究的内容，信息的基本概念，通信系统模型及模型中各部分的作用，编码的种类[重点难点] 讲清通信系统模型及模型中各部分的作用。
[教学方法] 书本与多媒体课件相结合[作业] 无[课时] 3学时第二章信源及信源熵[目的要求] 弄清信源及信源熵的概念，深刻理解最大熵定理[教学内容] 信息论的基本概念，包括自信息量、条件自信息量、互信息量、条件互信息量、平均互信息量、单符号熵、熵的性质以及连续信源熵、最大熵定理和随机序列的熵等，解释冗余度的由来及作用[重点难点]重点是信息量、平均信息量、最大熵定理等概念的理解，难点是运用这些概念解决分析问题[教学方法] 书本与多媒体课件相结合，讲授与课堂讨论相结合[作业] 读书笔记一篇[课时] 9学时第三章无失真信源编码[目的要求] 掌握信源编码的意义，掌握最佳信源编码的概念及编码方法[教学内容] 无失真信源编码定理，包括定长编码定理和变长编码定理，详细阐述最佳编码中的香农码、费诺码和霍夫曼码的编码方法及其性能比较[重点难点]重点是香农码、费诺码和哈夫曼码为代表的最佳码的编码方法，难点是对无失真信源编码定理的理解。
《信息论基础》教学大纲
《信息论基础》教学大纲课程编码：1512105602课程名称：信息论基础学时/学分：36/2先修课程：《概率论与数理统计》、《随机过程》、《信息科学导论》适用专业：信息与计算科学开课教研室：信息与计算科学教研室一、课程性质与任务1．课程性质：本课程是信息与计算科学专业的一门专业选修课，是拟从事通信及相关行业工作的学生所必修，为本科三年级学生所选修。
2．课程任务：通过本课程的学习，学生应熟练掌握离散（连续）条件下的熵、条件熵、相对熵、互信息的概念，熟练掌握有（无）失真条件下的信源（信道）编码定理和一些常用编码并能熟练的应用它们，为今后的学习与科研打下坚实的基础。
二、课程教学基本要求掌握信息的基本理论，理解离散信源、连续信源的有关理论，熟练掌握信息、信息熵、条件熵、联合熵、互信息等的计算，了解通信系统的整个过程，熟练掌握基本的信源编码方法和信道编码方法，会判定信源码、信道码的优劣。
本课程主要以课堂讲授为主，在教学方法和手段上采用现代教育技术。
成绩考核形式：期终成绩（考查）（70%）＋平时成绩（平时测验、作业、课堂提问、 课堂讨论等）（30％）。
成绩评定采用百分制，60分为及格。
三、课程教学内容第一章 随机变量的信息度量1.教学基本要求理解和掌握的定义和计算式，理解有关熵的一些基本性质，了解广义熵及相互间的关系。
2.要求学生掌握的基本概念、理论通过本章学习，使学生能准确理解并掌握信息、熵、联合熵、条件熵等有关信息量的定义及计算式，理解熵的基本性质，了解广义熵的多种形式并了解它们之间的关系。
3.教学重点和难点教学重点是要让学生掌握熵的概念和性质，熟练计算熵、联合熵、条件熵、相对熵和互信息，并会用熵求解一些实际问题。
4.教学内容第一节 自信息第二节 熵、联合熵、条件熵第三节 相对熵和互信息第四节 信息量的一些基本性质第五节 广义熵第二章 随机过程的信息度量和渐进等分性1.教学基本要求理解和掌握信源、随机过程的基本概念，掌握无记忆信源、马氏信源、平稳性、遍历性，理解AEP性质，理解AEP性质在数据压缩中的应用，了解香农-麦克米兰-布瑞曼定理。
《信息论基础》教学大纲
《信息论基础》教学大纲课程编号：CE6006课程名称：信息论基础英文名称：Foundation of Information Theory学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。
通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。
本课程的教学目标：本课程对学生达到如下毕业要求有贡献：1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。
2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。
完成课程后，学生将具备以下能力：1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。
2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。
本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。
二、课程具体内容及基本要求（一）绪论（2学时）1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题3.作业及课外学习要求（1）阅读IEEE IT 1998年信息论50年专刊（2）数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt（3）信息论与通信、密码、信息隐藏（一）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”http://202.117.112.49/xxl2/dzjiaoan/sponit.mht（二）信息量和熵（8学时）1.基本要求（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质（2）掌握平均互信息的凸性（3）理解信息处理定理2.重点与难点（1）重点：对信息量进行定量描述（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题3.作业及课外学习要求熵、平均互信息的计算、信息处理定理等应用（三）离散信源无失真编码（8学时）1.基本要求（1）掌握离散无记忆源等长编码、不等长编码基本概念（2）掌握离散无记忆信源无失真编码定理（3）掌握Huffman编码（4）理解算术编码和LZ编码基本原理2.重点与难点（1）重点：掌握离散无记忆信源无失真编码定理（2）难点：典型序列的概念及其性质、最佳不等长编码3.作业及课外学习要求离散无记忆信源无失真编码定理、无失真信源编码方法（四）信道容量（6学时）1.基本要求（1）掌握信道容量的基本概念（2）掌握离散无记忆信道、组合信道的信道容量计算2.重点与难点（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算（2）难点：信道的描述方法及信道容量的计算3.作业及课外学习要求信道容量的计算（五）离散信道编码定理（4学时）1.基本要求（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念（3）理解离散信道编码定理2.重点与难点（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理（2）难点：离散信道编码定理3.作业及课外学习要求译码准则的应用、离散信道编码定理的应用（六）信息论在信息安全中的应用（4学时）1.基本要求（1）了解保密系统模型（2）理解保密、认证的信息理论2.重点与难点（1）重点：完善保密性（2）难点：保密的信息理论3.作业及课外学习要求信息论在信息安全中的应用三、教学安排及方式四、本课程对培养学生能力和素质的贡献点信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：五、考核及成绩评定方式理论课最终成绩由平时成绩和期末考试成绩组成。
《信息论基础》教学大纲
《信息论基础》教学大纲《信息论基础》教学大纲课程编号：CE6006课程名称：信息论基础英文名称：Foundation of Information Theory学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。
通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。
本课程的教学目标：本课程对学生达到如下毕业要求有贡献：1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。
2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。
完成课程后，学生将具备以下能力：1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。
2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。
本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。
二、课程具体内容及基本要求（一）绪论（2学时）1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题3.作业及课外学习要求（1）阅读IEEE IT 1998年信息论50年专刊（2）数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt（3）信息论与通信、密码、信息隐藏（一）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”http://202.117.112.49/xxl2/dzjiaoan/sponit.mht（二）信息量和熵（8学时）1.基本要求（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质（2）掌握平均互信息的凸性（3）理解信息处理定理2.重点与难点（1）重点：对信息量进行定量描述（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题3.作业及课外学习要求熵、平均互信息的计算、信息处理定理等应用（三）离散信源无失真编码（8学时）1.基本要求（1）掌握离散无记忆源等长编码、不等长编码基本概念（2）掌握离散无记忆信源无失真编码定理（3）掌握Huffman编码（4）理解算术编码和LZ编码基本原理2.重点与难点（1）重点：掌握离散无记忆信源无失真编码定理（2）难点：典型序列的概念及其性质、最佳不等长编码3.作业及课外学习要求离散无记忆信源无失真编码定理、无失真信源编码方法（四）信道容量（6学时）1.基本要求（1）掌握信道容量的基本概念（2）掌握离散无记忆信道、组合信道的信道容量计算2.重点与难点（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算（2）难点：信道的描述方法及信道容量的计算3.作业及课外学习要求信道容量的计算（五）离散信道编码定理（4学时）1.基本要求（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念（3）理解离散信道编码定理2.重点与难点（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理（2）难点：离散信道编码定理3.作业及课外学习要求译码准则的应用、离散信道编码定理的应用（六）信息论在信息安全中的应用（4学时）1.基本要求（1）了解保密系统模型（2）理解保密、认证的信息理论2.重点与难点（1）重点：完善保密性（2）难点：保密的信息理论3.作业及课外学习要求信息论在信息安全中的应用三、教学安排及方式四、本课程对培养学生能力和素质的贡献点信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：五、考核及成绩评定方式理论课最终成绩由平时成绩和期末考试成绩组成。
信息论基础教学大纲
《信息论基础》课程教学大纲课程代码：030032125课程英文名称：Information Theory Foundations课程总学时：32 讲课：32 实验：0 上机：0适用专业：信息科学与工程学院各专业大纲编写（修订）时间：2017.5一、大纲使用说明（一）课程的地位及教学目标信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。
信息论是应用近代数理统计方法研究信息传输、存贮和处理，并在工程实践中不断发展的一门新兴科学。
本课程是电子信息科学与技术本科的专业基础选修课。
本课程系统地讲授香农信息论的基本内容及应用。
通过本课程的学习，要求学生了解信息系统各部分的主要组成以及作用, 理解和领会信息论的基本概念、理解各类离散信源的信息测度、离散信道的信息传输率及信道容量；理解离散信源无失真编码定理，离散有噪信道编码定理；牢固掌握离散信源的信息率失真理论。
理解连续信源和波形信源的概念及信息测度、连续信道和波形信道的信息传输率及信道容量；了解连续信源的信息率失真理论。
对应用信息论工具研究信息科学问题和信息技术开发方法有一定认识。
（二）知识、能力及技能方面的基本要求知识和能力方面的基本要求：了解和理解信息的定义和测度方法，领会各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理。
理解离散有噪信道编码理论和编码原则。
了解信息系统各部分的主要组成以及作用,理解香农的三大编码定理。
技能方面的基本要求：能够用信息论理论建立工程实践问题的数学模型，能够综合应用信息论的测度方法、香农信息论的三个基本概念和三个编码定理解决实际问题。
（三）实施说明将课堂讲授、自学、研究讨论的方式相结合，使学生从被动吸收知识的状态转化到主动索取知识的状态中来，以提高学生的学习兴趣和学习效果。
课程教学注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。
《信息论基础》教学大纲InformationTheory
《信息论基础》教学大纲Information Theory课程编号： 0070307027 适用专业：数学专业执笔：刘立伟适用年级：08-12级 一、课程的性质和教学目的课程性质：专业限选课。
信息理论与技术不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学和经济学等各领域。
教学目的：信息论是研究信息的有效处理和可靠传输的一般规律的学科。
它在社会生活的各个方面有着广泛的应用，是信息与计算科学专业学生的必修课程，该课程的开设有助于培养顺应现代高科技的数学人才。
通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。
二、课程教学内容第一章 信息科学与信息技术概论第二章 信息的度量问题第三章 通信系统概论第四章 信源编码问题第五章 信道编码定理三、课程教学的基本要求本门课程的内容按教学要求的不同，分为两个层次。
文中概念、理论用“理解”、“了解”表述，方法、运算用“掌握”、“会”或“了解”表述。
第一章信息科学与信息技术概论理解信息、信息科学、信息技术、信息产业的概念；了解信息论的产生、发展与应用。
第二章 信息的度量问题理解香农熵、联合熵、条件熵的概念；掌握熵的一些基本性质；理解互熵和互信息的定义；理解连续型随机变量的信息量和最大熵与原理。
第三章 通信系统概论了解通信系统的基本模型和基本问题。
第四章 信源编码问题理解等长码、变长编码、哈夫曼码，算术码等编码问题；掌握通用信源编码中的LZW码和Yang-Kieffer 码运算；了解信源定长码的编码理论。
第五章 信道编码定理掌握离散的无记忆信道和其信道容量的计算；理解信道序列的正、反编码定理；了解可加高斯信道的容量计算问题。
四、课程的教学环节要求教学环节包括：课堂讲授、习题课、课外作业、辅导答疑。
（一）课堂讲授教学方法上尽量采用启发式、讨论式教学，在课堂上多提问题，安排一些自学内容，鼓励学生自学，培养学生的自学能力。
中国海洋大学 信息论基础 课程大纲(理论课程)
中国海洋大学信息论基础课程大纲（理论课程）英文名称(Element of Information Theory)【开课单位】信息科学与工程学院计算机科学系【课程模块】学科基础【课程编号】【课程类别】必修【学时数】51 【学分数】 3.5一、课程描述本课程大纲根据2011年本科人才培养方案进行修订或制定。
（一）教学对象信息论基础是计算机科学与技术专业本科生的一门必修专业基础课程。
（二）教学目标及修读要求1、教学目标（课程结束后学生在知识、技能和态度三个层面达到的目标）信息论是一门研究信息的存储、传输和处理一般规律的科学。
本课程系统地讲授香农(C.E. Shannon)信息论的基本内容及应用。
通过本课程的学习，要求学生牢固掌握信息论的基本概念、数学原理并会灵活运用；牢固掌握各类离散信源的信息测度；牢固掌握离散信道的信息传输率及信道容量；牢固掌握离散信源无失真编码定理，离散有噪信道编码定理；牢固掌握离散信源的信息率失真理论。
掌握连续信源和波形信源的概念及信息测度；掌握连续信道和波形信道的信息传输率及信道容量；了解连续信源的信息率失真理论。
了解不确定归纳中的最大熵分类原理。
对怎样利用信息论工具研究信息科学问题，进行信息技术开发有一定认识。
2、修读要求（简要说明课程的性质，与其他专业课程群的关系，学生应具备的基本专业素质和技能等）信息论基础是计算机科学与技术专业本科学生必修的一门专业基础课程，本课程系统地讲授香农(C.E. Shannon)信息论的基本内容及应用。
该课程主要是培养学生对信息论、编解码基本技能和方法。
其内容着重于基本概念、基本原理的学习，同时也体现最新的成果。
该课程将为学生奠定坚实的信息论和编解码基础，本课程在计算机科学与技术专业的学位课程教学中占有重要地位。
本课程对学生的基本要求是：1) 需要具有一定的《概率论》和《随机过程》基础；2) 课前预习相应章节内容或者课后复习相应章节内容；课堂认真听讲并适当作笔记；3) 认真完成布置的每章习题，并在讲解时对照掌握；认真完成平时测验并检查自身掌握情况；4) 除教材外，阅读参考书和文献，更进一步理解课堂内容并拓宽知识面。
《信息技术教学论》教学大纲(理论课)
湖北大学信息技术教学论（理论课）（课程代码）教学大纲（2010版）教育学院教育技术学系2011年3月前言一、大纲编写依据教育部于2003年3月颁布了普通高中信息技术课程标准，新课标对信息技术课程进行了全新定位，使信息技术课程从理念、目标、内容到实施过程出现了全面更新。
信息技术课程以培养学生的信息素养为课程目标，标志着信息技术课程已成为中小学生信息素养培养的重要阵地。
信息技术教学论是专业方向课程，是培养基础教育信息技术课程教师的重要课程，本专业学生通过信息技术教学论课程学习，使学生掌握和了解信息技术课程与教学相关的知识，提高信息技术课程教学和实践能力，为学生今后担任信息技术课程的教学打下坚实的基础。
二、课程目的1、知识目标使学生了解信息技术教学论的学科性质和发展历史；明确信息技术课程的目标及在中小学教育中的地位和作用；掌握信息技术课程教学原则、方法、教学设计和教学组织形式；掌握信息技术学习方法和培养方法以及信息技术教学资源环境和人文环境；明确信息技术教师能力与专业化发展要求；掌握信息技术课程教学评价方法。
2、能力目标（1）实践能力通过课程学习，运用所学知识编制信息技术课程教学方案；构建信息技术课程教学环境；通过微格教学训练，掌握教学技能。
（2）创新能力通过教育实习，研究信息技术课程新的教学模式。
三、教学方法1、课堂教学（1）讲授课程以讲授为主。
根据教学大纲的要求，突出重点和难点。
讲授与学生讨论相结合。
运用多媒体教学和网络教学，结合信息技术课程教学实践中的案例进行分析（包括中小学教材分析），讲清概念和相关理论。
采取讨论的方式让学生掌握信息技术课程教学设计过程和方法及课堂教学组织形式，培养学生的创新思维能力。
（2）教师指导下的学生自主探究学习由教师设置相关探究学习专题，在网络环境下，学生基于网络资源的自主探究学习。
在学习过程中，在教师的指导下进行，对学生完成的作品进行自评、互评，提高学生的思考问题、解决问题能力和评价能力。
《信息论基础》课程教学大纲
《信息论基础》课程教学大纲《信息论基础》课程教学大纲一、《信息论基础》课程说明（一）课程代码：14131054（二）课程英文名称：Information Theory（三）开课对象：信息管理与信息系统专业（四）课程性质：信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。
本课程是信息管理与信息系统本科的专业课。
它应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。
因而它是一门新兴科学，亦称为通信的数学理论。
建立在通信理论的数学知识基础之上的信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密码学等方面有着广泛的用途。
要使学生领会信息论的基本思想，具备解决实际问题的能力。
从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。
先修课程为概率论与数理统计（五）教学目的：本课程是信息管理与信息系统本科生的专业课，采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解Shannon信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。
（六）教学内容：掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定理与Huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码定理；理解R（d）函数与有失真的信源编码定理.（七）学时数、学分数及学时数具体分配学时数： 36分数： 2（八）教学方式：采用多媒体教学方式（九）考核方式和成绩记载说明考试方式将结合平时作业、平时考核(40%)、期末考试(60%)的各个环节。
使学生能够注重平时学习的过程，改变学生从应试型到能力型。
信息论教学大纲.doc
《信息技术基础》教学大纲一、课程的性质和目的当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业（信息安全方向）的专业课程。
通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。
重点讨论了信源的炳、炳的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法, 讨论了信道编码理论以及各种常用的信道编码方法。
而且针对信息安全的具体问题，研究了信息论的应用，信息论与安全理论的关系。
本课程为以后开设的专业课程打下了坚实的基础, 也为学生更好的理解信息安全理论奠定了基础。
二、课程教学内容及学时分配1.绪论（2学时）本章要求了解信息论的形成和发展，了解信息，信号，消息的区别和联系；掌握通信系统的模型。
本章的主要内容为：信息论的形成和发展，信息、信号、消息的区别，香农信息的定义, 通信系统的模型。
2.离散信源及其信息测度（10学时）本章要求掌握信源的数学模型，了解信源的分类；掌握离散信源炳，了解信息炳的基本性质；掌握离散序列信源及马尔可夫信源信息炳的求法。
本章的主要内容为：信源的数学模型及分类，离散信源嫡及其性质，离散序列信源的炳，离散平稳信信源的极限炳，马尔可夫信源，信源剩余度。
3.离散信道及其信道容量（10学时）本章要求掌握信道的数学模型，了解信道的分类；掌握平均互信息的定义，了解平均互信息的特性；了解离散信道信道容量的一般计算方法，会计算对称离散信道的信道容量；理解数据处理定理以及信源与信道匹配的意义。
本章的主要内容为：信道的数学模型及其分类，平均互信息及其特性，信道容量及其一般计算方法，数据处理定理，信源和信道的匹配。
4.无失真信源编码（8学时）本章要求了解码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等；理解定长编码定理和变长编码定理；了解几种编码方法：香农编码方法、费诺编码方法、MH编码及算术编码；掌握哈夫曼编码方法；会确定编码效率。
030732004《信息论基础》教学大纲
030732004《信息论基础》教学大纲《信息论基础》课程教学大纲课程代码：030732004课程英文名称：Information Theory Fundation课程总学时：32 讲课：32 实验：0 上机：0适用专业：电子信息科学与技术大纲编写（修订）时间：2011-5-10一、大纲使用说明（一）课程的地位及教学目标本课程是电子信息科学与技术专业学生所应必备学习的基础理论课程，是一门专业选修基础课，也可作为高年级学生的先修课程。
通过本课程的学习，学生应掌握信息论的基本概念及香农的编码定理等内容，使学生具备了学习有关通信、数字信号处理与传输等后续课程所必须的信息论与编码的基本知识。
该课程现在已经成为信息学科的基础理论之一。
并在各种工程应用中经实践检验卓有成效的应用技术，如编码技术、多媒体技术、通信技术的发展反过来又丰富了信息论与编码技术的理论内涵。
这些理论对于从事相关领域进行研究和工程应用的科技人员具有很高的参考价值。
（二）知识、能力及技能方面的基本要求本课程是信息类及通信专业本科高年级学生选修的一门比较重要的专业基础课。
专业基础课。
本课程采用概率论与随机过程等数学方法研究信息的统计度量、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的技术奠定良好的理论基础。
应掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。
是更好掌握其它专业课的必备基础。
（三）实施说明在教学环节中,重点讲授信源的信息量的计算、信源编码、信道容量的计算及信道编码。
另外，教师可以根据具体情况适当调整大纲的学时分配。
（四）对先修课的要求《概率论与数理统计》、《线性代数》（五）对习题课、实验环节的要求要求学生对典型习题一定要掌握，做到举一反三。
信息论基础-教学大纲-赵勇
中国海洋大学本科生课程大纲课程名称信息论基础Information Theory课程代码 0753********课程属性 专业知识 课时/学分 32/2课程性质 选修 实践学时责任教师 赵勇 课外学时 64(32×2) 课程属性：公共基础/通识教育/学科基础/专业知识/工作技能，课程性质：必修、选修一、课程介绍1.课程描述：信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
本课程的主要内容包括信源和信道两大部分。
信源方面主要包括：信源的数学模型及分类、离散信源的自信息和信息熵、信息熵的基本性质、离散无记忆的扩展信源、离散平稳信源、马尔科夫信源、信源剩余度与自然语言的熵、意义信息和加权熵。
信道方面主要包括：信道的数学模型及分类、平均互信息及平均条件互信息、平均互信息的特性、信道容量及其一般计算方法、离散无记忆扩展信道及其信道容量、独立并联信道及其信道容量、串联信道的互信息和数据处理定理、信源与信道的匹配。
2.设计思路：当前信息产业发展很快，需要大量的从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，也是信息与计算科学专业的专业选修课。
课程从各种信源开始，重点是讲授其信息熵的计算方法；然后是各种信道，重点是讲授其信道容量的计算方法。
信源是发出信息的，信息熵是衡量信息量的重要标准。
信道是传输信息的，信道容量反映了信道所能传输的最大信息量。
- 1 -3.其他课程的关系：先修课程：《概率论》二、课程目标通过本课程的学习，学生能够掌握有关信息论的基本理论和实现原理，并能根据所学的内容进行一些初步的应用。
到课程结束时，学生应该（1）理解各种信源的信息熵、各种信道的容量，及其计算方法。
（2）能够将相关知识应用到具体的数据处理中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论基础》课程教学大纲
课程编号：（0531305）
课程名称：信息论基础
参考学时：48 其中实验或上机学时：0
先修课及后续课：先修课：概率论、信号与系统
后续课：通信原理、数字图像处理、语音信号处理
说明部分
1.课程性质
本课程是电子信息类专业的技术基础课
2.课程教学的目的及意义
人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。
特别是迈入21世纪一一高度信息化时代，信息的重要性更是不言而喻。
信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论基础》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。
本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开C通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。
使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。
3.教学内容及教学要求
教学内容：
该课程是电子信息工程、信息安全工程专业的专业基础课。
是为了适应数字通信、信息处理和信息安全等方而的专业需要开设。
该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性, 实现信息系统的最优化。
信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息蜻；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。
教学基本要求：
了解通信系统各部分的主要组成以及作用、香农的三大编码定理；
掌握各类离散信源和信息烯、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。
4.教学重点、难点
教学重点：
信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。
教学难点：
£典型序列以及由此推导出的香农三大编码定理即逆定理。
5.教学方法及教学手段
课堂讲学为主，习题讲解为辅。
6.教学学材及主要参考书
1.傅祖芸编著，《信息论一基础理论与应用》，北京：电子工业出版社，2011年
2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年
3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年
二、正文部分
第一章:绪论
一、教学要求
了解信息论研究对象、目的、发展简史与现状；
了解通信系统的模型以及通信系统各部分的主要组成以及作用
二、教学内容
第一节信息的概念
知识要点：信息的概念及自信息
第二节信息论研窕的对象、目的和内容
知识要点：信息论研究的对象、目的和内容
第三节：信息论发展简史
知识要点：信息论发展简史
三、本章学时数
2学时
第二章：离散信源及其测度
一、教学要求
了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。
掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。
二、教学内容
第一节信源的数学模型及分类
知识要点：信源的数学模型，离散无记忆信源及其扩展信源。
第二节信息燔及其基本性质
知识要点：自信息及信息墙离散无记忆扩展信源炳，炳的基本性质及最大离散炳定理。
第三节离散平稳信源
知识要点：离散平稳信源定义，联合炳，条件炳以及极限炳。
第四节马尔可夫信源
知识要点：马尔可夫信源定义，马尔可夫信源炳
第五节信息剩余度
知识要点：信息剩余度以及自然语言炳
三、本章学时数
10学时
第三章：离散信道及其信道容量
一、教学要求
了解一般信道容量计算。
掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。
二、教学内容
第一节信道数学模型及分类
知识要点：信道数学模型及不同的分类，信道矩阵。
第二节平均互信息及特点
知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。
第三节信道容量及一般计算方法
知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。
第四节离散无记忆扩展信道及其容量
知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。
三、本章学时数
8学时
第四章：无失真信源编码
一、教学要求
了解其它一些无失真信源编码方法。
理解渐近等分割性及£典型序列，算术编码方法及具体实现方案；
掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。
二、教学内容
第一节等长码及等长信源编码定理
知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，£典型序列及其性质, 编码效率。
第二节变长码及变长信源编码定理
知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码, 变长信源编码定理。
第三节编码方法
知识要点：香农编码，费诺编码，香农一费诺一埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。
三、本章学时数
10学时
第五章：有噪信道编码
一、教学要求
了解检错码与纠错码的方法。
理解渐近等分割性及£典型序列。
掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。
二、教学内容
第一节错误概率与译码规则和编码方法
知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。
第二节有噪信道编码定理
知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。
第三节纠错码
知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。
三、本章学时数
14学时
第六章：总复习
一、教学要求
总结掌握信息论基础课程学所内容
二、本章学时数
2学时
总学时48学时
第一章绪论2学时
第二章离散信源及其测度10学时
离散信道及其信道容量8学时
―― 第二早
第四章无失真信源编码12学时
第五章有噪信道编码14学时
笫六章复习2学时
考核方案：
期末考试60%；考核形式：考试（闭卷笔试），教学环境：课堂作业与提问10%；
学习笔记10%；
平时测验20%
作业和提问10%：提问采用随堂随机形式，主要围绕学生的实践能力培养，由于本课程没有实验，如信道容量的计算，信源和信道编码等的程序实现，采取在课堂上布置思考题，让学生课后思考算法实现的步骤，然后在课堂上简述。
学习笔记10%：主要是考查学生参与学习的过程，包括课后搜集整理资料的过程与撰写简要的综述能力C
系主任审核签名：谭敏 平时测验20%：随堂测验，不定期抽取重要知识点检测学生掌握情况，2〜3次，根据学 生对知识的掌握情况，次数可以酌情变化，根据测试批改的结果，对典型错误进行详细讲解。
主要考察学生的分析问题和解决问题的能力，选取的测试内容主要包括信源炳和信道容量的 计算、具体的信源编码，信道的纠错编码和纠错能力的计算等，加深对课堂理论知识的理解。
期末考试60%：卷而100分，采取笔试闭卷形式，规定卷而55分以上，总评才可以合格° 题型主要有，问答、填空、判断、作图、计算和证明等形式，其中基本难度题分值约为50%, 中等难度题约40%,较难题量约为10%。
教研室： 电子信息教研室 执笔人:
编写时间2005.2 修改时间2014.1。