《信息论基础》教学大纲
《信息论基础》教学大纲
《信息论基础》教学大纲课程编码：1512105602课程名称：信息论基础学时/学分：36/2先修课程：《概率论与数理统计》、《随机过程》、《信息科学导论》适用专业：信息与计算科学开课教研室：信息与计算科学教研室一、课程性质与任务1．课程性质：本课程是信息与计算科学专业的一门专业选修课，是拟从事通信及相关行业工作的学生所必修，为本科三年级学生所选修。
2．课程任务：通过本课程的学习，学生应熟练掌握离散（连续）条件下的熵、条件熵、相对熵、互信息的概念，熟练掌握有（无）失真条件下的信源（信道）编码定理和一些常用编码并能熟练的应用它们，为今后的学习与科研打下坚实的基础。
二、课程教学基本要求掌握信息的基本理论，理解离散信源、连续信源的有关理论，熟练掌握信息、信息熵、条件熵、联合熵、互信息等的计算，了解通信系统的整个过程，熟练掌握基本的信源编码方法和信道编码方法，会判定信源码、信道码的优劣。
本课程主要以课堂讲授为主，在教学方法和手段上采用现代教育技术。
成绩考核形式：期终成绩（考查）（70%）＋平时成绩（平时测验、作业、课堂提问、 课堂讨论等）（30％）。
成绩评定采用百分制，60分为及格。
三、课程教学内容第一章 随机变量的信息度量1.教学基本要求理解和掌握的定义和计算式，理解有关熵的一些基本性质，了解广义熵及相互间的关系。
2.要求学生掌握的基本概念、理论通过本章学习，使学生能准确理解并掌握信息、熵、联合熵、条件熵等有关信息量的定义及计算式，理解熵的基本性质，了解广义熵的多种形式并了解它们之间的关系。
3.教学重点和难点教学重点是要让学生掌握熵的概念和性质，熟练计算熵、联合熵、条件熵、相对熵和互信息，并会用熵求解一些实际问题。
4.教学内容第一节 自信息第二节 熵、联合熵、条件熵第三节 相对熵和互信息第四节 信息量的一些基本性质第五节 广义熵第二章 随机过程的信息度量和渐进等分性1.教学基本要求理解和掌握信源、随机过程的基本概念，掌握无记忆信源、马氏信源、平稳性、遍历性，理解AEP性质，理解AEP性质在数据压缩中的应用，了解香农-麦克米兰-布瑞曼定理。
信息论基础教学大纲
《信息论基础》课程教学大纲课程编号：总学时数：48总学分数：3课程性质：专业必修课适用专业：一、课程的任务和基本要求：信息论基础即香农信息论是研究信息处理的数学规律性的数学理论分支之一，是以概率论和随机过程为主要工具研究通信系统极限性能的科学理论。
重点解决关于信息传输的有效性和可靠性的理论问题，是信息科学与相关专业的必修专业课程。
本课程的指导思想是既要到理论的严谨性,更要考虑本专业的实用性,既要求掌握基本原理,又要求了解新理论与新技术。
通过该门课程的学习，期望学生能较好地理解香农信息论的基本思想与基本原理，掌握几个基本运算方法，培养学生利用信息论的基本原理分析和解决实际问题能力，从而提高学生的数学素质，加强学生开展科研工作能力。
为今后进行更深入的研究奠定良好的理论基础。
二、基本内容和要求：第1章绪论§1.1 基本概念§1.2 数字通信系统模型§1.3 信息论与编码理论研究的主要内容和意义要求：理解信息论的形成与发展，通信系统模型，掌握信源、信宿、信道、信息、消息、信号等基本概念，了解通信系统信源编码器、信道编码器有关基本原理及功能。
第2章信源及其熵§2.1 信源的数学模型和分类§2.2 离散信源的信息熵及其性质§2.3 离散无记忆信源的扩展信源§2.4 离散平稳信源§2.5 连续信源的信息熵§2.6 信源的冗余度§2.7 离散无失真信源编码定理要求：理解信源的分类与描述方式，掌握自信息量、信源熵、互信息等相关的基本概念、公式以及熵的基本性质，了解最大熵定理及其冗余度的相关问题。
第3章信道及其容量§3.1 信道的数学模型与分类§3.2 信道疑义度与平均互信息§3.3 离散无记忆的扩展信道§3.4 离散信道的信道容量§3.5 连续信道的信道容量§3.6 信源与信道的匹配§3.7 信道编码定理要求：理解信道模型及其相关的实际信道，掌握信道容量的概念并会计算各种信道的信道容量。
信息论教学大纲
信息论教学大纲一、课程概述信息论是一门应用概率论、随机过程、数理统计和近世代数等方法，来研究信息的存储、传输和处理中一般规律的学科。
它为通信、计算机科学、统计学等多个领域提供了理论基础。
本课程旨在使学生系统地掌握信息论的基本概念、基本原理和基本方法，培养学生运用信息论知识分析和解决实际问题的能力。
二、课程目标1、使学生理解信息的度量、信源和信道的数学模型。
2、掌握信息熵、互信息、信道容量等重要概念和计算方法。
3、能够运用信息论的原理分析通信系统的性能。
4、培养学生的数学推导和逻辑思维能力。
三、课程内容（一）信息的基本概念1、信息的定义和性质介绍不同领域对信息的定义和理解。
探讨信息的不确定性、可度量性等性质。
2、信息的分类按照产生的领域、作用、表现形式等进行分类。
（二）信息的度量1、自信息量定义和计算方法。
举例说明不同概率事件的自信息量。
2、联合自信息量与条件自信息量两者的概念和计算。
与自信息量的关系。
3、信息熵熵的定义和物理意义。
计算离散信源的熵。
（三）信源1、离散无记忆信源数学模型和特点。
熵的性质和计算。
2、离散有记忆信源介绍马尔可夫信源。
计算有记忆信源的熵。
3、连续信源连续信源的熵。
最大熵定理。
（四）信道1、信道的分类按照输入输出的特点分类。
举例说明不同类型信道。
2、信道的数学模型转移概率矩阵。
信道容量的概念。
（五）信道容量1、离散无记忆信道容量计算方法和步骤。
举例分析。
2、离散有记忆信道容量简要介绍计算方法。
3、连续信道容量香农公式及其应用。
（六）信息率失真函数1、失真测度常见的失真度量方法。
失真矩阵的概念。
2、信息率失真函数定义和性质。
计算方法。
（七）信源编码1、无失真信源编码定长编码定理和变长编码定理。
哈夫曼编码方法及应用。
2、有失真信源编码率失真理论。
（八）信道编码1、信道编码的基本概念差错控制的方法。
信道编码的分类。
2、线性分组码生成矩阵和校验矩阵。
纠错能力分析。
四、教学方法1、课堂讲授讲解基本概念、原理和方法，通过实例帮助学生理解。
《信息论基础》教学大纲
《信息论基础》教学大纲《信息论基础》教学大纲课程编号：CE6006课程名称：信息论基础英文名称：Foundation of Information Theory学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。
通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。
本课程的教学目标：本课程对学生达到如下毕业要求有贡献：1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。
2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。
完成课程后，学生将具备以下能力：1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。
2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。
本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。
二、课程具体内容及基本要求（一）绪论（2学时）1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题3.作业及课外学习要求（1）阅读IEEE IT 1998年信息论50年专刊（2）数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt（3）信息论与通信、密码、信息隐藏（一）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”http://202.117.112.49/xxl2/dzjiaoan/sponit.mht（二）信息量和熵（8学时）1.基本要求（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质（2）掌握平均互信息的凸性（3）理解信息处理定理2.重点与难点（1）重点：对信息量进行定量描述（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题3.作业及课外学习要求熵、平均互信息的计算、信息处理定理等应用（三）离散信源无失真编码（8学时）1.基本要求（1）掌握离散无记忆源等长编码、不等长编码基本概念（2）掌握离散无记忆信源无失真编码定理（3）掌握Huffman编码（4）理解算术编码和LZ编码基本原理2.重点与难点（1）重点：掌握离散无记忆信源无失真编码定理（2）难点：典型序列的概念及其性质、最佳不等长编码3.作业及课外学习要求离散无记忆信源无失真编码定理、无失真信源编码方法（四）信道容量（6学时）1.基本要求（1）掌握信道容量的基本概念（2）掌握离散无记忆信道、组合信道的信道容量计算2.重点与难点（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算（2）难点：信道的描述方法及信道容量的计算3.作业及课外学习要求信道容量的计算（五）离散信道编码定理（4学时）1.基本要求（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念（3）理解离散信道编码定理2.重点与难点（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理（2）难点：离散信道编码定理3.作业及课外学习要求译码准则的应用、离散信道编码定理的应用（六）信息论在信息安全中的应用（4学时）1.基本要求（1）了解保密系统模型（2）理解保密、认证的信息理论2.重点与难点（1）重点：完善保密性（2）难点：保密的信息理论3.作业及课外学习要求信息论在信息安全中的应用三、教学安排及方式四、本课程对培养学生能力和素质的贡献点信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：五、考核及成绩评定方式理论课最终成绩由平时成绩和期末考试成绩组成。
信息论基础教学大纲
《信息论基础》课程教学大纲课程代码：030032125课程英文名称：Information Theory Foundations课程总学时：32 讲课：32 实验：0 上机：0适用专业：信息科学与工程学院各专业大纲编写（修订）时间：2017.5一、大纲使用说明（一）课程的地位及教学目标信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。
信息论是应用近代数理统计方法研究信息传输、存贮和处理，并在工程实践中不断发展的一门新兴科学。
本课程是电子信息科学与技术本科的专业基础选修课。
本课程系统地讲授香农信息论的基本内容及应用。
通过本课程的学习，要求学生了解信息系统各部分的主要组成以及作用, 理解和领会信息论的基本概念、理解各类离散信源的信息测度、离散信道的信息传输率及信道容量；理解离散信源无失真编码定理，离散有噪信道编码定理；牢固掌握离散信源的信息率失真理论。
理解连续信源和波形信源的概念及信息测度、连续信道和波形信道的信息传输率及信道容量；了解连续信源的信息率失真理论。
对应用信息论工具研究信息科学问题和信息技术开发方法有一定认识。
（二）知识、能力及技能方面的基本要求知识和能力方面的基本要求：了解和理解信息的定义和测度方法，领会各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理。
理解离散有噪信道编码理论和编码原则。
了解信息系统各部分的主要组成以及作用,理解香农的三大编码定理。
技能方面的基本要求：能够用信息论理论建立工程实践问题的数学模型，能够综合应用信息论的测度方法、香农信息论的三个基本概念和三个编码定理解决实际问题。
（三）实施说明将课堂讲授、自学、研究讨论的方式相结合，使学生从被动吸收知识的状态转化到主动索取知识的状态中来，以提高学生的学习兴趣和学习效果。
课程教学注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。
《信息论基础》教学大纲InformationTheory
《信息论基础》教学大纲Information Theory课程编号： 0070307027 适用专业：数学专业执笔：刘立伟适用年级：08-12级 一、课程的性质和教学目的课程性质：专业限选课。
信息理论与技术不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学和经济学等各领域。
教学目的：信息论是研究信息的有效处理和可靠传输的一般规律的学科。
它在社会生活的各个方面有着广泛的应用，是信息与计算科学专业学生的必修课程，该课程的开设有助于培养顺应现代高科技的数学人才。
通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。
二、课程教学内容第一章 信息科学与信息技术概论第二章 信息的度量问题第三章 通信系统概论第四章 信源编码问题第五章 信道编码定理三、课程教学的基本要求本门课程的内容按教学要求的不同，分为两个层次。
文中概念、理论用“理解”、“了解”表述，方法、运算用“掌握”、“会”或“了解”表述。
第一章信息科学与信息技术概论理解信息、信息科学、信息技术、信息产业的概念；了解信息论的产生、发展与应用。
第二章 信息的度量问题理解香农熵、联合熵、条件熵的概念；掌握熵的一些基本性质；理解互熵和互信息的定义；理解连续型随机变量的信息量和最大熵与原理。
第三章 通信系统概论了解通信系统的基本模型和基本问题。
第四章 信源编码问题理解等长码、变长编码、哈夫曼码，算术码等编码问题；掌握通用信源编码中的LZW码和Yang-Kieffer 码运算；了解信源定长码的编码理论。
第五章 信道编码定理掌握离散的无记忆信道和其信道容量的计算；理解信道序列的正、反编码定理；了解可加高斯信道的容量计算问题。
四、课程的教学环节要求教学环节包括：课堂讲授、习题课、课外作业、辅导答疑。
（一）课堂讲授教学方法上尽量采用启发式、讨论式教学，在课堂上多提问题，安排一些自学内容，鼓励学生自学，培养学生的自学能力。
华北电力 北京 《信息理论基础》教学大纲
信息理论基础课程编号:00500630课程名称：信息理论基础英文名称：Fundamentals of Information Theory总学时：40总学分：2.5适用对象: 全校各专业先修课程：通信原理、信号与系统一、课程性质、目的和任务专业基础课。
本课程采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解仙农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。
二、教学要求和内容«基本要求»1．掌握熵与互信息的概念，性质与计算；2．掌握离散信源、马尔可夫信源熵的计算；3．掌握离散信源编码定理与Huffman编码方法；4．掌握离散信道传输错误概率的计算与译码准则；5．掌握特殊离散无记忆信道与高斯信道容量的计算；6．了解有噪信道编码定理。
«基本内容»1．绪论信息的概念，通信系统模型介绍，仙农信息论的发展介绍。
2．信息的统计度量。
此部分为重点自信息量、条件自信息量、互信息量、条件互信息量、离散集的平均自信息量、离散集的平均互信息量以及连续随机变量的互信息量和相对熵的概念及其性质与关系。
3．离散信源。
此部分为重点。
信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源。
4．离散信道及其容量。
此部分为重点和难点。
信道的数学模型、离散无记忆信道、离散无记忆扩展信道、信道的组合、信道容量。
5．无失真信源编码。
此部分为重点。
编码的概念、分组码、定长码、变长码。
6．有噪信道编码噪声信道的编码问题、错误概率与编码方法、有噪信道编码定理。
7．限失真信源编码。
此部分为重点和难点失真度测量、信息率失真函数、限失真信源编码定理和逆定理、信息率失真函数的计算。
三、教学安排及方式以课堂讲授为主，辅助于课堂讨论，讲授与讨论基本达到：8:2。
《信息论基础》课程教学大纲
《信息论基础》课程教学大纲一、《信息论基础》课程说明（一）课程代码：14131054（二）课程英文名称：Information Theory（三）开课对象：信息管理与信息系统专业（四）课程性质：信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。
本课程是信息管理与信息系统本科的专业课。
它应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。
因而它是一门新兴科学，亦称为通信的数学理论。
建立在通信理论的数学知识基础之上的信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密码学等方面有着广泛的用途。
要使学生领会信息论的基本思想，具备解决实际问题的能力。
从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。
先修课程为概率论与数理统计（五）教学目的：本课程是信息管理与信息系统本科生的专业课，采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解Shannon信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。
（六）教学内容：掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定理与Huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码定理；理解R（d）函数与有失真的信源编码定理.（七）学时数、学分数及学时数具体分配学时数： 36分数： 2（八）教学方式：采用多媒体教学方式（九）考核方式和成绩记载说明考试方式将结合平时作业、平时考核(40%)、期末考试(60%)的各个环节。
使学生能够注重平时学习的过程，改变学生从应试型到能力型。
《信息论基础》教学大纲
《信息论基础A》教学大纲Basic Information Theory A一、课程的性质和目的当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业（信息安全方向）的专业课程。
通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。
重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，讨论了信道编码理论以及各种常用的信道编码方法。
而且针对信息安全的具体问题，研究了信息论的应用，信息论与安全理论的关系。
本课程为以后开设的专业课程打下了坚实的基础，也为学生更好的理解信息安全理论奠定了基础。
二、课程教学内容及学时分配1.绪论(2学时)本章要求了解信息论的形成和发展，了解信息，信号，消息的区别和联系；掌握通信系统的模型。
本章的主要内容为：信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。
2.离散信源及其信息测度(10学时)本章要求掌握信源的数学模型，了解信源的分类；掌握离散信源熵，了解信息熵的基本性质；掌握离散序列信源及马尔可夫信源信息熵的求法。
本章的主要内容为：信源的数学模型及分类，离散信源熵及其性质，离散序列信源的熵，离散平稳信信源的极限熵，马尔可夫信源，信源剩余度。
3.离散信道及其信道容量(10学时)本章要求掌握信道的数学模型，了解信道的分类；掌握平均互信息的定义，了解平均互信息的特性；了解离散信道信道容量的一般计算方法，会计算对称离散信道的信道容量；理解数据处理定理以及信源与信道匹配的意义。
本章的主要内容为：信道的数学模型及其分类，平均互信息及其特性，信道容量及其一般计算方法，数据处理定理，信源和信道的匹配。
4.无失真信源编码(8学时)本章要求了解码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等；理解定长编码定理和变长编码定理；了解几种编码方法：香农编码方法、费诺编码方法、MH编码及算术编码；掌握哈夫曼编码方法；会确定编码效率。
030732004《信息论基础》教学大纲
030732004《信息论基础》教学大纲《信息论基础》课程教学大纲课程代码：030732004课程英文名称：Information Theory Fundation课程总学时：32 讲课：32 实验：0 上机：0适用专业：电子信息科学与技术大纲编写（修订）时间：2011-5-10一、大纲使用说明（一）课程的地位及教学目标本课程是电子信息科学与技术专业学生所应必备学习的基础理论课程，是一门专业选修基础课，也可作为高年级学生的先修课程。
通过本课程的学习，学生应掌握信息论的基本概念及香农的编码定理等内容，使学生具备了学习有关通信、数字信号处理与传输等后续课程所必须的信息论与编码的基本知识。
该课程现在已经成为信息学科的基础理论之一。
并在各种工程应用中经实践检验卓有成效的应用技术，如编码技术、多媒体技术、通信技术的发展反过来又丰富了信息论与编码技术的理论内涵。
这些理论对于从事相关领域进行研究和工程应用的科技人员具有很高的参考价值。
（二）知识、能力及技能方面的基本要求本课程是信息类及通信专业本科高年级学生选修的一门比较重要的专业基础课。
专业基础课。
本课程采用概率论与随机过程等数学方法研究信息的统计度量、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的技术奠定良好的理论基础。
应掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。
是更好掌握其它专业课的必备基础。
（三）实施说明在教学环节中,重点讲授信源的信息量的计算、信源编码、信道容量的计算及信道编码。
另外，教师可以根据具体情况适当调整大纲的学时分配。
（四）对先修课的要求《概率论与数理统计》、《线性代数》（五）对习题课、实验环节的要求要求学生对典型习题一定要掌握，做到举一反三。
《信息论基础》课程教学大纲
《信息论基础》课程教学大纲一、《信息论基础》课程说明（一）课程代码：14131054（二）课程英文名称：informationtheory（三）开学对象：信息管理与信息系统专业（四）课程性质：信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。
本课程是信息管理与信息系统本科的专业课。
它应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。
因而它是一门新兴科学，亦称为通信的数学理论。
建立在通信理论的数学知识基础之上的信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密码学等方面有着广泛的用途。
要使学生领会信息论的基本思想，具备解决实际问题的能力。
从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。
先修课程为概率论与数理统计（五）教学目的：本课程就是信息管理与信息系统本科生的专业课，使用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的就是使学生介绍shannon信息论的基本内容，掌控其中的基本公式和基本运算，培育利用信息论的基本原理分析和化解实际问题的能力，为进一步自学通信和信息以及其他有关领域的高深技术打下较好的理论基础。
（六）教学内容：掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定理与huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码定理；理解r（d）函数与有失真的信源编码定理.（七）学时数、学分数及学时数具体分配学时数：36分数：2学时数具体内容分配：教学内容第一章绪论第二章信源和信息熵第三章信道与信道容量第四章率为杂讯函数第五章编码定理合计210481236合计210481236讲授实验/课堂教学（八）教学方式：使用多媒体教学方式（九）考核方式和成绩记载说明考试方式将融合平时作业、平时考核(40%)、期末考试(60%)的各个环节。
信息论基础-教学大纲-赵勇
中国海洋大学本科生课程大纲课程名称信息论基础Information Theory课程代码 0753********课程属性 专业知识 课时/学分 32/2课程性质 选修 实践学时责任教师 赵勇 课外学时 64(32×2) 课程属性：公共基础/通识教育/学科基础/专业知识/工作技能，课程性质：必修、选修一、课程介绍1.课程描述：信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
本课程的主要内容包括信源和信道两大部分。
信源方面主要包括：信源的数学模型及分类、离散信源的自信息和信息熵、信息熵的基本性质、离散无记忆的扩展信源、离散平稳信源、马尔科夫信源、信源剩余度与自然语言的熵、意义信息和加权熵。
信道方面主要包括：信道的数学模型及分类、平均互信息及平均条件互信息、平均互信息的特性、信道容量及其一般计算方法、离散无记忆扩展信道及其信道容量、独立并联信道及其信道容量、串联信道的互信息和数据处理定理、信源与信道的匹配。
2.设计思路：当前信息产业发展很快，需要大量的从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，也是信息与计算科学专业的专业选修课。
课程从各种信源开始，重点是讲授其信息熵的计算方法；然后是各种信道，重点是讲授其信道容量的计算方法。
信源是发出信息的，信息熵是衡量信息量的重要标准。
信道是传输信息的，信道容量反映了信道所能传输的最大信息量。
- 1 -3.其他课程的关系：先修课程：《概率论》二、课程目标通过本课程的学习，学生能够掌握有关信息论的基本理论和实现原理，并能根据所学的内容进行一些初步的应用。
到课程结束时，学生应该（1）理解各种信源的信息熵、各种信道的容量，及其计算方法。
（2）能够将相关知识应用到具体的数据处理中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论基础》教学大纲
课程编号：CE6006
课程名称：信息论基础英文名称：Foundation of Information Theory
学分/学时：2/32 课程性质：选修课
适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院
一、课程的教学目标与任务
本课程是信息安全，网络工程专业选修的一门专业基础课。
通过课程学习，使学生能够
较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有
效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。
本课程的教学目标：
本课程对学生达到如下毕业要求有贡献：
1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。
2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分
析复杂工程问题，以获得有效结论。
完成课程后，学生将具备以下能力：
1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。
2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信
息安全、网络工程专业的复杂问题。
本课程的性质：
本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。
二、课程具体内容及基本要求
（一）绪论（2学时）
1.基本要求
（1）掌握消息、信息和信号；噪声和干扰的基本概念
（2）掌握通信系统模型
（3）明确Shannon信息论要解决的中心问题
2.重点与难点
（1）重点：掌握通信系统模型的构成及其相应功能
（2）难点：理解Shannon信息论要解决的中心问题
3.作业及课外学习要求
（1）阅读IEEE IT 1998年信息论50年专刊
（2）数字化革命进展-纪念shannon信息论诞生50周年
http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt
（3）信息论与通信、密码、信息隐藏（一）
http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）
http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”
http://202.117.112.49/xxl2/dzjiaoan/sponit.mht
（二）信息量和熵（8学时）
1.基本要求
（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质
（2）掌握平均互信息的凸性
（3）理解信息处理定理
2.重点与难点
（1）重点：对信息量进行定量描述
（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题
3.作业及课外学习要求
熵、平均互信息的计算、信息处理定理等应用
（三）离散信源无失真编码（8学时）
1.基本要求
（1）掌握离散无记忆源等长编码、不等长编码基本概念
（2）掌握离散无记忆信源无失真编码定理
（3）掌握Huffman编码
（4）理解算术编码和LZ编码基本原理
2.重点与难点
（1）重点：掌握离散无记忆信源无失真编码定理
（2）难点：典型序列的概念及其性质、最佳不等长编码
3.作业及课外学习要求
离散无记忆信源无失真编码定理、无失真信源编码方法
（四）信道容量（6学时）
1.基本要求
（1）掌握信道容量的基本概念
（2）掌握离散无记忆信道、组合信道的信道容量计算
2.重点与难点
（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算
（2）难点：信道的描述方法及信道容量的计算
3.作业及课外学习要求
信道容量的计算
（五）离散信道编码定理（4学时）
1.基本要求
（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念
（3）理解离散信道编码定理
2.重点与难点
（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理
（2）难点：离散信道编码定理
3.作业及课外学习要求
译码准则的应用、离散信道编码定理的应用
（六）信息论在信息安全中的应用（4学时）
1.基本要求
（1）了解保密系统模型
（2）理解保密、认证的信息理论
2.重点与难点
（1）重点：完善保密性
（2）难点：保密的信息理论
3.作业及课外学习要求
信息论在信息安全中的应用
三、教学安排及方式
四、本课程对培养学生能力和素质的贡献点
信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：
五、考核及成绩评定方式
理论课最终成绩由平时成绩和期末考试成绩组成。
最终成绩各部分所占比例如下：平时成绩：20%。
平时成绩包括课外作业和随堂测验，主要考核对每堂课知识点的复习、理解和掌握程度。
期末考试成绩：80%。
主要考核信息论基础知识的掌握程度。
书面考试形式，题型为判
断题、问答题和计算题等。
六、教材及参考书目
推荐教材：
《信息论与编码理论》，王育民、李晖编，高等教育出版社
参考书：
[1] 王新梅、肖国镇编，《纠错码——原理与方法》，西安电子科技大学出版社，2001.
[2] Cover, T. M, Elements of Information Theory, Beijing: Tsinghua University Press, 2003.11.
[3] Robert J. McEliece, The Theory of Information and Coding, 2nd Edition. Cambridge: Cambridge University Press, 2002.
七、说明
（一）与相关课程的分工衔接
本课程需要概率论与数理统计课程学过以后开设。
其后续课程是专业课，如无线通信、移动通信、密码学、机器学习等。
（二）其他说明
1.每位任课教师必须在规定时间内完成以上教学内容，必须透彻掌握本课程的全部内
容，并熟练运算有关的习题，必须研究教学法，突出重点，狠抓概念，启发思维，鼓励创新，倾听学生意见，及时调整自己的教学工作。
2.课后作业是学生巩固概念、掌握方法的一个重要环节。
一般课内外时间比为1:2。
本大纲适用于网络与信息安全学院。