信息论与编码教学大纲

《信息论与编码》教学大纲

电子信息工程专业（本科）

课程编号：（）

课程名称：信息论与编码参考学时：52 其中实验或上机学时：0

说明部分

1．课程性质

本课程是电子信息类专业的技术基础课

2．课程教学的目的及意义

人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论和编码》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。

本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。

3．教学内容及教学要求

该课程是电子信息工程、信息安全工程专业的专业课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。

信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。

教学基本要求：

了解通信系统各部分的主要组成以及作用、香农的三大编码定理；

掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。

4. 教学重点、难点

教学重点：

信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：

典型序列以及由此推导出的香农三大编码定理及其逆定理。

5. 教学方法及教学手段

课堂讲学为主，习题讲解为辅。

6. 教学学材及主要参考书

1.傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2001年

2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社， 2001年

3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年

7. 其它

考核形式：考试（笔试），教学环境：课堂

本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。

总学时数

课程总学时数： 52

其中，课堂讲授： 46 作业：6

二、正文部分

第一章：绪论

一、教学要求

了解信息论研究对象、目的、发展简史与现状；

了解通信系统的模型以及通信系统各部分的主要组成以及作用

二、教学内容

第一节信息的概念

知识要点：信息的概念及自信息

第二节信息论研究的对象、目的和内容

知识要点：信息论研究的对象、目的和内容

第三节：信息论发展简史

知识要点：信息论发展简史

三、本章学时数

2学时

第二章：离散信源及其测度

一、教学要求

了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

二、教学内容

第一节信源的数学模型及分类

知识要点：信源的数学模型，离散无记忆信源及其扩展信源。

第二节信息熵及其基本性质

知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。

第三节离散平稳信源

知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。

第四节马尔可夫信源

知识要点：马尔可夫信源定义，马尔可夫信源熵

第四节信息剩余度

知识要点：信息剩余度以及自然语言熵

三、本章学时数

8学时

第三章：离散信道及其信道容量

一、教学要求

了解一般信道容量计算。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

二、教学内容

第一节信道数学模型及分类

知识要点：信道数学模型及不同的分类，信道矩阵。

第二节平均互信息及特点

知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。

第三节信道容量及一般计算方法

知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。

第四节离散无记忆扩展信道及其容量

知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。

三、本章学时数

6学时

第四章：无失真信源编码

一、教学要求

了解其它一些无失真信源编码方法。

理解渐近等分割性及ε典型序列，算术编码方法及具体实现方案；

掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

二、教学内容

第一节等长码及等长信源编码定理

知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，ε典型序列及其性质，编码效率。

第二节变长码及变长信源编码定理

知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。