《信息论与编码B》课程教学大纲10级

《信息论与编码B》课程教学大纲

(10级)

编号：

英文名称：Information Theory and Cording

适用专业：电子信息工程

责任教学单位：电子工程系电子信息工程教研室

总学时：40

学分：2.5

考核形式：考试

课程类别：专业基础课

修读方式：必修

教学目的：信息论是现代通信与信息工程的理论基础。为了适应数字通信、信息处理和信息安全等方面的专业需要，该课程着重介绍信源的类型与特性、信源熵、信道容量、信息率失真函数等信息论的基本理论，还有信源编码、信道编码、信息保密编码的基本概念、基本知识和主要方法。这些信息论与编码的基本理论和方法不仅适用于通常意义的通讯领域，如电报、传真、数字语音、数字图像、网络通信和多媒体通信等，也适用于信息安全、银行电子汇兑、电子签名，以及各行各业计算机信息处理和管理等专门领域的需要。

通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。

主要教学内容及要求：

第一章绪论

1、了解信息论的形成与发展。

2、理解通信系统的模型。

3、理解消息、信息、信号三个概念。

第二章信源与信息熵

1、熟练掌握自信息量、信源熵、联合熵、条件熵、平均互信息量、互信息量的概念及其计算方法。

2、理解连续信源熵的基本概念及性质。

3、理解序列熵的计算及极限熵的概念。

4、理解冗余度的概念及产生原因。

第三章信道与信道容量

1、掌握信道容量的定义，及对称DMC、准对称DMC信道的信道容量C的计算。

2、理解一般DMC信道的信道容量C的计算。

2、了解多符号离散信道的概念。

3、了解连续信道及其容量计算，掌握香农公式。

第四章信息率失真函数

1、掌握平均失真和信息率失真函数的含义，及信息率失真函数的性质。

2、了解离散信源和连续信源的信息率失真函数计算。

第五章信源编码

1、掌握唯一可译码、即时码的基本概念，理解定长编码定理和变长编码定理；

2、掌握Shannon编码、Fano编码、Huffman编码方法，熟练计算平均码字长度和编码效率。

3、了解游程编码、算术编码等。

第六章信道编码

1、理解信道编码的基本概念，了解检、纠错能力的衡量。

2、理解有扰信道编码定理；

3、掌握最优译码与最大似然译码；

4、掌握线性分组码的概念，熟练计算线性分组码的生成矩阵、监督矩阵和伴随矩阵。

5、掌握循环码的概念，掌握循环码的构造方法。

6、掌握卷积码的基本概念和描述方法；了解维特比译码算法。

本课程与其他课程的联系与分工：该课程的先修课程是《高等数学》、《概率论与随机过程》、《线性代数》、《通信原理》等。本课程的学习应在学生掌握以上课程知识的基础上进行。与此同时，本课程将为后续的《图像处理》、《语音处理》等课程打下了必要的理论基础。

编制人：李迎春2010年

审核人：许振忠2010年