信息论与编码教学大纲

《信息论与编码》课程教学大纲、课程基本信息

二、课程内容及基本要求

第一章绪论

课程内容：

1 •信息论之父--香农；信息论与香农信息论的形成与发展；香农信息论的中心

问题及其局限性；

2．信息、消息、信号、信息的本质、信息的广义性；

3．通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1．了解信息论之父---Shannon（香农）和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2．理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3．熟悉通信系统的基本模型及各模块的主要功能。

本章重点香农信息论的中心问题、通信系统模型

本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章信源、信息量和信息熵

课程内容：

1．无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源；

2．非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息；

3．熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4．数据处理中信息的变化、连续信源熵；5．凸函数、互信息量的凸性，冗余度。

基本要求：

1．了解并掌握信源的分类与特点；

2．理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均

互信息之间的关系；

3．理解马尔可夫信源的概念、理解离散序列信源熵的概念；

4．理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质；

5．理解凸函数的含义和性质；了解凸函数在信息论中的应用。

本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质

本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章信源编码

课程内容：

1．编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2．无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3．限失真信源编码；常用信源编码--- 游程编码、算术编码、预测编码、变换编码。

基本要求：

1．理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用；

2．理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编

码的特点与编码原理；

3．掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费

诺编码原理；掌握哈夫曼编码原理；

4．了解常用限失真信源编码方法—算术编码、游程编码、预测编码及变换编码的编码原理。

本章重点：编码的分类、平均码长、定长码、变长码、哈夫曼编码

本章难点：香农编码、费诺编码、哈夫曼编码

第四章信息率失真函数

课程内容：

1．失真函数、失真矩阵、均方失真、绝对失真、相对失真、误码失真、平均失真；

丿、5

2．信息率失真函数；信息率失真函数的性质：下凸性、连续性和单调递减性；信息率失真函数与信道容量的比较；信息率失真的计算。

基本要求：1．了解失真函数及其意义并掌握信息失真的几种表示；掌握失真函数的性质；2．理解信息率失真与信道容量的联系与区别；

3．掌握信息率失真的计算。

本章重点：失真函数、平均失真、信息率失真的计算

本章难点：信息率失真的性质

第五章信道及其容量

课程内容：

1．信道的分类；信道的参数；信道的描述；信道容量；

2．离散单符号无干扰信道及其容量；对称离散无记忆信道及其容量；准对称离

散无记忆信道及其容量；一般离散无记忆信道及其容量；3．离散序列信道及其容量；4．连续单符号加性干扰信道及其容量；独立并行信道及其容量；串行信道及其容量；和信道及其容量。

基本要求：1．了解信道概念及分类；理解离散信道模型；掌握信道容量的含义；2．掌握离散无记忆信道及信道容量的计算；掌握单符号加性干扰信道特点其容量计算；掌握独立并行信

道、串行信道、和信道等的特点与容量的计算；3．掌握离散序列无记忆连续信道容量特点及

其计算。

本章重点：信道分类与信道模型、无干扰离散无记忆信道、加性干扰无记忆信道本章难点：离散序列信道及容量

第六章信道编码

课程内容：

1．信道编码的基本概念；译码规则；错误概率；信道编码定理；2．差错与差错控制系统分类；信道纠错编码基本思想与方法、译码方法；3．线性分组码的概念；系统码；对偶码；生成矩阵；监督矩阵；码距；码重；分组码的检错与纠错能力；线性分组码的实现；汉明码的概念；汉明码的构造；4．循环码的定义；循环的多项式描述；循环码的生成多项式与生成矩阵；循环码的校验多项式与校验矩阵；循环码的生成多项式的编码实现；循环码的校验多项式的编码实现；循环码的译码；伴随式概念与计算；BCH 码的概念；BCH 码的特征与编

码方法；

5．卷积码的概念；卷积码的矩阵描述和多项式描述；卷积码的状态图形表示；

卷积码的树图表示；卷积码的网格图表示；卷积码的最大似然译码-- 维特比译码；维特比译码步骤。

基本要求：

1．了解信道编码的目的、信道译码规则；理解错误概率（误码率）的概念；了解信道编码定理；理解信道纠错编码基本思想与方法、译码方法；理解并掌握差错控制系统分类与方法；2．理解线性分组码的概念；掌握线性分组码的生成矩阵、监督矩阵的定义、特点与计算；掌握几种特殊线性分组码的特点；理解系统码的概念；掌握系统码的编码与译码；理解最小汉明距离的概念及其意义；理解并掌握伴随式的概念和计算；理解检错与纠错性能的含