编码理论课程简介

课程的主要内容
• • • • • • 信息论回顾(复习) 编码理论简介(了解) 无失真信源编码(掌握) 信道编码(重点) 限失真信源编码(了解) 编码理论的最新发展(了解)
编码理论发展概述
• • • • 编码理论的历史发端 编码理论的基本问题 编码理论与信息论的关系 编码理论的应用领域
编码理论的历史发端
要点
• • • • 编码理论课程简介 编码理论发展概述 课程考试方法 课程答疑安排
编码理论课程简介
• • • • 课程的基本情况 课程的教材和参考书 课程的目的和任务 课程的主要内容
课程的基本情况
• • • • • 英文名称：Coding Theory 课程类型：专业必修课、学科基础课 学时：40 学分：2.5 先修课程：《线性代数》、《概率论与随 机过程》、《信息论导论》
• 始于1948年香农(Shannon)在Bell System Technical Journal上发表的论文
“A Mathematical Theory of Communication”
• 无失真信源编码定理(香农第一定理) • 有噪信道编码定理(香农第二定理)
无失真信源编码定理
• 必然存在一种编码方法，使码的平均长度 可任意接近但不能低于信息熵
信息传输的可靠性
• 希望出错率尽可能小，即接收信息与发送 信息完全一致，或者控制失真在要求的范 围之内。
编码理论的应用领域
• 最重要的应用是通信系统：譬如卫星通信、 电话通信、计算机网格中计算机之间的信 息传输等等 • 在军事理论中可以防止敌人的有意干扰 • 可以在计算机系统中用来保护存贮器、数 字磁带、磁盘及光盘上的数据 • 可以在数字逻辑电路中纠正由于电路失常 而造成的数据错误 • 在商业领域中作为条码使用
有噪信道编码定理
• 对任意给定的一个通信信道，一定存在码率R 不大于信道容量C并且尽可能接近C的编码， 使得在信道接收端译码错误率任意小。
编码理论与信息论的关系
• 信息论主要研究如何描述信息在传输和处理过 程中存在的基本规律 • 编码理论则主要研究如何在信息论的指导下从 实际可行的角度提高信息传输的有效性、可靠 性和安全性问题 • 编码问题的研究导致信息论的诞生，信息论则 从理论上给出编码所能达到的性能极限 • 信息论和编码理论共同为解决通信的基本问题 提供理论和方法的指导
课程的教材和参考书
• 教材： 《编码理论》,田丽华,西安电子科技大学出版 社,2003.8 • 参考资料： • (1)《信息论》,傅祖芸编著,电子工业出版社， 2001.8 • (2)《编码理论基础》，陈鲁生、沈世镒编著， 高等教育出版社，2005.1
课程的目的和任务
• 以信息论为宏观指导，重讲授编码理论的基 本内容，使学生了解、掌握无失真信源编码、 信道编码和限失真信源编码的基本概念、原理 和方法，为今后进一步学习和研究信息科学与 技术打下坚实的理论基础。
通信的基本问题
• 1948年克劳德.香农(Claude Shannon)提出： • 通信中的基本问题就是在某一点精确或近似地 再生另一点选择的信息
编码理论的基本问题
• 如何对信息进行编码，才能保证信息在传 输过程中的有效性、可靠性和安全性? • 信息主要分为离散信息和连续信息
信息传输的有效性
• 希望作为信道的媒介利用率尽可能高 • 比如提高传输媒介的频带利用率，提高存 贮媒介的单位存贮容量