第1章 绪论(第2版)

第1章 绪论
已知概率特性的无失真信源编码
1948年，无失真信源编码定理，香农编码
1952年，费诺(Fano)码，霍夫曼码(Huffman)
1956年，麦克米伦(McMillan)证明了惟一可译码的克拉夫特 (Kraft)不等式 1968年，埃利斯(Elias)，香农-费诺码 1976年，里斯桑内(Rissanen)，算术编码
第1章 绪论
白色高斯信道容量
信道容量的Shannon公式:
S C W log 2 1 N 0W
白噪声的单边功率谱密度。
bit / s
其中W为信号带宽，S为输入信号功率，N0为信道加性Gaussian
第1章 绪论
信道编码方法的研究
1950年汉明(R.W.Hamming)发表论文《检错码与纠错码》，讨论如 何纠正单个错误 1959年霍昆格姆(Hocgenghem)和1960年博斯(Bose)及查德胡里 (Chaudhuri)分别提出BCH码，能够纠正多个随机错误 1960年前后卷积码及其译码方法的研究 20世纪60年代是代数编码理论发展的鼎盛时期 20世纪70年代出现了高帕码(Goppa Codes) 20世纪80年代，茨伐斯曼(Tsfasman)等人运用代数几何的方法进一步 推广了高帕码的思想
第1章 绪论
编码器
– 分类：信源编码器、信道编码器、保密编码器 – 信源编码：对信源输出的消息进行适当的变换和处 理，把信息变换成信号，目的是为了提高信息传输 的效率，使传输更为经济、有效，还要去掉一些与
被传信息无关的多余度；
– 信道编码：对信源编码输出变换，提高抗干扰性， 是为了提高信息传输的可靠性而对消息进行的变换
第1章 绪论
以上简述了根据香农两个编码定理发展起来的各 种信源编码方法，也就是从概率论形成的语法信息出 发，去掉冗余而达到压缩码率的目的。 现在，编码理论与技术不仅在通信、计算机以及 自动控制等电子学领域中得到直接的应用，而且还广
泛地渗透到生物学、医学、生理学、语言学、社会学
和经济学等各领域。在编码理论与自动控制、系统工 程、人工智能、仿生学、电子计算机等学科互相渗透，
第1章 绪论
1.2.1
信源压缩编码的发展
无失真信源编码的研究 限失真信源编码的研究 现代信源编码方法的研究
第1章 绪论
无失真信源编码的研究
无失真信源编码适用于离散信源或数字信号，如文本数据
不适用于连续信源或模拟信号，如语音图像等
信号的数字处理 在概率特性已知条件下的无失真信源编码 在概率特性未知条件下的无失真信源编码
第1章 绪论
可靠性高，就是要使信源发出的消息经过信道传输 以后，尽可能准确地、不失真地再现在接收端。
有效性高，就是经济效果好，即用尽可能短的时间 和尽可能少的设备来传送一定数量的信息。 注意：提高可靠性和提高有效性常常会发生矛盾， 需要统筹兼顾。例如为了兼顾有效性(考虑经济效 果)，有时就不一定要求绝对准确地在接收端再现 原来的消息，可以允许有一定的误差或一定的失真， 或者说允许近似地再现原来的消息。
第1章 绪论
• 信源编码
主要目标是压缩每个信源符号的平均比特数或信源的
码率。 可分为经典编码方法和现代编码方法两大类。经典编
码方法又可分为无失真信源编码和限失真信源编码。
第1章 绪论
实现途径：
其一是设法改变信源的概率分布，使其尽可能地 非均匀，再用最佳编码方法使平均码长逼近信源熵；
科学与技术打下坚实的理论基础。
第1章 绪论
编码理论的应用领域
最重要的应用是通信系统：譬如卫星通信、电话通信、 计算机网格中计算机之间的信息传输等等 在军事理论中可以防止敌人的有意干扰 可以在计算机系统中用来保护存贮器、数字磁带、磁 盘及光盘上的数据 可以在数字逻辑电路中纠正由于电路失常而造成的数 据错误 在商业领域中作为条码使用
互相结合的基础上，形成了一些综合性的新兴学科。
第1章 绪论
现代信源编码方法的研究
寻找现有压缩编码的快速算法 寻找新颖高效的现代压缩方法，比如： 分形编码、小波编码 神经网络编码，DPCM编码 模型编码（Model Based Coding）
第1章 绪论
1.2.2
信道纠错编码的发展
信道编码理论的研究 信道容量分析的研究 信道编码方法的研究
上。
译码器
– 编码器的逆变换
– 分类：信源译码器、信道译码器、保密译码器
信宿
– 消息传送的对象，即接收消息的人或机器。
第1章 绪论
图 1-1 给出的模型只适用于收发两端单向通信的
情况。它只有一个信源和一个信宿，信息传输也是单
向的。 更一般的情况是：信源和信宿各有若干个，即信
道有多个输入和多个输出，另外信息传输也可以双向
第1章 绪论
1.2.3
密码编码学的发展
1949年香农发表论文《保密通信的信息理论》，首先用信息论的观点对 信息保密问题进行了全面的讨论 1976年，迪弗(Diffe)和海尔曼(Hellman)发表《密码学的新方向》一文， 提出了公开密钥密码体制后，保密通信问题才得到广泛研究 1978年，Berlekamp、McEliece和Tilborg等证明了纠错码理论中一般线性 码的译码问题是难解的，同年McEliece利用纠错码构造了第一个公钥
第1章 绪论
保密性，就是隐蔽和保护通信系统中传送的消息， 使它只能被授权接收者获取，而不能被未授权者接 收和理解。
认证性，是指接收者能正确判断所接收的消息的正 确性，验证消息的完整性，确认消息不是伪造的和 被篡改的。
第1章 绪论
1.1.2 信息传输系统模型
各种通信系统，如电报、电话、电视、广播、遥 测、遥控、雷达和导航等，虽然它们的形式和用途各 不相同，但本质是相同的，都是信息的传输系统。为 了便于研究信息传输和处理的共同规律，将各种通信 系统中具有共同特性的部分抽取出来，概括成一个统 一的理论模型。
第1章 绪论
香农信道编码定理
香农第二定理： 对于一个给定的离散无记忆信道，如果信道容量 为C，只要信息传输率R<C，则一定存在一种编码方法，使译 码错误率PE随着码长n的增加，按指数下降到任意小
第1章 绪论
信道容量分析的研究
1948年香农分析了白色高斯信道容量问题 1964年霍尔辛格(J.L.Holsinger)发展了有色高斯噪声信道容量的研 究 1969年平斯克尔(M.S.Pinsker)提出了具有反馈的非白噪声高斯信 道容量问题； 1972年阿莫托(S.Arimoto)和布莱哈特(R.Blahut)分别发展了信道容 量的迭代算法 1989年科弗尔(T.M.Cover)简洁地证明了平斯克尔的结论
第1章 绪论
编码理论
授课教师：王珂 所属院系：电子信息工程系
第1章 绪论
编码理论课程简介
课程的基本情况 课程的教材和参考书
课程的目的和任务
课程的应用领域
第1章 绪论
课程的基本情况
英文名称：Coding Theory 课程类型：专业必修课、学科基础课 学时：30 学分：2 先修课程：《线性代数》、《概率论与随机过程》、 《信息论导论》
网络信息理论的研究
第1章 绪论
信道编码理论的研究
1948年，香农信道编码定理 1952年费诺(R.M.Fano)证明费诺不等式和香农信道编码逆定理 1957年沃尔夫维兹证明信道编码强逆定理
1961年费诺描述分组码中码率、码长和错误率的关系，并证明
了香农信道编码定理的充要性 1965年格拉格尔(R.G.Gallager)发展并简洁地证明了费诺的结论
进行，例如广播通信是一个输入、多个输出的单向传 输的通信，而卫星通信则是多个输入、多个输出的多 向传输的通信。
第1章 绪论
1.2 信息编码的发展
1948年，香农在《通信的数学理论》的论文中，用 概率测度和数理统计的方法系统地讨论了通信的基本问 题，得出了几个重要而带有普遍意义的结论。香农理论 的核心是：在通信系统中采用适当的编码后能够实现高 效率和高可靠性的信息传输，并得出了信源编码定理和 信道编码定理。
第1章 绪论
通信系统模型
信 源
信 源 编 码Leabharlann 加 密信 道 编 码
信 道
信 道 译 码
解 密
信 源 译 码
信 宿
密 钥 源
噪 声
密 钥 源
编码
译码
图1―1 通信系统模型
第1章 绪论
各部件功能
信源
– 产生消息和消息序列的源，它可以是人、生物、机
器或其他事物，是事物各种运动状态或存在状态的
集合。 – 信源发出的消息消息可以是文字，语言，图像；可 以离散，可以连续；信源可能出现的状态(即信源 输出的消息)是随机的、不确定的，但又有一定的 规律性。
1990年，贝尔（T.C.Bell）做了一系列变化和改进，现在LZ码被广泛应用
于文本数据压缩
第1章 绪论
限失真信源编码的研究
通过引入失真，对连续信源进行编码 限失真信源编码实际上就是最佳量化问题，它的研究比信道编码和无失真信 源编码落后约10年左右 1948年香农在其论文中体现了率失真函数的思想 1959年香农提出率失真函数，限失真信源编码定理 1971年伯格尔《信息率失真理论》 限失真信源编码就是在保证平均失真小于允许失真D的条件下，如何实现最 佳编码率R(D)
密码体制
第1章 绪论
编码理论研究的内容和目的
信息论是以信息作为主要研究对象，以信息的运动规律和基本 原理作为主要内容 编码理论则是在信息论的基础上研究各种编码方法，以便在实
践中扩展人的信息功能
研究信源编码方法，实现信息传输的有效性 研究信道编码方法，实现信息传输的可靠性 研究密码编码方法，实现信息传输的安全性
第1章 绪论
课程的教材和参考书
教材：
《编码理论》,田丽华,西安电子科技大学出版社,2007
参考资料： (1)《信息论》,傅祖芸编著,电子工业出版社，2001.8 (2)《编码理论基础》，陈鲁生、沈世镒编著，高等教育出版社， 2005.1
第1章 绪论
课程的目的和任务
以信息论为宏观指导，重点讲授编码理论的基本内容，使 学生了解、掌握无失真信源编码、信道编码和限失真信源编 码的基本概念、原理和方法，为今后进一步学习和研究信息
第1章 绪论
网络信息理论的研究
1961年香农发表论文《双路通信信道》 1970年以来，成为信息论的中心课题之一 1971年艾斯惠特(R.Alswede)和1972年廖(H.Liao)找出了多元接入信 道的信道容量区， 1973年沃尔夫(J.K.Wolf)和斯莱平(D.Slepian) 将它推广到具有公共信息的多元接入信道中 1972年科弗尔(T.M.Cover)提出广播信道的研究，后来学多学者分别 研究了广播信道的容量区问题 1983年科弗尔和艾斯惠特分别发表论文讨论相关信源在多元接入信 道的传输问题
1982年，里斯桑内和兰登（Langdon），算术编码系统化，省
去乘法
第1章 绪论
无失真信源编码定理
香农第一定理：必然存在一种编码方法，使码的平均长度可 任意接近但不能低于信息熵
第1章 绪论
未知概率特性的无失真信源编码
这时对信源进行的编码称为通用编码 20世纪70年代末，以色列学者兰佩尔(A. Lempel)和奇费(J.Ziv)提出一种语 法解析码，习惯上简称LZ码 1977年他们首先提出这种方法，并于1978年作了改进，分别称为LZ77和 LZ78算法 1984年，韦尔奇（T.A.Welch)将LZ78算法修改成一种实用的算法，后定名 为LZW算法。
编码方法有霍夫曼编码、算术编码、游程编码等
其二是联合信源的冗余度也寓于信源间的相关性之 中，去除它们之间的相关性，使之成为或差不多成为
第1章 绪论
编码理论的基本问题 在通信系统中，如何对信息进行编码， 才能保证信息在传输过程中的有效性、 可靠性和安全性?
第1章 绪论
第1章 绪论
1.1 信息传输系统
1.2 信息编码的发展
第1章 绪论
1.1 信息传输系统
1.1.1 信息传输的目标
研究通信系统的目的就是要找到信息传输过程 的共同规律，以提高信息传输的可靠性、有效性、 保密性和认证性，从而达到信息传输系统最优化。
和处理；
– 保密编码：保证信息的安全性，保护系统中所传消 息的真实性、完整性。
第1章 绪论
信道
– 通信系统把载荷消息的信号从甲地传输到乙地的媒介。
干扰源
– 信道中的噪声和干扰，以及为了分析方便起见，把在系 统其他部分产生的干扰和噪声都等效地折合成信道干扰， 看成是由一个噪声源产生的，它将作用于所传输的信号