信息论信息论第1章

31
密码编码学是信息安全技术的核心，密码编码学的主
要任务是寻求产生安全性高的有效密码算法和协议， 以满足对消息进行加密或认证的要求。 密码分析学的主要任务是破译密码或伪造认证信息， 实现窃取机密信息或进行诈骗破坏活动。 这两个分支既相互对立又相互依存，正是由于这种对 立统一关系，才推动了密码学自身的发展。 香农在1949年发表的《保密通信的信息理论》论文中， 首先用信息论的观点对信息保密问题作了全面的论述。
6
第一章 绪论
第一节 信息的概念 第二节 信息论研究的对象、目的和内容 第三节 信息论的发展简史与信息科学 第四节 通信系统的物理模型
7
第一节 信息的概念
从哲学的角度上讲，信息是构成物质世界的三大支柱之 一，其他两个是物质和能量。 可以说我们生活在信息的海洋之中，没有信息就没有 世界，当然也就没有我们人类社会。人类利用信息的历史 非常悠久，而且随着人类社会的发展而发展。到了现代， 信息的利用已经非常重要，以至于我们当今生活的社会被 称作信息社会。可见信息的重要。 但是有史以来，人们都没有对信息下过一个确切的定义。 就像对于物质和能量一样。
8
信息的概念:
国际上尚未形成一个普遍公认的、完整的、确切的定义。 不同的研究学派对信息的本质及其定义还没有形成统一的 意见和认识。
其中： 香
农：信息是事物运动状态或存在方式的不确定性的描述。
钟义信：信息是事物运动的状态和方式，是关于事物运动的 千差万别的状态和方式的知识。
9
信息虽无确切定义，但是却具有两个明显的特征：广泛性
27
信息论发展简史


1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了shannon信 道编码逆定理的证明 1957，Wolfowitz，1961 Fano，1968Gallager给出 信道编码定理的简介证明并描述了码率，码长和错 误概率的关系，1972年Arimoto和Blahut发明了信 道容量的迭代算法 1956McMillan证明了Kraft不等式。1952年Fano码， Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法
号处理、语音识别和多媒体技术这样的关键领域， 常常是贝尔实验室的科学家为业界提供视角，并 确定前进的方向。
http://www.bell-labs.com
25
第三节 信息论的发展简史与信息科学
电磁理论和电子学理论对通信理论技术发展起重要的
促进作用 1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明 电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该 理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代
信息论与编码理论
数理学院 李文喜 wxli@ahut.edu.cn
信息与编码
The Theory of Information and coding
安徽工业大学数理学院
2
主要教学参考书
教材
《信息论与编码理论》
傅祖芸,赵建中编 电子工业出版社2006年
3
国内有关经典著作
1.《信息论与编码理论》
沈世镒等著科学出版社 2002 年版
是要找到信息传输过程的共同规律，以提高信息传 输的可靠性、有效性、保密性和认证性，使达到信息传 输系统最优化。
19
信息论的研究内容
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括 噪声理论，信号滤波和预测，统计检测和估值理论， 调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的 内容，如模式识别，计算机翻译，心理学，遗传学， 神经生理学
它是一个物理量，是一个载荷信息的实体，可测量、可描述、 可显示。如电信号、光信号等。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物 理量，但是可以定量地加以描述，它是具体物理信号的进一 步数学抽象。
信息：信息是指各个事物运动的状态及状态变化的方式。人
们从来自对周围世界的观察得到的数据中获得信息。信息是 抽象的意识或知识，它是看不见、摸不到的。人脑的思维活 动产生的一种想法，当它仍储存在脑子中的时候就是一种信 息。 信息是信号与消息的更高表达层次。三个层次中，信号最 具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外 延的关系。 12
23
《财富》杂志甚至称信息论是人类最值得骄傲、
最罕有的创造之一，是最深远地影响了 人类对世界的看法的理论。
50-60年代渐渐隐退 1978年，62岁的香农正式宣告退休 2001年2月24日 ，去世。
24
贝尔实验室（bell labs ）
朗讯科技公司的研发部门
在软件、互联 网、无线通信、光电子学、数字信
4
课程概述

当今的时代是一个信息的时代，信息处理技术 的不断进步极大的影响了我们的生活，使我们的生 活质量得到很大提高。本课程将介绍信息科学的基 础理论和基本方法，课程将基于一个通讯系统的抽 象数学模型进行展开，课程的数学基础为概率论。 整个课程可分为基础理论和编码理论两部分组成
5
学习方法
本课程以概率论为基础，数学推导较多， 学习时主要把注意力集中到概念的理解上，不 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
信息论是信息科学和技术的基本理论,信息科学大厦的
地基; 没有信息论的基础，从事通信与信息领域的研究和创 新是不可能的事情; 总之,信息论是高层次信息技术人才必不可少的基础知 识。
15
第二节 信息论研究的对象、目的和内容
信源
编码器
信道
译码器
信宿
噪声源
通信系统模型
——信息论的研究对象
16
信源：消息的来源 编码器：把消息变换成信号 信道：传递信号的媒介
在研究信源编码的同时，另外一部分科学家 从事信道编码(纠错码)的研究工作。这一工作已 取得了很大的进展，并已经形成一门独立的分支 —— 纠错码理论。 1950 年汉明 (R ． W ． Hamming) 发 表的论文《检错码与纠错码》是开拓编码理论研 究的第一篇论文。这篇论文主要考虑在大型计算 机中如何纠正所出现的单个错误。

20
狭义信息论体系结构
Shannon信息论 压缩理论 无失真编码 等长编码 定理 Shannon 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 有失真编码 率失真理论 Shannon Gallager Berger 传输理论 信道编码定理 网络信息理论
保密性:所谓保密性就是隐蔽和保护通信系统中传送的消息，使
它只能被授权接收者获取，而不能被未授权者接收和理解。
认证性:所谓认证性是指接收者能正确判断所接收的消息的正确
性和完整性，而不是伪造的和被篡改的。
Note: 以后会看到，提高可靠性和提高有效性常常会Biblioteka Baidu生矛盾，这就需
要统筹兼顾。
18
信息论研究的目的
与抽象性。 广泛性 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 三大要素是：物质、能量与信息。三要素中物质是基础， 是实体。能量是物质运动的形式， E=mc2 ，物质可转换成能 量，而能量又是改造客观世界的主要动力。
10
信息：它依附于物质和能量，但又不同于物质和能量。没有
29
信息论的形成和发展

1948 年，香农在《通信的数学理论》的论文中， 用概率测度和数理统计的方法系统地讨论了通信的基 本问题，得出了几个重要而带有普遍意义的结论。香 农理论的核心是：在通信系统中采用适当的编码后能 够实现高效率和高可靠性的信息传输，并得出了信源 编码定理和信道编码定理。
30

22
信息论研究的中心问题和发展
信息论之父——香农(shannon)
1916年生与美国 1940年获麻省理工学院 数学博士学位 1948年 《通讯的数学原理》信息论基础 没有香农，就不会有音质一流的ＣＤ音碟，不
会有将你与因特网相连的Ｍｏｄｅｍ，也不会 有ＮＡＳＡ的飞行器从数十亿公里外的太空中 传回地球的照片。
26
信息论发展简史
1832年莫尔斯电码对shannon编码理论的启发
1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系统
消息、信号和信息的关系
消息是指包含有信息的语言、文字和图像等，例如我们 每天从广播节目 、报纸、电视节目和网络中获得各种新 闻及其他消息。消息是具体的，它载荷信息，但它不是 物理性的。 信号是消息的物理体现，为了在信道上传输消息，就必 须把消息加载（调制）到具有某种物理特征的信号上去。 信号是信息的载荷子或载体，是物理性的。如电信号、 光信号等。
2.《信息论》
姜丹著 科学出版社 1981年版
国外有关经典著作 1.《The Theory of information and Coding》
Robert J. McELIECE著2rd
Edition
2.《Elements of Information Theory》
Cover M. Thomas and Joy A. Thomas
13
信息的主要特征
信息来源于物质，又不是物质本身；它从物质的运动中产

生出来，又可以脱离源物质而相对独立地存在； 信息来源于精神世界，但又不局限于精神领域； 信息与能量息息相关，但又与能量有本质的区别； 信息具有知识的本性，但又比知识的内涵更广泛； 信息可以被主体获取和利用。
14
信息论基础的重要性
28
信息论发展简史


1950年汉明码，1960年卷积码的概率译码， Viterbi译码，1982年Ungerboeck编码调制技术， 1993年Turbo编译码技术 1959年，Shannon提出率失真函数和率失真信源 编码定理 1961年，Shannon的“双路通信信道”开拓了网 络信息论的研究，目前是非常活跃的研究领域。
32

由于保密问题的特殊性，直至1976年迪 弗(Diffe)和海尔曼(Hellman)发表了《密码 学的新方向》一文，提出了公开密钥密码体 制后，保密通信问题才得到广泛研究。 尤其当今，信息的安全和保密问题更加 突出和重要。人们把线性代数、初等数论、 矩阵等引入保密问题的研究，已形成了独树 一帜的分支——密码学理论。
信息就不能更好地利用物质和能量，人类利用信息和知识改 造物质，创造新物质，提高能量利用效率，发现新能量形式。 信息也是客观存在的，它是人类认识、改造客观世界的主要 动力，是人类认识客观世界的更高层次。
就狭义而言，在通信中对信息的表达分为三个层次：信号、
消息、信息。
11
信号：是信息的物理表达层，是三个层次中最具体的层次。
译码器：把信道输出的信号反变换
信宿：信息的接受端 噪声：信道中的干扰
17
信息论所要解决的问题
可靠性:所谓可靠性高，就是要使信源发出的消息经过信道传输
以后，尽可能准确地、不失真地再现在接收端。
有效性:所谓有效性高，就是经济效果好，即用尽可能短的时间
和尽可能少的设备来传送一定数量的信息。
纠错码 编码调制理论
网络最佳码
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
压缩编码 JPEG MPEG
21
Shannon信息论的基本任务
1948年shannon发表了“通信的数学理论”奠定了信息
论理论基础 基本任务是设计有效而可靠的通信系统 可靠是要使信源发出的消息经过传输后，尽可能准 确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备来传输 一定量的消息