信息论与编码理论基础(第一章)

从数学上来说，关于信息量的定义，大 概有100多种。 如果将信息提升到科学进行研究，必须 要对信息进行定量，给出信息的科学测 度，但是这并不是一件很容易的事情。
22:28
5
信息与信息量


信息是多样的，客观事物是多种多样的、五花 八门的，事物的状态和变化是多姿多彩、变幻 无穷的，属性不同就出现了不同的信息，需要 给出不同的信息定义，从而可创建不同的信息 理论。 比如说信息的不确定性，引出了概率信息，这 是我们讲的最多的。 再如信息的模糊性，引出了模糊信息和模糊信 息论，这个在70年代末提出来的。 还如信息的量子属性，引出了量子信息和量子 信息论。
9
22:28
信息与信息量


1948年发表的《通信的数学理论》文章，这是 一篇20世纪少有的几篇对科学和工程，乃至对 人类社会发展产生了重要影响著作，是可与牛 顿力学相媲美的不朽之作，也是他最重要的科 学贡献。 这使他成为信息论之父，时年仅32岁。作为数 学家，他为数学开辟了一个工程应用的新领域。 这篇文章虽然在1947年完成，但至今仍然闪烁 着智慧的光芒，它将照耀人类今后的数个世纪。

编码器

22:28
14
各部件功能

信道

信号从发端传到收端的介质 系统各部分引入的干扰，包括衰落，多径， 码间干扰，非线性失真，加性噪声，主要是 统计特性 信道的中心问题是研究信道的统计特性和传 信能力，即信道容量
15

干扰源


22:28
各部件功能

译码器

编码器的逆变换 中心问题是研究各种可实现的解调和译码方法 信息的接收者
22:28 29
信息论发展简史



1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了 shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano， 1968Gallager给出信道编码定理的简介证明并 描述了码率，码长和错误概率的关系，1972年 Arimoto和Blahut发明了信道容量的迭代算法 1956McMillan证明了Kraft不等式。1952年 Fano码，Huffman码。1976 Rissanen算术编 码，1977，78 Ziv和Lempel的LZ算法
22:28 18
香农信息论的基本任务


1948年shannon发表了“通信的数学 理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统


可靠是要使信源发出的消息经过传输后，尽 可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备 来传输一定量的消息
22:28
19
信源编码问题

信宿

22:28
16
信息、消息和信号

信息

一个抽象的概念，可以定量的描述。信息、物质和能 量是构成一切系统的三大要素 是信息的载体，相对具体的概念，如语言，文字，数 字，图像 表示消息的物理量，电信号的幅度，频率，相位等等

消息


信号

22:28
17
二、Shannon信息论的 中心问题
“信息论”，又称为“通信的数学理论”，是研究信息的传 输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论 依据。 （具体地说，就是信源编码和信道编码。以下来看所要解决 的具体问题。） 问题一：信源消息常常不能够完全发送。（否则发送量巨 大，比如：信源消息是一片无尽的天空。因此优先捡有 用的发送。什么是有用的？就是信息量大的。什么是信 息量大的？） 问题二：信道因干扰而出现差错，必须进行检错和纠错。 （否则所收到的消息无法识别。）
7
22:28
信息与信息量



信息量度定义的困难性，在众多信息中，只有少数的 信息有了量，大多数的信息是可以感知的，但是无法 度量，因为没有找到合适的信息量的定义，就建不起 来一套理论。 比如说对情感信息中的喜怒哀乐，都可以感知，但是 我们很难度量它们，只能用一些比较模糊的形容词， 描述不同程度的感情。 “你问我对你的爱有多深，我爱你有几分，你去想一 想，你去看一看，月亮代表我的心。”我们还不能确 切地给出“这份爱”有多少“比特”，“那份爱”比 “这份爱”又多多少“比特”。对于美学信息也是如 此。
6
22:28
信息与信息量


信息的复杂性引出了信息的复杂度和复杂度的 信息理论，信息的感知属性引出了感知信息和 感知信息理论，信息的美学属性引出美学信息 和美学信息理论等等。 现在有五花八门的信息理论，已经提出了各式 各样的信息理论，而且得到了众多不同的结果， 都宣称取得了成功。动态信息论、定性信息论、 经济信息论、算法信息论、模糊信息论、量子 信息论等等，还有信息生态学、信息代数、信 息几何等，信息物理学、信息生物学等。
信息论与编码理论
主讲： 刘振华 研究方向：密码学、云安全 邮件：zh_liu@ QQ: 30304237
22:28 1
教材、参考书
教材：王育民、李晖、梁传甲，信息与编码理论， 高等教育出版社，2005.
参考书： R.J.Mceliece，The Theory of Information and Coding，2nd ed, Cambridge University Press, 2002. 姜丹，信息论与编码，中国科学技术大学出版社，2008. 沈世镒 等，信息论与编码理论，科学出版社，2010. 傅祖芸, 信息论——基础理论与应用，电子工业出版社，2001 傅祖芸，信息论与编码学习辅导及习题详解，电子工业出版 社，2004.
纠错码 编码调制理论
网络最佳码
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
22:28
压缩编码 JPEG MPEG
27
信息论发展简史

电磁理论和电子学理论对通信理论技术发展起重 要的促进作用



1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明 电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理 论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代 量子力学使通信进入量子通信领域
22:28 30
信息论发展简史



1950年汉明码，1960年卷积码的概率译码， Viterbi译码，1982年Ungerboeck编码调制技 术，1993年Turbo编译码技术，1999年LDPC 编码技术。 1959年，Shannon提出率失真函数和率失真信 源编码定理 1961年，Shannon的“双路通信信道”开拓了 网络信息论的研究，目前是非常活跃的研究领域。


信源编码器的作用是根据失真度准则对 信源进行划分，给每一类以不同的表示， 即码字。 信源译码器的任务是根据收到的信源表 示恢复出信源所属的类。
22:28
20
信源编码问题


在给定信源和失真度条件下，要多大信 息速率才行？或对给定信源保留一定的 信息速率下，可以达到的最小失真是多 少？——信源编码问题，即通信“可行 性”研究。 如何实现上述理论——找出实际可行的 信源编码和译码方法。
25
22:28
信息论的研究内容

狭义信息论（经典信息论）

研究信息测度，信道容量以及信源和信道编码理论 研究信息传输和处理问题，除经典信息论外还包括噪声 理论，信号滤波和预测，统计检测和估值理论，调制理 论，信息处理理论和保密理论

一般信息论


广义信息论

除上述内容外，还包括自然和社会领域有关信息的内容， 如模式识别，计算机翻译，心理学，遗传学，神经生理 学
21
22:28
信道编码问题





研究在保证信息传输可靠性的条件下最 有效地利用信道的传信能力的。 设送入信道的信息速率为R，信道容量为 C，信道编码基本理论告诉我们： 若R<C，则可以将速率为R的信息以任意 高的可靠性送至接收端。 若R>C，则不可能。 寻找实际可行的编、译码方法。
22
22:28
香农信息论特点
将概率统计的观点和方法引入到通信理论 研究中，揭示了通信系统中传送的对象 是信息，并对信息给出科学的、定量的 描述，指出通信系统设计的中心问题是 在随机噪声干扰下如何有效而可靠地传 送信息，实现这一目标的途径是编码 （信源编码和信道编码），并且从理论 上证明了可以达到的最佳性能限。
22:28 23
10
22:28
第一章：引论（简介）
一、通信系统模型 二、Shannon信息论的中心问题 三、Shannon信息的概念 四、概率复习内容
22:28 11
一、通信系统模型
信源、信道、信宿
信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。
信源
编码器
信道
译码器
信宿
干扰源
22:28 12
通信系统模型进一步细分
22:28 2
信息与信息量



Wiener ：“信息既不是物质，也不是 能量，信息就是信息”。 物质和能量是客观存在的、有形的，信 息是抽象的、无形的。物质和能量是系 统的“躯体”，信息则系统的“灵 魂”。������ 信息要借助于物质和能量才能产生、传 输、存储、处理和感知；物质和能量要 借助于信息来表述和控制。
22:28 31
三、Shannon信息的概念
（直观地认识shannon信息和信息量，而暂 时不使用定义）