信息论与编码理论基础(第一章)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
10
12:29
第一章：引论（简介）
一、通信系统模型 二、Shannon信息论的中心问题 三、Shannon信息的概念 四、概率复习内容
12:29 11
一、通信系统模型
信源、信道、信宿
信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。
信源
编码器
信道
译码器
信宿
干扰源
12:29 12
通信系统模型进一步细分
6
12:29
信息与信息量
信息的复杂性引出了信息的复杂度和复杂度的 信息理论，信息的感知属性引出了感知信息和 感知信息理论，信息的美学属性引出美学信息 和美学信息理论等等。 现在有五花八门的信息理论，已经提出了各式 各样的信息理论，而且得到了众多不同的结果， 都宣称取得了成功。动态信息论、定性信息论、 经济信息论、算法信息论、模糊信息论、量子 信息论等等，还有信息生态学、信息代数、信 息几何等，信息物理学、信息生物学等。
9
12:29
信息与信息量
1948年发表的《通信的数学理论》文章，这是 一篇20世纪少有的几篇对科学和工程，乃至对 人类社会发展产生了重要影响著作，是可与牛 顿力学相媲美的不朽之作，也是他最重要的科 学贡献。 这使他成为信息论之父，时年仅32岁。作为数 学家，他为数学开辟了一个工程应用的新领域。 这篇文章虽然在1947年完成，但至今仍然闪烁 着智慧的光芒，它将照耀人类今后的数个世纪。
12:29 31
三、Shannon信息的概念
（直观地认识shannon信息和信息量，而暂 时不使用定义）
第一个重要概念：信道上传送的是随机变量的值。这就是说： （1）我们在收到消息之前，并不知道将要收到的是什么消 息。否则消息是没有必要发送的。 （2）我们在收到消息之前，知道将要收到的可能是哪些消 息，以及收到每个消息的可能性大小。换句话说，消息随 机变量有一个已知的概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。
12:29 29
信息论发展简史
1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了 shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano， 1968Gallager给出信道编码定理的简介证明并 描述了码率，码长和错误概率的关系，1972年 Arimoto和Blahut发明了信道容量的迭代算法 1956McMillan证明了Kraft不等式。1952年 Fano码，Huffman码。1976 Rissanen算术编 码，1977，78 Ziv和Lempel的LZ算法
从数学上来说，关于信息量的定义，大 概有100多种。 如果将信息提升到科学进行研究，必须 要对信息进行定量，给出信息的科学测 度，但是这并不是一件很容易的事情。
12:29
5
信息与信息量
信息是多样的，客观事物是多种多样的、五花 八门的，事物的状态和变化是多姿多彩、变幻 无穷的，属性不同就出现了不同的信息，需要 给出不同的信息定义，从而可创建不同的信息 理论。 比如说信息的不确定性，引出了概率信息，这 是我们讲的最多的。 再如信息的模糊性，引出了模糊信息和模糊信 息论，这个在70年代末提出来的。 还如信息的量子属性，引出了量子信息和量子 信息论。
21
12:29
信道编码问题
研究在保证信息传输可靠性的条件下最 有效地利用信道的传信能力的。 设送入信道的信息速率为R，信道容量为 C，信道编码基本理论告诉我们： 若R<C，则可以将速率为R的信息以任意 高的可靠性送至接收端。 若R>C，则不可能。 寻找实际可行的编、译码方法。
22
12:29
香农信息论特点
将概率统计的观点和方法引入到通信理论 研究中，揭示了通信系统中传送的对象 是信息，并对信息给出科学的、定量的 描述，指出通信系统设计的中心问题是 在随机噪声干扰下如何有效而可靠地传 送信息，实现这一目标的途径是编码 （信源编码和信道编码），并且从理论 上证明了可以达到的最佳性能限。
12:29 23
纠错码 编码调制理论
网络最佳码
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
12:29
压缩编码 JPEG MPEG
27
信息论发展简史
电磁理论和电子学理论对通信理论技术发展起重 要的促进作用
1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明 电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理 论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代 量子力学使通信进入量子通信领域
3
12:29
信息与信息量
我们生活在信息化社会，都知道信息二 字，天天是不离口，信息这个概念是非 常范的概念和词语，可以在它前面贯上 技术的定语，构成不同的信息，比如说 科技信息、体育信息等等，信息可以被 感知，但是不是所有的信息都可以定量 计数，因此，我们要区分信息和信息量 。
4
12:29
信息与信息量
编码器
12:29
14
各部件功能
信道
信号从发端传到收端的介质 系统各部分引入的干扰，包括衰落，多径， 码间干扰，非线性失真，加性噪声，主要是 统计特性 信道的中心问题是研究信道的统计特性和传 信能力，即信道容量
15
干扰源
12:29
各部件功能
译码器
编码器的逆变换 中心问题是研究各种可实现的解调和译码方法 信息的接收者
25
12:29
信息论的研究内容
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论 研究信息传输和处理问题，除经典信息论外还包括噪声 理论，信号滤波和预测，统计检测和估值理论，调制理 论，信息处理理论和保密理论
一般信息论
广义信息论
除上述内容外，还包括自然和社会领域有关信息的内容， 如模式识别，计算机翻译，心理学，遗传学，神经生理 学
12:29 26
狭义信息论体系结构
Shannon信息论 压缩理论 无失真编码 等长编码 定理 Shannon 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 有失真编码 率失真理论 Shannon Gallager Berger 传输理论 信道编码定理 网络信息理论
12:29 30
信息论发展简史
1950年汉明码，1960年卷积码的概率译码， Viterbi译码，1982年Ungerboeck编码调制技 术，1993年Turbo编译码技术，1999年LDPC 编码技术。 1959年，Shannon提出率失真函数和率失真信 源编码定理 1961年，Shannon的“双路通信信道”开拓了 网络信息论的研究，目前是非常活跃的研究领域。
12:29 2
信息与信息量
Wiener ：“信息既不是物质，也不是 能量，信息就是信息”。 物质和能量是客观存在的、有形的，信 息是抽象的、无形的。物质和能量是系 统的“躯体”，信息则系统的“灵 魂”。������ 信息要借助于物质和能量才能产生、传 输、存储、处理和感知；物质和能量要 借助于信息来表述和控制。
信源
信源 编码器 信道 编码器
调制器
等效离散信 源
信道编码器
信 道
干扰源
信宿
信源 译码器
信道 译码器
解调器
等效信宿
12:29
信道译码器 等效离散信道
13
各部件功能
信源
产生消息的源，消息可以是文字，语言，图像。可以离散， 可以连续。随机发生。 研究的主要问题是消息的统计特性和产生信息的速率 信源编码器：对信源输出进行变换，求得有效性 信道编码器：对信源编码输出变换，提高抗干扰性 调制器：将信道编码输出变成适合信道传输的方式
信宿
12:29
16
信息、消息和信号
信息
一个抽象的概念，可以定量的描述。信息、物质和能 量是构成一切系统的三大要素 是信息的载体，相对具体的概念，如语言，文字，数 字，图像 表示消息的物理量，电信号的幅度，频率，相位等等
消息
信号
12:29
17
二、Shannon信息论的 中心问题
“信息论”，又称为“通信的数学理论”，是研究信息的传 输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论 依据。 （具体地说，就是信源编码和信道编码。以下来看所要解决 的具体问题。） 问题一：信源消息常常不能够完全发送。（否则发送量巨 大，比如：信源消息是一片无尽的天空。因此优先捡有 用的发送。什么是有用的？就是信息量大的。什么是信 息量大的？） 问题二：信道因干扰而出现差错，必须进行检错和纠错。 （否则所收到的消息无法识别。）
信息论与编码理论
主讲： 刘振华 研究方向：密码学、云安全 邮件：zh_liu@mail.xidian.edu.cn QQ: 30304237
12:29 1
教材、参考书
教材：王育民、李晖、梁传甲，信息与编码理论， 高等教育出版社，2005.
参考书： R.J.Mceliece，The Theory of Information and Coding，2nd ed, Cambridge University Press, 2002. 姜丹，信息论与编码，中国科学技术大学出版社，2008. 沈世镒 等，信息论与编码理论，科学出版社，2010. 傅祖芸, 信息论——基础理论与应用，电子工业出版社，2001 傅祖芸，信息论与编码学习辅导及习题详解，电子工业出版 社，2004.
12:29
24
类比
对于Shannon信息论，可将通信问题与普通的 运输问题做类比。 前者是传送信息，后者是传送货物。 传送货物有货源和运输通道，而货源和运输通 道又有货源的体积（或吨位）和运输通道的容 量。当运输通道的容量大于货源的体积（吨位） 时，就能实现货物的正常运输。 信源和信道编码理论则是解决信息的传输问题。 可以通过信息的度量来确定信息量（可形象地 称为信号体积）和信道容量。当信道容量大于 信息体积时，就能实现信息的正确传输。
7
12:29
信息与信息量
信息量度定义的困难性，在众多信息中，只有少数的 信息有了量，大多数的信息是可以感知的，但是无法 度量，因为没有找到合适的信息量的定义，就建不起 来一套理论。 比如说对情感信息中的喜怒哀乐，都可以感知，但是 我们很难度量它们，只能用一些比较模糊的形容词， 描述不同程度的感情。 “你问我对你的爱有多深，我爱你有几分，你去想一 想，你去看一看，月亮代表我的心。”我们还不能确 切地给出“这份爱”有多少“比特”，“那份爱”比 “这份爱”又多多少“比特”。对于美学信息也是如 此。
28
12:29
信息论发展简史
1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正 比 1928年Hartley提出信息量定义为可能消息量的 对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制 系统
8
12:29
信息与信息量
由于客观信息的多样性，要想给出一个能够包 罗万象的统一定义，在此基础上建立起一套信 息理论几乎是不大可能的。 香浓(Shannon)信息论： 1948年发表《通信的 数学理论》，创建了信息论，建立了通信系统 的模型，用概率和统计观点描述信息，包括信 源、信道、干扰等，给出了不确定的信息量度， 指出了客观有效、可靠的信息通信之路，宣告 了一门学科信息论的诞生，成为通信领域技术 革命的思想或者理论基础。
信源编码器的作用是根据失真度准则对 信源进行划分，给每一类以不同的表示， 即码字。 信源译码器的任务是根据收到的信源表 示恢复出信源所属的类。
12:29
20
信源编码问题
在给定信源和失真度条件下，要多大信 息速率才行？或对给定信源保留一定的 信息速率下，可以达到的最小失真是多 少？——信源编码问题，即通信“可行 性”研究。 如何实现上述理论——找出实际可行的 信源编码和译码方法。
12:29 18
香农信息论的基本任务
Baidu Nhomakorabea
1948年shannon发表了“通信的数学 理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统
可靠是要使信源发出的消息经过传输后，尽 可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备 来传输一定量的消息
12:29
19
信源编码问题
12:29
第一章：引论（简介）
一、通信系统模型 二、Shannon信息论的中心问题 三、Shannon信息的概念 四、概率复习内容
12:29 11
一、通信系统模型
信源、信道、信宿
信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。
信源
编码器
信道
译码器
信宿
干扰源
12:29 12
通信系统模型进一步细分
6
12:29
信息与信息量
信息的复杂性引出了信息的复杂度和复杂度的 信息理论，信息的感知属性引出了感知信息和 感知信息理论，信息的美学属性引出美学信息 和美学信息理论等等。 现在有五花八门的信息理论，已经提出了各式 各样的信息理论，而且得到了众多不同的结果， 都宣称取得了成功。动态信息论、定性信息论、 经济信息论、算法信息论、模糊信息论、量子 信息论等等，还有信息生态学、信息代数、信 息几何等，信息物理学、信息生物学等。
9
12:29
信息与信息量
1948年发表的《通信的数学理论》文章，这是 一篇20世纪少有的几篇对科学和工程，乃至对 人类社会发展产生了重要影响著作，是可与牛 顿力学相媲美的不朽之作，也是他最重要的科 学贡献。 这使他成为信息论之父，时年仅32岁。作为数 学家，他为数学开辟了一个工程应用的新领域。 这篇文章虽然在1947年完成，但至今仍然闪烁 着智慧的光芒，它将照耀人类今后的数个世纪。
12:29 31
三、Shannon信息的概念
（直观地认识shannon信息和信息量，而暂 时不使用定义）
第一个重要概念：信道上传送的是随机变量的值。这就是说： （1）我们在收到消息之前，并不知道将要收到的是什么消 息。否则消息是没有必要发送的。 （2）我们在收到消息之前，知道将要收到的可能是哪些消 息，以及收到每个消息的可能性大小。换句话说，消息随 机变量有一个已知的概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。
12:29 29
信息论发展简史
1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了 shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano， 1968Gallager给出信道编码定理的简介证明并 描述了码率，码长和错误概率的关系，1972年 Arimoto和Blahut发明了信道容量的迭代算法 1956McMillan证明了Kraft不等式。1952年 Fano码，Huffman码。1976 Rissanen算术编 码，1977，78 Ziv和Lempel的LZ算法
从数学上来说，关于信息量的定义，大 概有100多种。 如果将信息提升到科学进行研究，必须 要对信息进行定量，给出信息的科学测 度，但是这并不是一件很容易的事情。
12:29
5
信息与信息量
信息是多样的，客观事物是多种多样的、五花 八门的，事物的状态和变化是多姿多彩、变幻 无穷的，属性不同就出现了不同的信息，需要 给出不同的信息定义，从而可创建不同的信息 理论。 比如说信息的不确定性，引出了概率信息，这 是我们讲的最多的。 再如信息的模糊性，引出了模糊信息和模糊信 息论，这个在70年代末提出来的。 还如信息的量子属性，引出了量子信息和量子 信息论。
21
12:29
信道编码问题
研究在保证信息传输可靠性的条件下最 有效地利用信道的传信能力的。 设送入信道的信息速率为R，信道容量为 C，信道编码基本理论告诉我们： 若R<C，则可以将速率为R的信息以任意 高的可靠性送至接收端。 若R>C，则不可能。 寻找实际可行的编、译码方法。
22
12:29
香农信息论特点
将概率统计的观点和方法引入到通信理论 研究中，揭示了通信系统中传送的对象 是信息，并对信息给出科学的、定量的 描述，指出通信系统设计的中心问题是 在随机噪声干扰下如何有效而可靠地传 送信息，实现这一目标的途径是编码 （信源编码和信道编码），并且从理论 上证明了可以达到的最佳性能限。
12:29 23
纠错码 编码调制理论
网络最佳码
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
12:29
压缩编码 JPEG MPEG
27
信息论发展简史
电磁理论和电子学理论对通信理论技术发展起重 要的促进作用
1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明 电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理 论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代 量子力学使通信进入量子通信领域
3
12:29
信息与信息量
我们生活在信息化社会，都知道信息二 字，天天是不离口，信息这个概念是非 常范的概念和词语，可以在它前面贯上 技术的定语，构成不同的信息，比如说 科技信息、体育信息等等，信息可以被 感知，但是不是所有的信息都可以定量 计数，因此，我们要区分信息和信息量 。
4
12:29
信息与信息量
编码器
12:29
14
各部件功能
信道
信号从发端传到收端的介质 系统各部分引入的干扰，包括衰落，多径， 码间干扰，非线性失真，加性噪声，主要是 统计特性 信道的中心问题是研究信道的统计特性和传 信能力，即信道容量
15
干扰源
12:29
各部件功能
译码器
编码器的逆变换 中心问题是研究各种可实现的解调和译码方法 信息的接收者
25
12:29
信息论的研究内容
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论 研究信息传输和处理问题，除经典信息论外还包括噪声 理论，信号滤波和预测，统计检测和估值理论，调制理 论，信息处理理论和保密理论
一般信息论
广义信息论
除上述内容外，还包括自然和社会领域有关信息的内容， 如模式识别，计算机翻译，心理学，遗传学，神经生理 学
12:29 26
狭义信息论体系结构
Shannon信息论 压缩理论 无失真编码 等长编码 定理 Shannon 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 有失真编码 率失真理论 Shannon Gallager Berger 传输理论 信道编码定理 网络信息理论
12:29 30
信息论发展简史
1950年汉明码，1960年卷积码的概率译码， Viterbi译码，1982年Ungerboeck编码调制技 术，1993年Turbo编译码技术，1999年LDPC 编码技术。 1959年，Shannon提出率失真函数和率失真信 源编码定理 1961年，Shannon的“双路通信信道”开拓了 网络信息论的研究，目前是非常活跃的研究领域。
12:29 2
信息与信息量
Wiener ：“信息既不是物质，也不是 能量，信息就是信息”。 物质和能量是客观存在的、有形的，信 息是抽象的、无形的。物质和能量是系 统的“躯体”，信息则系统的“灵 魂”。������ 信息要借助于物质和能量才能产生、传 输、存储、处理和感知；物质和能量要 借助于信息来表述和控制。
信源
信源 编码器 信道 编码器
调制器
等效离散信 源
信道编码器
信 道
干扰源
信宿
信源 译码器
信道 译码器
解调器
等效信宿
12:29
信道译码器 等效离散信道
13
各部件功能
信源
产生消息的源，消息可以是文字，语言，图像。可以离散， 可以连续。随机发生。 研究的主要问题是消息的统计特性和产生信息的速率 信源编码器：对信源输出进行变换，求得有效性 信道编码器：对信源编码输出变换，提高抗干扰性 调制器：将信道编码输出变成适合信道传输的方式
信宿
12:29
16
信息、消息和信号
信息
一个抽象的概念，可以定量的描述。信息、物质和能 量是构成一切系统的三大要素 是信息的载体，相对具体的概念，如语言，文字，数 字，图像 表示消息的物理量，电信号的幅度，频率，相位等等
消息
信号
12:29
17
二、Shannon信息论的 中心问题
“信息论”，又称为“通信的数学理论”，是研究信息的传 输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论 依据。 （具体地说，就是信源编码和信道编码。以下来看所要解决 的具体问题。） 问题一：信源消息常常不能够完全发送。（否则发送量巨 大，比如：信源消息是一片无尽的天空。因此优先捡有 用的发送。什么是有用的？就是信息量大的。什么是信 息量大的？） 问题二：信道因干扰而出现差错，必须进行检错和纠错。 （否则所收到的消息无法识别。）
信息论与编码理论
主讲： 刘振华 研究方向：密码学、云安全 邮件：zh_liu@mail.xidian.edu.cn QQ: 30304237
12:29 1
教材、参考书
教材：王育民、李晖、梁传甲，信息与编码理论， 高等教育出版社，2005.
参考书： R.J.Mceliece，The Theory of Information and Coding，2nd ed, Cambridge University Press, 2002. 姜丹，信息论与编码，中国科学技术大学出版社，2008. 沈世镒 等，信息论与编码理论，科学出版社，2010. 傅祖芸, 信息论——基础理论与应用，电子工业出版社，2001 傅祖芸，信息论与编码学习辅导及习题详解，电子工业出版 社，2004.
12:29
24
类比
对于Shannon信息论，可将通信问题与普通的 运输问题做类比。 前者是传送信息，后者是传送货物。 传送货物有货源和运输通道，而货源和运输通 道又有货源的体积（或吨位）和运输通道的容 量。当运输通道的容量大于货源的体积（吨位） 时，就能实现货物的正常运输。 信源和信道编码理论则是解决信息的传输问题。 可以通过信息的度量来确定信息量（可形象地 称为信号体积）和信道容量。当信道容量大于 信息体积时，就能实现信息的正确传输。
7
12:29
信息与信息量
信息量度定义的困难性，在众多信息中，只有少数的 信息有了量，大多数的信息是可以感知的，但是无法 度量，因为没有找到合适的信息量的定义，就建不起 来一套理论。 比如说对情感信息中的喜怒哀乐，都可以感知，但是 我们很难度量它们，只能用一些比较模糊的形容词， 描述不同程度的感情。 “你问我对你的爱有多深，我爱你有几分，你去想一 想，你去看一看，月亮代表我的心。”我们还不能确 切地给出“这份爱”有多少“比特”，“那份爱”比 “这份爱”又多多少“比特”。对于美学信息也是如 此。
28
12:29
信息论发展简史
1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正 比 1928年Hartley提出信息量定义为可能消息量的 对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制 系统
8
12:29
信息与信息量
由于客观信息的多样性，要想给出一个能够包 罗万象的统一定义，在此基础上建立起一套信 息理论几乎是不大可能的。 香浓(Shannon)信息论： 1948年发表《通信的 数学理论》，创建了信息论，建立了通信系统 的模型，用概率和统计观点描述信息，包括信 源、信道、干扰等，给出了不确定的信息量度， 指出了客观有效、可靠的信息通信之路，宣告 了一门学科信息论的诞生，成为通信领域技术 革命的思想或者理论基础。
信源编码器的作用是根据失真度准则对 信源进行划分，给每一类以不同的表示， 即码字。 信源译码器的任务是根据收到的信源表 示恢复出信源所属的类。
12:29
20
信源编码问题
在给定信源和失真度条件下，要多大信 息速率才行？或对给定信源保留一定的 信息速率下，可以达到的最小失真是多 少？——信源编码问题，即通信“可行 性”研究。 如何实现上述理论——找出实际可行的 信源编码和译码方法。
12:29 18
香农信息论的基本任务
Baidu Nhomakorabea
1948年shannon发表了“通信的数学 理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统
可靠是要使信源发出的消息经过传输后，尽 可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备 来传输一定量的消息
12:29
19
信源编码问题