信息论与编码第一章

信息论与编码
陈运 电子工业出版社
1
参考书目
付祖芸： 信息论——基础理论与应用
余成波： 信息论与编码 吕 锋： 信息理论与编码 戴善荣： 信息论与编码基础
2
第一章
信息论的一般概念
概 论
信息的分类 信息论研究的内容及本课程学习的 内容
3
§1.1
信息的一般概念
一、 信息的重要性 组成客观世界的三大基本要素：
⒈ 通信系统的模型
信源
编码器
信道
译码器
信宿
噪声
10
§1.3
信源 编码器 信道 译码器 信宿
信息论研究的内容
11
§1.3
信息论研究的内容
二、本课程学习的内容
⒈ 信源研究内容：（第二章）


信源发出的消息的统计特性 用随机变量或随机过程来描述 信源产生信息的速率
⒉ 编码器

编码器的功能：将消息变成适合信道传输的信号 编码器包括： 信源编码器 信道编码器 （包括调制器）
13
§1.3
信息论研究的内容
（第三章）
⒊ 信道 研究信道的容量 ⒋ 译码器

译码器的功能：从接收到的信号中恢复消息。 译码器包括： 解调器 信道译码器 信源译码器
⒌ 信宿是消息传送的对象（人或机器）。
14
§1.3
信息论研究的内容
三、信息论与编码的特点
以概率论、随机过程为基本研究工具。 研究的是通信系统的整个过程，而不是单个环
香农第三定理：对于任意的失真度 D≧ 0 ， 只要码字足够长，那么总可以找到一种编码 方法，使编码后每个信源符号的信息传输率 ≧ R（D），而码的平均失真度 d≦ D 。
18
7
§1.2
自阅
信息的分类
8
§1.3
信息论研究的内容
一、信息论研究的内容 ⒈ 狭义信息论（香农信息论） 信息的测度、信道容量、信源和信道 本课程学习的内容 编码理论 ⒉ 一般信息论 噪声、滤波与预测、估计、保密等 ⒊ 广义信息论 所有与信息相关的领域
9
§1.3
信息论研究的内容
二、本课程学习的内容
12
§1.3
信息论研究的内容
⑴ 信源编码器： （第五章）
信源编码依赖于信源的特性 去除信源消息中的冗余度，提高传输的有效性。
⑵ 信道编码器： （第六章）

将信源编码后的符号加上冗余符号，提高传输的可 靠性。
⑶ 调制器：
功能：将信道编码后的符号变成适合信道传输的信
号 目的：提高传输效率

物质 —— 材料科学 能量 —— 能源科学 信息 —— 信息科学
没有物质什么都不存在，没有能量什么都
不会发生，没有信息什么都没有意义。 ——美国学者欧廷格
4
§1.1

信息的一般概念
二、信息论发展简史
用文字、符号、数据、语言、音符、图片、图像等能够被 人们感觉器官所感知的形式，把客观物质运动和主观思维 活动的状态表达出来，就成为消息。 消息是信息的外壳 P.2 透过各种现象，人们开 信息是消息的内核 始对信息进行研究 信号是信息的载体
节，并以编、译码器为重点。
关心的是最优系统的性能和怎样达到这个性能。
15
§1.3
信息论研究的内容
四、信息论与香农定理
⒈ 无失真信源编码，所需要的最少码符号数是 多少？
香农第一定理： 如果编码后的信源序列 信息传输速率不小于信源的熵，那么一 定存在一种无失真信源编码方法；否则， 不存在这样的一种无失真信源编码方法。
6
§1.1

信息的一般概念
1950年，维纳在“控制论与社会”，第一次引入 了广义信息论。与此同时人们如何对信 息编码进行了研究 1948年，香农在论文中提出并给出了简单的编码 方法(香农编码)。 1952年, 费诺(Fano)提出了一种费诺码。 同年， 霍夫曼(D．A．Huffman)构造了一种霍 夫曼编码方法，并证明了它是最佳码。

5
§1.1

信息的一般概念
1924年，Nyquist提出信息传输理论； 信号带宽与信息速率的关系 1928年，Hartly提出信息量概念； 概念：信息是选择通信符号的方式→定性 度量：选择的自由度→定量 1932年，Morse发明电报编码； 1948年，Shannon在“通信中的数学理论” ， 以概率论为工具，给出了信源信息量及 信道容量的计算方法，编码理论。
16
§1.3
信息论研究的内容
⒉ 在有噪声信道中，有没有可能以接近信道容 量来传输信息
香农第二定理：如果信息传输速率小于信 道容量，那么总可以找到一种编码方式， 使得当编码序列足够长时传输差错任意小； 否则，不存在使差错任意小的信道编码方 式。
17
§1ห้องสมุดไป่ตู้3
信息论研究的内容
⒊ 如果信源编码时，允许一定的失真，那么信 源编码所需要的最少码符号数又是多少？