第一章 信息论与编码

事件A与事件B相互独立 P(AB)=P(A)P(B)
P A B
P AB P B
P A
事件A与事件B不相容： P(AB)=0

信宿（destination） 接收消息的对象，如人，机器等

所需数学基础知识-----概率论
1、集合 1）定义：具有相同属性的组合 2）集合A与B的常用运算：



子集：B为A的子集即A包含B，即事件A发生 则导致事件B发生

举例： 集合A={1.2.3.4.5.6.7.8.9.10}，集合B={2.3} 则集合B为集合A的子集 计作

一般加法定理：
P A B P A P B P AB
或
P A B P A P AB P B

3）其他特性
P 0
P B 1 P B
P A B P A AB P A P AB

1）信源编码器 处理对象：把消息变换成由二进制（或多进 制）码元组成的代码组 （注：码元：码的单位）

目的：压缩信源的冗余度 （注：冗余度：信源在实际发出时包含的多余 信息。冗余度决定于信源符号间的相关性， 以及信源符号分布的不均匀性）

包括：针对离散信源的无失真信源编码与针 对连续信源的限失真信源编码 指标：编码效率
举例： 抛一元硬币，数字向上的概率为0.5，记为 P A1 0.5 图案向上的概率为0.5，记为 P A2 0.5 则必有一面 向上的概率为

P A1 A2 P A1 A2 P A1 P A2 0.5 0.5 1



3、信息的三个基本层次
语法信息：事物运动的状态和变换方式的外在形式。与用途、 含义无关。 语义信息：内在含义 语用信息：价值，实际效用


消息、信息采集（语法信息）、信息处理 （翻译、破译）、语义信息、信息分析（语 用信息） 举例：情报分析

宋代文学家苏轼有一首《减字木兰花》
郑庄好客， 容我尊前先堕帻。 落笔生风， 籍籍声名不负公。 高山白老 莹骨冰肌哪堪老 从此南徐， 良夜清风月满湖。
信息论与编码
第一章 绪论
1、信息论的形成与发展 2、通信系统的模型 3、所需数学基础知识

一、信息论的形成与发展
1、香农生平简介 2、信息论概述

香农生平简介


香农（Claude Edwood Shannon 1916-2001） 数学家，工程学家 信息论创始人，奠基人 电子计算机理论的重要奠基人之一
信息论概述
1）信息论特征 是在概率论，随机过程，数理统计和通信技 术相结合的基础上发展起来的科学，要求信 源为随机过程 （注：随机过程是对随时间和空间变化的随机 现象进行建模和分析的学科。如随机过程理 论中的马尔代夫过程）

认为信息量可以度量，并在此基础上研究安 全，有效地传输信息。 主要应用在通信领域。研究整个通信系统， 而不是单个环节，以编码器为重点。 可分为狭义信息论和广义信息论。
集合B的补集B
空集：不包含元素的集合。不可能事件，一般用 来表示

BB
2、概率（Probability） 1）定义：表征随机事件出现某个结果的机会大小的 一个量。 2）基本特征：A为某随机事件， A 表示事件概率， P 则 P A 满足 P A 0

P 1 必然发生事件

狭义信息论即香农信息论或经典信息论。所 研究的基本问题是：信息度量，信息特性， 信息传输速率，信道容量，干扰对信息传输 的影响等。 广义信息论包括香农信息论，信源编码，信 道编码，近代信息论，统计通信理论，通信 网理论，信号与信息处理等

2）信息技术背景 当时通信理论与技术已有较大发展，存在的主要通信 手段，如：电报、扩频等 3）信息论理论背景 1948年以前，Nyquist抽样定理，wiener滤波器， Hartiey自适应滤波算法等许多有影响的工作 香农提出的信息理论


其他著作： 1956年，《噪声信道的零差错容量》 1959年，《在保真度准则下的离散信源编码定理》，推动了 信息率失真理论研究。 1961年，《双路通信信道》
科研风格： 1、触类旁通 2、标新立异，个性化研究

信息论概念



1、概念： 信息：一种抽象意识。认识的主体（人，生物，机器）所感 受的和所表达的事物运动的状态和运动状态变化的方式 消息：包含有信息的语言，文字和图像等。 信号：消息的无力体现。消息的载体。 数据：载有信息的可观侧、可传输、可存储和可处理的信号。


4）条件概率：在随机事件B发生的条件下随机事 件A发生的概率。记作 P A B
P A B P AB P B
数学展开式：
P B 0

5）事件相互独立：事件A的出现对于事件B 的出现没有影响，且事件B的出现对于事件A 的出现没有影响。 事件的不相容：事件A与事件B不能同时发生

连续信源：由连续变化的参数承载 离散信源：由符号序列或单个符号承载

4）核心问题：信息的定量表示，即信息量的 确定 如有人提出： 百分比：信息量=信息的符号数/消息的符号数 加权比：信息量=第i个信息的符号数/消息的符 号数

编码器（encoder） 1、功能：编码，将消息变成适合信道传输的信 号 2、组成：信源编码器、信道编码器、调制器
举例： 1、奥斯卡奖项获得者的发言 2、前天的“新闻”



总结消息，信号，信息三者关系：
1、消息是信息的携带者，信息包含于消息中 2、消息不一定含有信息 3、信号是消息的载体，消息是信号的具体内容。


2、信息的特征
1、不确定性。任何已确定的事物都不含有信息； 2、信息有许多与物质，能量相同的特性，但也有许多与后 者不同的特性（可以产生，消失，处理又可以共享） 3、可以度量。如：信息量


2、1948年《通信的数学理论》。第一次提出信息量的概
念，并应用数理统计的方法来研究通信系统，从而创立了影 响深远的信息论。 “通信的基本问题就是在一点重新准确的或近似的再现另一 点所选择的消息” ———香农


3、1949年，《噪声下的通信》。经典地阐明了通信的基本 问题，提出了通信系统的模型，给出了信息量的数学表达式， 解决了信道容量，信源统计特性、信源编码、信道编码等有 关精确的传送通信符号的基本问题。两篇文章成了现在信息 论的奠基著作。标志香农成为了《信息论》这门新兴学科的 奠基人。
B A

交集：有多个共同元素的集合，事件A与B同时发 生（且关系）
A B或AB
AA A


举例： 集合A={1.2.3.4.5.6.7.8.9.10}集合 B={2.4.6.12.14.16} 则集合A与集合B的交集为{2.4.6}，用C表示交集 计作：
C AB

并集：多个集合的总体，事件A与B至少有一个发 生（或关系）

2）信道编码器 信道（channel）：通过传递物理信号的设施完 成消息传递 处理对象：信源编码器输出的代码组 作用：在代码组上有目的的增加监督码元，使 代码组具有检错和就错能力 包括：调制与解调，纠错与检错编译码

指标：保证信噪比（模拟信号），减少误码 率（数字信号） 增大信道容量

3）调制器 功能：将编码器的输出符号变成适合信道传输 的信号（电信号，光信号） 目的：提高传输效率
4）信息论的发展 推动通信理论完善，发展 成为多门学科的基础课程

二、通信系统的模型

1、通信系统的物理模 型
信源 编码器 信道 编码器
信道
信道 译码器
信源 译码器
信源
干扰源
信宿
信源（information source） 1）定义：向通信系统提供消息的人，机器等 2）信源输出：以符号形式出现的消息 3）信源分类 无记忆信源：输出符号概率与其他时刻无关 有记忆信源：输出符号概率与其他时刻有关

可加性： 通常用“+”表示集合的运算，并称之为集合的加， 如集合A、B的并运算写作
A B A+B
多个集合相加时借用算术中用 Ai 表示
i 1 n
有限可加性： 若当 i j, Ai Aj ，则有：

n n P A i P Ai i 1 i 1

信道（channel） 狭义信道：具体的物理信道：有线，无线，光 广义信道：逻辑关系，不考虑实际介质。信息论中 的信道 无噪声信道和有噪声信道 加性噪声（背景噪声）和乘性噪声 AWGN信道：根据中心极限定理，多个独立随机变 量的和的分布趋近于高斯分布
解码器： 作用：信号中恢复消息与编码器过程相反 组成：

代表性著作： 1、1938年，香农发表了著名的论文《继电器和开关电路的 符号分析》，首次使用布尔代数进行开关电路分析，并证明 布尔代数的逻辑运算，可以通过继电器电路来实现，明确的 给出了实现加减乘除等运算的电子电路的设计方法。文中首 次使用了比特的概念。这篇论文成为开关电路理论的开端
注：比特（bit）数字技术二进制的位数。1位 2进制称为1bit 举例：10001110：142；10100100：164
AB
AA A



举例： 集合A={1.2.3.4.5.6.7.8.9.10}，集合 B={2.4.6.12.14.16} 则集合A与B的并集为 {1.2.3.4.5.6.7.8.9.10.12.14.16} 用D表示并集： D A B