北航信息论讲义(1讲)

1.1 信息论
信息论(Information Theory) 是应用数理统计
方法研究信息的传输、存储和处理的一门学
科，主要研究可能性和存在性问题。 信息技术(Information Technology)主要研究 如何实现、怎样实现的问题。
信息论从诞生至今已有50多年的历史，包括：
经典信息论(香农信息论) 工程信息论(一般信息论) 广义信息论(信息科学)
2.全概率公式
P( A) P( Bi ) P( A | Bi )
i 1
n
P( AB) P( A | B) 3.条件概率公式 P( B)
4.贝叶斯公式
P ( Bi | A)
P ( Bi ) P ( A | Bi )
P( B ) P( A | B )
j 1 j j
n
2.1.2 条件自信息量（续）
②包含许多原来已知道的旧内容信息量小
1.2.2 广义的信息概念
物质、能量和信息是构成客观世界三大要素，信息 是物质和能量在空间和时间中分布的不均匀程度。 信息不是物质，信息是事物的表征，是对物质存在 状态和运动形式的一般描述。 信息存在于任何事物之中，有物质的地方就有信息， 信息充满物质世界。 信息本身看不见、摸不着，它必须依附于一定的物 质形式（如文字、声波、电磁波等）。这种运载信 息的物质称为信息的载体，一切物质都有可能成为 信息的载体。
I xi | y j log p xi | y j
def
因为p(xi| yj) ≤1 ，所以条件自信息量非负 即：I(xi| yj) ≥0。
2.1.2 条件自信息量（续）
概率知识复习 1.乘法公式
P( AB) P( B) P( A | B) P( AB) P( A) P( B | A)
解：根据自信息量的定义，解得 “e”的自信息量： I (e) log 2 0.105 3.25bit “c”的自信息量： I (c) log 2 0.023 5.44bit “o”的自信息量： I (o) log 2 0.001 9.97 bit
2.1.1 自信息量（续）
例2.3：有一正方形棋盘，分64个格，如果
甲将一棋子放在某格内，让乙猜测。
1 A B C D E F G H 2 3 4 5 6 7 8
2.1.2 条件自信息量（续）
1.将方格按顺序编号（1,2, „ ,64），让 乙猜测棋子所在格的序号。 2.将方格按行，列编号(如图所示)，甲告 诉乙棋子所在行或者列的编号，让乙猜测 位置。 计算乙猜中的信息量。
个既复杂又抽象的概念。
信息概念十分广泛，由于信息科学比起其他学 科（如物理学、化学、数学）还很年轻，人类 对信息的认识还很不够。迄今为止，信息并没
有形成一个很完整的、系统的概念。
不同的研究学派对信息的本质及其定义还没有 形成统一的意见和认识。
1.2.1 通俗的信息概念
信息是一种消息。 这是一种最普遍的概念，是目前社会上最 流行的概念，这个概念好像使人一听就明 白，但不准确。确切地说，这种概念把消 息认为是信息。 信息消息，同一条消息有不同信息量。 例如: 某人收到一条消息 ①包含许多原来不知道的新内容信息量大
例2.2：一副充分洗乱了的牌（含52张牌），求： (1) 任一特定排列 (2) 若从中抽取13张牌，所 给出的点数都不相同的信息量？ 。
解：依题意 1）52张牌共有52!种排列，假设每种排列方式等概出现, 则所给出的信息量
I ( xi ) log p( xi ) log 1 / 52! 225.581 bit
2) 52张牌共有4种花色、13种点数，抽取13张点数不同 的牌的概率如下：
4 I ( xi ) log p( xi ) log 13 13.208 bit C52
13
2.1.2 条件自信息量
• 条件自信息量 若事件xi在事件yj给定条件 下的概率为p(xi| yj)，则其条件自信息量定 义为
1.3 信息、消息与信号
信息： 比较抽象的概念；是系统中传输的对 象；包含在消息之中。 消息：比较具体，但不是物理量；具有不同 形式，例如语言、文字、符号、图像等能够 被人感知；可以传输并被通信双方理解；同 一消息含有不同信息；同一信息可用不同消 息载荷。 信号：最具体，是消息的载荷者；是表示消 息的物理量，可测量、可显示、可描述，是 信息的物理表达层。
1.2.3 概率信息概念
由美国数学家香农1948年提出，亦称香农信息 基于对通信活动基本功 基于对通信活动对象和 基于对通信活动的机制 或狭义信息。概率信息是从 不确定性 能的观察分析，“通信 过程的分析研究，“信 和本质的分析研究， (Uncertainty) 和概率测度出发定义信息的。 的基本问题是在信宿端 源发出的消息总是从可 “人类只有在两种情况 香农针对人类通信活动的特点，提出了 精确或近似地复制发送 能发生的消息符号集合 下有通信的需求， 1）自 端所挑选的消息。通常 中随机选择，通信系统 己有某种形式的消息要 ① 形式化假说 消息是有语义的，即它 无法预先知道信源在什 告诉对方，且估计对方 ② 非决定论 按某种关系与某些物质 么时候会选择什么消息 不知道； 2）自己有某种 ③ 不确定性 概念的实体联系着。通 发送”，即具有通信意 疑问需要对方给出解答” 信中语义方面的问题与 义的消息都是随机发生 经过通信活动后，消除 工程问题没有关系” 的 了 随机事件，获取信息 不确定性
1.1.3 广义信息论（信息科学）
70年代以后，随着VLSI和计算机技术的广泛 应用，信息存储和处理能力不断提高，建立 了更具一般性的广义信息论信息科学 主要内容：①经典信息论和工程信息论
②模式识别 ③计算机翻译
④神经网络 ⑤心理学与遗传学
⑥语言学与语义学
1.2 信息的概念
信息是信息论中最基本、最重要的概念，是一
1 1 log log p ( xi ) p( xi ) p( xi | y j )
自信息量 条件信息量
• 互信息量是一种消除的不确定性的度量。
• 互信息量=先验的不确定性-尚存在的不确定性。
2.2.1 互信息量（续）
二、互信息量的性质
（1）互易性 由事件提供的有关事件的信息量等于由事 件提供的有关事件的信息量。
当事件xi发生后，表示事件xi 所提供的信息量。
(3) 单位：取决于对数的底 比特（以2为底） I(xi)=-log2 p(xi) 奈特（以e为底） I(xi)=-loge(xi) 哈特来（以10为底） I(xi)=-log10(xi)
(4)规律 p xi 小 不确定性大 自信息量大 p xi 大 不确定性小 自信息量小
I(xi ; yj) ≤ I(xi )
I(xi ; yj) ≤ I(yj) 物理意义 表明：自信息量I(xi)是为了确定事件xi的出 现所必需提供的信息量，也是任何其他事件所 能提供的关于事件xi的最大信息量。
信息论
1.1.1 经典信息论(香农信息论)
亦称香农信息论、数学信息论、狭义信息论、 近代信息论 创始人是美国数学家C.E.Shannon(香农)， 1948年发表《A Mathematical Theory of Communication》奠定了经典信息论的基础 主要研究通信系统中的数学规律，主要内容
2.2 互信息量和条件互信息量
• 2.2.1 互信息量 定义 性质 • 2.2.2 条件互信息量
2.2.1 互信息量
一、互信息量定义
对两个离散随机事件集X和Y，事件yj的出现给出 关于事件xi的信息量，其定义式为
I(xi ; yj)= log
p ( xi | y j )
香农信息 物理意义： 基本定义
信源 消息
编码器
信道 信号 干扰 干扰源
译码器
信宿 消息
如传输中衰落、多经 码间干扰、非线性失 真、热噪声
1.3 通信系统模型
基本问题 1. 临界数据压缩的值 2. 临界通信传输速率
1- p 0
信息熵 H 信道容量C
p p
0
1
1- p
1
二元对称信道传输语音图像信号示例
第一章 小 结
1. 信息论： 经典信息论 工程信息论 广义信息论 2. 信息的概念：通俗信息概念 广义信息概念 概率信息概念 3. 信息：抽象概念，研究对象，含于消息 消息：比较具体，非物理量，信息的载荷者 信号：最具体，表示消息的物理量，可测量、 可显示、可描述，消息的载荷者 4. 通信系统的模型：
2.1.1 自信息量
一、简单事件 • 自信息量 任意简单随机事件xi的发生概率 为p(xi)，则自信息量为
I xi log p xi
释：
(1) p(xi) ≤1， 表示事件xi出现的概率, 取“-”号的主要目的是：使I(xi) ≥0
2.1.1自信息量（续）
(2) 意义： 当事件xi发生前，表示事件xi发生的不确定性。
参考书目
傅祖芸，《信息论-基础理论与应用》，2001 电 子工业出版社
朱雪龙 ，《应用信息论基础》，2003年清华大 学出版社
傅祖芸，《信息理论与编码——学习辅导及精 选题解》，2004年电子工业出版社 陈杰，徐华平，周荫清《信息论习题集》， 2005年清华大学出版社
第一章 绪论
信息的概念 信息、消息与信号 通信系统模型
什么是信息?
“Information
causes change;
If it doesn’t, it isn’t
information”
Claude Shannon (1916-2001)
1.3 通信系统模型
产生消息的源。消息是文字、语言、图像等，可以 将信源发出的消息变换成适于信道传送的信号的设 是把载荷消息的信号从发射端传到接收端的媒质或 消息的接收者 译码器从受干扰的信号中最大限度地提取出有关信 是离散序列，也可以是连续波形，都是随机发生的， 备。包含三部分：信源编码器、信道编码器和调制 通道，是包括收发设备在内的物理设施 源输出消息的信息，应尽可能精确地恢复信源的输 可以用随机变量或随机过程来描述 器。 出，并将它们送给信宿。
I ( xi ; y j ) I ( y j ; xi )
（2）互信息量可为零 当事件xi, yj 彼此统计独立， I(xi ; yj)= 0。 表明：当事件xi 同 yj相互独立时，不能通过对 事件yj的观测获得关于另一事件xi的任何信息。
2.2.1 互信息量（续）
（3）互信息量小于自信息量 任何两个事件之间的互信息量不可能大于其 中任一事件的自信息量。
2.1.1 自信息量（续）
二、联合事件
• 联合自信息量 二维联合集XY上元素( xi yj ) 的自信息量定义为
I xi y j log p xi y j
def
• 其中，xiyj 是积事件； p( xiyj) 是二维联合概率
2.1.1 自信息量（续）
例2.1：英文字母中“e”出现概率为0.105， “c”出现的概率为0.023，“o”出现的概率 为0.001。分别计算它们的自信息量。
信息论
北京航空航天大学 201教研室 陈 杰
Fisher 信息假设 检验
AEP 渐近均分性 热力学
统计学
物理学
Information theory
不等式
数学
信息理论同其他学科的关系
内容安排
第一章 绪论 第二章 信息的统计度量 第三章 离散信源 第四章 离散信道 第五章 无失真信源编码 第六章 有噪信道编码 第七章 限失真信源编码 第八章 网络信息论基础
第一章 小 结（续）
通 信 系 统 模 型
干扰源
窃听者
第二章 信息的统计度量
内容提要 2.1 自信息量和条件自信息量 2.2 互信息量和条件互信息量 2.3 离散集的平均自信息量 2.4 离散集的平均互信息量 2.5 连续随机变量的互信息和相对熵
2.1 自信息量和条件自信息量
• 2.1.1 自信息量 简单事件 联合事件 • 2.1.2 条件自信息量
①信源与信息量 ②信道与信道容量 ③信源与信道间统计匹配 ④信源与信道编码定理
1.ຫໍສະໝຸດ Baidu.2 工程信息论(一般信息论)
工程信息论主要研究通信系统及系统设备中 的最佳工作规律和最佳设计的一门科学。
主要应用于通信领域，主要内容
①信源编码理论与方法 ②信道编码理论与方法
③信号检测、估计理论与方法 ④保密学 ⑤通信网