第二章 信源熵 第1节

奈特
page10
Chapter 2 信源熵
$2.ቤተ መጻሕፍቲ ባይዱ 信息的度量
约定：由于二进制数字通信系统的普及，比特的应用 最为普遍。当不指明对数的底时( log1 p)，均是 指以2为底。 计算机专业中的比特和信息量中的比特间的区别
计算机专业：例：存储容量=？字节 1字节=8比特 数据传输率 001111101111 比特/秒 思考：是否与0，1出现的概率有关？无关 信息论：比特与0，1出现的概率有关
定长变长编码定理chapter信源熵page321信息的度量211自信息量和互信息量自信息量的定义及性质联合自信息量条件自信息量的定义几种自信息量间的关系互信息量定义的引出物理意义性质212平均自信息量熵信源熵信息熵香农熵平均自信息量定义的引出联合熵和条件熵熵的主要性质及定理加权熵的概念及基本性质213平均互信息量交互熵平均互信息量定义的引出主要性质几种熵信源熵联合熵条件熵交互熵之间的关系chapter信源熵page421信息的度量211自信息量和互信息量一自信息量的定义问题
1 p( A) I ( A) log 5.17 比特 36 5 (2) B：XY={26, 35, 44, 53, 62}。 I ( B ) log 2.85 36 比特 2 (3) C：XY={34, 43}。 I (C ) log 4.17 比特 36
p ( x i ) 0 p ( xi )1
f [ p( AB )]
page6
Chapter 2 信源熵
$2.1 信息的度量
信息量是随机事件概率的函数 概率越小，信息量越大
定性认识： 概率趋近于0，信息量趋近于无穷大 确定性事件，信息量为0
两个独立事件，联合事件的信息量是 二者之和
x2 ... p( x2 ) ... xn p( x n )
page18
Chapter 2 信源熵
$2.1 信息的度量
二、自信息量（不确定度）的性质
1. I ( xi ) 具有非负性
p ( xi ) 0 p ( xi )1
f [ p( A) p( B)] f [ p( A)] f [ p( B)]
page7
Chapter 2 信源熵
$2.1 信息的度量
X x1 (1) I ( xi ) f [ p( xi )] p( x ) P ( x ) 1
样本点总数=36
I ( A) log { XY } {31, 32, 34, 35, 36 p( A) 比特 13, 23,43,53,63}
page15
A：一个骰子(X)为3，另一个(Y)不为3; 或反之。
page2
Chapter 2 信源熵
§2.1 信息的度量
2.1.1 自信息量和互信息量 自信息量的定义及性质 联合自信息量 条件自信息量的定义 几种自信息量间的关系 互信息量定义的引出 物理意义 性质 2.1.2 平均自信息量（熵 信源熵 信息熵 香农熵） 平均自信息量定义的引出 联合熵和条件熵 熵的主要性质及定理 加权熵的概念及基本性质 2.1.3 平均互信息量（交互熵） 平均互信息量定义的引出 主要性质 几种熵(信源熵 联合熵 条件熵 交互熵)之间的关系
page14
Chapter 2 信源熵
$2.1 信息的度量
例2.1.2 设一次掷两个骰子,如果事件A, B, C分别表示: A：仅有一个骰子是3; B：至少有一个骰子是4; C：骰子上点数的总和是偶数。 试计算A，B，C发生后分别提供的信息量。
满足指定条件的样本点数 解：随机事件发生的概率 样本空间所有的样本点数
Chapter 2 信源熵
$2.1 信息的度量
练习1：如果你在不知道今天是星期几的情况下问你 的朋友“明天是星期几？”，从获得的回答中你能获 得多少信息量？如果你已知今天是星期几，同样的问 题你能获得多少信息量？ 解：A：不知道明天星期几的情况下，所得到的关于 明天是星期几的答案。
p( A )
两个独立事件，联合事件的信息量是 二者之和
x2 ... p( x2 ) ... xn p( x n )
X x1 (1) I ( xi ) f [ p( xi )] p( x ) P ( X ) 1
数学语言：
(2) 信息量I是概率p的单调递减函数 (4) 若A、B独立 I ( AB) I ( A) I ( B) (3) lim I ( xi ) lim I ( xi ) 0
抽球后，对于抽中红球仍存在的不确定度 0.0145 0 0.0145 比特
类似地，当抽中的是白球，获得的信息量为6.644比特。
page13
Chapter 2 信源熵
$2.1 信息的度量
不确定度：在随机实验进行前，关于某随机事件在 这次实验中是否会发生的不确定程度。 自信息量：某次随机实验完成后，出现某个随机事件 时所获得的信息量。
Chapter 2
信源熵
Information Source and Entropy
Chapter 2 信源熵
主要内容
2.1 信息的度量 重点 自信息量 互信息量 平均自信息量 平均互信息量 定义 性质 应用 2.2 信源的分类及其数学模型 2.3 多符号信源和马尔可夫信源（平均符号熵 极限熵） 2.4 连续信源 (微分熵的定义及性质 最大熵定理 熵功率) 2.5 离散无失真信源编码定理（信源编码的基本概念、 目的、思路、术语; 定长、变长编码定理）
page8
Chapter 2 信源熵
$2.1 信息的度量
通过上述分析过程，引出信息量的如下数学定义：
1 I ( xi ) log p( xi ) log p( xi )
*
由香农先生最先给出, 他参考了哈特莱的定义 I log n
2. 自信息量的单位：
这取决于对数函数的底。
当对数底为2时，单位为比特(bit, binary unit的缩写)。 当对数底为e时，单位为奈特(nat, nature unit的缩写)。 当对数底为10时，单位为哈特(hart, 为纪念hartley)。 为方便起见，有时也可人为地规定对数的底。
二者有何区别？ 袋子里一共有100个手感相同的球。已知其中99个 是红球，只有1个是白球。现随机抽取1个球，问： 抽球之前：抽出来的球会是红球吗？ 回答：不能确定，不过多半是。 不确定度
不确定度：在随机实验进行前，关于某随机事件在 这次实验中是否会发生的不确定程度。
page12
Chapter 2 信源熵
$2.1 信息的度量
1 1 log log 0.0145 比特 “抽中的是红球 ”不确定度 0.99 p(红球) 1 1 log 6.644比特 log “抽中的是白球 ”不确定度 0.01 p(白球)
抽球之后：某次抽出的是红球，并明确地告诉你答案。 计算你所获得的信息量。
获得的信息量 抽球前，对于抽中红球的不确定度
I ( B ) log 比特
C：骰子X(奇数)+骰子Y(奇数)=偶数 骰子X(奇数)+骰子Y(偶数)=奇数 骰子X(偶数)+骰子Y(奇数)=奇数 骰子X(偶数)+骰子Y(偶数)=偶数
p( C )
page16
I (C ) log 1 比特
问题：信息如何度量？使用什么单位？
比较：对于看得见，摸得着的实际物体，尺寸可用米、 公里等衡量，重量可以用公斤、吨衡量。但信息呢？
page4
Chapter 2 信源熵
$2.1 信息的度量
回答：仅仅依据日常生活的经验无法得出信息如何 度量以及度量单位。必须人为引入信息度量的定义。 在这方面，哈特莱和香农做出了最主要的贡献。 实际例子：（定性认识） 狗咬人 与 人咬狗 太阳从西边出来 美国的911事件 概率越小，信息量越大 概率趋近于0，信息 量趋近于无穷大
Chapter 2 信源熵
$2.1 信息的度量
B：骰子X为4，骰子Y不为4; 骰子X不为4，骰子Y为4; 两个骰子都为4。
p( B )
{ XY } {41,42,43,45,46 14, 24, 34,54,64 }
例2.1.1 英文字母中“e”出现的概率为0.105， “c”出 现 的概率为0.023，“z” 出现的概率为0.001。分别 计算它们的自信息量。 I (e) log 1 3.252 比特 解： “e”出现时的自信息量为：
0.105 1 1 I (c) log 5.442 比特 I ( z ) log 9.966 比特 0.023 0.001
1 I ( A) log 2.81 比特 7
B：在已知今天星期几的情况下，所得到的关于 明天是星期几的答案。
p( B)
page17
I ( B) log1 0 比特
Chapter 2 信源熵
$2.1 信息的度量
练习2：同时掷一对均匀的骰子，当得知： (1) A：两个骰子点数的和为2。 (2) B：两个骰子点数的和为8。 (3) C：两个骰子的点数分别为3点和4点。 试计算三种情况下分别获得多少信息量？ 解：(1) A：骰子X=1，骰子Y=1。
1 1 I ( xi ) log 仅当p(0) p(1) , I (0) I (1) 1 比特 p( x i ) 2
page11
Chapter 2 信源熵
$2.1 信息的度量
3. 自信息量与不确定度之间的关系：
1 I ( xi ) log p( x i )
既是自信息量，又是不 确定度的数学定义。
X x1 (1) I ( xi ) f [ p( xi )] p( x ) P ( X ) 1
数学语言：
(2) 信息量I是概率p的单调递减函数 (4) 若A、B独立 I ( AB) I ( A) I ( B) (3) lim I ( xi ) lim I ( xi ) 0
page9
Chapter 2 信源熵
$2.1 信息的度量
几种单位间的转换： 比特 奈特
I log1 p 2
log 1 p e log e log1 p 2 e 2 log e
比特数 log e 奈特数 2 log e 比特 1奈特= 2 2 1比特= log e 奈特
比特
log 1 p 10 log10 log1 p 哈特 I log1 p 2 2 10 2 log10 2 10 log 10 哈特 1比特= 1哈特= log 2 比特 log 1 p 10 I log1 p log10 log1 p 哈特 e e 10 e log10 e log 10 奈特 log 10 哈特 1哈特= e 1奈特=
第二次有人告诉小王， 确定性事件，信息量为0 你考上研究生了 两个独立事件，联合事 东营下雪了，纽约也下雪了 东营校区下雪了，基地也下雪了 件的信息量是二者之和
page5
Chapter 2 信源熵
$2.1 信息的度量
信息量是随机事件概率的函数 概率越小，信息量越大
定性认识： 概率趋近于0，信息量趋近于无穷大 确定性事件，信息量为0
x2
...
p( x2 ) ...
xn p( x n )
(2) 信息量I是概率p的单调递减函数 (4) 若A、B独立 I ( AB) I ( A) I ( B) (3) lim I ( xi ) lim I ( xi ) 0
p ( x i ) 0 p ( xi )1
page3
Chapter 2 信源熵
§2.1 信息的度量
2.1.1 自信息量和互信息量 一、自信息量的定义 1.自信息量的数学定义 问题：在信息论中，我们首要要解决的问题是什么？
回答：信息的量化、度量。因为只有对信息能够进行 度量以后，我们才能用定量的方法来分析通信 系统中信息的产生、传输、接收等问题。
f [ p( A) p( B)] f [ p( A)] f [ p( B)]
通过上述分析发现，对数形式的函数可能能满足要求。
直接定义 I ( xi ) log p( xi ) 能否满足要求(2), (3)？
log 函数是单调递增函数，需要改造。如何改造?
最简单的方法：I ( xi ) log p( xi ) 是否满足要求 (3)？