信息论信息的统计度量

互信息量的性质
概率乘法公式
p ( x, y ) = p ( y ) p ( x | y )
全概率公式
p( x) = ∑ p( x, yi ) = ∑ p ( yi ) p( x | yi )
i =1 i =1 n n
互信息量的性质
1. 互信息量的互易性
I ( x; y ) = I ( y; x)
互信息量的性质
3. 互信息量可正可负 肯定x的出现 正：y的出现有助于肯定 肯定 x：张三病了。 y：张三没来上课。 否定x的出现 负：y的出现有助于否定 否定 x：李四考了全班第一名。 y：李四没有复习功课。 无论正负，互信息量的绝对值越大，x和y的关系 越密切。
互信息量的性质
4.互信息量不可能大于其中任一事件的自信 息量
XY XY
2.4 平均互信息量
定义2.4.2 平均互信息量
I ( X ; Y ) = ∑ p( xi y j ) I ( xi ; y j )
XY
互信息量的均值
平均互信息量的性质
1.非负性 非负性 I(X;Y) ≥0 2.互易性（对称性） 互易性（ 互易性 对称性） I(X;Y)=I(Y;X) 对称性表明：从集合Y中获得的关于X的信 息量（I(X;Y)）等于从集合X中获得的关于Y 的信息量（I(Y;X)）。
互信息量=自信息量-尚存在的不确定性
互信息量的例子
例2.2.1 已知条件
p(B)=p(C)=p(D)=1/3, p(D|E)=0, p(B|E)=p(C|E)=1/2 p(C|EF)=p(D|EF)=0, p(B|EF)=1
互信息量
p( B | E ) I ( B; E ) = I (C ; E ) = log = log 1.5 = 0.585 p( B)
熵函数的数学特性
2.非负性 非负性：H(X) ≥0 非负性 源于自信息量的非负性。 什么时候为0：有且仅有一个pi=1，其余的 pi=0，即确定信源。
熵函数的数学特性
3.扩展性 扩展性 含义：
集合X中，一个事件发生的概率比其它事件发 生的概率小得多时，这个事件对于集合的熵值 的贡献可以忽略。 集合X有q个事件，集合Y比X仅仅是多了一个概 率接近0的事件，则两个集合的熵值一样。
− log 2 (0.9999) = 0.00014428
假设“美国总统的专 机发生空难”这个事 件发生的概率是0.01%， 则该事件的自信息量 为：
− log 2 (0.0001) = 13.2877
这表明该事件的不确 定性很小。
这表明该事件的不确 定性很大。
自信息量的例子
例2.1.1 设在甲袋中放入n个不同阻值的电 x 阻，1 , x2 ,⋯ , xn，每个电阻被取出的概率是相 p 等的， ( xi ) = 1 n ，则事件“取出的电阻的阻 值为i”的信息量为：
含义：本身的不确定性，减去知道了事 件y之后仍然保留的不确定性，即由y所 提供的关于x的信息量
I ( x; y ) = I ( x) − I ( x | y )
互信息量=自信息量-尚存在的不确定性
互信息量的例子
事件：
x=“美国总统的专机发生空难” y=“今天是9.11”
概率：
p(x)= 0.01% p(x|y)=1%
第2章 信息的统计度量
主要内容 从概率的角度研究问题
自信息量 互信息量 平均自信息量 平均互信息量
信息的大小 多个信息之间 关联的密切程度
离散信号和连续信号
连续信号：时间和幅度都是连续的
幅度
时间
离散信号：时间和幅度都是离散的，是我们的研 究重点 幅度
时间
离散信号和连续信号之间的转换
幅度
抽样
幅度
自信息量的均值 定义2.3.1 集X上，随机变量I(xi)的数学期 望定义为平均自信息量。 q 又称作集X的信息熵，简称熵。
i =1
H ( X ) = E ( I ( xi )) = E[− log p ( xi )] = −∑ p ( xi ) log p ( xi )
平均自信息量
含义
自信息量：集合 中某一个元素 中某一个元素x 自信息量：集合X中某一个元素 i的信息量 平均自信息量：集合 中所有元素信息量的平均值 平均自信息量：集合X中所有元素信息量的平均值 集合X的平均不确定性 集合 的平均不确定性
p ( B | EF ) I ( B; EF ) = log = log 3 = 1.585 p( B)
2.3 平均自信息量
x2 ⋯ xq x1 X P = p( x ) p( x ) ⋯ p( x ) 2 q 1 I ( x1 ) I ( x2 ) ⋯ I ( xq )
−3×105
log10
−3×105
≈ 106
平均每篇千字文可提供的信息量： 平均
Y = { y1 , y2 ,..., y100001000 }
10 4000 i =1
1 p ( yi ) = = 10 − 4000 100001000
10 4000 i =1
H (Y ) = − ∑ p ( yi ) log p ( yi ) = − ∑10 − 4000 log 10 − 4000 ≈ 1.3 ×10 4
2
1
0
自信息量一般以2为底，单位为比特。
0
0.1
0.2
0.3
0.4
0.5
概率
0.6
0.7
0.8
0.9
1
log 2 = lb
自信息量的含义
自信息量衡量的是随机事件的不确定性 不确定性。 自信息量 不确定性 事件的不确定性越大，其自信息量也越大； 反之亦然，两者成正比。
自信息量的例子
假设“人每天都要吃 饭”这个事件发生的 概率是99.99%，则该 事件的自信息量为：
条件自信息量
知道了另一件事情之 后，仍然保留的不确 定性。
衡量的都是不确定性
条件自信息量的例子
事件：
x=“美国总统的专机发生空难” y=“今天是9.11”
概率：
p(x)= 0.01% p(x|y)=1%
事件x的自信息量为： I ( x) = − log p( x) = − log 0.01% = 13.2877 事件x在事件y发生的情况下的条件自信息量为： I ( x | y ) = − log p( x | y ) = − log1% = 6.6439
前面已求出自信息量和条件自信息量为：
I ( x) = 13.2877
而x和y的互信息量为：
I ( x | y ) = 6.6439
p( x | y) 1% I ( x; y ) = log = log = log100 = 6.6439 p( x) 0.01% = I ( x) − I ( x | y )
0*log0=0
平均自信息量的例子
例2.3.1 平均每个画面可提供的信息量： 平均
X = {x1 , x2 ,..., x
103×10 i =1
5
10
3×105
}
p ( xi ) =
103×10 i =1
5
1 10
3×105
= 10
−3×105
H ( X ) = − ∑ p ( xi ) log p ( xi ) = − ∑ 10
连续信号
时间
插值 离散化
幅度
离散时间信号
时间
离散信号
时间
2.1 自信息量和条件自信息量
定义2.1.1 任意随机事件的自信息量定义为该i)，则其自信息定义式为
7 6
I ( xi ) = − log p ( xi )
5
自 信 息 量
4
3
凸函数
凸集合
一维和二维凸集合的例子
非凸集合
熵函数的数学特性
1.对称性 对称性：集合中各分量的次序任意变更时， 对称性 熵值（平均自信息量）不变 从熵（平均自信息量）的公式上来看，该 结论是明显的 q
H ( X ) = −∑ p ( xi ) log p ( xi )
i =1
深层含义：熵是有局限性的。它是平均不 确定性的度量，抹煞了个体的特性。
1 I ( xi ) = − log p ( xi ) = log = log n p ( xi )
自信息量的例子
不同阻值的电阻，其中1 的1个，2 的2 i 个，…，n 的n个，则 p( xi ) =
1 n(n + 1) 2
1 例2.1.1（续） 设在甲袋中放入 2 n(n + 1)个 （
那么，事件“取出的电阻的阻值为i”的信息 量为：
含义：由y所提供的关于x的信息量等于 等于由x 等于 所提供的关于y的信息量
互信息量的性质
2. 互信息量可为0 何时为0：
I ( x; y ) = log p( x | y ) = 0 ⇒ p( x | y ) = p ( x) p ( x)
这表明当x和y统计独立时，也就是x和y没有什么 关系的时候，互信息量为0。 含义：一个事件不能提供另一个事件的任何信息。 即一个事件发生之后，对于确定另一个事件是否 发生没有任何帮助。
n( n + 1) I ( xi ) = − log p ( xi ) = log 2i
条件自信息量
定义2.1.3 事件x在事件y给定的条件下的条 件自信息量定义为：
I ( x | y ) = − log p( x | y )
含义：知道y之后仍然保留的关于x的不确定 性。
自信息量
事件本身的不确定性。
条件熵
定义2.3.3 条件自信息量I(yj|xi)的概率均值 定义为条件熵。
H (Y | X ) = ∑ p( xi y j ) I ( y j | xi ) = −∑ p ( xi y j )log p ( y j | xi )