信息论02PPT

那么
x1
发生的不确定程度可表示为
（试验2）随机变量 X 1
f (( p1 p2 ), p3 )
x x 1 2 X 1 p p , 1 2 p p p p 2 1 p1 p2 2 1 其中x1发生的不确程度可表示为 p1 p2 ( p1 p2 ) f ( , ) p1 p2 p1 p2
则计算得
f ( p1 , p2 , p3 ) = f (( p1 p2 ), p 3 )
p1 p2 + ( p1 p2 ) f ( , ) p1 p2 p1 p2
熵函数形式的唯一性定理的证明可参见参考书1和3。
熵值的单位 以2为底： bit (binary unit) 以e为底： nat (nature unit) 以10为底：Hart (Hartley) 换算关系： 1 nat=1.44 bit 1 Hart=3.32 bit 一般取以2为底，1 bit的信息量就是二元概率空间在等 概时的熵值。 注：计算机技术中的述语“比特”表示一个二元数字， 每个二元数字所能提供的最大平均信息量为1比特。
平均不确定性 设随机变量X如下N元概率空间：
1.2
Shannon 熵
§ 1.2.1 单变量离散熵函数
定义：随机变量X概率空间如上，则其不确定
性的量度可表示为：
H ( p1 , p2 ,..., pN ) f ( p) pn log pn
n 1 N
Shannon单变量离散熵函数。
§ 1.2.2 熵函数形式的唯一性 定理1.1 对于随机变量X存在这样的表示不确 定性的量度的函数,为概率分布p1,p2,…,pN的 函数:
n 1
N
X x1 x2 x3 p( x) p p p 1 2 3
通过一次试验观察 x1 发生的不确定程度为
f ( p1 , p2 , p3 )
下面分两次试验来观察： （试验1）随机变量 X
x3 X x1 , p( x) p ( x ) p 1 3 x1 x2 , 表示或x1发生, 或x2发生. 其中x1
（1）单调性： pi f(pi) (2) f(pi) 非负 f(pi) 0：任何随机事件发生存在不确定性。 （3）可加性 多随机事件同时发生存在的总不确定性的量度 是可以表示为各事件不确定性的量度的和。 例： 事件X=x1,Y=y1同时发生，其发生概率为 p( X=x1,Y=y1）=p(x1)p(y1)，而 f 应满足： f(p( X=x1,Y=y1）)= f(p(x1))+f(p(y1))
对于通信系统，其传递的信息是具有随机性。 定量描述信息应基于随机事件。 随机事件的重要特性：结果具有不确定性。 例： （1）第一次出门遇见的乌鸦的颜色是白色。 X （2）第一次出门遇见的人用手习惯是左撇子。 Y （3）第一次出门遇见的人的性别是女性。 Z
X=(x1,x2)=(白，黑）
X x1 p( x) p( x ) 1
z2 p( z2 )
判断X=x1,Y=y1,Z=z1的不确定性: p(x1)<p(y1)<p(z1)
X=x1白发生的可能性, Y=y1左发生的可能性, Z=z1女发生的可能性
在不确定性方面: ( Xx=x1) >(Y y=y1)>(Zz =z1) 随机事件发生的不确定性与发生的概率有关 不确定性的量化： 随机事件发生的不确定性为概率的函数，设为 f(pi), 该函数应具有如下性质：
f ( p1 , p2 ,..., pN )
且该函数满足以下三个先验条件: (1) 连续性: f ( p1 , p2 ,..., p N ) 是 pn , n 1,2,..., N 的 连续函数。 (2) 单调性：等概时为单增函数，
1 1 1 1 f ( , ,..., ) g ( N )为N的增函数, pn . N N N N
则函数有下面的唯一形式：
f ( p1 , p2 ,..., pN ) C pn log pn , C 0为常数.
n 1
N
熵函数：
H ( p1 , p2 ,..., pN ) pn log pn
表示随机变量X的不确定性的量度，称为Shannon 熵。 随机变量X，Y，熵表示为 H(X), H(Y),为多元 函数。 可加性解释：设随机变量X
Y=（y1,y2)=(左，右）
x2 p( x2 )
y2 Y y1 p( y ) p( y ) p( y ) 1 2
Z=（z1,z2)=(女，男）
Z z1 p( z ) p( z ) 1
f 能够将积变成和的功能。可设为对数函数： 随机变量X取值xi的概率为pi，则其取值xi的不 确定性的量度f(pi)可用下面函数表示： 1 f ( pi ) log pi f(pi)为随机事件X取值xi所带来的自信息。 信息量：消除不确定性所获得的信息。 信息量=不确定性的减少量 不确定性消除的量就是我们所获的信息量
1.3 离散互信息
§ 1.3.1 概念 § 1.3.3 互信息函数的性质 § 1.3.2 多变量情况下的互信息
1.4 连续随机变量的熵和互信息
§ 1.4.1 随机变量微分熵
§ 1.4.2 随机变量函数的微分熵 § 1.4.3 互信息 § 1.4.4 微分熵的变换不变性
Biblioteka Baidu
1.
熵(Entropy)
1.1 不确定性与自信息
（3）可加性：当随机变量X的取值不是通过一次试验，
而是若干次试验才最后得到时，则X在各次试验中的 不确定程度应该可加，且其和始终与通过一次试验取 得结果的不确定程度相同：
即
f ( p1 , p2 ,..., pN )
f (( p1 p2 ... pK ), pK 1 ,..., PN ) , p2 ,..., p ( p1 p2 ... pK ) f ( p1 K) pk 其中pk , k 1,2,..., K . p1 p2 ... pK