信息论与编码2-1

除条件外，条件互信息的含义与互信 息的含义与性质都相同。
§2.3 离散集的平均自信息量（熵）
本节包括以下内容
信息熵 熵函数的数学特性 条件熵 联合熵
2. 3. 1 信息熵
离散信源X的熵定义为自信息的平均值,记 为H（X）
H(X) E [I(x)] p(x)log p(x)
p(x) x
§2.2 互信息量和条件互信息 量
本节包括以下内容
互信息量 互信息量的性质 条件互信息量
2.2.1 互信息
离散随机事件xi和yj 之间的互信息（x∈X ，y ∈Y） 定义为： p(x i | y j ) I(x i ; y j ) log p(x i ) 简记为
p( x | y) I ( x; y) log p( x)
关于对数底的选取：
以2为底：单位为比特（bit，为binary digit的缩写）， 工程上常用； 以3为底：单位为Tit； 以e为底：单位为奈特（Nat，为Natural Unit的缩写）， 理论推导时常用； 以10为底：单位为Dit或哈特。
–单位之间的换算关系为：
1奈特 = logee = log2e比特 = 1.443比特 1 Dit =log1010 =log210比特 = 1/log102比特 = 3.32比特
通过计算可得
I ( x; y) I ( x) I ( x | y)
注： 1）互信息的单位与自信息单位相同； 2）x与y的互信息等于x的自信息减去在y 条件 下x的自信息。 I(x；y)表示当 y发生后x不确定性的变 化。这种变化，反映了由y发生所得到的关 于x 的信息量。互信息是一种消除不确定 性的度量。 3）应注意I(x；y)与 I(x|y)的区别。
第2章 信息的统计度量
§2.1 自信息量和条件自信息量
本节包括以下内容：
自信息 联合自信息 条件自信息率为 p ( x i ) ，它的自信息：
I(xi ) - log p (xi )
pi 1 ，0 pi 1 1） i
2） I ( X )非负 对数的底数大于1
)=1-P(e)；
一般地说，如果某事件x提供了关于另一事件y正 的信息量，说明x的出现有利于y的出现；如果某事 件x提供了关于另一事件y负的信息量，说明x的出现 不利于y的出现。
2.2.3 条件互信息量
设联合集XYZ，在给定z∈Z 条件下 x(∈X) 与y(∈Y ) 之间的互信息定义为：
p( x | yz ) I ( x; y | z ) log p( x | z )
故所求信息量为：
I(ai)=-log pi=log [n（n+1）/（2i）]
2.1.2 条件自信息量
事件xi在事件yj给定条件下的自信息定义为：
I(x i | y j ) -logP(x i | y j )
注意：1）条件概率P(x|y) 也要满足非负和归一化条件 2）条件自信息为非负值
条件下自信息与自信息类似，只不过是 概率空间有变化。条件自信息也是随机变 量。 条件自信息的含义： 1）在事件yj给定条件下，事件xi发生前 的不确定性； 2）在事件yj给定条件下，事件xi发生后 所得到的信息量。
特别地，当xk 为离散信源符号的取值， λk 为相应的概率，f(x) 为对数函数时， 有 E[log ( x)] log[ E ( x)]
E[ f ( x)] f [ E ( x)] 对于一般的上凸函数，有
根据数学分析可知，对于一元函数，如 果在某区间的二阶导数小于0，则在此区间 内为严格上凸函数。因此，对于一元函 数，可以利用Jenson不等式，也可利用二 阶导数小于0的性质，来判定函数的上凸性。
, 仅当x=1时等式成立。令y=1/x，可得 ,
信息散度
若P和Q为定义在同一概率空间的两个概 率测度，定义P相对于Q的散度为：
D( P // Q)

x
P( x) P( x) log Q( x)
在其他文献中，散度又称做相对熵、鉴 别信息、方向散度、交叉熵、Kullback_ Leibler数等。注意，在上式中，概率分布 的维数不限，可以是一维，也可以是多维。
k 0, k 1
k 1 n 1
, 令
k
k
k 1
n
1 n 1 , 则 ,

k 1
n 1
k
f ( xk )

k 1
n
f ( x k ) n 1 f ( x n 1 )

(
k 1 n k 1 n
n
k
/ ) f ( x k ) n 1 f ( x n 1 )
解 可能的画面数为： 10300000 ，所以每个画面出现的概 率为p=(10300000)-1, 每幅画面平均所包含的信息量为： H(X)= log2(1/ p )= log2 (10300000) = 106 比特/符号。
§2.3.2 熵函数的数学特性
本节包括以下内容
凸函数 信息散度 熵的基本性质
1) 2) 3) 4) 5) 6)
e -log0.125 =3 bit ； I(e)= I(e|f)= -log0.8 =0.322 bit ； I( e)= -log0.875 =0.193 bit ； I( /f)= -log0.2 =2.322 bit ； I(e；f)= 3 – 0.322 =2.678 bit ； I( ；f)= 0.193 – 2.322 = -2.129 bit 。
例２.3.1 一个信源X的符号集为{0，1}，其中“0”符号出现 的概率为p，求信源的熵。
解 H(X)= -p log p - (1-p) log (1-p) = H (p)。
例２.3.２ 一电视屏幕的格点数为500ⅹ600=3ⅹ105，每点有 10个灰度等级，若每幅画面等概率出现，求每幅画面 平均所包含的信息量。
2.2.2 互信息的性质
1）互易性：I (x；y) = I (y；x) 2）当事件x ，y 统计独立时，互信息为零，即 I (x；y) = 0； 3）互信息可正可负； 4）任何两事件之间的互信息不可能大于其中任一 事 件的自信息。
证明：由定义明显看出性质1）成立，而且
p(x|y) p(y | x) p(xy) I(x; y) log log log p(x) p(y) p(x) p(y)
• 当事件x，y 统计独立时，有p(x|y)= p(x)，所以 性质2）成立； • 因为，当p(x|y) > p(x)时，I(x；y) > 0； 当 p(x|y) < p(x)时，I(x；y) < 0，所以性质3）成 立； • 考虑自信息和条件自信息的非负性，可得性质4）。 也可以说，一个事件提供的关于另一事件的信息 量不超过后者的自信息。
凸函数 记H(X) = H(p) = H(p ,p ,…,p ) = -∑p
1 2 n
所以 H(X)为n-1元函数。特别是，当n=2时，可记为 H(p) = H(p1,p2) = H(p1,1 - p1) = H(p1)。
凸函数的定义：
i
logpi，因∑pi=1,
多元函数f(x) = f(x1,x2,…,xn) 称为为定义域上的 上凸 (cap) 函数，若对于α(0≤α≤1) 及任意两矢 量x1,x2，有
f[αx1+(1-α)x2]≥αf(x1)+(1-α)f(x2) (2.4.1)成立。
当且仅当x1 = x2或α= 0 或1时等式成立，则称严格上凸函数。
多元函数f(x) = f(x1,x2,…,xn) 称为为定义域上的 下凸 (cup) 函数，若对于α(0≤α≤1) 及任意两矢量
一元上凸函数如图所示。图中可以看出，当α从0 到1变化时，函数自变量从 x2变到 x1 ；αf(x1)+(1α)f(x2)的值在点（x1，f（x1））和（x2 ，f（x2 ）） 之间的线段上变化。上凸的含义就是：在点x1和x2 之 间的区域，函数f的图线在上述线段的上方。
另一个有用的不等式： 对于任意正实数x，下面不等式成立
1 1 ln x x 1 x 实际上， 设 f ( x ) ln x x 1 ，可求得函数
的稳定点为x=1，并可求得在该点的2阶导数小于 f (x) ln x x 1 0 0，
从而可得x=1为f(x)取极大值的点，即 1 1/ y ln y
k
f [
(
k 1
/ ) x k ] n 1 f ( x n 1 )
f [ (k / ) xk n 1 xn 1 ]
f[

k 1
n 1
k
xk ]
q）
当且仅当x1=x2=…=xq或λk=1（1 ≦k≦ 且λj=0（j ≠k）时，等式成立。
f[

k 1
k
xk ]

k 1
k
f (xk )
当且仅当x1=x2=…=xq或λk=1（1 ≦k≦ q）且λj=0（j ≠k）时，等式成立。 该式称做Jenson不等式。
证
利用数学归纳法。根据上凸函数的定义有 f[αx1+(1-α)x2]≥αf(x1)+(1-α)f(x2) 其中0<α<1 ，即q=2 时成立。 今假定 q=n 成立。现考虑 q=n+1 的情况 设
其中，p(xy)要满足非负和归一化条件。 实际上如果把联合事件xy看成一个单一事 件，那么联合自信息的含义与自信息的含 义相同。
例2.1.1 甲袋中有n个不同阻值的电阻，从中随机 取出一个，猜测所取得的是何种阻值的困难程度 是多少？ 解 相当求事件的不确定性，因事件等概，故 p(ai)=1/n ，I(ai)=-log pi=log n。 续 甲袋中有n（n+1）/2个不同阻值的电阻，其 中1Ω的1个，2Ω的2个，……，nΩ的n个，从中 随机取出一个，求“取出阻值为i（0 ≤ i≤ n） 的电阻”所获得的信息量。 解“取出阻值为i的电阻”的概率为i/[n（n+1）/2]，