2.2熵函数的性质

2.2 熵函数的性质

熵函数

•H(P)是概率矢量P 的函数，称为熵函数。•表示方法：

–用H(x)表示随机变量x 的熵；

–用H(P)或H(p 1, p 2 , …, p q )表示概率矢量为P = (p 1, p 2, …, p q )的q 个符号信源的熵。

–若当q =2 时，因为p 1+p 2 = 1, 所以将两个符号的熵函数写成H(p 1)或H(p 2)。

•熵函数H(P)是一种特殊函数，具有以下性质。

2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0•性质说明：这个信源是一个确知信源，其熵等于零。

3、非负性：H(P) ≥0

•说明：

–这种非负性合适于离散信源的熵，对连续信源

来说这一性质并不存在。以后可看到在相对熵

的概念下，可能出现负值。

非负性体现信息是非负的。

4、扩展性

•性质说明：信源的取值数增多时，若这些取值对应的概率很小(接近于零)，则信源的熵不变。

)

,...,,(),,...,,(lim 212110

q q q q p p p H p p p H =−+→εεε)

,,,(log 211

q q q

i i i p p p H p p ⋅⋅⋅=−=∑=}

log )log()(log {lim 11

0εεεεε∑−=→−−−−−=q i q q i i p p p p 所以，上式成立

)

,,,,(lim 2110

εεε−⋅⋅⋅+→q q p p p H 因为

5、可加性

()()(/)()()(/)

(|)(|)(/)

H X Y H X H Y X H X Y H Y H X Y H X Y Z H X Z H Y X Z =+=+=+统计独立信源X 和Y 的联合信源的熵等于信源X 和Y 各自的熵之和。

H(XY) = H(X)+ H(Y)

可加性是熵函数的一个重要特性，正因具有可加性，才使熵函数的形式是唯一的。

222()log ()()log (/)

log ()()(/)

()(/):()()(/)

(/)1

i j i i j j i i

j

i

j

i i j i j y

p x y q x p x y p y x q x p x y H Y X H X H Y X p xy q x p y x p y x =−−⎡⎤

=−+⎢⎥⎣⎦=+==∑∑∑∑∑∑∑利用可加性证明

22()()log ()

()log [()(/)]

i j i j i

j

i j i j i i

j

H XY p x y p x y p x y q x p y x =−=−∑∑∑∑

同理

=+

H XY Z H X Z H Y XZ

(|)(|)(/)

复习

链式法则

()()

()|H X Y H

X H

Y

X

=+

()()()()()

()

121213*********

...//.../.../...n n n n

i i i H X X X H X H X X H X X X H X X X X H X X X X −−==++++=∑

复习

熵函数的性质H(p 1,p 2,…, p n )

对称性非负性极值性连续性扩展性可加性

()

()()

()()()()()()

1222122211111211122112221,,...,,...,,...,,,.,,...,,,..,,,...,||n n

n n n n n n m n

n i i x m i im i X

m q H q p q p q p H q q q q H p p p H XY H X H Y X p q q q p q p H X q x H q x p Y q p =∈=+=+=+∑∑

定理：1. H(X/Y ) ≤H (X )

2. H (XY ) ≤H (X )+H (Y )

证明：

222(/)((/)()log (/)

()/)(/)()log ()log ()

i j i j i

j

j j

i j i j i j i j j i i p x y p x y p H X Y p x y p x y p y p y H p x X x y =−⎡⎤=−⎢⎥

⎣⎦

⎡⎤

≤−⎢⎥

⎣⎦=∑

∑

∑

∑∑∑()()/j H X y H X 与大小比较?

\1

211/81/82

5/81/8

x y ()()/j H X y H X 与大小比较?

定义概率矢量满足

仅K-1个分量独立。

引理概率矢量的全体构成的区域是凸集。

凸函数概念及性质

()

12,,...,K αααα=

()101,1,1.

K

i i i i K αα=≤≤≤≤=∑

满足就称f 为R 上的上凸函数。

,R αβ∈

,01

θ≤≤()()()()()

11f f f θαθβθαθβ

+−≤+−

定义上凸函数定义在凸集R 上的函

数f ，若对所有凸函数概念及性质