22熵函数的性质

2.2 熵函数的性质
熵函数
•H(P)是概率矢量P 的函数，称为熵函数。

•表示方法：
–用H(x)表示随机变量x 的熵；
–用H(P)或H(p 1, p 2 , …, p q )表示概率矢量为P = (p 1, p 2, …, p q )的q 个符号信源的熵。

–若当q =2 时，因为p 1+p 2 = 1, 所以将两个符号的熵函数写成H(p 1)或H(p 2)。

•熵函数H(P)是一种特殊函数，具有以下性质。

2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0•性质说明：这个信源是一个确知信源，其熵等于零。

3、非负性：H(P) ≥0
•说明：
–这种非负性合适于离散信源的熵，对连续信源
来说这一性质并不存在。

以后可看到在相对熵
的概念下，可能出现负值。

非负性体现信息是非负的。

4、扩展性
•性质说明：信源的取值数增多时，若这些取值对应的概率很小(接近于零)，则信源的熵不变。

)
,...,,(),,...,,(lim 212110
q q q q p p p H p p p H =−+→εεε)
,,,(log 211
q q q
i i i p p p H p p ⋅⋅⋅=−=∑=}
log )log()(log {lim 11
0εεεεε∑−=→−−−−−=q i q q i i p p p p 所以，上式成立
)
,,,,(lim 2110
εεε−⋅⋅⋅+→q q p p p H 因为
5、可加性
()()(/)()()(/)
(|)(|)(/)
H X Y H X H Y X H X Y H Y H X Y H X Y Z H X Z H Y X Z =+=+=+统计独立信源X 和Y 的联合信源的熵等于信源X 和Y 各自的熵之和。

H(XY) = H(X)+ H(Y)
可加性是熵函数的一个重要特性，正因具有可加性，才使熵函数的形式是唯一的。

222()log ()()log (/)
log ()()(/)
()(/):()()(/)
(/)1
i j i i j j i i
j
i
j
i i j i j y
p x y q x p x y p y x q x p x y H Y X H X H Y X p xy q x p y x p y x =−−⎡⎤
=−+⎢⎥⎣⎦=+==∑∑∑∑∑∑∑利用可加性证明
22()()log ()
()log [()(/)]
i j i j i
j
i j i j i i
j
H XY p x y p x y p x y q x p y x =−=−∑∑∑∑
同理
=+
H XY Z H X Z H Y XZ
(|)(|)(/)
复习
链式法则
()()
()|H X Y H
X H
Y
X
=+
()()()()()
()
121213*********
...//.../.../...n n n n
i i i H X X X H X H X X H X X X H X X X X H X X X X −−==++++=∑
复习
熵函数的性质H(p 1,p 2,…, p n )
对称性非负性极值性连续性扩展性可加性
()
()()
()()()()()()
1222122211111211122112221,,...,,...,,...,,,.,,...,,,..,,,...,||n n
n n n n n n m n
n i i x m i im i X
m q H q p q p q p H q q q q H p p p H XY H X H Y X p q q q p q p H X q x H q x p Y q p =∈=+=+=+∑∑
定理：1. H(X/Y ) ≤H (X )
2. H (XY ) ≤H (X )+H (Y )
证明：
222(/)((/)()log (/)
()/)(/)()log ()log ()
i j i j i
j
j j
i j i j i j i j j i i p x y p x y p H X Y p x y p x y p y p y H p x X x y =−⎡⎤=−⎢⎥
⎣⎦
⎡⎤
≤−⎢⎥
⎣⎦=∑
∑
∑
∑∑∑()()/j H X y H X 与大小比较?
\1
211/81/82
5/81/8
x y ()()/j H X y H X 与大小比较?
定义概率矢量满足
仅K-1个分量独立。

引理概率矢量的全体构成的区域是凸集。

凸函数概念及性质
()
12,,...,K αααα=
()101,1,1.
K
i i i i K αα=≤≤≤≤=∑
满足就称f 为R 上的上凸函数。

,R αβ∈
,01
θ≤≤()()()()()
11f f f θαθβθαθβ
+−≤+−
定义上凸函数定义在凸集R 上的函
数f ，若对所有凸函数概念及性质
性质1
上凸，则下凸。

性质2若上凸，则上凸。

性质3 (Jensen 不等式) f 为R 上的上凸函数，则
凸函数概念及性质
()f α
()f α−
()()()1
2
,,...,L
f f f ααα
()(),0l l l c f c α>∑ ()(),E f f E αα≤⎡⎤⎡⎤⎣⎦⎣⎦
()11n
n
i i i i i i p f f p αα==⎛⎞≤⎜⎟⎝⎠
∑∑
()()()()()()()()()()()()()()()()()()()()()()()()
100100012200200021120121211111f x f x f x x x f x f x x x f x f x f x x x f x f x x x f x f x f x f x f x f x x θθθθθθθθθθ′′≤+−=+−−′′≤+−=+−−+−≤+−≤+−给第一式乘加第二式乘得
参考文献：张筑生《数学分析新讲》
()012
1x x x θθ=+−
•香农证明，当函数满足上述三个条件时，其形式唯一，如下所示：
)
,,,(21N p p p f ∑∑
==−=>=−=K k k
k K
k k
k K p p P H C p p C p p p f 1
1
21log )(,0log ),,,(此即熵
常数
其中
作业2.9 2.13 2.14 2.29
小结
（本节内容见课本21-25，39-41页）
•熵函数性质
非负可加极值上凸
•凸函数定义
•H(X/Y) ≤H(X)
•H(XY) ≤H(X)+H(Y)
•Jensen不等式。