互信息凸性

互信息函数),(Q P I 的性质2的证明。

对于确定的条件概率矩阵Q 互信息函数),(Q P I 是概率矢量空间S 上的上凸函数。

（其中S ={P ：P =（1p , 2p …, K p ）, ,,...2,1,10K k p k =≤≤而∑==K
k k
p
1
1}）
证明：首先由定义知：),(Y X I =)(Y H -)(X Y H 其中 )(Y H =∑=-
J
j j
j
b p b p 1
)(log )(
=∑∑∑===-
J
j k j K
k k j k
K
k a b p a p b a
p 11
1)()(log ),(
=∑∑∑===-
J
j k j K
k k k j k
K
k a b p a p a b p a
p 1
1
1
)()(log )()(
)(X Y H =
∑∑
==-J
j k j j k
K
k a b p b a
p 1
1)/(log ),(
=∑∑==-
J
j k j k j k
K
k a b p a b p a
p 1
1
)/(log )()(
可知对于确定的Q ，)(Y H 和)(X Y H 都是S 上的函数，且)(X Y H 关于P 是线性的。

下面将证明)(Y H 是S 上的上凸函数。

即对∀1P ),...,,(11211K p p p =，
2P ),...,,(22221K p p p =∈S ，及λ，λ，.1,10λλλ-=≤≤ 成立
∑∑∑
===++-J
j k j k k k k K
k k j k k k j k k
K
k a b p a p a p a b p a p a b p a p
1
211
211
)
()]()([log )]/()()()([λλλλ≥
∑∑∑
===-J
j k j K
k k k k j k k
K
k a b p a p a b p a p
1
1
111)
()(log )()(λ
∑∑∑
===-J
j k j K
k k k k j k k
K
k a b p a p a b p a p
11
221
)()(log )()(λ （1）
事实上，首先看不等式左边：
∑∑∑
===++-J
j k j k k k k K
k k j k k k j k k
K
k a b p a p a p a b p a p a b p a p
1211
211
)
()]()([log )]/()()()([λλλλ=
=
++-∑∑∑
===J
j k j k k k j k k K
k j k k j k k
K
k a b p a p a b p a p b a p b a p
1
211
211)]()()()([log )],(),([λλλλ=∑=++-
J
j j j j j j j j j
b p b p b p b p
12121)]()(log[)]()([λλλλ （2）
而不等式右边：
∑∑∑
===-J
j k j K
k k k k j k k
K
k a b p a p a b p a p
11111)
()(log )()(λ-
∑∑∑
===-J
j k j K
k k k k j k k
K
k a b p a p a b p a p
1
1221
)()(log )()(λ=
)(log )()(log )(21
21
11j j J
j j j J
j j j j j b p b p b p b p ∑∑==--=λλ （3）
因为)(Y H 关于Y 的分布是上凸函数，则成立下面不等式：
∑=++-J
j j j j j j j j j b p b p b p b p 1
2121)]()(log[)]()([λλλλ
)(log )()(log )(21
21
11j j J
j j j J j j j j j b p b p b p b p ∑∑==--≥λλ
所以，综合（2），（3）式，（1）式成立。

即)(Y H 是S 上的上凸函数，又知)(X Y H 关于P 是线性的，所以),(Q P I =),(Y X I =)(Y H -)(X Y H 是概率矢量空间S 上的上凸函数。