熵函数的唯一性和有根概率树

熵函数的唯一性和有根概率树

苏驷希

在信息论中，对于离散随机变量X

的熵的计算公式来自

C.E.Shannon 。

()

()[()]()log()p x x

H X I x p x x E ==-∑ （1）

或者简单记为：

12()(,,...,)n H X H p p p =，其中i p 为X 的概率分布 （2）

下面来说明，如果不考虑常数差别，这个公式是唯一的。 由于()H X 用来度量X 的不确定性，则它应该满足下面三个条件， [1] ()H X 是概率的连续函数；

[2] 当X 是等概率随机变量时，()H X 应该是X 取值符号数n 的增函数；

[3] 可加性；

其中第一和第二个条件简单，并且容易理解；下面简单说明第三个条件，考虑一个有三个结果的试验α，

1231

2

3

:(

)a a a p p p α

它的熵为： 123()(,,)H X H p p p = (3) 为了确定那一个结果出现，可以考虑两个相继的试验。在第一次试验

1α中，先确定是1a 出现，还是2a 或3a 出现，它的熵为

1123()(,)H X H p p p =+。如果1a 出现，则结果确定，无须第二次试验；

如果2a 或3a 出现，则需要做第二次试验2α以确定是2a 或3a 出现，试验

2α的熵为32

22323

()(

,)p p H X H p p p p =++。 由于整个试验不确定性的客观性，应该有：

32

123123232323

(,,)(,)()(

,)p p H p p p H p p p p p H p p p p =+++++

（4） 下面来考虑C.E.Shannon 的定理。

定理1 唯一满足条件[1]，[2]和[3]的()H X 有下面的形式， 1()()log()log n

i i x

i H X C p x x C p p ==-=-∑∑，其中C 为正常数 （5）

证明：记11

1(,,...,)()H f n n n n

=，当然()f n 为n 的单调增函数。然后考虑一个有nm 个结果的等概试验，将它分解为m 个有n 个等概结果的试验，根据[3]，应该有：

1()()()()()f nm f m m f n f m f n m

=+=+ （6） 根据微积分知识，满足（6）的单调增函数一定有形式

()log f n C n =，

其中C 为正常数 （7） 为了证明一般的情形，先假设所有的i p 为有理数，不妨认为

1

i

i n

k

k n p n

==

∑。然后考虑一个有1

n

k k n =∑个等概结果的试验α，并且这个试验

α被认为是两类相继的试验，其中第一类试验i α的概率是i p ，而i α包

括有i n 个等概试验结果，而第二个试验是在出现试验i α的基础上，考虑它是i n 个等概结果中的那一个，则根据[3]有：

121

1

log (,,...,)log n

n

i n i i i i C n H p p p C p n ===+∑∑

整理得：

121

1

1

1

1

(,,...,)[log log ]

[(log log )]log n n

n i i i i i n n n

i i i i i

i i i H p p p C n p n C p n n C p p ======-=-=-∑∑∑∑∑

也就是说，在所有的i p 为有理数的情况下，证明了定理1。如果有的i p 为无理数，则可以去考虑逼近它的有理数序列，则（5）成立；另外根据()H X 的连续性，通过取极限同样可以证明定理1。

下面不妨假设C 为常数1，考虑12()(,,...,)n H X H p p p =的计算。所谓依照有根概率树来计算熵，即下面的定理2。实际上就是将原来的试验按照概率树分解为若干子试验，并且利用熵的条件[3]进行处理。其实前述有三个试验结果的条件[4]就是下面（8）的表现形式。 定理2离散随机变量X 的熵()H X 等于所对应的有根概率树上所有节点(包括根节点，不包括叶)的分支熵用该节点概率加权的和，即

()()()i i i

H X q u H u =∑ （8）

其中，()i q u 为节点i u 的概率，()i H u 为节点i u 的分支熵。 定理的证明利用数学归纳法容易完成。

最后，如果反复利用熵的条件[3]按照概率树进行分解，实际上是从根向叶子方向前进；而如果利用数学归纳法直接证明（8）则是从叶子向根方向前进。利用有根概率树来处理熵的计算在很多场合下可以简化计算。