熵与信息生命赖负熵为生

X1， X2 ， …… Xn
概率分布P(Xi) P(X1)， P(X2 )，…… P(Xn)
实际例子：设有一在外的工作人员，收到消息得知家中的老母 中风住院治疗，这时他母亲就是个信息源，可能处于的本征态： 可能发送出的消息单元有(Xi) ：
消息单元 Xi
X1 死亡
X2 昏迷
X3 偏瘫
X4 好转
X5 康复
混乱性——秩序性， 散漫性——组织性。 无序性——有序性， 不肯定性——肯定性。 盲目性——目的性， 一般性——特异性， 随意性——计划性， 随机性——确定性， 多样性——单纯性， 含糊性——透彻性， 暧昧性——明确性， 未知性——已知性 噪声——信号，………
并且满足如： P1
•每个消息单元Xi都有个确定的概率与之相对应，记：p(Xi)，整个 消息单元的集合X有概率： P (X) ≡［P(X1)， P(X2 )，……P(Xn)］ 分布着，消息单元集合的互斥性与完备性反应在概率上是概率的总 和具有归一性。
n
P( Xi ) 1
i 1
因此，信息源的基本概型结构：
消息单元Xi
当各个消息单元是等概率时
P( X1 ) P( X2 )
P( Xn )
1 n
1 N
信息源的信息熵为：
N
HX
1 ln 1 ln N
i1 N
N
Hartrey定义的信息熵是shannon定义的信息熵在等概条件下 的最大值。
4、随着生物信息论、经济信息论、社会信息论等学科不断运 用信息熵，使之有进一步的泛化的必要。熵的产生于热力学， 扩展于信息论等学科领域。在不同的学科里，对熵的意义提法 有所不同。但是从泛熵的概念高度来看。它们在本质上是一致 的。凡是属于下列一类的对立统一性质的事物，例如：
因此，本征信息熵定义：消息单元概率的倒数的对数为消息单 元的不肯定性程度的量度。
1 H ( X i ) log2 P( X i ) log2 P( X i )
第一次电话后，五个本征态或消息单元，各个本征信息熵：
消息单元 Xi
P(Xi) H(Xi)bit
X1 死亡 1/5
2.322
X2 昏迷 1/5
H Xi ln Pi 2
n
Pi 1
i 1
信息熵定义：H(X) 各个不等概消息单元的本征信息熵的加权统计平均值。
n
n
H X Pi H Xi Pi ln Pi 3
i 1
i 1
Pi是第i个消息单元的概率，n是不等概消息单元的总数。 本征信息熵的意义：第i个消息单元Xi的不肯定性程度的量度。 总信息熵的意义：信息源X的总的不肯定程度的量度。
概率分布 1/5 1/5 1/5 1/5 1/5 P(Xi)
当工作人员又接到家信得悉母亲经抢救后，已恢复意识，
正在积极进行治疗。这时信息源的本征态或消息单元的集合概 率分布已发生了变化。
消息单元 Xi
X1 死亡
X2 昏迷
X3 偏瘫
X4 好转
X5 康复
概率分布
0
P(Xi)
0
1/3 1/3 1/3
如果工作人员又接到消息说：经积极治疗后已经能起床作太 极操了，则相应的概率分布变为：
消息单元 Xi
X1 死亡
X2 昏迷
X3 偏瘫
X4 好转
X5 康复
概率分布
0
0
0
1/2 1/2
P(Xi)
提出一个问题：各个消息单元的不肯定程度多大？ 概论大，可 能性就越大，不可定性程度就越小；反之，概率小，可能性就 越小。 例如：X5康复的概率最大到1，其它概率降为零，这个 消息单元X5就完全肯定了。不确定性为零。
X2 Xi Xn
P2 Pi Pn
n
完备性：
Xi ;
i
归一性：
n
Pi 1
i 1
以上的问题，均可用熵作为指标进行分析。
二、信息源的概型结构 本征信息熵
现在讨论信息熵的基本概念
1、信息源：发送消息的源。Information source
例如：自然界中的一切物体，大至宇宙天体，小至原子、原 子核、基本粒子、以及中间的各个层次：生物圈，生态，群 落，种群，个体，系统，器官，组织，细胞，亚细胞，分子， 亚分子等，例如一个国家、社会团体，大脑，内分泌等等， 都有它们自己的情态，无不随时发送出它们自己的消息，因 而都可作为信息源。
S 常之高。 k ln w
3. 1928年，Hartrey可能受波尔兹曼关系的启发，首次在通 信领域里提出信息熵的定义：
H log N 1
N是等概率消息单元的总数，信息熵H的意义是输送一个 消息单元的不肯定性程度的量度。等概消息单元总数N愈多， 信息熵H愈大，输送一个消息单元的不肯定性程度就愈大；反 之，N愈少。当消息单元的总数N=1时，H=0，输送这个消息 的不肯定性程度为零，就是完全肯定输送这个消息。
信息熵意义：
在解决通信领域里的实际问题比较方便，只要知道等概 率消息单元总数N就可以计算信息熵H。
不足：
①对简单的信息源应用起来方便，对复杂的信息源把握等概 率消息单元总数N却不是容易做到的；
②用这个信息熵定义计算得到的实际上是信息源的最大熵。
3、1948年，shannon推广Hartrey信息熵的定义，首先引入各不 等概消息单元不肯定性的量度——本征信息熵为：
信息源特点：
•它们都具有一系列可能的基本状态，叫本征态。每一本征态称为 一个消息单元，记：Xi（i=1,2,3……n），这n个消息单元或本征态 序列实际上就是离散的随机变量，它具有互斥性和完备性。互斥性： 信息源可能处于这个基本状态，也可能处于其余的基本状态，但不 能同时处于同一个本征状态，处于这个本征态，就不处于其它本征 态；完备性：这个n个消息单元是完备无缺的。这个n个互斥的完备 的消息单元构成一个消息单元的集合，记：X≡［X1， X2 ，……Xn］
一、熵概念的发展简史
1. 熵最初产生于18世纪初，Carnot研究热机效率发现可逆循 环过程，随后Clausius根据可逆Carnot循环过程定义了态 函数熵。 Clausius明确了熵态函数，但没有给出更深刻的 物理含义。
2. 直到19世纪中期，1887年波尔兹曼著名公式：w是热力学 体系宏观态的微观状态数。当初称热力学几率，其实这个 词并不确切。因为：通常几率在＜0，1＞区间，而热力学 体系宏观状态的微观状态数w总是大于1，而且数量级非