信息熵、热力学熵及其与生命系统的关系

学术论坛/ A c a d e m i c F o r u m
信息熵、热力学熵及其与生命系统的关系
[M]^a!B---
曰1政----
(安庆师范大学皖西南生物多样性研究与生态保护安徽省重点实验室，安徽安庆246133)
摘要：文章分别阐述信息、信息量、信息熵及热力学熵等基本概念的内涵，同时对这几个容易混淆的概念记性分析和比较。

根据香农信息量公式和玻尔兹曼热力学熵公式，推导出信息熵和热力学熵的关系，指出孤立系统总是朝信息熵减少的方向演化。

最后从生命系统的角度阐述信息熵即负熵，对生命系统自组织的有序化结构形成的意义。

关键词：热力学熵；信息；信息熵；信息量；有序
1信息、信息量和信息熵
由于运动或存在的客观事物有很多变化，人们对这些事物的认识就存在某种不确定性，因此信息被定义为对事物运动状态或存在方式的不确定性的描述。

下面从一个基本实例引入信息量和信息熵的定量公式。

如果掷一个骰子，可能出现的结果有6种，其中每一个面出现的概率相当，且等于1/6。

每掷一次骰子被认 为是获得了信息暈，结果肯定是6种结果的任意一种，这一确定结果的概率也是1/6;若连续掷两次骰子，获 得的信息量正好是掷一次时的两倍，而得到某一确定结果的概率为1/36。

从上面看出，两次投掷是相互独立事件，故所得信息的概率应相乘，所得的信息量却相加。

这表明信息量与获得信息的概率成对数关系。

设某一信息的信息量为I,得到该信息的概率为P，根 据申农对信息量的定义有：
1= klni=-klnP(\ )若令k=l,且取底2,单位是b it,可将（1 )式变为：
,=1〇82? (2)代入上面的例子，第一次掷骰子获得的信息量
丨=l〇g2^= 2.58 b it。

按此计算掷二次获得的信息量i=i〇g2i=5.16b it,刚好是第一次的2倍。

在等概率事件中，选择其中一个事情，得到的信息量为1 b it。

从 公式（1 )或（2 )可以看出，信息量是概率P的减函数，即某种结果的概率越小，获得这种结果信息的信息量越大。

再来看另外一个引申的例子，同样以掷骰子为例。

如果骰子1、2、3、4、5面出现的概率都为0.1,而 6面出现的概率为0.5,则结果就大不一样。

如果按照 上面的公式，计算1、2、3、4、5面出现的信息量为
3.32 b it,同样第6面出现的信息量
1 b it。

由于获得各个信息的概率不一样，信息量便不一样。

因此有必要定义一个平均的信息量，设得到第i 个信息的概率为P i,则
平均信息量是指所有信息量4均起来的大小，它 的值反映了事物状态不确定的程度，而信息熵是对事物的不确定性进行度量。

因此平均信息量就是信息熵。

值得注意的是，我们很容易把信息量和信息熵等价。

本质上说，信息量是信息所固有的属性，用来消除不确定性，在所有可能出现的状态中都具有一个信息量，而信息熵即平均信息量是对所有可能状态不确定性的度量，两者具有不同的内涵。

在信息论中，信息是由一个所谓信号源输出的。

设某信号输出n个相互独立的信息X i (i=l~ n)出 现的概率为P i,可以用信息源发出的全部信息的平均信息量来表征信源的整体特性，这个整体特性就是信源的不确定程度，即信息熵。

信息熵大，说明信源的不确定程度大，发出的平均信息量大。

在获得信息都是等概率的情况下Pi=P,所以
I = ZiP i1〇g2f = |〇82^=> (4)
为了简化讨论，在这种情况下可以把第i个信息的信息量看作是平均信息量或信息熵，在这种意义上，信息量即信息熵。

以上文中引申的例子来计算它的信息 熵。

已经计算得到1、2、3、4、5面出现的信息量为3.32 b it,而第6面出现的p息量为1 b it;根据公式（3 )骰子信息熵7= &Pllog2^= 5*0.1*3.32+0.5*1=2.16 b it,比6个面是等概率条件下的信息熵2.58 b i t要小。

2信息墒与热力学熵
现在我们来讨论信息熵和热力学熵的关系。

比较 公式（1)和玻尔兹曼公式
S=k lnw(5)其中，〇>为任一宏观态对应的微观态数，即热力 学概率。

（1 )式中的P为该宏观态作为信息出现的概率。

根据统计理论的基本假设：每一个宏观态对应的微观态出现的概率是相等的，为P0, 1/P0为所有宏观 态所对应的微观态数的总和。

可以得到P=〇)P0。

故
S+I=K lnjr =S〇(6)其中s o是总的热力学熵，A—i数。

将S+I=S0 微分可以得到：
dS="dI(7)热力学熵的增加等于信息量的减少，反过来即信息量的增加等于热力学熵的减少。

在统计热力学中S 是系统无序程度的度量，因此信息量I是系统有序程度的度量。

信息量的增加必然导致有序程度的提高，
88
A c a d e m i c F o r u m/ 学术论坛
表 1 4个分子的位置分布
微观状态
左右
撖呢状态概车P一种宏現态对应的徽*見态教0)
abed abc abd bed acd 无
d
b
cd
bd
左4
左3
左2
右0
右1
右2
1/16
4/16
6/16
bd
d 无bed
acd
abd
abc
abed
左1
左0
右3
右4
4/16
1/16
同时系统热力学熵会减小；反之，信息量的减少必然导致有序程度的降低，同时系统热力学熵会增大。

并 且从（5)可以看出，当系统微观状态完全确定时，S=0,系统处于完全有序的状态，此时I取得最大值^m a x-^0〇所以有：
S=I I( 8 )该式表明热力学熵是1系精确状态所缺乏的那些信息（1…^_1)的度量。

增加信息量可以消除系统的不确定程度，减少热力学熵，因此信息熵即信息量有时候称为负熵。

同时，根据热力学熵增加原理：孤 立系统的熵永不减少，即d S為0;根据（6 )式，则 d l矣0,从信息熵的角度，孤立系统总是朝信息量减少的方向演化。

为了更加具体的说明信息熵和热力学熵之间的关系，下面举一个基础的思想实验来验证。

设想有一长方形的容器，中间有一隔板把他分成左、右两个相等的部分，左面有气体，右边为真空。

容器中共有a、b、c、d4种分子，它们无规则运动的任何时刻可以处于左边或是右边。

这个由4个分子组成的系统的任一微观状态是指出具体每一分子处于左或右哪一侧。

而宏观状态只能指出左右两侧各有几个分子。

这样区别的微观状态和宏观状态的分布如表1。

开始状态为上表的第一种宏观状态，此时处于最为有序的状态，根据可知热力学熵为〇,而信息 熵最大，Im a x=S〇=K=K In W。

由于孤立系统总是朝信息量减少的方向演化，在外界没有信息输入的情况下，信息熵会减小，热力学学熵将会增大，且达到第三种宏观状态时热力学熵最大，此时体系处于最无序的平衡状态。

信息熵I=-K taP=K <=K >»!，因此信 息熵的减少Im a jc-k*106。

此时的热力学熵S=K ln6, 由于开始状态的热力学熵为〇,因此热力学熵的增加等于信息熵的减少，旦S+I=K >»6+ K K >«16,验证了S+I=常数的公式。

需要说明的是，随着孤立系统中分子数的增多（如1023以上数目），平衡状态的概率将接近1,此时信息熵0,而热力学熵达到了最大值，体 系处于最混乱的状态。

除非有外界信息的输出才会改变这种状态。

因此孤立系统总是朝着信息量减少的方向演化。

3信息熵和生命系统
以上通过基本实例在孤立系统中讨论了信息熵和热力学熵之间的联系。

热力学熵是系统无序的一种度量，信息熵是系统有序化的一种度量。

生命系统的有序化是很明显的，例如遗传信息的D N A编码序列、蛋 白质的氨基酸组成序列及折叠的构象，这都表现为空间的有序性；实际上，生命过程还呈现出时间有序性，表现为酶促反应随时间做周期性变化的振荡行为。

如 果考虑到生物体的生长发育、物种进化，更可以明显地看到从无序到有序的发展。

耗散结构理论认为，生 命系统通过不断与外界进行物质和能量交换，在耗散过程中产生负熵流，将生命过程的无序状态转变为一种时间、空间或功能上的有序状态。

这种耗散结构中的负熵流便是信息熵。

作者简介：曾德二（1980-)，男，籍贯：湖北咸宁，学历：博士研究生，职称：讲师，硏究方向：基因的分子生物学。

基金项目：安徽省教育厅重点项目，二穗短柄草B d R H P l基因转化水稻的功能研究（KJ2015A168 );安徽省自然科学基金项目，水稻新的RING f in g e r因 子O sR H P l的抗旱机理研究（1908085MC81 )。

89。