浅谈熵

题目：浅谈熵

内容摘要：热力学中的熵是用来描述系统混乱程度的物理量。在信息论中，将它定义为信息的缺失，试验结果的不确定性。实际上，热力学中的熵与信息论中的熵它们有着密切的联系。或者说它们是等价的。无论是在热力学中还是在信息论中，熵的定义以及导出过程都有着异曲同工之处。本文即将从着重统计力学的观点出发阐明热力学中的熵与信息论中的熵的关系，将信息论与热力学结合，以此来简明介绍有关Maxwell —demon 的问题。并简单介绍熵的量子观点，进一步说明熵的本质及其意义。并着重于热力学中的各种熵作出详细的讨论。诸如：平动熵、转动熵、振动熵、电子熵、核熵等。

关键词：统计力学、量子观点、信息论、混乱程度、不确定性、Maxwell —demon

在热力学中我们知道熵描述了一个系统的混乱程度的大小。系统的熵值越大，则意味着系统越混乱。一切宏观现象上的热力学现象总是朝着熵增加的方向进行。但是我们也可以这样来想：若一个系统内部它越混乱，则我们从中所获取的微观信息也就越少。也就是说熵描述了信息的缺失，系统的破确。至此我们来考虑这样的一个问题，比如一条具有一定长度的信息（There is a cat ）共14个字符，包含空格。如果把组成上述信息的所有字符都打乱，在我们对此一无所知的情况下，将会有14!/3!2!21种组合方式（即系统完全破却）。得到一系列的概率分布。针对此问题，通过信息论我们知道，信息的获取意味着不确定性的消除，或不确定性意味着信息的缺失。在Maxwell —demon 中所谓的精灵就是通过信息与外界系统进行相互作用的，该精灵利用信息操控着过程，使其向逆自发方向方向进行。其实有了Maxwell —demon 的存在，系统已变成了敞开系统，该精灵将负熵引入了系统，降低了系统的熵。因此从整体看气体的反方向集中必不违背热力学第二定律，换句话说：信息即可视为负熵。这种不确定度完全由试验结果的一组概率来唯一确定，令这种不确定度为H ，则

123(......);n H H p p p p =且H 需要满足以下条件：

（1）H 是一个关于123......n p p p p 的连续函数。

（2）若所有的概率相等，则1231111

(......)(

.....)n H p p p p H n n n n

=；为关于n 的单调增函数。

（3）如果一个实验的可能结果依赖于n 个辅助实验的可能结果，那么H 就是辅助实验的不确定性之和。即1

n

i

i H H

==

∑。

数学家香农证实H 的最简单选择是：1231

(......)()n

n i

i H H p p p p f p ===

∑；这里的f 是

未知的。因为是一个连续函数，所以对于等概率的特殊情况，可以定出f ，对已所有的i ，若有1i p n =

，则上述方程可写成:11111(.....)()H nf n n n n n =;由条件（2）知1

[()]0d f dn n

≥；

调用合成定律，考虑第一个辅助实验的等概率结果数目是r, 第二个辅助实验的等概率

结果数目是s,那么n rs =；并且：

11111111

(.....)(.....)(.....)(.....);.......(1)H H H H r r s s n n rs rs

+==，所以：

111

()()();......(2)rf sf rsf r s rs +=。

111

()()();......(3)f R f S f RS R S RS

+=令R=1/r,S=1/s,以上方程变成

g()(1/)(),()(1/)();g(()();....(4)R R f r g S S f S R g S g RS ==+=令我们有）

'''''''()(),()();....(5)R ()=S ();......(6)R S 6R ()A g(R)=AlnR+C,A C 1R g(R))ln R S RS S R RS R S R A f r r r ===⇒=-+

现在分别对以上方程对R 和S 求偏导数，得到g g g g 由于这两个关系，允许下式成立：g g 因为和是独立的变量，方程（）能被满足的唯一方式是方程的两边等于相同的常数：g 式中和是两个常数。

重新回到和的定义，以上方程变为：(1

1

1C 1

)ln .

/0,,1/,()ln (),ln n

n

i i i

i i C

r

f nf A n n

A A n A A K K n p f p Kp p

H f p H H K p p ===-->=-==-∑∑若概率是，则不确定度是0，这就是说(1)=0,所以=0，并且对于等概率情况，

我们有(剩下的事情是的符号问题。我们发现所以必须是负的，令而是正的，同时写出我们得到将这个结果应用到=我们得到关于不确定度的公式：=-下面为H 寻找一个单位，将一个只有0和1两种情况的实验结果的H 定为1即：

11111

(ln ln )12222ln 2

H K K =-+=⇒=

；并称此时的信息量为1bit 。有了H 函数以后我们就可以对任何一段具有一定的长度的信息进行定量的描述其不确定性。

对于任何一段信息，若设它有n 种结果，则它的不确定度的最大值是Kln(n)。证明：

1'

1

1

'

1

1

'

'

'

'

H H ln 1

ln ;[0,1]

ln ;[0,1]0,ln 1)0

[0,1],n

i i i i n n

i i i i i i n n

i i i i i i i i

i H K p p p H K p p p p H K p p p p H dH H K p p H p ααα======∴+∈+∈∂∴=⇒=-++=∂∂∀∈∂∑∑∑∑∑∑由函数的意义知：当取最大值的时候，此时信息的不确定性最大，即系统完全破却。=-且由拉格朗日乘因子法知=-=-为一连续函数，

当时取极值;（1232'2'1112'0;ln 1)0exp(1).

1

......exp(1)................................................................................................i i i n n n K p p p p p p p n

H H p p p p Hess H p p αααα=-++=∴=-=====

=-∂∂∂∂=∂∂即（，由于为一常数，故12

2'1''

max 1................00...............0Hess 0............................................11H ln ln n n n n

i K p K p K H p p p H K K n

n

n =⎡⎤⎡⎤

-⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢

⎥-∂⎢⎥⎢⎥

∂⎢⎥⎣

⎦⎣⎦==∑显然是一个负定的

所以存在极大值，此时的极大值就是它的最大值即-.

以上说明一个实验的不确定度的最大值是，且此时，也就是每种结果出现的机会都是相同的，即系统完全破确。

至此我们联系到热力学中的熵，S 的定义。由统计学理论知道它是一个有关体系微观状态数的函数，即()S f =Ω，ln S =Ω，Ω为体系的微观状态数。设一封闭系统，中间有一隔板。两侧的微观状态数分别为12,ΩΩ。由于熵是一个广度函数，所以21()()S f f =Ω+Ω；现在抽掉隔板，则新的微观状态数为：12ΩΩ；12()S f =ΩΩ。所以

12()f ΩΩ21()()f f =Ω+Ω；与上述的H 函数的推到情况类似，最终得ln S =Ω。对于一

个独立子系且相格数为1的系统，则Ω1

!

!

n

i

i N N ==

∏；且ln !N =ln N N N -。由此可得：