浅谈熵

题目：浅谈熵内容摘要：热力学中的熵是用来描述系统混乱程度的物理量。

在信息论中，将它定义为信息的缺失，试验结果的不确定性。

实际上，热力学中的熵与信息论中的熵它们有着密切的联系。

或者说它们是等价的。

无论是在热力学中还是在信息论中，熵的定义以及导出过程都有着异曲同工之处。

本文即将从着重统计力学的观点出发阐明热力学中的熵与信息论中的熵的关系，将信息论与热力学结合，以此来简明介绍有关Maxwell —demon 的问题。

并简单介绍熵的量子观点，进一步说明熵的本质及其意义。

并着重于热力学中的各种熵作出详细的讨论。

诸如：平动熵、转动熵、振动熵、电子熵、核熵等。

关键词：统计力学、量子观点、信息论、混乱程度、不确定性、Maxwell —demon在热力学中我们知道熵描述了一个系统的混乱程度的大小。

系统的熵值越大，则意味着系统越混乱。

一切宏观现象上的热力学现象总是朝着熵增加的方向进行。

但是我们也可以这样来想：若一个系统内部它越混乱，则我们从中所获取的微观信息也就越少。

也就是说熵描述了信息的缺失，系统的破确。

至此我们来考虑这样的一个问题，比如一条具有一定长度的信息（There is a cat ）共14个字符，包含空格。

如果把组成上述信息的所有字符都打乱，在我们对此一无所知的情况下，将会有14!/3!2!21种组合方式（即系统完全破却）。

得到一系列的概率分布。

针对此问题，通过信息论我们知道，信息的获取意味着不确定性的消除，或不确定性意味着信息的缺失。

在Maxwell —demon 中所谓的精灵就是通过信息与外界系统进行相互作用的，该精灵利用信息操控着过程，使其向逆自发方向方向进行。

其实有了Maxwell —demon 的存在，系统已变成了敞开系统，该精灵将负熵引入了系统，降低了系统的熵。

因此从整体看气体的反方向集中必不违背热力学第二定律，换句话说：信息即可视为负熵。

这种不确定度完全由试验结果的一组概率来唯一确定，令这种不确定度为H ，则123(......);n H H p p p p =且H 需要满足以下条件：（1）H 是一个关于123......n p p p p 的连续函数。

（2）若所有的概率相等，则1231111(......)(.....)n H p p p p H n n n n=；为关于n 的单调增函数。

（3）如果一个实验的可能结果依赖于n 个辅助实验的可能结果，那么H 就是辅助实验的不确定性之和。

即1nii H H==∑。

数学家香农证实H 的最简单选择是：1231(......)()nn ii H H p p p p f p ===∑；这里的f 是未知的。

因为是一个连续函数，所以对于等概率的特殊情况，可以定出f ，对已所有的i ，若有1i p n =，则上述方程可写成:11111(.....)()H nf n n n n n =;由条件（2）知1[()]0d f dn n≥；调用合成定律，考虑第一个辅助实验的等概率结果数目是r, 第二个辅助实验的等概率结果数目是s,那么n r =；并且：11111111(.....)(.....)(.....)(.....);.......(1)H H H H r r s s n n rs rs+==，所以：111()()();......(2)rf sf rsf r s rs +=。

111()()();......(3)f R f S f RS R S RS+=令R=1/r,S=1/s,以上方程变成g()(1/)(),()(1/)();g(()();....(4)R R f r g S S f S R g S g RS ==+=令我们有）'''''''()(),()();....(5)R ()=S ();......(6)R S 6R ()A g(R)=AlnR+C,A C 1R g(R))ln R S RS S R RS R S R A f r r r ===⇒=-+现在分别对以上方程对R 和S 求偏导数，得到g g g g 由于这两个关系，允许下式成立：g g 因为和是独立的变量，方程（）能被满足的唯一方式是方程的两边等于相同的常数：g 式中和是两个常数。

重新回到和的定义，以上方程变为：(111C 1)ln ./0,,1/,()ln (),ln nni i ii i Crf nf A n nA A n A A K K n p f p Kp pH f p H H K p p ===-->=-==-∑∑若概率是，则不确定度是0，这就是说(1)=0,所以=0，并且对于等概率情况，我们有(剩下的事情是的符号问题。

我们发现所以必须是负的，令而是正的，同时写出我们得到将这个结果应用到=我们得到关于不确定度的公式：=-下面为H 寻找一个单位，将一个只有0和1两种情况的实验结果的H 定为1即：11111(ln ln )12222ln 2H K K =-+=⇒=；并称此时的信息量为1bit 。

有了H 函数以后我们就可以对任何一段具有一定的长度的信息进行定量的描述其不确定性。

对于任何一段信息，若设它有n 种结果，则它的不确定度的最大值是Kln(n)。

证明：1'11'11''''H H ln 1ln ;[0,1]ln ;[0,1]0,ln 1)0[0,1],ni i i i n ni i i i i i n ni i i i i i i ii H K p p p H K p p p p H K p p p p H dH H K p p H p ααα======∴+∈+∈∂∴=⇒=-++=∂∂∀∈∂∑∑∑∑∑∑由函数的意义知：当取最大值的时候，此时信息的不确定性最大，即系统完全破却。

=-且由拉格朗日乘因子法知=-=-为一连续函数，当时取极值;（1232'2'1112'0;ln 1)0exp(1).1......exp(1)................................................................................................i i i n n n K p p p p p p p nH H p p p p Hess H p p αααα=-++=∴=-======-∂∂∂∂=∂∂即（，由于为一常数，故122'1''max 1................00...............0Hess 0.. (11)H ln ln n n n ni K p K p K H p p p H K K nnn =⎡⎤⎡⎤-⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-∂⎢⎥⎢⎥∂⎢⎥⎣⎦⎣⎦==∑显然是一个负定的所以存在极大值，此时的极大值就是它的最大值即-.以上说明一个实验的不确定度的最大值是，且此时，也就是每种结果出现的机会都是相同的，即系统完全破确。

至此我们联系到热力学中的熵，S 的定义。

由统计学理论知道它是一个有关体系微观状态数的函数，即()S f =Ω，ln S =Ω，Ω为体系的微观状态数。

设一封闭系统，中间有一隔板。

两侧的微观状态数分别为12,ΩΩ。

由于熵是一个广度函数，所以21()()S f f =Ω+Ω；现在抽掉隔板，则新的微观状态数为：12ΩΩ；12()S f =ΩΩ。

所以12()f ΩΩ21()()f f =Ω+Ω；与上述的H 函数的推到情况类似，最终得ln S =Ω。

对于一个独立子系且相格数为1的系统，则Ω1!!nii N N ==∏；且ln !N =ln N N N -。

由此可得：1111!ln()ln !ln !(ln )(ln )!(ln)ln H Kn nB B B i B B i i i n i i i i j j B nB B i i i N S k k N k N k N N N k N N N N N N k N NNk NS k N p p ======-=---===∑∑∏∑∑所以N j i i N i p N=为第状态下的粒子数目，故；所以1l nHKnB B i i i k NS k N p p ===∑；1H=K ln ni i i p p =∑。

由此可知S 与H 是等价的，仅仅是单位和比例系数不同而已。

热力学中单位用的是J/K ，信息论中用的是bit 。

两者比较有231ln 20.95710/B bit k J K -==⨯ 由波尔兹曼分布定律知：11e x p ();e x p ()nj j jj j j iN G Z G NZ βεβε=-==-∑；所以m a x 111exp()exp()[ln(]ln()j j j j B B G G US k N k N Z Z Z Tβεβε--==+；即对一个相格数为1的独立子系，其系统的熵是有关能量的函数。

由231ln 20.95710/B bit k J K -==⨯知：要使计算机里的信息量存储增加一个bit （信息的获取意味着不确定性的消除，熵值减小），它的熵至少要减少230.95710/J K -⨯。

这只能向环境释放热量为代价，即温度为T 的环境下处理每bit 的信息，计算机至少消耗能量230.95710J -⨯。

同样对于前面所讲的Maxwell —demon它在获取分子有关的信息的时候也需要消耗一定的的能量。

因为他将负熵引入了系统，降低了系统的熵。

通过以上，我们阐明了熵与不确定度之间的关系，说明了熵的本质及其意义。

也就是说熵仅仅是统计意义上的概率性的。

它只有统计意义，热力学中的微观可逆性与宏观不可逆性也是统计意义上的概率性的。

例如一滴红墨水（假设共有2310个红墨水分子），滴入水中。

一会整个杯子里的水就都被染红（扩散现象）。

那么这些有色分子是否有可能再全部聚集在一起，使得杯子里的水变得澄清?明显是有可能的，且这种概率为231012。

由于这个数值极小极小，几乎趋近于零。

因此重新聚集在一起的现象我们也就无法观察到了。

若分子数目极少，比如只有两个有色分子，此时概率为14。

所以此时是完全可以观察到的。

故对于微观过程的可逆与宏观过程的不可逆并不是矛盾的，这种可逆与不可逆都是建立在统计意义上的，它们都是概率性的，只具备统计意义。

各种熵的统计性讨论(经典统计)：宏观与微观之间配分函数起到了桥梁作用，现在仅仅对熵作出相应的统计学讨论（当然对于其它热力学函数情况也是如此）。

11ln()!ln 1()T N i i N i i B i i i iBZ Z U Z S k Z Z T N Z U k ββ⎧⎪=⎪⎪=+=⎨⎪∂⎪=-=⎪∂⎩定域子系离域子系(i=t,r,v,e,n 等)（当i=t,r,v,e,n 时对应的熵分别为平动熵、转动熵、振动熵、电子熵、核熵等。