浅谈最大熵原理和统计物理学

浅谈最大熵原理和统计物理学

摘要

在本文中我们将分别从物理和信息论角度简单讨论熵的意义并介绍由

E.T.Jaynes

所奠立基础的最大熵原理的原始理解。透过研究理想气体，我们将阐述如何运用最大熵

原理研究真实问题。同时藉由简短分析统计物理学研究方法的问题，本文会给出最大熵

原理更深层涵义及其应用。我们将称之为最大熵原理第二延伸。最后透过真实气体的研

究，我们将描绘出如何运用第二延伸来帮助我们思考及研究热力学系统。

一、前言

长时间以来人们对于熵有物理上的理解也有二、最大熵原理

(Information theory) 上的理解。物理上l、什么是最大熵原理信息论

的熵可以说明热力学系统的演化方向、热平衡的达相信物理系学生和物理研究人员都很熟悉成与否亦或是代表系统的混乱程度等[1-3]。在信Clausius的经验准则-热力学第二定律[1,2]。该定息论里，信息熵则代表量测信息系统的可信度或者律说明当一个热力学系统达到最后热平衡状态时，是忽略度[3,4]。然而不管物理或是信息论上对熵该系统的熵会达到最大值。进一步的研究指出当系的理解，实际上仍局限于将熵视为一个量测的工统的熵最大时，其自由能将会成为最小。在此一具。正如我们可藉由系统能量的量测来了解系统状特性的影响下人们惯性的倾向于将熵视为类似能态稳定与否。然而由于E.T.Jaynes的贡献，熵可量的巨观物理量。此一物理量成为描述系统乱度的

依据。此后由于 Gibbs 引入 ensemble 观念，开视为一种研究问题的推理工具，这一层意义才为人

所知[5,6]。时至今日，我们虽然仍无法全盘了解启微观角度的研究方法因而奠立近代统计力学理熵的真正意含，但是我们也渐渐掌握熵在物理学尤解熵的理论基础。在统计力学的观念中，观察者所其是统计物理中所能扮演的角色。通过本文浅显的量测到该系统热力学性质之巨观物理量诸如系统介绍，我们将从过去Jaynes对于熵的认识到今日内能或压力，基本上只能以平圴值来表现。原因在我们的新发现，掀开熵的神秘面纱。于观察者无法明确掌握系统微观状态。此种不确定

性可以藉由机率分布如canonical ensemble来量定义为忽略度 (degree of ignorance) 或者描述化表示。古典系统熵便可由此机率分布来定义出不了选取系统信息的倾向程度，称之为倾向度

(degree Of likelihood) 。通过 Cox 和 Skilling 连续表示，

完全不同的论证[5,7]，信息熵的机率分布型式类

似于热力学熵。所不同者在于热力学熵含有波兹曼， (1) S,,kPlogP,biii常数。这样的相似性直到 Jaynes 在1957 年的研式中代表波兹曼常数而为观察者量测到kPbi究才证明这个相似其实是相等[5]。信息熵和热力系统处在状态时的机率分布。或者是连续表示， i学熵实际上具有相同的含意。Jaynes更进一步指出且证明最大熵原理 (maximum entropy principle)

，，，，S,,kdqPqlogPq ， (2) 并不只是单纯的热力学第二定律。他的研究指出，bNNN,

最大熵原理不具任何物理意义仅是一个推论的工

具。藉由此原理，观察者所拥有的相关系统信息可式中，，代表空间和动量参数且q,r,pN以公正客观的被编入特定机率分布中来描述观察，，表示观察者量

测到系统微观状态在PqdqNN者量测到系统微观状态的机会。下一小节中我们将范围之机率份布。对于量子统计系统， von dqN以理想气体为例具体说明在 Jaynes 的理解下，如Neumann 发现也同样存在着类似形式来描述系统何运用此一原理重现统计力学的结果并且通过这乱度。他给出熵密度矩阵 (density matrix) 型样的方式我们将更能了解熵及最大熵原理在物理式，，，， ,qN上的含义和功用。

，，，，S,,kdq,qlog,q， (3) bNNN2、实例一:理想气体 ,

假设一含有 N 个气体分子的理想气体已达热

平衡状态，观察者可量测到该气体之总内能平均值。不过这些熵的微观知识，只让我们了解到熵和用

为以描述热力学系统物理量平均值的机率份布之间

存在一个关联性。除此之外，我们并未获得更多观

念上的突破。熵仍只是一个量测工具。，，E,dqPqH(4)NN ,

在 1940年代 Shannon 等人所发展的 2communication theory[4]也就是后来渐趋成熟且NpiH其中, 代表系统的汉米顿量,多元化的Information theory 中，也同样存在一2m,1i

相似特性的量。 Shannon 也称之为熵，该量被视(Hamiltonian)，对于理想气体而言仅有动能而无为量测噪声如何影响系统中有用信息的程度，我们，，分子间相互作用能而 Pq代表我们量测到系N

统微观能量状态等于时的 N 个分子机率分 H

布。关系式 (4)，我们称之为能量约束方程。它描接着利用上两约束方程，我们可分别决定拉格朗日

因子和。最后我们可得到最合适描述此,,述了我们对于理想气体有关能量部分信息的了解。无庸至疑的，我们也知道机率分布需要满理想气体的机率分布，，，，， PqPqNN

足下列约束方程，

1,,H (8) ，，Pq,eN Z，，dqPq,1(5) NN ,

为 N 个理想气体分子分配函数 (partition Z

。现在function) 其值为，所有系统可能状态的机率分布总合要等于1

的问题是我们如何找到合适的，，可以同时Pq N

N满足此二约束方程。因为唯有知道确实的机率分V,,,,H(9) Z,dqe,,,N ,3布，我们才有办法继续研究此一系统的其它物理牲,,,质。根据 Jaynes 的研究，最大熵原理告诉我们，

当此系统达到热力学平衡时，最有可能的机率分布122，，将会使熵达到最大值。具体来说，最大熵Pq,,N2,, ,,其中为大家所熟知的热力学波,, ,,mkT原理说明在约束方程 (4) 和 (5) 的条件考虑下B,,最大化熵。此最大化过程可由变分原理来达成。首长。通过分配函数，系统的 Helmholtz 自由能可先我们分别针对式 (4) 和 (5) 引入两拉格朗日由下推导得出因子 (Lagrangian multipliers) 和，我,,

们得到以下变分方程， V(10) F,,kTlogZ,,NkTlogbb

3 ,,,S,dqPq,1,，，，， NN, (6)此理想气体的各种物理性质如压力变化、相图都可,，，，，,,dqPqH,E,0NN,

以由此依序获得。这也就是统计力学中的

canonical ensemble 方法。若我们获取更多关于，，将式 (2) 代入上式后对Pq变分，我们可以N 此一理想气体的信息，如观察者所量测之总粒子数，，得到PqN 平均值可由粒子数密度来关联时

,1,,,,H，，Pq,eN (7) ，，，，N,dqPqnr(11) NN ,

如此一来一个具有最小偏差的研究理论可于焉诞其中代表 N 颗气体分子密度分布。我们则，，nr生。