玻耳兹曼关系信息熵熵的微观意义

• 1948年，信息论的创始人香农 (Shanon.C.E)从仅有两种可能性的等概 率出发给出信息量的定 义，
• 把从两种可能性中作பைடு நூலகம்判断所需的信息 量称为1比特(bit)(这是“二进制数字 (binary digit)的缩写)，并把bit作为 信息量的单位。
• 当然，实际的问题并不一定是只有 两种可能性。
• 第二部分香农熵（信息熵）
• （一）信息与信息量
• (1)信息
现在人人都会用“信息”这一名词， 但信息是什么?却不一定人人能给出确 切的 解释。
早年的信息仅不过是消息的同义 词。
现今人们通常把信息看作由语言、 文字、图象表 示的新闻、消息或情报。 维纳说：“信息就是我们适应外部世界 和控制外部世界过程中，同外部世界进 行交换的内容的名称”。
实质上，信息是人类认识世界、改造世界 的知识源泉。
人类社会发展的速度，在一定程度上取 决于人类对信息利用的水平。
信息、物质和能量被称 为构成系统的 三大要素。
• (二)信息论
• 既然信息是知识的源泉，很难对每一信息 的价值作出准 确的评价，不得已求其次，采 用电报局的方法，不问其内容如何只计字数 (即只计及信息量) ，这就是信息论这门学科 的基本出发点。
• 例如，假定有一事件可能有x1、x2…xN 种结果，每一种结果出现的概率为P(xi)， 或简写为Pi ，香农把这类事件的信息量
定义为
N
I Pi log 2 Pi
i 1
P1

P2
PN

1 N
I


1 N
log 2
1 N

1 N
log 2
1 N

1 N
log 2
1 N

• 信息的获得是与情况的不确定度的 减少相联系的。
假定我们最初面对一个可能存
在 P0 个解答的问题，只要获得某些信
息就可使可能解答的数目减少，若我们 能获得足够的信息，则就得到单一的解 答。
举个例子，某人给出一张无任何信 息 的面朝下的扑克牌，只要问2个问题。
信息获得愈多 ，不确定度愈少，信 息获得足够，不确定度为零。
为此，香农把熵的概念引用到信息论 中，称为信息熵。
信息论中对信息熵的定义是
N
S K Pi ln Pi
i 1
香农所定义的信息熵，实际上就是平
均信息量。 很易证明，对于等概
解无序的程度的。
• 对称性又称为不变性。
• 对称性的定义： • 对一个事物进行一次变动或一次操作，
如果经过此次操作，该事物完全复原，
则该事物对所经历的操作是对称的。
（而该操作叫对称操作）。
• 对称性有空间平移对称性；空间反演 对称（又称为镜象对称，左右对称）性; 旋转对称性；时间平移对称性；时间反 演对称性等.
1 log 2 N log 2 N
I I I ' log2 N log2 M
• （四）信息熵
• 我们可发现香农对信息量的定义
I = Iog2 N
与熵的微观表达式 S = k In W 十
分类似。
实际上信息就是熵的对立面。
因为熵是体系的混乱度或无序度 的数量但获得信息却使不确定度减少， 即减少系统的熵。
• 解释为什么一切与热相联系的一切宏 观过程都是不可逆的，
• 需采用统计物理方法去探讨过程不可 逆性的本质及熵的本质。
•
有序与无序
• 熵的微观意义要从有序与无序上给以解
释
• 有序不是整齐.。越是集中越是有序，
越是分散越是无序。
• 在分散开以后排列得越是整齐，就越
是无序。
• 物理中是从对称性操作的多少来理
• 其逆过程，液体蒸发为气体，无序度变大。 • 液体在等温条件下蒸发为气体时要吸收气
化热，这是一个可逆等温过程，熵要增加。
l 理想气体在等温膨胀从 V1 增加到V2
• 过程中，熵增加。
•
l 在液体气化及气体等温膨胀过程中 气体分散到更大体积范围内，显然无序 度增加了。
• 这与在该两个过程中熵也增加是一致 的。
l 利用对称性可以证明，粒子的空间 分布越是处处均匀，分散得越开(即粒 子数密度越小)的系统越是无序，
• 粒子空间分布越是不均匀、越是集中 在某一很小区域内，则越是有序。
无序有两种，一种是静止粒子的空 间分布的无序；
讨论N个粒子在左右两半容器中分布出现
的各种可能.
1-19热二律的统计铨释.exe
•
• 信息论研究的不是信息的具体内容， 它抛弃信息的内容而研究信息的数量以 及信息的转换、贮存、传输所遵循的规 律.
(三)信息量
信息的转换、贮存、传输中的一 个突出问题是要给出有个量的比较的标 准
信息常需要以语言文字或数学公 式图表作为载体予以表达，显然，要对 采用不同载体所表达信息的数量进行比 较是很难的。
• 而且对信息科学、生命科学乃至社 会科学的发展都起了十分关键性的推动 作用，对20及21世纪科学和技术的发展 产生极深远的影响。
• 玻耳兹曼是统计物理学的泰斗，其贡献十分
突出，以他的英名命名的方程、公式很多， 也都很重要。
• 但是，在他的墓碑上没有墓志铭， 唯有玻耳 兹曼关系式镌刻在他的胸像上面的云彩中。
• 玻耳兹曼关系 • 信息熵
第一部分
熵的微观意义，玻耳兹曼关系
• 热力学虽然具有普适性与可靠性， 但也有它的局限性。
• 就第二定律而言，它只能说明自然界 中任何宏观系统必遵从这一有关可逆与 不可逆性的基本规律。
• 关于熵，它只能作出定义，
•
dS dQ （对于可逆过程）
T
• 要解释熵的物理意义，解释为什么在 不可逆绝热过程中熵总是增加的，
• 上述例子均说明：熵与微观粒子无序 度之间有直接关系。
• 熵是系统微观粒子无序度大小的度量。
• (二)玻耳兹曼关系 S k ln W
• l 玻耳兹曼关系定量地证明了，熵
是系统微观状态数大小，即系统无序度
大小的度量。
W
• 玻耳兹曼关系不仅把宏观量熵与微观 状态数 联系起来，从而以概率形式 表述了熵及热力学第二定律的重要物理 意义，
另一种是运动粒子的无序 显然，对于热 运动来说，热运动越剧烈，即温度越高， 就越是无序。
• 而熵的变化与温度有关。相同情况下 温度升高，熵增加。
• 在相同温度下，气体要比液体无序，液体 又要比固体无序。
• 在密闭容器的气体中，若有一部分变为液 体，即其中部分分子密集于某一区域呈液体 状态，这时无序度变小。