什么是信息熵

什么是信息熵

飞翔发表于 2006-3-8 15:22:08

学习过程中，遇到有关信息熵理论，现整理如下：

“熵”是德国物理学家克劳修斯在１８５０年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的

那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。

在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。

因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。

对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希

腊文“热运动”一词变来的。

人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。

克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。

举例来讲果我们能看到橡皮筋的分子结构，我们会发现它的结构在拉紧和放松的状态时是不一样的。放松的时候它的分子结构像一团乱麻交织在一起。而在把橡皮筋

拉长的时候，那些如同链状的分子就会沿着拉伸的方向比较整齐地排列起来。于是我们可以看到两种状态：一种是自然，或者自发的状态。在这种状态下结构呈“混乱”或“无序”状。而另一种是在外界的拉力下规则地排列起来的状态。这种“无序” 的状态还可以从分子的扩散中观察到。用一个密封的箱子，中间放一个隔板。在隔板的左边空间注入烟。我们把隔板去掉，左边的烟就会自然 (自发)地向右边扩散，最后均匀地占满整个箱体。这种状态称为“无序”。

在物理学里我们可以用“熵”的概念来描述某一种状态自发变化的方向。比如把有规则排列的状态称为“低熵”而混乱的状态对应于“高熵”。而熵则是无序性的定量量度。热力学第二定律的结论是：“一个孤立系统的熵永不减少。”换句话说，物质世界的状态总是自发地转变成无序；“从低熵”变到“高熵”。比如，当外力去除之后，整齐排列的分子就会自然地向紊乱的状态转变；而箱子左边的烟一定会自发地向右边扩散。这就是著名的“熵增定律”。

信息熵的定义与熵的定义相似，我们说的信息熵一般是指信息论的香农理论。

在日常生活中，信息是指“消息”，“情况”等。看电视、看报纸、看书、打电话、听广播、上网浏览，乃至聊天、开会，人们都获得了“消息”。消息通过“消息传递系统”传递，各种系统可以抽象为通讯系统模型。这一模型并不只限于通信系统，对于生物神经系统，遗传系统，市场的经济信号感知反馈系统，管理系统，都可以运用这个模型。

在消息传递系统中，其传输的是消息；但消息传递过程中，最普通，却容易被忽视的一点是：收信人在收到消息以前是不知道消息的具体内容的。消息的传递过程，对收信人来说，是一个从不知到知的过程，或者说是一个从不确定到确定的过程。

从通信过程来看，收信者的所谓“不知”就是不知道发送端将发送描述何种运动状态的消息。例如，看天气预报前，不清楚天气的将出现何种状态；看天气预报后，这种不确定性就大大缩小了。所以通信过程是一种从不确定到确定的过程。不确定性消除了，收信者就获得了信息。所以香农认为，信息是不定性的减少或消除。即 I = S(Q/X)-S(Q/X‘) I代表信息，Q 代表对某件事的疑问，S 代表不定性，X 为收到消息前关于Q的知识，X‘ 为收到消息后关于Q 的知识。

如何理解信息熵和熵的关系？单从概率的表达式看，两者的定义是相似的

信息熵并不是负熵，它描述的是信源不确定性而不是不确定性的减少。信息熵大表示信源的不确定程度较大，同样是一种无序性。香农的信息概念是人们对事物了解的不确定性的减少或消除，这一定义关注的是通信中的信息问题，所以香农信息是一种与信道相关的“信息”。信源、信道是信宿成了认识过程的不可分割的部分，主客体是不可分的；香农的概率，是主体对客体（信宿对信源）的一种先验主观认识，这本身就加入了主体的因素。因此，作为“通信中的数学理论”，信源与信宿在信道联系下的“互信息”，才是香农的“信息”。

信道的任务是以信号方传输和存贮信息，通过信息处理后，一般只会增加信息的损失，不可能增加原来获得的信息。这意味着，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息；信息一旦丢失，如不触及信源，就不能再恢复。这就是信息不增原理，又称数据处理定理，熵只是平均不确定性的描述，而不确定性的消除才是接受端获得的信息量，信息量不应该与不确定性混为一谈。

信息论并不是香农一个人建立的，实际上它是由好几位科学家差不多在同一时候提出来的。香农从通信编码方面，维纳从滤波理论方面，统计学家费希尔（Fisher ）从古典统计理论方面，研究了信息的理论问题。但维纳与香农在信息概念的理解上有些不同

信息论并不是香农一个人建立的，实际上它是由好几位科学家差不多在同一时候提出来的。香农从通信编码方面，维纳从滤波理论方面，统计学家费希尔（Fisher ）从古典统计理论方面，研究了信息的理论问题。但维纳与香农在信息概念的理解上有些不同

信息熵并不是负熵，它描述的是信源不确定性而不是不确定性的减少。信息熵大表示信源的不确定程度较大，同样是一种无序性。香农的信息概念是人们对事物了解的不确定性的叫少或消除，实际上是“互信息”；因为这一定义关注的是通信中的信息问题，所以香农信息是一种与信道相关的“信息”。