熵与信息熵

熵与信息熵
1.熵
熵的概念最早起源于物理学，一百四十年前，熵的主要用途是用于研究热机（蒸汽机、内燃机..），主要使用宏观形式（克劳修斯形式）即任何可以自发进行的过程中，恒温热Q 和温度T 的比值永远是一个正值（熵增定理它的定义是dQ dS T =
，不可能把热量从低温物体传向高温物体而不引起其它变化。

）；熵描述的是一团气体分子的混乱程度，但我们所想要的是他不混乱的程度，也就是这团分子的能量所做功的潜力是多少，
从一百多年前世界进入量子时代以后，研究主要使用熵的微观形式（玻尔兹曼形式） 混乱度又称为热力学几率,用Ω表示，系统在一定温度T 下,其混乱度Ω是一定的。

若系统不断吸热,分子在空间分布和能量分布的状况就要不断变化,其微观花样数将不断增大。

温度T 时的混乱度是Ω,在温度T 时系统以可逆方式吸热r Q ∂,混乱度增加d Ω。

r Q T ∂表示系统吸收的热量对单位温度的分摊量,即是系统熵的改变量dS 。

d ΩΩ
表示系统增加的混乱度对单位热力学几率的分摊量,称为混乱度增加率。

也就是说,在热力学过程中,系统混乱度Ω增减与系统熵S 的增减是同步的,即混乱度Ω越大,熵越大。

公式为；r Q T
∂=dS ∝d ΩΩ。

加入比例系数后为dS =k d ΩΩ，对函数进行积分，S = Kln Ω+ I ，热力学第三定律说过绝对零度时熵为0，所以I=0,比例系数经理想气体恒温可逆膨胀推理后被定义为玻尔兹曼常数（K=1.3806505 × 10-23 J/K ）
信息熵
Shannon 在通信的数字原理一书中把信息定义为消除不定性的东西。

既然如此，那么信息量就可以用被消除的不定性的大小来表示。

而这种不定性是由随机性引起的，因此可用概率论方法来描述。

这就是Shannon 信息度量方法的基本思想。

离散信源的引入：如果相邻符号的选择不是独立的，其概率取决于之前的字符，则会得到一种更为复杂的结构。

在最简单的此种类型中，字符的选择仅取决于它前面的一个字母，而与再之前的字母无关。

这种统计结构可以由一组转换概率P i （j ）来描述，该概率是指字母i 之后跟有字母j 的概率。

下标i 和j 的取值范围为所有可能出现的符号。

如果P i 是状态i 的概率，P i （j ）是由状态i 向状态j 变换的转换概率，则对于平稳过程，显然可以得出，P i 必须满足平衡条件：()j i i
i
p p p j =∑。

我们能不能定义一个量，用来在某种意义上，度量这样一个过程“生成”多少信息？甚至更进一步，度量它以什么样的速率生成信息？假定有一个可能事件集，这些事件的发生概率为p 1，p 2...这些概率是已知的，但关于将会发生哪个事件，我们也就知道这么多了。

我们能否找到一种度量，用来测量在选择事件时涉及多少种“选择”，或者输出中会有多少不确定性？如果存在这样一种度量，比如说H （p 1，p 2...），那要求它具有以下性质是合理的：
1. H 应当关于p 1连续。

2. 如果所有p 1都相等，即p 1=1/n ，则H 应当是n 的单调增函数。

如果事件的可能性相等，
那可能事件越多，选择或者说不确定性也更多。

3.如果一个选择被分解为两个连续选择，则原来的H 应当是各个H 值的加权和。

唯一能够满足上述三条假定的H 具有如下形式：2log i
i i H k p p =-∑（其中k 是一个正常
数）。

推导过程：设H （1/n ，1/n..）=A （n ），在S m 进行一次等概率选择，分解为在S 中进行M 次
等概率选择，可得到A （S m ）=mA （S ）
同理，A （t n ）=nA （t ）并使之满足S m ≤t n ≤S
m+1 取对数后除以nlogs 可得m/n ≤logt/logs ≤m/n+1/n
由A （n ）的单调性质得A （S m ）≤A （t n ）≤A （S m+1） mA （S ）≤nA （t ）≤m+1A （S ）
除以nA （S ）得：m/n ≤A （t ）/ A （S ）≤m/n+1/n
所以A （t ）=klogt
现在假定我们要从n 种可能选项中做一选择，其可测量概率为p i =n i /Σn i ，其中n i 为整数。

我们可以把从Σn i 种可能性进行一次选择，分解为在概率为p i 。

p n 的n 种可能性中进行一次选择，然后，如果选定了第i 个，则以等概率从n i 中选择，使这两种方法的总选择相等： Klog Σn i =H （p i 。

p n ）+k Σp i logn i
所以2log i
i i H k p p =-∑
假定某概率信息系统在获得信息之前的不确定性为H 0,获得信息之后消除了一部分不确定性,它的不确定性减为H t ,因此,使系统消除的不确定性(H 0-H t )就给出了系统获得的信息量(I),其数学表达式为I= H 0-H t =-(H t - H 0) 这就是负熵原理。

即系统从外界汲取的信息(量)等于系统熵增量的负值(简称负熵)。

这就准确体现了信息即负熵的涵义及其过程量特征。

从无序到有序，减小了不确定性。

正好与热力学中的熵增原理相反，热力学中是功转化为热能，从有序到无序且不可逆。