基于信息论的关于热力学熵和信息熵的讨论与浅析

这书写的很好， 吴军博士当年写谷歌板报的功底可见一斑。
吴军博士 李开复：精通技术，并能够用清晰的语言公之于众
两个19世纪曾经叱咤风云的巨头，一个虎落平阳，一个老骥伏枥
关键时刻的抉择：当互联网来临
甲乙丙三个实力相当的运动员要进行一次比赛， 老王是比赛的裁判和记分员，他必须观察并如实记录三位选手的名次。
所以对于他来说，比赛结果有A33=6种，由于运动员实力相当，每种 结果出现的可能性一样，所以结果的熵是log26。
老李是比赛场地的管理员，他完全不关心谁胜谁负，而只想等到比赛
结束下班回家，那么比赛对他的熵是多少呢？答案是零，因为他只关 心比赛有没有结束，而比赛只要一开始就注定会结束，这个结果是唯 一确定的。所以老李根本不用观察比赛，只要坐着等就可以了。
吴军《汉语信息熵和语言模型的复杂度》里说，
只考虑字频的话
英文是4.46比特/字符的信息熵， 汉字是9.6比特/字符， 直观上很容易理解，英文字母只有26个，所以描述一
个字母所需要的信息表示不多，而中文字却很多，就 需要更多的信息量才能表示。
————引用文献：CSDN blog
（高大上的题目
唐计 21151624 于航
熵的概念是由德国物理学家克劳修斯于1865年所提出。
化学及热力学中所指的熵，是一种测量在动力学方面 不能做功的能量总数。熵亦被用于计算一个系统中的 失序现象。熵是一个描述系统状态的函数，但是经常 用熵的参考值和变化量进行分析比较。
利用积分求熵值
热力学熵的宏观形式：它的定义是，用来描述能量做功的
表示甲乙丙的结果，010表示甲丙乙的结果……这样老王每次就只需要 三位二进制数（3比特）就可以记录原本要6比特才能表示的信息了。
无损压缩是可能的。 这也是清晰度差不多的视频文件有的格式卡成狗有的格式却十分流畅
源自文库的原因。
——参考文献：知乎
总之， 熵就是系统内无序程度， 热力学熵就是热力学系统分子的无序程度，
念时参考了热力学熵，并且它的表达式和热力学熵的微观 形式非常相似（但和宏观描述看不出任何相似性）的缘故。 文以最早也最重要的香农熵为准。
后来也有人提出了信息熵的其他表述形式，为了方便，下
------参考文献：知乎
他先后阐述了：
有无噪音的离散系统下
（ DISCRETE NOISELESS SYSTEMS & THE DISCRETE CHANNEL WITH NOISE ）
不同的观察者，由于目的和观测能力的差异，同一个事件的熵也可能
是不同的。
——参考文献：知乎
我们再回头看老王的记分板，他用三组二进制数记录比赛结果。 老王的儿子小王（程序员）认为：由于比赛只有三位选手，只要其中
两位选手的名次确定第三位选手的名次也就确定了。
因此第三组二进制数完全是没有必要的（我们也称它为冗余），如001
那信息熵是啥玩意 ？
著名文献（1948）：
《A Mathematical Theory of Communication》
克劳德·香农在1948年的这一篇论文中，提 出了“信息熵”的概念，并且以后信息论 也被作为一门单独的学科。
克劳德· 香农 Claude Shannon
信息熵的来历和热力学熵完全不同。 把它也叫做“熵”完全是因为香农老爷子当年提出这个概
“信息的传输”
“信息熵的计算” “相关的讨论” 解释了：信息熵、信源编码、信道编码、信道容量、信息
失真率理论、信号检测和估计等概念。（比较专业） 奠定了信息论的基础。
K就是一个系数，log以2为底 随机变量S的取值(s1,s2...sn)， 发生的概率是(p1,p2...pn)， 和玻尔兹曼熵表达式形式基本一样，只有常数上的 差别。结果的量纲为比特（bit）。 意义？ 指观察者对某一事件（结果）的未知程度。
信息熵就是在信息传输系统内不同信息（相对于有效信息）
的无序程度。
信息论也是由此概念而进一步阐释出来，从而突破了香农
老爷子的狭义理论，不断的向前发展。
——参考文献：原创
Thank You All
能力，熵越大能量做功的能力就越弱。由于我们只定义了 熵的变化量，因此对一个系统的单一状态来说，宏观的熵 没有绝对值。我们实际应用的是以“标准状态”为基准的 相对值（标准摩尔熵）。
熵的微观形式，著名的玻尔兹曼原理：S = klnΩ，其中的 是玻尔兹曼常数，量纲为 J/K，由于后面对数项不具量纲， 所以玻尔兹曼 熵的量纲也是J/K ，这是证明它和宏观形式 等价的前提。 这也形成了熵最广为人知的理解：熵是系统混乱度（无序 程度）的量度。 ————参考文献：知乎