数学建模讲义94

设右边较重 。先从左边取出两枚，再将右边的取两枚 放到左边，将原来左边的两枚中取出一枚放于右边
情况2.1 两堆重量相等
取出的两枚中轻的为假币， 再称一次即可找出假币。
情况2.2
两堆重量不相等
若右边较重，则假币在右边原来 的两枚及左边未动过的一枚中 （若为前者，则假币偏重；若为 后者，则假币偏轻），于是再称 一次即可找出假币。若第二次称 时左边较重，则假币必在交换位 置的三枚中，可类似区分真伪 。
表11-2（英语）
符
i
Pi
符
号
号
空格
0.2
R
E
0.105
S
T
0.072
H
O 0.0654 D
A
0.063
L
N
0.059
C
I
0.065
F
i
Pi
符
符
号 Pi 号
0.054
U 0.0225 B
0.052
M
0.021
K
0.047
P
0.0175
X
0.035
Y
0.012
J
0.029
W
0.012
Q
0.023
G
0.011
三次是最少次数！
英文的熵是多少呢？
例17 在人类活动中，大量信息是通过文字或语言来表达的，
而文学或语言则是一串符号的组合。据此，我们可以计算出每 一语种里每一符号的平均信息量。例如，表11-2、表11-3、表 11-4分别是英语、德语和俄语中每一符号（字母与空格，标点 符号不计）在文章中出现的概率的统计结果（汉语因符号繁多， 难以统计）
H
0.053
П
0.023
Ч
0.012
Э
0.003
C
0.045
у
0.021
й
0.010
Ф
0.002
英文的多余度
以英文为例，可计算得：
27
H Pi log 2 Pi 4.03（比特/每符号） i1
对于有27个符号的信息源，可能达到的最大平均信息量为：
H max log 2 27 4.75（比特/每符号）
定理9.6 最大熵原理，即受到相互独立且均匀而小的随机因素
影响的系统，其状态的概率分布将使系统的熵最大。
上述结果并非某种巧合。根据概率论里的中心极限定理，若试 验结果受到大量相互独立的随机因素的影响，且每一因素的影 响均不突出时，试验结果服从正态分布。最大熵原理则说明， 自然现象总是不均匀逐步趋于均匀的，在不加任何限止的情况 下，系统将处于熵最大的均匀状态。
平均信息量（熵）问题
设某一实验可能有N种结果，它们出现的概率分别为p1,…,pN,则 事先告诉你将出现第i种结果的信息，其信息量为－log2pi，而该 实验的不确定性则可用这组信息的平均信息量（或熵）
N
H pi log 2 pi 来表示 i 1
例15 投掷一枚骼子的结果有六种，即出现1—6点、出现每
Z
0.0225
V
0.008
Pi
0.005 0.003 0.002 0.001 0.001 0.001
表11-3（德语）
符
i
Pi
符
号
号
空格 0.144
D
E
0.144
T
N 0.0865 U
S
0.0646 H
I
0.0628
L
R 0.0622 C
A 0.0594 G
i
Pi
符
符
号 Pi 号 Pi
0.0546 O 0.0211 K 0.0071
离散型概率分布的随机试验，熵的定义为 ：
N
H pi log 2 pi i 1
（11.5）
连续型概率分布此的定随理机既试可验化，为熵条的件定极义值为问: 题证明之，也可以利用凸函
H ( p) 数 性质p(来x)证log明2 ，p(请x)大dx（家1自1.己6）
熵具有哪些有趣的性去质完成
定理11.3
log
2
1 1280
10.32（比特）
至此，我们已经引入了信息度量的定量公式。如前 所述，它是信息对消除问题的不确定性的度量。这种讲 法似乎有点难以为人们所接受，其实，这只是人们的习 惯在起作用。这里，我们不妨来作一比较。在人们搞清 热的奥秘以前，温度也是一个较为抽象的概念，因它实 质上是物体分子运动平均速度的一种映。人们天生就知 道冷和热，但如何来度量它却曾经是一个难题。只有在 解决了这一问题以后，以定量分析为主的热力学才能得 到飞速的发展。信息问题也是这样，人们对各种信息包 含的实质“内容”究竟有多少往往也有一个直观的感觉， 但用什么方法来度量它，却比“今天15度”这样的讲法 更不易理解，因为它是通过较为抽象的概率来计算的。
假币在未秤的4枚中。任取其中的3枚加上从已秤过的8 枚中任取的1枚，平分成两堆称。出现两种情况
情况1.1 情况1.2
两堆重量相等
最后剩下的一枚是假币,再 称一次知其比真币轻还是重。 两堆重量不相等 设右重左轻，并设真币在左边， 若假币在右边，则比真币重，若 在左边，则轻。取右边两个称 。
情况2
两堆重量不相等
（i）息“量某条时人信，在息需第的要十信用排息到”量条包之件含和概的。率信公息式量，为 log2 31可2 以5（参比阅特信）息论书籍。
（ii）“某人在第15座”包含5b的it+信5息.32量bi为t=10.32bit
log2
1 40
5.32（比特）
（iii）“某人在第十排第15座”包含的信息量为
现作逆变换q=－logap， 得I(M)=f(P)=－ClogaP （11.3） 证毕。
各种信息量单位
若取a=2,C=1，此时信息量单位称为比特 若取a=10,C=1，此时信息量单位称为迪吉特 若取a=e,C=1，此时信息量单位称为奈特
例14 设剧院有1280个座位，分为32排，每排40座。现欲从中
§ 9.4 信息的度量与应用
怎么度量信息 对于系统，可以利用守恒 关系有 A+I=B，得I=B-A。
首先分析一下问题的认识过程 1.对一问题毫无了解，对它的认识是不确定的 2. 通过各种途径获得信息，逐渐消除不确定性
3. 对可这否一问用题消非除常不的确了定解，性不的确多定少性来很度小量信息！
黑箱 信息I 灰箱 信息II 白箱
找出某人，求以下信息的信息量。（i）某人在第十排；（ii） 某人在第15座；（iii）某人在第十排第15座。
解是相：等在的对在未这几，于已知一条他相获任例信坐应得何子息在不某信反，各独信息映其座立息的了总号的后情对信上信其况完息的息余下全量概，信，独等率要息此立于也计的人的各可算信在以各认排为的是概相率等可的以，认故为
记g(1)=C，容易求得g(2)=2C,g(3)=3C,…,一般地，
有g(n)=nC。进而
g(1)
g
1 n
1 n
ng
1 n
，可得
g 1 1 g(1) n n 。
于是对一切正有理数 m/n，g(m/n) =(m/n)C。
由连续性可知：对一切非负实数x，有g(x)=Cx
当x取负实数时，由g(x)+g(－x)=g(0)=0，可得 出g(x)=―g(―x)=cx也成立，从而对一切实数x，g(x)=Cx, 故g(q)=Cq。
例13 假如在盛夏季节气象台突然预报“明天无雪”的消
息。在明天是否下雪的问题上，根本不存在不确定性，所 以这条消息包含的信息量为零。
是否存在信息量的度量公式
基于前面的观点，美国贝尔实验室的学者香农（Shannon） 应用概率论知识和逻辑方法推导出了信息量的计算公式
In his words "I just wondered how things were put together."
不确定度A
不确定度B
不确定度C
几个例子：
例12 当你要到大会堂去找某一个人时，甲告诉你两条消息：
（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告 诉你一条消息：此人坐在第十五排。问谁提供的信息量大？
乙虽然只提供了一条消息，但这一条消息对此人在什么 位置上这一不确定性消除得更多，所以后者包含的信息量应 比前者提供的两条消息所包含的总信息量更大
Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called "the father of information theory".
Shannon提出的四条基本性质 （不妨称它们为公理 ）
公理1 信息量是该事件发生概率的连续函数
种情况的概率均为1/6，故熵 H=log26≈2.585（比特）。 投掷一枚硬币的结果为正、反面两种，出现的概率均为
1/2，故熵 H=log22=1（比特）。 Βιβλιοθήκη Baidu石块上猛摔一只鸡蛋，其结果必然是将鸡蛋摔破，出
现的概率为1，故熵H=log21=0
从例子可以看出，熵实质上反映的是问题的“模糊度”，熵为 零时问题是完全清楚的，熵越大则问题的模糊程度也越大
先作变量替换 令p=a-q，即q=－logaP 记
f ( p) f (eq ) g(q) ，又 p A pB e(qA qB ) 有：
g(qA qB ) g(qA ) g(qB ) ，g亦为连续函数。
g(x+y)=g(x)+g(y)的连续函数有怎样的性质
首先，由g(0)=g(0+0)=2g(0)得出g(0)=0或g(0)=∞。 但由公理4，后式不能成立，故必有g(0)=0。
信息通道的容量问题
公理2 如果事件A发生必有事件B发生，则得知事件A发生 的信息量大于或等于得知事件B发生的信息量。
公理3 如果事件A和事件B的发生是相互独立的，则获知 A、B事件将同时发生的信息量应为单独获知两事件 发生的信息量之和。
公理4 任何信息的信息量均是有限的。
上述公理怎样推出信息量的计算公式呢
将某事件发生的信息记为M，该事件发生的概率记为p，记 M的信息量为I（M）。
定理11.2
满足公理1—公理4的信息量计算公式为I(M)=－Clogap， 其中C是任意正常数，对数之底a可取任意为不为1的正实 数。
证明:
由公理1 I(M)=f(p)，函数f连续。
由公理2 若A发生必有B发生，则pA≤pB，
有f(pA)≥f(PB) ，故函数f是单调不增的。
由公理3 若A、B是两个独立事件，则A、B同时发生 的概率为pApB，有f(PAPB)=f(pA)+f(pB)。
由此可计算出英语表达的多余度为：
H max H 0.15（即15%） H max
事实上，英语在表达意思上的确存在着富余。 例如Q后出现U的概率几乎是1，T后出现H的概 率也很大，等等。这种多余是完全必要的，没有 多余度的语言是死板的，没有文采的，它是存在 语法的必要条件。但对于电报编码、计算机文字 处理来讲，这种多余度的存在常常会造成浪费。 有人在上述讨论的基础上研究了符号编码问题， 使得每一符号的平均信息量达到十分接近Hmax 的程度，但由于译电过于复杂，这种方法尚未实 际应用。
设最少需称k次，则这k次实验提供的总信息量
不超过klog23=log23k，又问题的模糊度（熵）为log224
必要条件:
log 3k≥log 24
2
2
，得
k≥3。
称三次足够了吗？
实验方法：使每次实验提供尽可能大的平均信息量。
第一次：将12枚硬币平分成三堆，取两堆称，出现两中情况
情况1 两堆重量相等
例16 有12个外表相同的硬币，已知其中有一个是假的，可能
轻些也可能重些。现要求用没有砝码的天平在最少次数中找出 假币，问应当怎样称法。
解 假币可轻可重，每枚硬币都可能是假币。故此问题共有
24种情况，每种情况的概率为1/24。所以此问题的熵为log224。
确定最少次数的下界 实验最多可能出现三种结果 ，根据定理11.3，这种实验在可 能出现的各种事件具有相等的概率时，所提供的平均信息量 最大，故实验提供的平均信息量不超过log23。
空格 0.175
P
0.040
Я
0.018
Х
0.009
O
0.090
B
0.038
Ы
0.016
Ж
0.007
E Ё 0.072
Л
0.035
э
0.016
Ю
0.006
A
0.062
К
0.028
ъь
0.014
Щ
0.006
И
0.062
М
0.026
Б
0.014
Ц
0.004
T
0.053
Д
0.025
Г
0.013
Ш
0.003
0.0536 M 0.0172 P 0.0067
0.0422
B
0.0138
J
0.0028
0.0361 W 0.0113
J
0.0008
0.0345 Z 0.0092 Q 0.0005
0.0255 V 0.0079 Y 0.0000
0.0236
F
0.0078
表11-4（俄语）
符
i
Pi
符
号
号
i
Pi
符
符
号 Pi 号 Pi
若实验仅有有限结果S1,…,Sn，其发生的概率分别为
P1,…,Pnp，1 则当 pn
1 n
时，此实验具有最大熵。
定理9.4 若实验是连续型随机试验，其概率分布P(x)在[a,b]
区间以外均为零，则当 P(x)平均分布时具有最大熵。
定理9.5 对于一般连续型随机试验，在方差一定的前提下，正
态分布具有最大的熵。