MaxEnt2

x , y X Y

1 p x, y log px | y
H ( X | Y ) H ( XY ) H (Y ) H(X |Y ) H(X )
Conditional Entropy
H(X |Y ) H(X )
• Condition Reduces Entropy (C.R.E.) • 知识（Y）减少不确定性（X） • 证明（略）。用文氏图说明：
H X log 5 1.46 H (Y ) log 3
称硬币(cont.)
• Why??? H X log X log 5 H Y log Y log 3
H X log 5 1.46 H (Y ) log 3
• 为什么用log? • “表达能力”与“不确定度”的关系？
最大熵模型 与 自然语言处理 MaxEnt Model & NLP
laputa c-liu01@ NLP Group, AI Lab, Tsinghua Univ.
Topics
• NLP与随机过程的关系（背景） • 最大熵模型的介绍（熵的定义、最大熵 模型） • 最大熵模型的解决（非线性规划、对偶 问题、最大似然率） • 特征选取问题 • 应用实例 • 总结与启发
NLP与随机过程
问题：
• p(yi=a|x1x2…xn y1y2…yi-1)怎么求? • yi与x1x2…xn y1y2…yi-1的关系?
x1x2…xn x1x2…xn y1 x1x2…xn y1 y2 x1x2…xn y1 y2 y3 …
p(y1=a|x1x2…xn) p(y2=a|x1x2…xn y1) p(y3=a|x1x2…xn y1 y2) p(y4=a|x1x2…xn y1 y2 y3)
k
What’s Entropy?
• 定义:
1 H X p x xi log p x xi i 1
k
• X的具体内容跟信息量无关，我们只关 心概率分布，于是H(X)可以写成：
1 H X px log px xX
熵的性质
0 H X log X
称硬币-Version.2
因为第一个、第二个硬币是假硬币的概率 是三分之一，比其他硬币的概率大，我们 首先“怀疑”这两个。第一次可以把这两 个做比较。成功的概率是三分之二。失败 的概率是三分之一。如果失败了，第二次 称剩下的三个。所以，期望值是：
1 log 9 4 1 1 log 3 3 9 log 3 3 3 3 log 3
• 第一个等号在X为确定值的时候成立 （没有变化的可能） • 第二个等号在X均匀分布的时候成立。
熵的性质
• 证明：
1 H X p x log px xX x : 1 p x 0 1 1 1即 log 0 px px 1 p x log 0 px 1 p x log 0 px xX H X 0
称硬币(cont.)
为什么用log? • 假设一个Y的表达能力是H(Y)。显然，H(Y) 与Y的具体内容无关，只与|Y|有关。 • 两个Y(就是：y1y2)的表达能力是多少? • y1可以表达三种情况，y2可以表达三种情 况。两个并列，一共有：3*3=9种情况 （乘法原理）。因此：
H y1 H y2 H (Y ) H (Y ) H (Y Y ) 注意： Y Y Y Y
1 log k p x xi px xi log c i 1
1 px xi log px x i 1 i log c
k
一般地，我们令c为2（二进制表示），于是，X 的信息量为：
1 H X p x xi log p x xi i 1
X (X&Y) I: Complete Knowledge Space Y
已知与未知的关系
对待已知事物和未知事物的原则： • 承认已知事物（知识）； • 对未知事物不做任何假设，没有任何偏 见
已知与未知的关系—例子
已知： “学习”可能是动词，也可能是名词。可以被标为主语、 谓语、宾语、定语…… 令x1表示“学习”被标为名词， x2表示“学习”被标为动 词。 令y1表示“学习”被标为主语， y2表示被标为谓语， y3表示 4 宾语， y4表示定语。得到下面的表示：
Y X
n
称硬币(cont.)
x X ,2,3,4,5 1 • Let: x是假硬币的序号： • Let: Yi是第i次使用天平所得到的结果：
yi Y ..3 1 其中 : 1表示 ； 2表示 ； 3表示
• • • •
用y1 y2… yn表达x。即设计编码：x-> y1 y2… yn H X的“总不确定度”是： X log X log 5 H Y log Y log 3 Y的“表达能力”是： 至少要多少个Y才能准确表示X？
称硬币-Version.2
假设有5个硬币：1,2,3,…5，其中一个是假的，比其他的 硬币轻。已知第一个硬币是假硬币的概率是三分之一； 第二个硬币是假硬币的概率也是三分之一，其他硬币是 假硬币的概率都是九分之一。 有一个天平，天平每次能比较两堆硬币，得出的结果可能 是以下三种之一： • 左边比右边轻 • 右边比左边轻 • 两边同样重 假设使用天平n次找到假硬币。问n的期望值至少是多少？ （不再是小学生问题:P）
NLP与随机过程
问题：
• p(yi=a|x1x2…xn y1y2…yi-1)怎么求? • yi与x1x2…xn y1y2…yi-1的关系? 一个直观的解决：
p( yi a, x1.. xn y1.. yn ) p( yi a | x1.. xn y1.. yn ) p( x1.. xn y1.. yn )
0 H(X )
熵的性质
• 证明：
H ( X ) log X
详细证明略。 求条件极值就可以证明了（求偏导数，条 件是：所有的概率之和为1） 结论：均匀分布的时候，熵最大
Conditional Entropy
• 有两个变量：x,y。它们不是独立的。已 知y，x的不确定度又是多少呢?
H X | Y
3 1/9
4 1/9
5 1/9
1 log 9 4 1 1 log 3 3 9 log 3 3 3 3 log 3
称硬币-Version.3,4,…∞
更广泛地：如果一个随机变量x的可能取值为 X={x1, x2,…, xk}。要用n位y: y1y2…yn表示（每 位y有c种取值）n的期望值至少为：
已知与未知的关系—例子
i 1 已知： “学习”可能是动词，也可能是名词。可以被标为主语、 谓语、宾语、定语…… “学习”被标为定语的可能性很小，只有0.05
p( x1 ) p( x2 ) 1
p( y ) 1
i
4
我们引入这个新的知识：
p( y4 ) 0.05
除此之外，仍然坚持无偏见原则： p( x1 ) p( x2 ) 0.5
NLP与随机过程
NLP:已知一段文字：x1x2…xn（n个词） 标注词性y1y2…yn 标注过程： 已知：x1x2…xn 求：y1 已知：x1x2…xn y1 求：已知：x1x2…xn y1 y2 求：y3 已知：x1x2…xn y1 y2 y3 求：y4 …
NLP与随机过程
yi可能有多种取值，yi被标注为a的概率有多少? 随机过程：一个随机变量的序列。 x1x2…xn x1x2…xn y1 x1x2…xn y1 y2 x1x2…xn y1 y2 y3 … p(y1=a|x1x2…xn) p(y2=a|x1x2…xn y1) p(y3=a|x1x2…xn y1 y2) p(y4=a|x1x2…xn y1 y2 y3)
1 ? 2 3 ? 5 1/3
1 1/3
2 1/3
3 1/9
4 1/9
5 1/9
用反证法可以证明，这个是最小值。 （假设第一个和第二个硬币中有一个要称两次的话……）
称硬币-Version.2
《数据结构》：Huffman编码问题。
1 ? 2 1 1/3 1 / 9 1 / 9 1 / 9 1 / 9 2 1/3 1 / 9 1 / 9 3 ? 5 1/3
p( y ) 1
i i 1
称硬币-Version.2
《数据结构》：Huffman编码问题。
1 1/3
2 1/3
3 1/9
4 1/9
5 1/9
称硬币-Version.2
《数据结构》：Huffman编码问题。
3 ? 5 1/3
1 1/3
2 1/3
3 1/9
4 1/9
5 1/9
称硬币-Version.2
《数据结构》：Huffman编码问题。
称硬币(cont.)
“表达能力”与“不确定度”的关系？ log 5 H X
H (Y )

log 3
1.46
• 都表达了一个变量所能变化的程度。在这个变 量是用来表示别的变量的时候，这个程度是表 达能力。在这个变量是被表示变量的时候，这 个程度是不确定度。而这个可变化程度，就是 一个变量的熵（Entropy）。 • 显然：熵与变量本身含义无关，仅与变量的可 能取值范围有关。
问题again!
• (x1x2…xn y1y2…yi-1)？
What’s Entropy?
An Example： • 假设有5个硬币：1,2,3,4,5，其中一个是假的，比其 他的硬币轻。有一个天平，天平每次能比较两堆硬币， 得出的结果可能是以下三种之一： • 左边比右边轻 • 右边比左边轻 • 两边同样重 问：至少要使用天平多少次才能保证找到假硬币? （某年小学生数学竞赛题目:P）