03最大可能性估计

n
p(D) p(xk) k1
因为目前这个类别的参数向量θ还没有确 定，所以在参数向量是θ的情况下，这些 样例一起出现的概率是：
n
p(D|)p(xk |) k1
n
p(D|)p(xk |) k1
参数向量θ中的参数是可变的。在这些参数的 取值范围内，使得这些样例一起出现的概率最 大的值，就是最合理的参数。就是说使得 p(D|θ)取最大值的θ值就是最合理的θ值。这就 转换成了一个求极值的问题。求p(D|θ)的极值 点，等价于求它的自然对数ln p(D|θ)的极值点， 等价于对ln p(D|θ)的梯度等于0的点：
模式识别 ——最大可能性估计
mqy_mail163
上节课内容假定知道了先验概率p(ωi)和 类条件概率密度p(x|ωi)。
这节课介绍的内容是：在知道类条件概 率密度服从某种分布的前提下，估算该 分布的参数。比如在知道类条件概率密 度服从正态分布的前提下，估算正态分 布的参数μ和Σ。
一 基本原理
grad ln p ( D | ) 0
grad
ln
n
p(xk
|
)

0
k 1

grad
n
ln
p(xk
|
)


0
k 1

n
grad ln p ( x k | ) 0
k 1
gradθ[f(θ)]，相当于使用θ的每个分量对f(θ)求 偏导，然后组合成一个向量。
n
grad ln p(xk |) 0
k1
n
k1
grad ln

1
(2)d /2 | |1/2
exp
1 2 (xk
)t 1(xk
)
0
n
1(xk ) 0
k1
ˆ

1 n
n k1
xk
三 求正态分布的参数μ和Σ
假定知道当前类别中的样例服从正态分 布，但是不知道正态分布的参数μ和Σ。
ˆ 2 n 1 2 n
ˆ n 1 n
因此使用n个(有限个)样本估算方差的时候：
ˆ 2

1 n 1
n
(xk
k1
)2
ˆ

1 n 1
n k1
(xk

)(xk

)t
原因：n个样本总共有n个自由度，求均 值的时候用掉一个自由度，在求方差的 时候只剩下n-1个自由度了。
二 求正态分布的参数μ
假定知道当前类别中的样例服从正态分布，但 是不知道正态分布的参数μ。
单变量正态分布的概率密度函数： p(x) 21exp12x2
多变量正态分布的概率密度函数：
p (x ) (2)d /1 2| |1 /2e x 1 2 p (x)t 1 (x)

0
ˆ

1 n
n k 1
xk
ˆ 2

1 n
n
(xk
k 1

)2
多变量正态分布 此时θ=(μ, Σ)
p (x ) (2)d /1 2| |1 /2e x 1 2 p (x)t 1 (x)
n
grad ln p(xk |) 0
下面分别使用每个训练样例Di来估算这 个类别的参数向量θi。因为每个类别的参 数向量的求解方式都是一样的。
下面就忽略i。只考虑根据一个特定类别 的训练样例集合D，来估算这个类别的参 数向量θ。
设样例集合D里面有n个训练样例，x1,…,xn。 设这些样例抽取的时候是独立的，那么这么多 样例一起出现的概率可以写成：
单变量正态分布 此时θ=(μ,σ2)
p(x) 21exp12x2
n
grad ln p ( xk | ) 0
k 1
n

grad ln
k 1

1 2
exp

1 2

xk


2



设：
有c个类别。 每一个类别有一些属于这个类别的训练样例：
D1,…,Dc。 第j个类别的参数向量(比如均值，方差)表示为θj。 一个类别的参数向量只与属于这个类别的训练样例
有关，而与其它类别的训练样例无关。
问题：
怎参么数使向用量每θi。个类别的训练样例Di来估算这个类别的
p (x ) (2)d /1 2| |1 /2e x 1 2 p (x)t 1 (x)
前面求最合理的θ值的公式：
n
graldnp(xk |)0
k1
p因(x此k|进θ)行就公是式正带态入分：布的概率密度函数。
p (x ) (2)d /1 2| |1 /2e x 1 2 p (x)t 1 (x)
k1
n
k1
grad ln

1
(2)d/2 |
|1/2
exp
1 2
(xk
)t 1(xk
)

0
ˆ

1 n
n k1
xk
ˆ
1 n
n
(xk
k1
)(xk
)t
四 偏差
上面使用n个(有限个)样本估算出来的方差经常 会有偏差，总是发现估算的值小了：