条件概率密度函数的最大似然估计 ppt课件

• 问题提出
–贝叶斯决策论 –贝叶斯公式
• 最大似然估计 • 基于最大似然估计的模式分类实例
3
问题提出（1/4）
80条鲑鱼，20条多宝鱼
4
问题提出（2/4）
？
第一种情况：不知晓这条鱼的任何信息，判决依据P(ωi)的大小；结论： 鲑鱼 第二种情况： 给你这条鱼的宽度值 x，判决依据P (ωi| x)；
• 设ωi类样本集有 N 个样本
X{x1,...,xN}
它们是独立地按照概率密度 p(x | ωi ，θ ) 抽取出来的（独立同分布样本）
• 似然函数可以表示为：
N
l( θ ) p ( x 1 ,...,x N |θ )p ( x 1 |θ ) ...p ( x N |θ ) p ( x k |θ ) k 1 含义：从总体中抽取 x1,…xN 这样 N 个样本的联合概率（可能性）
18
讲授提纲
• 问题提出 • 最大似然估计 • 基于最大似然估计的模式分类实例
19
基于最大似然估计的模式分类实例
？
已知条件：
① 80条鲑鱼，20条多宝鱼 ② 对于宽度特征，两类鱼均服从源自态分布 ③ 箱中这条鱼的宽度为10cm
问题：对箱中的鱼进行贝叶斯分类决策
20
Step1：数据准备
• 数据获取：对80条鲑鱼和20条多宝鱼分别测得他们的宽度值
H()lnp(xk|)1 2ln(22)1 2
xk 2
1 2ln(2
)1(xk1)2
2 2 2
求偏导数
(xk 1)
lnp(xk
|θ) 212
2
(xk 1)2 222
N
H(θ) lnp(xk|θ)0 k1
N
)
0 (
x
k
)
1
)
2
k 1
N
0 )1 2 k1
N k 1
数是未知的
②待估计参数θ 是参确定数性确的定未知但量未知
③按类别将样本划分 c 类，第 i 样本都是从类条件概率密度 p(x |ωi )
的总体中独立地抽取样出来本的独立同分布 ④第 i 类的样本不包类含类有关互θ不j (i≠干j)的扰信息。不同类别的函数在参数上
相互独立，每一类样本可以独立进行处理
9
• 单变量正态分布的概率密度函数
p(x|)
21 exp1 2
x 2
• 要求的未知参数（均值与方差）
θ[1,2]T[,2]T
• 已知 X{x1,x2,...,xN}，利用最大似然估计法，针对上述样本集，
求出均值与方差的估计值
θ ) [) 1 ,) 2 ] T [),)2 ] T
16
对数似然函数
贝叶斯决策论
5
问题提出（3/4）
• 贝叶斯公式
类条件概率密度 先验概率
根据领域知识或大量样本中计算
后验概率
各类样本所占的比例得到
p(i|x)
p(x|i) p(i)
p(x)
• 用非正式的英语表述
总体密度
所有样本关于特征x的概率密度
6
问题提出（4/4）
函数形式
已知 未知
估计目标
估计方法
函数中的未知参数
参数估计
（ 最大似然估计、贝叶斯估计 ）
函数形式
非参数估计 （kn近邻估计、Parzen窗法 ）
7
讲授提纲
• 问题提出 • 最大似然估计
–假设条件 –主要思想 –求解方法及解的分析 –正态分布参数的最大似然估计
• 基于最大似然估计的模式分类实例
8
最大似然估计的假设条件
假设条件： ①类条件概率密度函p(x数|ωi形) 的式函数已形知式是已知的，但是其中的某些参
模式识别
条件概率密度函数的最大似然估计
Maximum Likelihood Estimation of Class-conditional Probability Density Function
任课教师： 刘琼
讲授提纲
• 问题提出 • 最大似然估计 • 基于最大似然估计的模式分类实例
2
讲授提纲
1
...
S
12
• 求解过程：
N
l(θ) p(xk | θ) k 1 N
H (θ) ln l(θ) ln p(xk | θ) k 1 N
H (θ ) ln p( x k | θ ) k 1
H (θ) 0
从中求解出 θ 的最大似然估计量
13
最大似然估计结果的分析
)
1
)
1 N
N
xk
k 1
)
2
) 2
1 N
N
( xk ) )2
k 1
• 鲑鱼关于宽度特征的均值和方差的最大似然估计结果：
)5)2 0.05
• 多宝鱼关于宽度特征的均值和方差的最大似然估计结果： )9)2 0.05
• 对数函数是单调增函数，H(θ) 与 l(θ) 的最大值点相同
11
求最大似然估计量的方法
• 如果H(θ) 满足连续可微的数学性质，可以直接应用高等数学的知识来求最
大值点，即求梯度（偏导数）,并令其等于零，解线性或者非线性方程组得 到估计量
• 假设： θ[1,...,S]T 有s个参数
• 梯度算子
10
最大似然估计的主要思想
• 最大似然估计的主要思想：如果在一次观察中一个事件出现了，则
我们可以认为这一事件出现的可能性很大。现在，样本集（x1,…xN ）在 一次观察（从概率总体中抽取一组样本）中居然出现了，则我们认为似 然函数 l(θ) 应该达到最大值 • 为了便于分析，可以取似然函数的对数，即 H(θ)lnl(θ)
• 数据预处理：剔除野值数据（如发育不正常的个例）
• 特征形成：每一条鱼有两个数据：
✓ 类别标识
✓ 宽度（特征）
+1 6.2 +1 5.7 …… -1 8.9 -1 9.5 …….
21
Step2 ：类条件概率密度函数估计
• 两类样本分别满足各自的正态分布，利用最大似然估计方法分别求出鲑
鱼和多宝鱼关于宽度特征的均值和方差的最大似然估计量为
① 可能存在多个解
解决方法：使得似然函数最大的解才是最大似然估计量
14
② 有可能求不出正确的解（比如均匀分布）
p(x|)
2
1
1
,1
2
0, otherwise
H ()N ln (21)
H
1
N
0
1
2 1
H
1
N
0
2
2 1
21 1 m in( X )
2 max( X )
15
例：正态分布函数的最大似然估计
(
x
k
)
)
2 2
1
)2
17
)
1
)
1 N
N
xk
k 1
)
2
) 2
1 N
N
( xk ) )2
k 1
解释：
正态分布总体均值的最大似然估计量是样本属性值的算术平均（无偏）
正态分布总体方差的最大似然估计量是样本方差的算术平均（渐进无偏）
)
2
)2
1 N1
N(xkμ ))2
（无偏）
k1
推广到多元正态分布