3 第三章 参数估计与非参数估计

假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1，X2，X3，… , Xi, …, XM 其中第i类的样本共N个： Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息，所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 ( 1, 2,... p) 根据以上四条假定，我们下边就可以只利用第 i 类学习样 本来估计第 i 类的概率密度，其它类的概率密度由其它类 的学习样本来估计。
2. 多维正态分布情况
① ∑已知, μ未知,估计μ
P( X i | i ) 服从正态分布
待估参数为 1
i

k 1
N

logP( X k | ) 0
正态分布时
n T 1 1 1 log P( X k | ) log[ 2 | |] X k X k 2 2
N 1 估计值： 1 Xk N k 1
1 N 2 Xk N k 1

Xk

T
结论：①μ的估计即为学习样本的算术平均
②估计的协方差矩阵是矩阵

Xk

平均（nⅹn阵列， nⅹn个值）

Xk
T

的算术
24
二.贝叶斯估计
11
类条件概率密度函数估计：两大类方法
– 参数估计：概率密度函数形式已知，而表征函 数参数未知，需通过训练数据来估计 • 最大似然估计
• Bayes估计 – 非参数估计：概率密度函数形式未知，也不作 假设，利用训练数据直接对概率密度进行估计 • Parzen窗法和kn-近邻法 • 神经网络方法
7
§3-1 参数估计与监督学习（续2）
下图表示对一幅道路图像按路面与非路面分类可用两种不同做法，其中左图 是在图像中路面区与非路面中各找一个窗口，将其中每个象素分别作为这两 类的训练样本集，用这两个样本集在特征空间的分布参数进行设计。 而无监督学习方法则不同，它不预先选择样本类别的样本集，而是将整幅图 的像素都作为待分类样本集，通过它们在特征空间中表现出来的聚类现象， 把不同类别划分开。 图中有监督学习，样本集分布呈现交迭情况，而无监督学习方法由于没有类 别样本指导，无法确定它们的交迭情况，只能按分布的聚类情况进行划分。
10
件概率P(x/ωi)或后验概率 P(ωi /x)就可以设计分类
器了。现在研究 , 如何用已知训练样本信息估计 P(ωi),P(x/ωi), P(ωi /x) 概率密度估计方法
贝叶斯分类器中只要知道先验概率 P(ωi), 类条
先验概率P(ωi)的估计：
– 用训练数据中各类出现的频率来估计
– 依靠经验
二．监督学习与无监督学习 监督学习：在已知类别样本指导下进行学习和训练，可 以统计出各类训练样本不同的描述量，如其 概率分布，或在特征空间分布的区域等，利 用这些参数进行分类器设计，称为有监督学 习。参数估计和非参数估计都属于监督学习。 无监督学习：不知道样本类别（也就是说没有训练样 本），只知道样本的某些信息，然后利用这 些信息进行估计，如：聚类分析。
j
i T
18
1.一般原则：
第i类样本的类条件概率密度： P(Xi|ωi)= P(Xi|ωi,θi) = P(Xi|θi) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M 求θi的最大似然估计就是把P(Xi|θi)看成θi的函数，求出使它 最大时的θi值。 ∵学习样本是从总体样本集中独立抽取的 ∴ P ( i | , i ) P ( i | i ) N P( X i | i )
基于上述估计值设计判别函数及分类器

面临的问题： 如何利用样本集进行估计 估计量的评价
利用样本集估计错误率
3
基于样本的Bayes分类器
训练 样本集
概率 密度函数
样本分布的 统计特征：
决策规则： 判别函数 决策面方程
• 最一般情况下适用的“最优”分类器：错误率最小，
对分类器设计在理论上有指导意义。
θ N
argmax ln p( x k | θ)
θ k 1
16
• 最大似然估计计算方法
使似然函数梯度为0
θ H (θ) |ˆ θ ln p( xk | θ) |ˆ 0
ML
N
k 1
ML
θ 1
...
s
T
17
一．类概率密度最大似然估计
• 获取统计分布及其参数很困难，实际问题中并不一
定具备获取准确统计分布的条件。
4
直接确定判别函数
• 基于样本直接确定判别函数方法：
– 针对各种不同的情况，使用不同的准则函数，设计 出满足这些不同准则要求的分类器。
– 这些准则的“最优”并不一定与错误率最小相一致： 次优分类器。 – 实例：正态分布最小错误率贝叶斯分类器在特殊情 况下，是线性判别函数g(x)=wTx（决策面是超平 面），能否基于样本直接确定w ?
8
§3-1 参数估计与监督学习（续3）
非监督学习与有监督学习方法的区别：
1． 有监督学习方法必须要有训练集与测试样本。在训练集中找规律， 而对测试样本使用这种规律； 而非监督学习没有训练集这一说，只有一组数据，在该组数据集内寻 找规律。 2． 有监督学习方法的目的就是识别事物，识别的结果表现在给待识别 数据加上了标号。因此训练样本集必须由带标号的样本组成。 而非监督学习方法只有要分析的数据集本身，预先没有什么标号。如 果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不以与 某种预先的分类标号对上号为目的。 例如上图的道路图像，有监督学习方法的目的是找到“道路”，而非 监督学习方法则只是将中间一条带状区域区分开来，本质上讲与“道 路”这个标号没有关系。
15
• 似然函数：
l (θ) p ( X | θ) p ( x1 , x 2 ,..., x N | θ)
•
p(x
k 1
N
k
| θ)
对数似然函数：
H (θ) ln l ( )
ln
k 1
N
p( x k | θ)
• 最大似然估计
ˆ argmax ln l (θ) θ ML
最大似然估计是把待估的参数看作固定的未 知量，而贝叶斯估计则是把待估的参数作为具 有某种先验分布的随机变量，通过对第 i 类学 习样本 Xi 的观察，使概率密度分布 P(Xi|θ) 转 化为后验概率 P(θ|Xi) ，再求贝叶斯估计。 贝叶斯估计和贝叶斯决策完全可以统一 。 E
选择最佳准则
训练样本集
决策规则： 判别函数 决策面方程
5
§3-1 参数估计与监督学习
一．参数估计与非参数估计
参数估计： 先假定研究问题具有某种数学模型，如正 态分布，二项分布，再用已知类别的学习 样本估计里面的参数。
非参数估计：
不假定数学模型，直接用已知类别的学习 样本先验知识估计数学模型。
6
§3-1 参数估计与监督学习（续1）
1 N 1 1 X k N k 1

即学习样本的算术平均

1 2 2 1 N



k 1
N

Xk

2
样本方差的最大似然估计
23
• 讨论：
1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时 候，二者的差别不大。 B．多维情况：n个特征（学生可以自行推出下式）
1 1 log P( X k | i ) log( 2 2) X k 1 2 2 2
N


2
2
N 1 i log P( X k | ) ( X k 1) 0 k 1 1 k 1 2
N 1 ( X k 1) i log P( X k | ) [ ]0 2 2 2 2 2 k 1 2 k 1 N
最大似然估计量 为下面方程的解：

利用上式求出 的估值 ，即为 ＝
i i


ˆ 才使似然函数 有时上式是多解的, 上图有5个解,只有一个解 最大。 20
对对数似然函数求导，求其极大值有时不一定行得通。例如， 随机变量X服从均匀分布，但参数θ1 ，θ2未知，若对其对数似然 函数求导，则方程组中解出的参数θ1和θ2至少有一个为无穷大， 为无意义结果。需用其它方法求解。（见书本二版50页，三版47页）
9
§3-1 参数估计与监督学习（续4）
3． 非监督学习方法寻找数据集中的规律性，这种规律性并 不一定要达到划分数据集的目的，也就是说不一定要 “分类”。这一点比有监督学习方法的用途要广泛。譬 如分析一堆数据的主分量，或分析数据集有什么特点都 可以归于非监督学习方法的范畴。 4． 用非监督学习方法分析数据集的主分量, 与用K-L变换计 算数据集的主分量又有区别。应该说后者从方法上讲不 是一种学习方法。因此用K-L变换找主分量不属于非监督 学习方法。 通过学习逐渐找到规律性是学习方法的特点。在人工神 经元网络中寻找主分量的方法属于非监督学习方法。
13
估计量评价标准: 无偏性，有效性，一致性
– 无偏性：E(ˆ )=
– 有效性：方差小，即D(ˆ)小，估计更有效
– 一致性：样本数趋于无穷时， ˆ 依概率趋于 ：
N
ˆ ) 0 lim P(
则称 ˆ 是θ的一致估计量。
14
最大似然估计计算方法
• Maximum Likelihood (ML)估计 – 估计参数θ是确定而未知的，Bayes估计方法则视θ为 随机变量。 – 样本集可按类别分开，不同类别密度函数的参数， 分别用各类的样本集来训练。 – 概率密度函数形式已知，参数未知，为了描述概率 密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi,θ)表 示。 • 独立地按概率密度p(x|θ)抽取样本集 X={X1, X2 ,…, XN}，用X 估计未知参数θ
• Bayes决策需要已知两种知识：
– 各类的先验概率P(ωi)
– 各类的条件概率密度函数p(x|ωi)

P(i | x)
p(x | i ) P(i ) p(x | j ) P( j )
j
知识的来源：对问题的一般性认识或一些训练数据 基于样本两步Bayes分类器设计
利用样本集估计p(ωi)和p(x|ωi)
第三章 参数估计与非参数估计
• 参数估计与监督学习 • 参数估计理论 • 非参数估计理论
1
x1
g1
分类器 功能结构
x2
. . .
g2
. . .
ARGMAX
a(x)
xn
gc
基于样本的Bayes分类器：通过估计类条件 概率密度函数，设计相应的判别函数
基于样本直接确定判别函数方法
2
基于样本的Bayes分类器设计
21
代入上式得：
X
1 k 1
N
k
0
k
X
1 k 1
N
Fra Baidu bibliotek
0
所以
1
( X
k 1
N
k
N ) 0
N
1 N

X
k 1
k
这说明未知均值的最大似然估计正好是训练样本的算 术平均。
22
② ∑， μ均未知 A. 一维情况：n=1对于每个学习样本只有一个特征的简单情 2 况： 1 , 2 1 1
12
§3-2 参数估计理论
估计量：样本集的某种函数f(X)， X={X1, X2 ,…, XN}
参数空间：总体分布未知参数θ所有可能取值组成的
集合(Θ)

点估计的估计量和估计值
ˆ d (x , x ,..., x ) 的估计量（点估计） 1 2 N 是样本集的函数，它对样本集的一次 实现称为估计值
X i X k 1
k

N个学习样本出现概率的乘积，将P(Xi|θi)称作相对于样 本集Xi的参数θ的似然函数。 在N个样本独立抽出条件下，上式取对数可写为：
i log P( X | ) log P( X k | i) i k i k 1 k 1 N N
19
1 N i H ( ) ... log P ( X k | i) 0 k 1 i/θi) P(X p N i i log P ( X | )0 k k 1 1 ......... ......... N i logP ( X k | i) 0 k 1 p