参数估计与置信区间
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6/28/2008 BESIII 暑期讲习班 8
最大似然估计量
ˆ 使 L( ) 最大的 值，解方程 定义最大似然估计量 L( ) 0 i 1, ..., m i
ˆ , ..., ˆ。 通常可以找到对于m 个参数的解 1 m
有时候 L( ) 可以有好几个极大值 取最大值
数据
给定含有参数 的理论预言分布，对数据能下何种结论？
D( x )
数据
T ( x; )
理论Βιβλιοθήκη Baidu
统计分析 需要一个步骤来从数据 D 中估计参数
最常用的步骤是“拟 合”。
6/28/2008 BESIII 暑期讲习班 4
什么是估计量？
一个估计量对应于这样一个步骤，它能从实际数据测量值中 对一个参数或一个分布的属性给出定量的结果
最大似然估计量的唯一性
考虑 的最大似然估计值是下列方程的解
log L( ) 0
因为
选用等价参数 h( )
log L( ) 0 h
log L( ) log L( ) h h h 因此，只要 0, 就有 log L( ) log L( ) 0 h( ) ˆ ˆ
质量、寿命（宽度）、分支比、自旋、宇称… 高斯 布莱-魏格纳 指数（时间） 布莱-魏格纳（宽度） 角动量守恒 J=L+S 球谐函数或 d 函数 （角分布） 克莱布施 – 戈丹系数 衰变或散射振幅
6/28/2008 BESIII 暑期讲习班 3
参数估计
T ( x; )
理论
概率 微积分
D( x )
1 ˆ ( x) 平均值估计量： N 1 ˆ 方差估计量：V ( x ) N
统计=所研究数据的函数
x
i i
i
(x
i
ˆ)
2
估计量=用来估计pdf某些属性的统计 ˆ 记号： 的估计值为 ˆ ) 估计=估计量的观测值(通常记为 obs
6/28/2008 BESIII 暑期讲习班 5
i 1 n
如果假设(包括 的取值)为真
可以预料会使观测结果具有高的概率。
如果假设的 取值远离真值
会使观测结果具有低的概率。
6/28/2008 BESIII 暑期讲习班 7
似然函数
根据参数好坏与概率大小的关系，可以认为真实的 应使得下式定义的似然函数
L( ) f ( xi , )
i 1 n
注意： 虽然 L( ) f 样本 ( x; ),
但是L( )只是 的函数。这 是因为在实验完成以后，x
有大的数值。 就可以被当做常数的缘故。 在经典统计理论里，L( )并不是 的概率密度函数。
ˆ 却是。 不是一个随机变量，但 在贝叶斯统计理论里，把L( ) L( x | )看作给定 情况下， x 的概率密度函数， 然后利用贝叶斯定理得到验后概率密 度函数 p( | x )。
如何评判一个参数估计量的好坏？
1. 符合程度(一致性)
ˆ , Lim
n n
ˆ | ) 0, 对任何 >0都成立。 Lim P (|
2. 偏置大小(无偏性)
ˆ] 0 b E[
3. 方差大小(有效性)
ˆ] V [ n ˆ '，都有 Lim 对任何估计量 1， ˆ' ] n V [ ˆ 渐进效佳估计量。 则
ˆ] 一种较简单的方法是计算 E[
ˆ ( t1 , ..., t n )] ... ˆ( t ) f joint ( t ; ) dt1 ... dt n E[ 1 n 1 t1 / 1 tn / ... t i e ... e dt1 ...dt n n i 1 1 n 1 ti / 1 t j / t i e dt i e dt j n i 1 ji 1 n n i 1 ˆ 是 的一个无偏估计量。 因此，
6/28/2008 BESIII 暑期讲习班 12
6/28/2008
因此，h 的最大似然 估计值与参数选取无 关，具有唯一性。
ˆ h( ˆ) h
10
BESIII 暑期讲习班
指数概率密度函数的参数估计
考虑指数概率密度函数
f ( t ; )
1
e
t /
设有数据样本 t1,…,tn。为方便起见采用对数形式 (对同样的参数值，该定义不改变最大值的位置)。
6/28/2008 BESIII 暑期讲习班 6
参数估计与概率大小的关系
考虑有服从 pdf 分布 f ( x; )的数据样本 x ( x1,..., xn )。
目标：估计 , 或者更为一般地，估计 (1 ,...,m )
如果 f ( x; ) 为真，则有
P(对所有在[ xi , xi dxi ]观察到的xi ) f ( xi , )dxi
1 ti log L( ) log f (ti ; ) log i 1 i 1
n n
log L ˆ 令 0，并求解，
6/28/2008
1 ti n i 1
n
是平均寿命的 最大似然估计
11
BESIII 暑期讲习班
指数型最大似然估计是无偏的
参数估计与拟合
陈少敏 清华大学 工程物理系
6/28/2008
BESIII 暑期讲习班
1
主要内容
参数估计 最大似然法 最小二乘法 矩方法 MINUIT的使用
6/28/2008 03/08/2018
BESIII 暑期讲习班
2
粒子物理实验研究的目的
粒子物理实验的一个重要目的是确定粒子的属性
注意，1）方法利用了所有信息，与如何划分数据分布区间无关； 2）定义的最大似然估计量并不保证它们总是最优的。
需要对诸如无偏性，有效性等问题进行研究 大样本情况下，最大似然法大都能给出了期待的好结果。
小样本的情况，虽然不总是最优，但也能给出最好的实用解。
6/28/2008 BESIII 暑期讲习班 9
最大似然估计量
ˆ 使 L( ) 最大的 值，解方程 定义最大似然估计量 L( ) 0 i 1, ..., m i
ˆ , ..., ˆ。 通常可以找到对于m 个参数的解 1 m
有时候 L( ) 可以有好几个极大值 取最大值
数据
给定含有参数 的理论预言分布，对数据能下何种结论？
D( x )
数据
T ( x; )
理论Βιβλιοθήκη Baidu
统计分析 需要一个步骤来从数据 D 中估计参数
最常用的步骤是“拟 合”。
6/28/2008 BESIII 暑期讲习班 4
什么是估计量？
一个估计量对应于这样一个步骤，它能从实际数据测量值中 对一个参数或一个分布的属性给出定量的结果
最大似然估计量的唯一性
考虑 的最大似然估计值是下列方程的解
log L( ) 0
因为
选用等价参数 h( )
log L( ) 0 h
log L( ) log L( ) h h h 因此，只要 0, 就有 log L( ) log L( ) 0 h( ) ˆ ˆ
质量、寿命（宽度）、分支比、自旋、宇称… 高斯 布莱-魏格纳 指数（时间） 布莱-魏格纳（宽度） 角动量守恒 J=L+S 球谐函数或 d 函数 （角分布） 克莱布施 – 戈丹系数 衰变或散射振幅
6/28/2008 BESIII 暑期讲习班 3
参数估计
T ( x; )
理论
概率 微积分
D( x )
1 ˆ ( x) 平均值估计量： N 1 ˆ 方差估计量：V ( x ) N
统计=所研究数据的函数
x
i i
i
(x
i
ˆ)
2
估计量=用来估计pdf某些属性的统计 ˆ 记号： 的估计值为 ˆ ) 估计=估计量的观测值(通常记为 obs
6/28/2008 BESIII 暑期讲习班 5
i 1 n
如果假设(包括 的取值)为真
可以预料会使观测结果具有高的概率。
如果假设的 取值远离真值
会使观测结果具有低的概率。
6/28/2008 BESIII 暑期讲习班 7
似然函数
根据参数好坏与概率大小的关系，可以认为真实的 应使得下式定义的似然函数
L( ) f ( xi , )
i 1 n
注意： 虽然 L( ) f 样本 ( x; ),
但是L( )只是 的函数。这 是因为在实验完成以后，x
有大的数值。 就可以被当做常数的缘故。 在经典统计理论里，L( )并不是 的概率密度函数。
ˆ 却是。 不是一个随机变量，但 在贝叶斯统计理论里，把L( ) L( x | )看作给定 情况下， x 的概率密度函数， 然后利用贝叶斯定理得到验后概率密 度函数 p( | x )。
如何评判一个参数估计量的好坏？
1. 符合程度(一致性)
ˆ , Lim
n n
ˆ | ) 0, 对任何 >0都成立。 Lim P (|
2. 偏置大小(无偏性)
ˆ] 0 b E[
3. 方差大小(有效性)
ˆ] V [ n ˆ '，都有 Lim 对任何估计量 1， ˆ' ] n V [ ˆ 渐进效佳估计量。 则
ˆ] 一种较简单的方法是计算 E[
ˆ ( t1 , ..., t n )] ... ˆ( t ) f joint ( t ; ) dt1 ... dt n E[ 1 n 1 t1 / 1 tn / ... t i e ... e dt1 ...dt n n i 1 1 n 1 ti / 1 t j / t i e dt i e dt j n i 1 ji 1 n n i 1 ˆ 是 的一个无偏估计量。 因此，
6/28/2008 BESIII 暑期讲习班 12
6/28/2008
因此，h 的最大似然 估计值与参数选取无 关，具有唯一性。
ˆ h( ˆ) h
10
BESIII 暑期讲习班
指数概率密度函数的参数估计
考虑指数概率密度函数
f ( t ; )
1
e
t /
设有数据样本 t1,…,tn。为方便起见采用对数形式 (对同样的参数值，该定义不改变最大值的位置)。
6/28/2008 BESIII 暑期讲习班 6
参数估计与概率大小的关系
考虑有服从 pdf 分布 f ( x; )的数据样本 x ( x1,..., xn )。
目标：估计 , 或者更为一般地，估计 (1 ,...,m )
如果 f ( x; ) 为真，则有
P(对所有在[ xi , xi dxi ]观察到的xi ) f ( xi , )dxi
1 ti log L( ) log f (ti ; ) log i 1 i 1
n n
log L ˆ 令 0，并求解，
6/28/2008
1 ti n i 1
n
是平均寿命的 最大似然估计
11
BESIII 暑期讲习班
指数型最大似然估计是无偏的
参数估计与拟合
陈少敏 清华大学 工程物理系
6/28/2008
BESIII 暑期讲习班
1
主要内容
参数估计 最大似然法 最小二乘法 矩方法 MINUIT的使用
6/28/2008 03/08/2018
BESIII 暑期讲习班
2
粒子物理实验研究的目的
粒子物理实验的一个重要目的是确定粒子的属性
注意，1）方法利用了所有信息，与如何划分数据分布区间无关； 2）定义的最大似然估计量并不保证它们总是最优的。
需要对诸如无偏性，有效性等问题进行研究 大样本情况下，最大似然法大都能给出了期待的好结果。
小样本的情况，虽然不总是最优，但也能给出最好的实用解。
6/28/2008 BESIII 暑期讲习班 9