数理统计——参数估计

ˆ θ j = θ j (a1,⋯, ak ),
其中
1 n xj aj = ∑ i n i=1
j = 1,⋯, k ,
第2章 参数估计
第22页 22页
例2.1.5 设总体服从指数分布，由于EX=1/λ， 即λ =1/ EX，故λ 的矩法估计为 另外，由于Var(X)=1/λ ，其反函数为 λ = 1/ Var( X ) 因此，从替换原理来看，λ的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的， 这是矩法估计的一个缺点，此时通常应该尽量采 用低阶矩给出未知参数的估计。
第2章 参数估计
2
第10页 10页
将 lnL(µ,σ ) 分别关于两个分量求偏导并令 其为0, 即得到似然方程组
∂ ln L(µ,σ 2 ) 1 n = 2 ∑ ( xi − µ ) = 0 ∂µ σ i =1 ∂ln L(µ,σ 2 ) 1 n n 2 = 4 ∑(xi − µ) − 2 = 0 2 ∂σ 2σ i=1 2σ
第2章 参数估计
第1页
第2章 参数估计
2.1 2.2 2.3 2.4 参数估计的几种方法 估计的评价标准 最小方差无偏估计 区间估计
第2章 参数估计
第2页
• 一般常用θ 表示参数，参数θ 所有可能取值
组成的集合称为参数空间，常用Θ表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
• 参数估计的形式有两种：点估计与区间估计。
第2章 参数估计
第17页 17页
矩估计法
它是基于一种简单的“替换” 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 是英国统计学家 皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
第2章 参数估计
第18页 18页
设X1, X 2 , …, Xn是来自总体X的样本
L(µ,σ 2 ) = ∏
i =1 n
( xi − µ )2 1 exp − 2 2σ 2πσ
2 −n / 2
1 n 2 = (2πσ ) exp − 2 ∑ ( xi − µ ) 2σ i=1 1 n n n 2 2 2 ln L(µ,σ ) = − 2 ∑ ( xi − µ ) − ln σ − ln(2π) 2σ i =1 2 2
第25页 25页
2.2 点估计的评价标准
从前一节可以看到, 对于同一个参数, 从前一节可以看到 对于同一个参数 用不 同的估计方法求出的估计量可能不相同,那么那 同的估计方法求出的估计量可能不相同 那么那 一个估计量好？好坏的标准是什么? 一个估计量好？好坏的标准是什么 下面介绍几个常用标准. 下面介绍几个常用标准
ˆ 标准差σ 的MLE是 σ = s * ； MLE
第2章 参数估计
第16页 16页
3− µ 的MLE是 Φ 3 − x ； 概率 P( X < 3) =Φ s* σ
总体0.90分位数 x0.90= µ +σ u0.90 的MLE 是 x + s * ⋅u0.90 ，其中u0.90为标准正态分布的 0.90分位数。
则称 θˆ 是θ 的极(最)大似然估计，简记为MLE （Maximum Likelihood Estimate）。 人们通常更习惯于由对数似然函数lnL(θ )出发寻 找θ 的极大似然估计。 当L(θ )是可微函数时，求导是求极大似然估计最 常用的方法，对lnL(θ )求导更加简单些。
第2章 参数估计
记总体k阶矩为 记总体 阶矩为 样本k阶矩为 样本 阶矩为
α k = E( X )
k
1 n k Ak = ∑ X i , k = 1, 2, ⋯ ; n i =1
用样本矩来估计总体矩,用样本矩的连续函数 用样本矩来估计总体矩 用样本矩的连续函数 来估计总体矩的连续函数,从而得出参数估计 从而得出参数估计， 来估计总体矩的连续函数 从而得出参数估计， 这种估计法称为矩估计法. 这种估计法称为矩估计法
第2章 参数估计
第12页 12页
虽然求导函数是求极大似然估计最常用的方 法，但并不是在所有场合求导都是有效的。
例2.1.3 设 x1, x2 , …, xn 是来自均匀总体 U(0, θ )的样本，试求θ 的极大似然估计。
第2章 参数估计
第13页 13页
解 似然函数
L(θ ) = 1
θ
n
∏I
i =1
无偏性、 无偏性、有效性 、相合性
第2章 参数估计第26页 2 Nhomakorabea页2.2 点估计的评价标准
2.2.1 相合性
我们知道，点估计是一个统计量，因此它是一个随 机变量，在样本量一定的条件下，我们不可能要求 它完全等同于参数的真实取值。但如果我们有足够 的观测值，根据格里纹科定理，随着样本量的不断 增大，经验分布函数逼近真实分布函数，因此完全 可以要求估计量随着样本量的不断增大而逼近参数 真值，这就是相合性，严格定义如下。
ˆ λ = 1/ x
2
ˆ λ1 = 1/ s
第2章 参数估计
第23页 23页
例2.1.6 x1, x2, …, xn 是来自(a,b)上的均匀分布 U(a,b)的样本，a与b均是未知参数，这里k=2， 由于
a+b EX = , 2 (b − a ) 2 Var( X ) = , 12
不难推出
a = EX − 3Var( X ), b = EX + 3Var( X ),
第2章 参数估计
第20页 20页
例2.1.1 对某型号的20辆汽车记录其每加仑汽油 的行驶里程(km)，观测数据如下：
29.8 27.9 29.1 27.6 28.7 29.8 28.3 28.4 29.6 27.9 27.2 26.9 30.1 29.5 28.7 28.5 29.9 28.0 28.0 30.0
第7页
例2.1.1 设一个试验有三种可能结果，其发生概率 2 2 分别为 p1 = θ , p 2 = 2θ (1 − θ ), p3 = (1 − θ ) 现做了n次试验，观测到三种结果发生的次数分 别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为
L (θ ) = (θ ) [2θ (1 − θ )] [(1 − θ ) ]
经计算有
x = 28.695,
2 sn = 0.9185,
m0.5 = 28.6
由此给出总体均值、方差和中位数的估计分别 为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体 分布，其理论基础是格里纹科定理。
第2章 参数估计
第21页 21页
二、概率函数P 二、概率函数P(x,θ)已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x, θ1, …, θk)， x1, x2 , …, xn 是样本，假定总体的k阶原点矩µk 存在，若θ1, …, θk 能够表示成 µ1, …, µk 的函数 θj = θj(µ1, …,µk)，则可给出诸θj 的矩法估计为
第2章 参数估计
第19页 19页
点估计的几种方法
矩法估计
一、替换原理和矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： ˆ • 用样本均值估计总体均值E(X)，即 E ( X ) = x ； 2 ˆ • 用样本方差估计总体方差Var(X)，即 Var( X ) = sn • 用样本的 p 分位数估计总体的 p 分位数， • 用样本中位数估计总体中位数。
第2章 参数估计
第4页
点估计的几种方法
最大似然法和矩估计法
第2章 参数估计
第5页
极(最)大似然估计
当我们用样本的函数值估计总体参数时， 当我们用样本的函数值估计总体参数时，应使的当参数 取这些值时， 取这些值时，所观测到的样本出现的概率为最大 定义2.1.1 设总体的概率函数为p(x;θ )，Θ是参数θ 可能 取值的参数空间，x1, x2 , …, xn 是样本，将样本的联合 概率函数看成θ 的函数，用L(θ ; x1, x2, …, xn) 表示，简 记为L(θ )，
第28页 28页
相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它 都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不 满足相合性要求的估计一般不予考虑。证明 估计的相合性一般可应用大数定律或直接由 定义来证.
第2章 参数估计
第2章 参数估计
第3页
• 设 x1, x2,…, xn 是来自总体 X 的一个样本，
我们用一个统计量 θˆ = θˆ ( x1 , ⋯ , x n )的取值作 为θ 的估计值， ˆ 称为θ 的点估计（量），简 θ 称估计。在这里如何构造统计量 θˆ 并没有明 确的规定，只要它满足一定的合理性即可。 这就涉及到两个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。
解之，得
θˆ =
θ
−
2 n3 + n 2 1−θ
=0
2n1 + n2 2( n1 + n2 + n3 )
=−
=
2n1 + n2 2n
2n3 + n2 (1 − θ )
2
由于
∂θ
∂ 2 ln L(θ )
2
2n1 + n2
θ
2
−
<0
ˆ 所以 θ 是极大值点。
第2章 参数估计
第9页
例2.1.2 对正态总体N(µ,σ 2)，θ=(µ,σ 2)是二维 参数，设有样本 x1, x2 , …, xn，则似然函数及 其对数分别为
由此即可得到a, b的矩估计：