数理统计——参数估计

第2章 参数估计
第20页 20页
例2.1.1 对某型号的20辆汽车记录其每加仑汽油 的行驶里程(km)，观测数据如下：
29.8 27.9 29.1 27.6 28.7 29.8 28.3 28.4 29.6 27.9 27.2 26.9 30.1 29.5 28.7 28.5 29.9 28.0 28.0 30.0
无偏性、 无偏性、有效性 、相合性
第2章 参数估计
Байду номын сангаас
第26页 26页
2.2 点估计的评价标准
2.2.1 相合性
我们知道，点估计是一个统计量，因此它是一个随 机变量，在样本量一定的条件下，我们不可能要求 它完全等同于参数的真实取值。但如果我们有足够 的观测值，根据格里纹科定理，随着样本量的不断 增大，经验分布函数逼近真实分布函数，因此完全 可以要求估计量随着样本量的不断增大而逼近参数 真值，这就是相合性，严格定义如下。
第2章 参数估计
第19页 19页
点估计的几种方法
矩法估计
一、替换原理和矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： ˆ • 用样本均值估计总体均值E(X)，即 E ( X ) = x ； 2 ˆ • 用样本方差估计总体方差Var(X)，即 Var( X ) = sn • 用样本的 p 分位数估计总体的 p 分位数， • 用样本中位数估计总体中位数。
由此即可得到a, b的矩估计：
ˆ a = x − 3s,
ˆ b = x + 3s
第2章 参数估计
第24页 24页
钓鱼问题：
设湖中有N条鱼，现钓出r条，做上记号后 放回湖中。一段时间后，再钓出s条 （S≥r），结果其中有t条（0≤t≤r）标有记 号。试根据此信息，估计湖中鱼数N的值。
第2章 参数估计
n
{0< xi ≤θ }
=
1
θ
n
I{x
( n ) ≤θ }
要使L(θ )达到最大，首先一点是示性函数取值 n n 应该为1，其次是1/θ 尽可能大。由于1/θ 是θ 的单调减函数，所以θ 的取值应尽可能小，但 示性函数为1决定了θ 不能小于x(n)，由此给出θ 的极大似然估计：ˆ = x( n ) 。 θ
记总体k阶矩为 记总体 阶矩为 样本k阶矩为 样本 阶矩为
α k = E( X )
k
1 n k Ak = ∑ X i , k = 1, 2, ⋯ ; n i =1
用样本矩来估计总体矩,用样本矩的连续函数 用样本矩来估计总体矩 用样本矩的连续函数 来估计总体矩的连续函数,从而得出参数估计 从而得出参数估计， 来估计总体矩的连续函数 从而得出参数估计， 这种估计法称为矩估计法. 这种估计法称为矩估计法
第2章 参数估计
第17页 17页
矩估计法
它是基于一种简单的“替换” 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 是英国统计学家 皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
第2章 参数估计
第18页 18页
设X1, X 2 , …, Xn是来自总体X的样本
ˆ θ j = θ j (a1,⋯, ak ),
其中
1 n xj aj = ∑ i n i=1
j = 1,⋯, k ,
第2章 参数估计
第22页 22页
例2.1.5 设总体服从指数分布，由于EX=1/λ， 即λ =1/ EX，故λ 的矩法估计为 另外，由于Var(X)=1/λ ，其反函数为 λ = 1/ Var( X ) 因此，从替换原理来看，λ的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的， 这是矩法估计的一个缺点，此时通常应该尽量采 用低阶矩给出未知参数的估计。
第2章 参数估计
第27页 27页
ˆ ˆ 定义2.2.1 设θ ∈Θ为未知参数，θn = θn ( x1,⋯, xn ) 是θ 的一个估计量，n 是样本容量，若对任 何一个ε>0，有
ˆ lim n→∞ P(| θ n − θ |> ε ) = 0
ˆ 则称 θ n为θ 参数的相合估计。
(6.2.1)
第2章 参数估计
第7页
例2.1.1 设一个试验有三种可能结果，其发生概率 2 2 分别为 p1 = θ , p 2 = 2θ (1 − θ ), p3 = (1 − θ ) 现做了n次试验，观测到三种结果发生的次数分 别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为
L (θ ) = (θ ) [2θ (1 − θ )] [(1 − θ ) ]
ˆ λ = 1/ x
2
ˆ λ1 = 1/ s
第2章 参数估计
第23页 23页
例2.1.6 x1, x2, …, xn 是来自(a,b)上的均匀分布 U(a,b)的样本，a与b均是未知参数，这里k=2， 由于
a+b EX = , 2 (b − a ) 2 Var( X ) = , 12
不难推出
a = EX − 3Var( X ), b = EX + 3Var( X ),
经计算有
x = 28.695,
2 sn = 0.9185,
m0.5 = 28.6
由此给出总体均值、方差和中位数的估计分别 为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体 分布，其理论基础是格里纹科定理。
第2章 参数估计
第21页 21页
二、概率函数P 二、概率函数P(x,θ)已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x, θ1, …, θk)， x1, x2 , …, xn 是样本，假定总体的k阶原点矩µk 存在，若θ1, …, θk 能够表示成 µ1, …, µk 的函数 θj = θj(µ1, …,µk)，则可给出诸θj 的矩法估计为
第2章 参数估计
第4页
点估计的几种方法
最大似然法和矩估计法
第2章 参数估计
第5页
极(最)大似然估计
当我们用样本的函数值估计总体参数时， 当我们用样本的函数值估计总体参数时，应使的当参数 取这些值时， 取这些值时，所观测到的样本出现的概率为最大 定义2.1.1 设总体的概率函数为p(x;θ )，Θ是参数θ 可能 取值的参数空间，x1, x2 , …, xn 是样本，将样本的联合 概率函数看成θ 的函数，用L(θ ; x1, x2, …, xn) 表示，简 记为L(θ )，
(2.1.9) (2.1.10)
第2章 参数估计
第11页 11页
解此方程组，由(2.1.9)可得µ 的极大似然估计为
1 n ˆ µ = ∑ xi = x n i =1
将之代入(2.1.10)，得出σ 2的极大似然估计
1 n ˆ σ = ∑ ( xi − x )2 = s *2 n i =1
2
利用二阶导函数矩阵的非正定性可以说明上述 估计使得似然函数取极大值。
第2章 参数估计
第14页 14页
极大似然估计有一个简单而有用的性质：如果
ˆ θ 是θ 的极大似然估计，则对任一函数 g(θ )，
其极大似然估计为 g (θˆ)。该性质称为极大似然 估计的不变性，从而使一些复杂结构的参数的 极大似然估计的获得变得容易了。
第2章 参数估计
第15页 15页
例2.1.4 设 x1 , x2 , …, xn是来自正态总体N(µ ,σ 2) ⌢ ⌢ 2 的样本，则µ和σ 2的极大似然估计为 µ = x, σ2 =s*， 于是由不变性可得如下参数的极大似然估计，它 们是:
2 n1 n2 2 n3
=2 θ
n2
2 n1 + n 2
(1 − θ )
2 n3 + n 2
其对数似然函数为
ln L(θ ) = (2n1 + n2 ) ln θ + (2n3 + n2 ) ln(1 − θ ) + n2 ln 2
第2章 参数估计
第8页
将之关于θ 求导，并令其为0得到似然方程
2 n1 + n2
解之，得
θˆ =
θ
−
2 n3 + n 2 1−θ
=0
2n1 + n2 2( n1 + n2 + n3 )
=−
=
2n1 + n2 2n
2n3 + n2 (1 − θ )
2
由于
∂θ
∂ 2 ln L(θ )
2
2n1 + n2
θ
2
−
<0
ˆ 所以 θ 是极大值点。
第2章 参数估计
第9页
例2.1.2 对正态总体N(µ,σ 2)，θ=(µ,σ 2)是二维 参数，设有样本 x1, x2 , …, xn，则似然函数及 其对数分别为
第2章 参数估计
2
第10页 10页
将 lnL(µ,σ ) 分别关于两个分量求偏导并令 其为0, 即得到似然方程组
∂ ln L(µ,σ 2 ) 1 n = 2 ∑ ( xi − µ ) = 0 ∂µ σ i =1 ∂ln L(µ,σ 2 ) 1 n n 2 = 4 ∑(xi − µ) − 2 = 0 2 ∂σ 2σ i=1 2σ
第2章 参数估计
第12页 12页
虽然求导函数是求极大似然估计最常用的方 法，但并不是在所有场合求导都是有效的。
例2.1.3 设 x1, x2 , …, xn 是来自均匀总体 U(0, θ )的样本，试求θ 的极大似然估计。
第2章 参数估计
第13页 13页
解 似然函数
L(θ ) = 1
θ
n
∏I
i =1
第25页 25页
2.2 点估计的评价标准
从前一节可以看到, 对于同一个参数, 从前一节可以看到 对于同一个参数 用不 同的估计方法求出的估计量可能不相同,那么那 同的估计方法求出的估计量可能不相同 那么那 一个估计量好？好坏的标准是什么? 一个估计量好？好坏的标准是什么 下面介绍几个常用标准. 下面介绍几个常用标准
第2章 参数估计
第1页
第2章 参数估计
2.1 2.2 2.3 2.4 参数估计的几种方法 估计的评价标准 最小方差无偏估计 区间估计
第2章 参数估计
第2页
• 一般常用θ 表示参数，参数θ 所有可能取值
组成的集合称为参数空间，常用Θ表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
• 参数估计的形式有两种：点估计与区间估计。
ˆ 标准差σ 的MLE是 σ = s * ； MLE
第2章 参数估计
第16页 16页
3− µ 的MLE是 Φ 3 − x ； 概率 P( X < 3) =Φ s* σ
总体0.90分位数 x0.90= µ +σ u0.90 的MLE 是 x + s * ⋅u0.90 ，其中u0.90为标准正态分布的 0.90分位数。
L(µ,σ 2 ) = ∏
i =1 n
( xi − µ )2 1 exp − 2 2σ 2πσ
2 −n / 2
1 n 2 = (2πσ ) exp − 2 ∑ ( xi − µ ) 2σ i=1 1 n n n 2 2 2 ln L(µ,σ ) = − 2 ∑ ( xi − µ ) − ln σ − ln(2π) 2σ i =1 2 2
第2章 参数估计
第3页
• 设 x1, x2,…, xn 是来自总体 X 的一个样本，
我们用一个统计量 θˆ = θˆ ( x1 , ⋯ , x n )的取值作 为θ 的估计值， ˆ 称为θ 的点估计（量），简 θ 称估计。在这里如何构造统计量 θˆ 并没有明 确的规定，只要它满足一定的合理性即可。 这就涉及到两个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。
则称 θˆ 是θ 的极(最)大似然估计，简记为MLE （Maximum Likelihood Estimate）。 人们通常更习惯于由对数似然函数lnL(θ )出发寻 找θ 的极大似然估计。 当L(θ )是可微函数时，求导是求极大似然估计最 常用的方法，对lnL(θ )求导更加简单些。
第2章 参数估计
第28页 28页
相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它 都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不 满足相合性要求的估计一般不予考虑。证明 估计的相合性一般可应用大数定律或直接由 定义来证.
第2章 参数估计
L (θ ) = L (θ ; x1 ,⋯ , xn ) = p ( x1 ; θ ) ⋅ p ( x2 ; θ ) ⋅⋯ ⋅ p ( xn ; θ )
称为样本的似然函数。
第2章 参数估计
第6页
ˆ ˆ 如果某统计量 θ =θ(x1,⋯, xn ) 满足 L (θˆ ) = m ax L (θ )
θ ∈Θ