概统Ch7

1
n i 1
(
X
i
X
)2
，
ˆ
2
1n
n i1
Xi
X
2
分别是否为μ,σ2的无偏估计.
例 设 X1，…，Xn 是来自总体 N(μ, σ2)的样本，求
ln L
n
n
1n
2 i1
得
(xi ) 0 1 n (x
n i1
i
xi (i 1,
)
1 n
n i 1
xi
, n)
>0
lnL(θ,μ)关于μ单增 , 但 xi (i 1, , n)
所以 ˆ MLE min{x1 , , xn }
ˆMLE
1 n
n i 1
xi
ˆ MLE
求 θ, μ 的矩估计.
解：1 E( X )
xf ( x; , )dx
1 n
A1 n i1 X i X
x
1
e
x
dx
2 E( X 2 )
x2
1
e
x
dx
2
2
2
2
A2
1 n
n i 1
Xi2
ˆ M
1 n
n i 1
Xi2
X2
ˆ M X
1 n
n i 1
Xi2
思路?
iid
例 设X1, , X n ~ N (, 2 ), , 0,
试求
ˆ
M
和
ˆ
2 M
.
及μ2+σ2的矩估计.
例 设总体X的均值为 , 方差为2 , 且
0,
和2均未知.
试求
ˆ M
和
ˆ
2 M
.
例 设总体 X 的密度函数为
f
( x; , )
1
e
x
,
x
0, x
其中 θ>0, θ, μ 均未知, X1, …, Xn 是来自 X 的样本,
X
2
2. 极大似然估计法 理论依据（背景） 单参数情形. X 为离散型 r.v.，其分布律为 P{X=x}=p(x; θ)
或 X 为连续型 r.v.，其密度函数为 f(x; θ) , θ 未知. 设 x1, …, xn 是来自总体 X 的样本观察值，则
L( ) P{X x1 } P{X x2 } P{ X xn }
L(
,
)
n
f (xi;
i 1
1n (
e n i1
, )
xi
1
0
e
)
, xi
x1
1
e
xn
,
xxi 1(i
, 某 ,xix1(i
(i 1, ,n)
1, 1,
, ,
n) n)
ln L(
,
)
nlnθ
1
n
( xi
i 1
)
ln L(
,
)
nlnθ
1
n
( xi
i 1
)
ln L
由样本构造一个适当的统计量 g(X1, … , Xn), 并以 该统计量的观测值g(x1, … , xn)作为θ的估计.
称这种估计方式为点估计. 并称 g(X1, … , Xn)为θ的估计量，g(x1, … , xn)为θ的 估计值.
点估计的经典方法是矩估计法与极大似然估计法.
1. 矩估计法（简称“矩法”）
Ak
1 n
n i 1
Xik
xk
f
( x;1 ,
2 )dx
X 为连续型
矩法思想: 用样本矩Ak 作为总体同阶矩μk 的近似,
得出未知参数的估计(k 由未知参数个数决定). 即
令
1 2
A1 A2
ˆˆ21
ˆ1 ( X1 , ˆ2 ( X1 ,
, ,
Xn) Xn)
解 参 数
θ的矩估计可记为 ˆM .
例
设X 1 ,
,
Xn
iid
~
N (,
2 ),
,
0,
试求
ˆ
L和
ˆ
2 L
.
极大似然估计的性质：
若 (ˆ1, ,ˆm ) 是 (1 , ,m ) 的 极 大 似 然 估 计 , η
= g(1, ,m ) 存 在 单 值 反 函 数 , 则 g(ˆ1, ,ˆm ) 是
g(1, ,m ) 的极大似然估计.
参数的矩估计，一般无此传递性质.
例
设 X1 ,L
,
Xn
iid
~
P(
),
0,
求
P{X=0}的极
大似然估计.
例 设总体 X 的密度函数为
f
( x; , )
1
e
x
,
x
Leabharlann Baidu, x
其中 θ>0, θ, μ 均未知, X1, …, Xn 是来自 X 的样本, 求 θ, μ 的极大似然估计.
解： 设x1, …, xn是来自总体X的样本，作
极大似然估计法：作似然函数，求极值点.
若似然函数可导, 且能由导数等于零解出未知参
数, 则可由下列方程（组）
[L(1 , ,m )] 0, 或 [ln L(1 , ,m )] 0
j
j
解出似然估计 ˆj L ˆj L( X1, , Xn )
由似然方程解不出θj 的似然估计时，可通过单
调性或放大缩小的方法直接推求。
X 为离散型 r.v., 分布律 P{X=x}= p(x; θ1, θ2)
或 X 为连续型 r.v., 密度函数 f(x; θ1, θ2), θ1, θ2 未知.
设 X1，…，Xn 是来自总体 X 的样本，则
k E(X k ) xk p(x;1, 2 ) X 为离散型
或
k E(X k )
p( x1; ) p( x2; ) p( xn ; )
或 L( ) f ( x1; ) f ( x2; ) f ( xn; )Δx1Δx2 …Δxn
未知的θ不论如何变化, 均应使L(θ)达最大值。
极大似然估计法思想：固定(已知) x1, …, xn, 选择 θ
使 L(θ)达最大值，最大值点ˆ 即为 θ 的极大似然估计.
§7.2 估计量的评选标准
估计量的特性: 1. 无偏性
设ˆ ˆ( X1 , , X n )为 的估计量, 若E(ˆ) , 则称
ˆ 是 的无偏估计量.
无偏性要求：ˆ 的理论平均值等于待估参数θ.
例 设总体为X，其均值μ, 方差σ2＞0都存在未
知，问μ的估计量 X, σ2的估计量
S2
n
1
极大似然估计法一般情形
iid
设样本观察值 x1 , , xn ~ F ( x;1 ,2 , ,m ), 称
n
L(1 ,2 , ,m ) F ( xi ;1 ,2 , ,m )
i 1
为该总体的似然函数.
定义 若有ˆ j ( j 1, , m), 使得
L(ˆ1 ,ˆ2 , ,ˆm ) max L(1 , 2 , , m ), 则称ˆ j为 j的极大似然估计. 记为ˆ j MLE或ˆ j L .
第七章 参数估计
引言 有这样一类问题: 如,需知一批灯泡寿命所服从
分布的均值.抽样测量后,需由数据得出所需均值. 对于这类参数的估计问题，数理统计采用的方
法叫“参数估计”. 未知参数的常见估计方式，统计中类似估计方
式及相关问题.(途径及评价).
§7.1 点估计
总体未知参数的点估计
设总体X 服从某种分布F(x;θ), X1, … , Xn 是来自X 的一个样本. F(x;θ)表示分布律或密度函数.