ch6。

2
i=1
1 2πσ
2
=(
1 2 2 πσ
)e
− 2 ( xi −µ )2 2σ i=1 n
1
∑
n
{
1 n 2 n 1 n 2 2 ) − 2 ∑( xi − µ ) = − ln2πσ − lnL =nln( ∑( xi − µ ) 2σ i=1 2πσ2 2 2σ 2 i=1 ) 1 n n ∂ln L 1 µ = ∑Xi = X = (xi −µ) = 0 ∑ n i=1 ∂µ σ2 i=1 1n n )2 1 n 2 ∂ln L n 1 2 σ = ∑(Xi −µ) = ∑(Xi − X)2 =− 2 + 4 ∑( xi − µ ) = 0 n i=1 n i=1 2 ∂σ 2σ 2σ
注意 无偏估计若存在，则可能不唯一.
标准二: 标准二 有效性 ˆ ˆ是 ˆ ˆ 设 θ 和 θ2 θ的两个无偏估计,若 D(θ1) < D(θ2) 1
ˆ ˆ 有效 称 θ 比 θ2 更有效 1
标准三: 相合性(一致性) 标准三
ˆ 设统计量 θ是未知参数
n→ ∞
ˆ ˆ 若对任意 ε > 0,limP θ −θ <ε =1或 P θ −θ ≥ε = 0) ( lim
例:设总体X~U(a,b),X1,X2,…,Xn为取自该总体的样本,求a,b 的矩估计量. 解 因为 所以令
E = X, X 1 n 2 E 2 = ∑X ⇔D = B X X 2 n i=1
a+b (b−a)2 EX = ,D = X 2 12
a + b 2 =X (b−a)2 =B 2 12
) ) ) ) ) θ1 ,θ2 为无偏估计量, Dθ1 > Dθ2 ,θ2 更有效.
1 n 例2：验证: S = ： ( Xi − X )2 是总体X方差的 ∑ n −1 i=1 1 n 一个无偏估计; B = (Xi − X)2 不是方差的无偏估计. ∑ 2 n n=1 i n 2 2= ( Xi1 − 2Xi X + X 2 ) 解 ∑( X − X ) B2∑n− S2, 2=DX, i = ES i=1 i=1 n n n n 2 2 2 = ∑Xi − nX 2 = ∑Xi − 2X∑Xi + nX n−1 i=12 故 i= i=1 i=1 EB = ES 2 n n n n 2 2 1 2 2 EX − = E( X 2 ) ES = [ ∑E( Xi ) − nE( X )] n −1 n −1 n −1 =1n−1 D i= X n n = [ D +( EX )2 − D −( EX )2 ] X X n −1 n X B D ]= n [ D − D ] 所以,X −不是DX的无偏估计量.=DX X = [D 2 X n −1 n −1 n
第6章 参数估计
• 点估计法 • 期望与方差的点估计 • 期望、方差的区间估计 期望、
6.1
参 估 数 计 非 数 计 参 估
点估计
点 计 估 区 估 间 计 矩 计 估 最 似 估 大 然 计
估 计
参 估 数 计
衡量估计量好坏的标准: 衡量估计量好坏的标准
标准一: 标准一 无偏性
ˆ ˆ 设θ为θ的一个点估计,若 E(θ ) =θ, ˆ 无偏估计. 则称θ 为θ的一个无偏估计 无偏估计
L( x1 ,x2 ,...,xn ;θ 1,θ2 ,...,θm ) = ∏ ( xi ;θ 1,θ2 ,...,θm ) P
i=1
n
例 X~P(λ),即 P(X = k) =
λk
k!
e
−λ
P X = x) = (
λx
x!
e−λ
P xi ;λ ) = (
λx
i
xi !
n
e
−λ
L( x1 ,x2 ,...,xn ;λ ) = ∏ ( xi ,λ )= ∏ e−λ P i=1 i=1 x ! i
n
λ
xi
lnL= (∑xi )lnλ −ln( d lnL i=1 i = −n = 0 得 λ = X. dλ λ
n
∑x
n
矩估计
X = EX = λ
(2) 基本思想 基本思想:
最大似然估计就是通过样本值 x ,L xn 来求得总体的 , 1
, 分布参数,使得 X1,L Xn 取值为 x ,L xn 的概率最大. , 1
矩估计 X = EX =
1
λ
设总体X为离散型 离散型,P(X=x)=P(x;θ1,θ2,…θm), θi为待 离散型 估参数(i=1,2,…,m),X1,X2,…,Xn为来自该总体的s.r.s,则 P(Xi=xi)=P(xi;θ1,θ2,…θm), (i=1,2,…,m) （X1,X2,…,Xn）的联合概率函数为 (似然函数 似然函数) 似然函数
θ
所以
θ = 2X
ˆ 参数 θ的矩估计量为 θ = 2X
ˆ = E(2X) = 2EX = 2E = 2×θ =θ E θ X 2
无偏估计
例 设总体的概率密度函数为 6x(θ − x) , 0 < x <θ 3 f (x) = θ
0, 其 它
X1, X2 ,L Xn 为取自该总体的样本. ,
要使L取值最大,θ应最小,而 0 ≤ x , x2,..., xn ≤θ 1
, 设总体的分布密度(或概率密度) f ( x;θ1 ,Lθm )
, 其中 θ1,Lθm 是待估参数.
① 写出似然函数(即样本的联合密度函数)
L = L( x1 ,L xn ;θ1 ,Lθm ) = ∏f ( xi ;θ1 ,Lθm ) , , ,
② 写出对数似然函数（对似然函数取对数）
i=1
n
ln L = ∑ ln
i= 1 n
2. 若总体 ξ 是 d.r.v, 其分布列为 P{ξ = x} 则 X1, X2,L Xn的 联 , , 合分布列为
P( X1 = x , X2 = x2,L Xn = xn ) = ∏ { Xi = xi} = ∏ {ξ = xi} , P P 1
i= 1 i= 1 n n
3. 若总体 ξ 是 c.r.v, 其分布密度为 p ( x), 则 X1, X2,L Xn 的联 , ξ 合分布密度为
2
所以,S2为DX的无偏估计量.
6.1
1.矩估计法 矩估计法
点估计
将总体的各阶原点矩用相应阶的样本原点矩替代, 布列方程或方程组, 所得到的解, 作为总体未知参数的 点估计的方法.
, , 例 设总体X ~U(0,θ) X1, X2 ,L Xn为取自该总体的样本,
求未知参数 θ的矩估计量. 解
EX = = X 2
最大似然估计: 最大似然估计
) ) ) 若似然函数 L( x1 ,x2 ,...,xn ;θ 1,θ2 ,...,θm ) 在θ1 ,θ2 ,...,θm ) ) ) 取到最大值,则称 θ1 ,θ2 ,...,θm 分别为 θ 1,θ2 ,...,θm 的
最大似然估计.
(3) 方法与步骤: 方法与步骤:
ˆ 求(1)未知参数 θ 的矩估计量 θ ;(2) D θ). (ˆ
解 (1) X = EX = x
0
θ ˆ 参数 θ的矩估计量为 θ = 2X
3
∫
θ
6x(θ − x)
dx =
θ
2
所以 θ = 2X
X ˆ = D(2X) = 4D = 4× D = 4[EX2 −(EX)2] (2) D θ X n n 4 6 2 θ 2 θ2 θ = [ −( ) ] = n 20 2 5n
得方程组
解得
ˆ ˆ a = X − 3B , b = X + 3B 2 2
综合: 综合 设 ( X1, X2,L, Xn ) 是来自总体 ξ 的一个样本 1. 若总体 ξ 的分布函数为 F ( x), 则 X1, X2,L Xn 的 联合分 , ξ
布函数为
F( x , x2,L xn ) = ∏ ξ ( x ) , F i 1
i=1
1
{
) 注意: σ 2 不是无偏估计.
例:设X服从[0,θ]区间上的均匀分布,参数 θ>0,求θ的最大似然估计. 解 由题意得:
1 X ~ f (x;θ) = θ 0 0 ≤ x ≤θ 其 它
1 L(x1, x2,..., xn;θ) = θn 0
0 ≤ x1, x2,..., xn ≤θ 其 它
dL n = − n+1 = 0 dθ θ
无解.基本方法失效.
应用最大似然估计基本思想: L越大 样本观察值越可能出现 越大,样本观察值越可能出现 越大
ax( θ ≥ m x1, x2,..., xn) 取 θ = m ( x1, x2,..., xn) ax
此时,L取值最大, 所以,最大似然估计为
p( x , x2,L xn ) = ∏p ( x ) , 1 ξ i
1 i= n
2 最大似然估计法 (1) 似然函数 样本的联合密度函数 似然函数(样本的联合密度函数 样本的联合密度函数) 设总体X为连续型，X～f(x;θ1,θ2,…θm), θi为待估 参数(i=1,2,…,m),X1,X2,…,Xn为来自该总体的样本,则 Xi～f(xi;θ1,θ2,…θm), (i=1,2,…,m) （X1,X2,…,Xn）的联合密度函数为 (似然函数 似然函数) 似然函数
n i= 1
L(x1, x2,..., xn;θ 1,θ2,...,θm) = ∏f (xi ;θ 1,θ2,...,θm)
例 X~E(λ),即
λe−λx X ~ f ( x;λ ) = 0
x >0 x ≤0
则
λe−λxi xi > 0 Xi ~ f ( xi ;λ ) = xi ≤ 0 0