概率论第五章

解 似然函数
L(θ ) =
1
θ
n
,
x(n) ≤ θ
n
要使L(θ)达到最大，即1/θ 尽可能大，所以 θ的取值应尽可能小，但θ不能小于x(n)，由此 ) 给出θ的极大似然估计：
ˆ θ = x( n )
28 July 2011
华东师范大学
第五章 参数估计
第33页 33页
5.3.3
MLE的不变性 MLE的不变性
1 2
一个统计量 θ = θ ( x1 , L , xn ) 的取值作为θ的估 ) 计值，θ 称为θ的点估计（量），简称估计。 ) 在这里如何构造统计量θ 并没有明确的规定， 只要它满足一定的合理性即可。这就涉及到 二个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。
第五章 参数估计
第25页 25页Βιβλιοθήκη Baidu
§5.3 极大似然估计
5.3.1 极大似然估计的基本思想： 口袋中有黑、白两种球， 从中任取一只， 发现是白球， 则可以认为：
口袋中白球比黑球多
28 July 2011
华东师范大学
第五章 参数估计
第26页 26页
5.3.2
求极大似然估计的方法
设总体含有待估参数 θ ， 得到样本观测值 x1, x2,…, xn
第23页 23页
矩估计一般都具有相合性。比如： 样本均值是总体均值的相合估计； 样本标准差是总体标准差的相合估计； 样本变异系数是总体变异系数的相合估计。
28 July 2011
华东师范大学
第五章 参数估计
第24页 24页
§5.2 习题
1， 1， 2， 4,
P295
7
28 July 2011
华东师范大学
28 July 2011
华东师范大学
第五章 参数估计
第22页 22页
相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它 都不能把被估参数估计到任意指定的精度, 那末这个估计是很值得怀疑的。 样本容量越大,估计应当越精确
28 July 2011
华东师范大学
第五章 参数估计
i =1 n i =1 n
(2) 连续场合：L(θ; x1, x2 , ..., xn ) = ∏ p( xi ) 称以上 L 的为似然函数。 注意：(1) L 是 θ 的函数， x1, x2,…, xn 固定。 (2) θ 可以是多维的 。 ˆ θMLE (3) 下面任务是求 L的极大点
28 July 2011
代替µ1 ，ν2 ，得α,λ的矩估计为
28 July 2011
华东师范大学
第五章 参数估计
第10页 10页
§5.1 习题
1， 1， 4, 5
P286
28 July 2011
华东师范大学
第五章 参数估计
第11页 11页
§5.2 点估计优劣的评价标准
对同一个未知参数，采用不同的方法找到的 点估计可能不同。那么，自然要问：究竟是 用哪一个更“好”些呢? 这里介绍点估计的 评价标准. 如Poisson（ λ ）分布均值，方差均为λ，
第五章 参数估计
第1页
第五章 参数估计
数理统计的主要任务之一是依据样本推断总体. 推断的基本内容包括两个方面: 一是依据样本寻找总体未知参数的近似值和近似 范围，这是第五章的内容。 二是依据样本对总体未知参数的某种假设作出真 伪判断，这是第六章的内容（假设检验）。
28 July 2011
华东师范大学
第8页
例 x1 , x2 , …, xn是来自(a,b)上的均匀分布U(a,b) 的样本，a与b均是未知参数，这里k=2，由于
a+b (b − a)2 EX = , Var ( X ) = , 2 12
不难推出
a = EX − 3Var ( X ), b = EX + 3Var ( X ),
由此即可得到a, b的矩估计：
ˆ ˆ 则找一个 θ =θ( X1, X2, L Xn ) ,
使得x1, x2,…, xn出现的可能性最大。
28 July 2011
华东师范大学
第五章 参数估计
第27页 27页
极大似然估计的关键点
x1, x2,…, xn出现的可能性： (1) 离散场合：L(θ; x1, x2 , ..., xn ) = ∏P( Xi = xi )
28 July 2011
k2 = 2/3
华东师范大学
第五章 参数估计
第19页 19页
均方误差
28 July 2011
华东师范大学
第五章 参数估计
第20页 20页
相合性
点估计是一个统计量，因此它是一个随机变量， 我们不可能要求它完全等同于参数的真实取值。 但我们可以要求估计量随着样本量的不断增大 而逼近参数真值，这就是相合性，严格定义如下。
28 July 2011
华东师范大学
第五章 参数估计
第18页 18页
课堂练习
ˆ ˆ 设 θ1, θ2 是参数θ 的两个独立的无偏估计，
ˆ ˆ 且 Var θ1 = 2Var θ2 , 找出常数 k1, k2，使得
ˆ ˆ ˆ θ = k1θ1 +k2θ2 也是θ 的无偏估计，
( )
( )
并使它在所有这种形状的估计中的方差最小. k1= 1/3,
ˆ a = x − 3s,
ˆ b = x + 3s
28 July 2011
华东师范大学
第五章 参数估计
第9页
例 x1 , x2 , …, xn 来自Г( α ,λ)，求α，λ的矩估 计。 解：由 µ1=E(X)= α/λ, ν2=Var(X)= α/λ2 解得α＝µ12 /ν2 用
，λ＝
µ1/ν2 ，
ˆ 设 θMLE是θ 的极大似然估计， g(θ ) 是连续函数
ˆ 则g(θMLE) 是 g(θ ) 的极大似然估计。
28 July 2011
华东师范大学
第五章 参数估计
第34页 34页
例 设 x1 , x2 , …, xn是来自正态总体N(µ ,σ 2) ) ) 2 的样本，则µ和σ 2的极大似然估计为 µ = x, σ2 = sn， 于是由不变性可得如下参数的极大似然估计，它 们是: 标准差σ 的MLE是
ˆ σ = sn
28 July 2011
华东师范大学
第五章 参数估计
第35页 35页
3− µ 3− x 概率P( X < 3) =Φ 的MLE是Φ ； σ s
1 n k 用样本矩 Ak = ∑Xi , n i=1
k
ˆ 代替母体矩 µk = E( X ) = g (θ )
k
即 A = µk = gk (θ ) k 从中解出θ .
华东师范大学
28 July 2011
第五章 参数估计
第6页
注 意 点 (1)
若估计一个未知参数 θ ，则解方程
∑X n
i =1
1
28 July 2011
华东师范大学
第五章 参数估计
第21页 21页
定义 设θ∈Θ为未知参数， θˆn = θˆn (x1,L, xn ) 是θ的一个估计量，n是样本容量，若对任何 一个ε>0，有
ˆ lim n→∞ P(| θ n − θ |> ε ) = 0
ˆ 则称 θ n 为θ参数的相合估计。
数据的平均估计总体均值要比只使用部分数据 更有效。
28 July 2011
华东师范大学
第五章 参数估计
第17页 17页
例 设 X1, X2, X3 为来自总体 X 的样本， E(X) = µ， Var(X) = σ2， 下列统计量哪个更有效.
ˆ = 1X +1X +1X , θ1 4 1 2 2 4 3 ˆ = 1 X +1 X +1 X , θ2 3 1 3 2 3 3 ˆ = 1X +3X +1X θ3 1 2 3 5 5 5
28 July 2011
华东师范大学
第五章 参数估计
第15页 15页
有效性
定义 设 θˆ1 ,θˆ2 是θ的两个无偏估计，如果 对任意的θ∈Θ，有 ˆ ˆ Var (θ ) ≤ Var (θ ),
1 2
且有某个θ∈Θ使得上述不等号严格成立， ˆ 则称 比 θˆ1有效。 θ2
28 July 2011
(1) (2)
28 July 2011
华东师范大学
第五章 参数估计
第30页 30页
解此方程组，可由(1)得µ的极大似然估计为
1 n ˆ µ = ∑ xi = x n i =1
将之代入 (2)给出σ 2的极大似然估计
1 n 2 ˆ σ = ∑ ( xi − x )2 = sn n i =1
2
利用二阶导函数矩阵的非正定性可以说明上述 估计使得似然函数取极大值。
华东师范大学
第五章 参数估计
第28页 28页
例 对正态总体N(µ,σ 2)，θ=(µ,σ 2)是二维参数，
设有样本x1 , x2 , …, xn，则似然函数及其对数分 别为
( xi − µ )2 1 L(µ,σ 2 ) = ∏{ exp{− }} 2 2σ 2πσ i =1 1 n = (2πσ 2 )−n / 2 exp{− 2 ∑ ( xi − µ )2 } 2σ i =1 1 n n n 2 2 2 ln L(µ,σ ) = − 2 ∑ ( xi − µ ) − ln σ − ln(2π ) 2σ i =1 2 2
n
28 July 2011
华东师范大学
第五章 参数估计
第29页 29页
将lnL(µ,σ 2)分别关于二个分量求偏导并令 其为0, 即得到似然方程组
∂ ln L(µ,σ 2 ) 1 n = 2 ∑ ( xi − µ ) = 0 ∂µ σ i =1 ∂ln L(µ,σ 2 ) 1 n n 2 = 4 ∑(xi − µ) − 2 = 0 2 ∂σ 2σ i=1 2σ
华东师范大学
第五章 参数估计
第16页 16页
例 设x1 , x2 , …, xn是取自某总体的样本，记总体均 ˆ ˆ x 值为µ ，总体方差为σ 2，则 µ1 = x1, µ2 = , 都是µ 的无偏估计，但
ˆ ˆ Var ( µ1 ) = σ 2 , Var ( µ2 ) = σ 2 / n ˆ ˆ 显然，只要n>1， µ2 比 µ1 有效。这表明，用全部
28 July 2011
华东师范大学
第五章 参数估计
第31页 31页
虽然求导函数是求极大似然估计最常用的方 法，但并不是在所有场合求导都是有效的。
例 设 x1 , x2 , …, xn是来自均匀总体
U(0,θ)的样本，试求θ的极大似然估计。
28 July 2011
华东师范大学
第五章 参数估计
第32页 32页
设 θˆ = θˆ( x1,L, xn )是θ的一个估计，若
ˆ E (θ ) = θ
ˆ 则称 θ 是θ的无偏估计，否则称为有偏估计。
28 July 2011
华东师范大学
第五章 参数估计
第14页 14页
注意点
X 是 E(X) 的无偏估计
S2 是 Var(X) 的无偏估计
Sn2 不是 Var(X) 的无偏估计
n
i
= A = µ1 = E( X ) = g1(θ ) 1
若估计两个未知参数 θ1, θ2，则解方程组
1 n 1 n ∑Xi = A = µ1 = E( X ) = g1(θ1,θ2 ) i=1 n 1 ∑X 2 = A = µ = E( X 2 ) = g (θ ,θ ) 2 2 2 1 2 n i=1 i
28 July 2011
华东师范大学
第五章 参数估计
第7页
注 意 点 (2)
矩法估计也可以用样本中心矩 1 n Bk = ∑( Xi − X )k , n i=1 代替母体中心矩 νk = E( X − E( X ))k
即从 Bk =νk 中解出θ .
28 July 2011
华东师范大学
第五章 参数估计
第五章 参数估计
第2页
• 一般常用θ表示参数，参数θ所有可能取值
组成的集合称为参数空间，常用Θ表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
• 参数估计的形式有两种：点估计与区间估计。
28 July 2011
华东师范大学
第五章 参数估计
第3页
• 设x ,x , …, xn是来自总体的一个样本，我们用
那么样本均值，样本方差均为矩估计, 那个好？
28 July 2011
华东师范大学
第五章 参数估计
第12页 12页
1、无偏性 （从期望的角度） 2、有效性（从方差的角度） 3、均方误差准则 （角度） 4、相合性（大样本的角度）
28 July 2011
华东师范大学
第五章 参数估计
第13页 13页
无偏性
28 July 2011
)
)
华东师范大学
第五章 参数估计
第4页
一、点估计 §5.1 矩法估计 §5.2 点估计优劣的评价标准 §5.3 极大似然估计 二、区间估计 §5.4 区间估计 §5.5 单侧置信限
28 July 2011
华东师范大学
第五章 参数估计
第5页
§5.1
矩法估计
矩法估计的基本思想：