概率与统计课件 第十章 点估计

L (θ ) = ∏ p ( xi；θ )
n
； 的分布密度(或分布律 或分布律)为 设总体 X的分布密度 或分布律 为 p ( x；θ ) ，
ˆ ˆ ˆ ˆ 处达到最大， ˆ ˆ ˆ 在θ = θ1 ,θ 2 ,L,θ m 处达到最大，则称 θ1 ,θ 2 ,L,θ m
的最大似然估计量. 分别为θ1 ,θ 2 ,L,θ m的最大似然估计量
1 n
∑
n
解得
i =1
X i2 = σ
2
+ µ2
µ = X ˆ 2 1 n σ = ∑ X i2 − X ˆ n i =1
2
2 = Sn
例6
的均匀分布, 设总体 X 服从区间上 [θ 1 ,θ 2 ]的均匀分布
的矩估计量. 求参数 θ1 ,θ 2 的矩估计量 解
L 的一个样本， 设 X 1，X 2， ，X n是总体 X 的一个样本，
2 m
(4)最后得到最大似然估计量 最后得到最大似然估计量 ˆ ˆ θ = θ ( X ， X ， ，X ) L
i i 1 2 m
2L ( i = 1，， ，m )
【关于极值】
• 必要条件 • 充分条件
例10
解
µ，σ 2的最大 设总体 X ~ N µ ,σ ，求参数
2
(
)
似然估计量 .
L 的样本， 设( X 1， X 2， ， X n )是总体 X的样本，
2
=−
n 2σ
2
+
1 2σ
4
∑ ( xi − µ )
i =1
n
2
=0
解似然方程得
1 n ˆ µ = ∑ xi = x， n i =1
1 n 2 2 2 ˆ σ = ∑ ( xi − x ) = S n n i =1
2 ˆ = X ,σ 2 = Sn . ˆ 最大似然估计量为µ
例11
解
的点估计问题的思路是: 解决上述参数 θ 的点估计问题的思路是 设法
ˆ ˆ 构造一个合适的统计量 θ = θ ( X1 , X 2 ,L, X n ) , 对 θ
作出合理的估计 .
ˆ ˆ L 在数理统计中称统计量θ = θ ( X 1， X 2， ，X n )
ˆ ˆ 为 θ 的估计量 θ 的观测值 θ = θ ( x1 , x2 ,L, xn ) 称为 的估计量, ˆ
容易求得
θ1 + θ 2 E(X ) = 2 2 D X = (θ 2 − θ1 ) ( ) 12
故令
θ +θ2 X = 1 2 2 S 2 = (θ 2 − θ 1 ) n 12
解得 θ 1 和 θ 2 的矩估计量为
ˆ θ1 = X − 3 Sn
求最大似然估计量的一般步骤为： 求最大似然估计量的一般步骤为： (1)求似然函数 L(θ ) ； 求似然函数
∂ ln L (θ ) ∂θ i
i i 1
(2)求出ln L (θ )及似然方程 求出
θ =θˆ
=0
2L ( i = 1，， ，m )
(3)解似然方程得到最大似然估计值 解似然方程得到最大似然估计值 ˆ ˆ 2， L θ = θ ( x ，x ， ，x ) ( i = 1， L，m )
【例】设总体有均值µ以及方差σ 2，今有6个随机样本的观察数据为： −1.20, 0.82, 0.12, 0.45, −0.85, −0.30 求µ，σ 2的矩估计。
L 解 设 X1，X 2， ，X n是总体 X 的一个样本， 的一个样本， 由于 E( X ) = µ E ( X 2 ) = D( X ) + ( EX ) = σ 2 + µ 2 故令 X = µ
例3
考虑某厂生产的一批电子元件的寿命这个
总体 X ；不知道 X 的分布形式 ，根据样本值
L ( x1，x2， ，xn ) 估计元件的平均寿命和元件寿命
的差异程度,即估计总体 X 的均值 E ( X )和方差 D ( X ). 的差异程度 即估计总体
点估计问题
• 估计的自助程序 • 估计量的唯一性问题
； L 设总体 X 的分布函数为F ( x；θ1，θ 2， ，θ m ),
L (θ1，θ 2， ，θ m ) 是 m 个待估计的未知参数 .
设
µm = E ( X m ) 存在，对任意 k , 存在，
2L ( k = 1，， ，m )
µk = E X = ∫
k
( )
+∞ k x f −∞
L L ( x；θ1，θ2， ，θm ) dx = µk (θ1，θ2， ，θm )
n 1 ∑ ( x − µ )2 − i 2 e 2σ i =1
n n 1 n 2 2 ln L (θ ) = − ln ( 2π ) − ln σ − 2 ∑ ( xi − µ ) 2 2 2σ i =1
n ∂ ln L (θ ) 1 = 2 ∑ ( xi − µ ) = 0 ∂µ σ i =1
∂ ln L (θ ) ∂σ
θ 的估计值 .
点估计常用方法：矩估计和最大似然估计法 点估计常用方法：呼唤次
数这个总体 X 服从泊松分布 P ( λ ) , 即 X 的分布律
P { X = k} =
λk
k!
e
−λ
1 L ， ( k = 0，2， )
L 的形式已知 . 利用样本值 ( x1，x2， ，xn ) 估计
第十章 点估计
第一节 点估计问题 第二节 估计方法 第三节 点估计的优良性
第一节 点估计问题
•X 总体分布 f ( x, θ ) • (θ ∈ Θ 【参数空间】 ) •统计模型 f ( x1 ,θ ) × ... × f ( xn ,θ ) (θ ∈ Θ )
【例】某种同型号产品N个，其合格品率θ未知，对该批产品 1 作质量检验，从中随机抽取n件(n N).当第次抽取到的产品 i 为合格时，记Xi =1,反之记Xi = 0(i =1,..., n).则X1,..., Xn是样本。 总体分布为二点分布B(1,θ ),参数空间Θ= (0.1)，求统计模型。
既然在一次试验中得到的样本值 ( x1 , x2 ,..., xn )， 那么样本取该样本值的概率应较大， 那么样本取该样本值的概率应较大，所以选取使 这似然函数 L(θ ) 达到最大的参数值作为估计值 ， 称为最大似然估计法. 称为最大似然估计法
定义
其中θ = (θ1 ,θ 2, ...,θ m )为未知参数 . 又设 x1 , x2 ,..., xn 的一个样本值， 是总体 X 的一个样本值，如果似然函数
现用样本矩作为总体矩的估计， 现用样本矩作为总体矩的估计，即令
1 n k ∑ X i = µk θˆ1 ,θˆ2 ,...θˆm n i =1
(
)
( k = 1,2,L, m )
ˆ ˆ L ˆ 个方程组, 这样得到含 m 个参数θ1，θ 2， ，θ m的m个方程组
解该方程组得
ˆ ˆ θ k = θ k ( X1 , X 2 ,L, X n ) (k = 1,2,L, m )
n
为 ∏ p ( xi；θ ),当给定样本值 当给定样本值
i =1 n
L ( x1，x2， ，xn )后，
的函数， 它只是参数 θ 的函数，记为 L (θ ) ，即
L (θ ) = ∏ p ( xi；θ )
为似然函数， 则称 L(θ ) 为似然函数，似然函数实质上是样本的 分布律或分布密度. 分布律或分布密度
【解】：该问题的模型是： 1 1 exp − 2σ 2 2πσ
n
其中参数θ = ( µ，σ 2 )，参数空间Θ = 估计对象是θ中的一个分量µ。
∑ ( X i − µ ) ,θ ∈ Θ i =1
n 2
{( µ，σ ) µ ∈ R，σ
2
2
>0
}
【例4(例3续)】要在该地区中学生中挑选省排球队队员，标准是其 身高必须高于1.90米。问题是估计中选率η .
n n i =1 i =1
设总体 X 的分布律为 P {X = x} = p( x;θ ). ( x1 , x2 ,L, xn ) 是样本的一个观测值 则样本( X 1， X 2， ， X n ) L 是样本的一个观测值,
= ∏ P { X = xi } = ∏ p ( xi；θ ) = L (θ )
估计方法
• 矩估计法 • 极大似然估计法
矩估计法
矩估计法是由英国统计学家 皮尔逊(K.Pearson)在1894年提出 在 年提出. 皮尔逊 年提出 矩估计法的基本思想是用样本的 k 阶原点矩 1 n k mk = ∑ X i 去估计总体 X 的 k 阶原点矩 E ( X k ); n i =1 1 n 用样本的 k 阶中心矩 Bk = ∑ ( X − X )k 去估计总体 n i =1 的k阶中心矩 E[ X − E ( X )]k ; 阶中心矩 并由此得到未知参数的估计量 .
以θˆk作为参数θ k 的估计量 这种求出估计量的方法 的估计量. 称为矩估计法 . 【特点】不需要假定总体分布有明确的分布类型. 特点】不需要假定总体分布有明确的分布类型
【例】设有一批同型号灯管，其寿命(单位：h)服从参数为λ 的指数分布，今随机抽取其中的11只，测得其寿命数据如下： 110，184，145，122，165，143，78，129，62，130，168. 求参数λ的估计值。
(
)
i =1 =1
由于
ln L (θ ) = ∑ ln p ( xi；θ )
n i =1
ln L (θ ) 与 L (θ ) 有相同的最大值点 .因此，ˆ 为 因此， 因此 θ
最大似然估计的必要条件为
∂ ln L (θ ) ∂θ i