概率论与数理统计第六章

Baidu Nhomakorabeai =1
n
1
1
n
, a ≤ xi ≤ b, i = 1, 2, ∂ ln(a, b) n =− ≠ 0. 无 法 求 ∂b b−a
ln L(a, b) = − n ln(b − a ),
∂ ln(a, b) n = ≠ 0, ∂a b−a
ˆ. ˆ ,b 出估计 a
97
* 设 x1 = min( x1 , x2 ,
总体 X 的分布律为 p ( x, λ ) = P { X = x} =
λx
x!
e − λ , x = 1, 2,
设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，似然函数
L(λ ) = ∏ P( X = xi ) = ∏
i =1 i =1
n
n
λx
i
xi !
e− λ = e− nλ ∏
, X n ,其观测值为 x1 , x 2 ,
n
, x n ，则这批观测值发生的概
L( p ) = p ( X 1 = x1 , X 2 = x 2 ,
n
, X n = x n ) = ∏ p ( X i = xi )
i =1
n
n n − ∑ xi ∑ xi = ∏ p xi (1 − p )1− xi = p i =1 (1 − p ) i =1 i =1
当 x1 , x 2 ,
, x n 已知时， L ( p ) 仅是 p 的函数，既然一次抽样观测到 x1 , x 2 ,
, x n ，此时应认
为试验条件对该组样本的出现有利，即该组样本出现的概率最大，从而可求出当 p =？时
L ( p ) 达到最大，此时把求出的 p =？做为参数 p 的估计就得到 p 的最大似然估计，问题转
99 100
P（取出白球
乙箱） =
1 100
据最大似然原理，则认为该球是从甲箱取出的。 例 6.5 产品分为合格品和不合格品两类，用随机变量 X 表示某个产品是否合格， X = 0 表 示合格品， X = 1 表示不合格品，从而 X ~ B (1, p ) ，其中 p 未知是不合格品率，现抽取 n 个产品看是否合格，得到样本 X 1 , 率为：
n
2
⎧ ∂ ln L( μ , σ 2 ) 1 n 1 n ⎧ ˆ = − = ( x μ ) 0 = μ ∑ ∑ xi − x i ⎪ ⎪ ∂μ σ 2 i =1 n i =1 ⎪ ⎪ 解得 ⎨ ⎨ 2 n 1 n 2 2 ⎪ ∂ ln L( μ , σ ) = − n + 1 ⎪ ˆ ( xi − x ) 2 = σ ( xi − μ ) = 0 ∑ 2 2 4 ∑ ⎪ ⎪ n i =1 ∂σ 2σ 2σ i =1 ⎩ ⎩
, x n 为来自总体 X 的样本，称样本的联合概率函数为似然函数，用
L(θ ; x1 ,
, x n ) 表示，简记为 L (θ ) ，即
L (θ ) = L(θ ; x1 , , x n ) = ∏ p ( xi , θ )
i =1 n
ˆ =θ ˆ( x , x , 如果统计量 θ 1 2
, xn ) 满足
, xn ),
* xn = max( x1 , x2 ,
, xn ), 则
* * * a 的取值范围 a ≤ x1* ， b 的取值范围 b ≥ xn 时，有 . 当 a = x1 , b = xn
ˆ= ∴λ
1 1 = 也为 λ 的矩估计。因 2 S S
此矩估计不唯一，此时，尽量采用低阶矩给出未知参数的估计。 例 6.2 设总体 X ~ U [ a, b] ， x1 , x 2 , 解 ∵ X ~ U [a, b],∴ EX =
, x n 为样本，求 a, b 的矩估计。
a+b (b − a) 2 , DX = 2 12
ˆ =X。 似然估计量为 λ
θ = ( μ , σ ) 是二维参数, X 1 , X 2 , 例 6.7 对正态总体 N ( μ , σ ) ，
2 2
2 , X n 为其样本， 求 μ ,σ
的最大似然估计。 解 设 ( x1 , x2 ,
, xn ) 为样本 ( X 1 , X 2 ,
n − 1 e 2πσ ( xi − μ ) 2 2σ
当 L (θ ) 是可微函数时，L (θ ) 的极大值点一定是驻点， 从而求最大似然估计往往借助于 求下列似然方程（组）
∂ ln L(θ ) =0 ∂θ
的解得到，而后利用最大值点的条件验证求出的是最大值点。
例 6.6 量。 解
( X1, X 2 ,
, X n ) 是来自总体 X ∼ P (λ ) 的样本，λ > 0 未知，求 λ 的最大似然估计
ˆ ， ，θ ˆ。 从中解出方程组的解θ 1 k ˆ ， ，θ ˆ 分别作为θ ， ，θ 的估计量，这种求估计量的方法称为矩估计法。 用θ 1 k 1 k
这种估计量称为矩估计量；矩估计量的观察值称为矩估计值。 注： 矩法估计适用于总体分布形式未知场合，因此只要知道总体相应的矩即可，而不必知 道其具体分布。 3、例子 例 6.1 设总体为指数分布，其密度函数为 p ( x; λ ) = λe
ˆ) = max L(θ ) L(θ
θ ∈Θ
ˆ =θ ˆ( x , x , 则称 θ 1 2
, xn ) 是 θ 的最大似然估计，简记为 MLE。
因此对数似然函数 ln L (θ ) 达到最大与似然函数 L (θ ) 达到 注: 由于 ln x 是 x 的单调增函数， 最大是等价的。
3、求最大似然估计的两种方法 (1)似然方程法
a+b ⎧ EX = ⎪ ⎧ ⎪ a = EX − 3DX ⎪ 2 ，得 ⎨ ， 由⎨ 2 − ( b a ) b EX 3 DX = + ⎪ ⎪ DX = ⎩ ⎪ ⎩ 12
94
所以 a , b 的矩估计为 ⎨ 例 6.3
⎧ ˆ = x − 3s ⎪a ˆ ⎪ ⎩b = x + 3s
设总体 X 的均值为 μ ，方差为 σ 2 ，均未知。 ( X 1 ,
− λx
, x > 0 ， x1 , x 2 ,
, x n 为样本，
λ > 0 为未知参数，求 λ 的矩估计。
解 ∵ X ~ Exp (λ ),∴ EX =
1
λ
，∴ λ =
1 ˆ = 1 为 λ 的矩估计。 ，∴ λ EX x
注： ∵ X ~ Exp (λ ),∴ DX =
1
λ
2
，∴ λ =
1 DX
础. 2、矩估计法的步骤
设X 为离散型随机变量，其分布列为P{ X = x} = P( x;θ1 , X 为连续型随机变量，其概率密度为p( x;θ1 ,
93
,θ k ),
,θ k ),
其中θ1 ,
, θ k 是待估参数, X 1 ,
, X n为来自X 的样本。
(1) 计算总体分布的 l 阶原点矩
二、教学内容
本章主要分点估计及区间估计 2 节来讲述。 0.引言 数理统计的基本问题是根据样本来推断总体的分布，即统计推断。统计推断的主要内容 包括参数估计和统计假设检验， 它们构成数理统计的核心部分。 本章主要介绍参数估计的方 法及评价估计量好坏的标准，并着重讨论求点估计的经典方法以及正态总体参数的区间估 计。
i =1
n
λx
i
xi !
, 对数似然函数
96
ln L (λ ) = − nλ + ∑ [ xi ln λ − ln( xi !) ] ，
i =1
n
n d 1 n ˆ=1 x (ln L (λ )) = 0, − n + ∑ xi = 0, λ ∑ i λ i =1 dλ n i =1
d2 1 n n ˆ = x 是 λ 的最大似然估计值， λ 的最大 λ = − ⋅ x = − < 0 ，所以 λ (ln L ( )) 2 2 ∑ i λ dλ x i =1 ˆ=x λ
第六章 参数估计
一、教材说明
本章内容包括参数估计中基本的概念、参数估计的两种方法及评价估计量的三个标准。 它们是参数估计最基本的内容,是以后学习参数估计其他内容的基础。 1、 教学目的与教学要求 (1) 使学生了解参数估计中最基本的点估计及相关概念; (2) 使学生掌握矩估计及最大似然估计的方法; (3) 使学生掌握评价估计量优劣的三个标准; (4) 使学生了解矩估计、最大似然估计的原理。 2、 本章的重点 本章重点是求未知参数的矩估计与最大似然估计的方法以及如何对求出的估计量的优 良性进行评价.
所以 μ , σ 的最大似然估计量分别为
2
ˆ = X, μ
ˆ2 = σ
1 n ( X i − X )2 . ∑ n i =1
(2)定义法
虽然求导函数是求最大似然估计量最常用的方法，但并不是所有场合求导都是有效的。 例 6.8 设 X ∼ U [ a, b ], a , b 未知， ( X 1 , X 2 , 然估计。
EX l = μl (θ1 ,
(2)列方程
, θ k ), l = 1, 2,
, k ，(计算到 k 阶矩为止，k 个参数)；
1 n ⎧ μ θ θ θ E X X = = = ( , , , ) ( ) ∑Xj 1 1 2 k ⎪ n j =1 ⎪ ⎪ 1 n 2 2 2 ⎪ μ2 (θ1 , θ 2 , ,θ k ) = E ( X ) = X = ∑ X j n j =1 ⎨ ⎪ ⎪ ⎪ 1 n k k k μ θ θ θ E X X Xj = = = ( , , , ) ( ) ∑ k ⎪ k 1 2 n = 1 j ⎩
2
, X n ) 的一个观察值，则似然函数为
2 − n 2
L( μ , σ ) = ∏
2 i =1
= (2πσ )
⋅e
−
1 2σ 2
∑ ( xi − μ )2
i =1
n
n n 1 ln L( μ , σ 2 ) = − ln 2π − ln σ 2 − 2 2 2 2σ
∑ (x − μ)
i =1 i
, X n ) 是总体 X 的一个样本，
求 μ 和 σ 2 的矩估计。 解：令
1 n ⎧ ( ) = = E X μ ∑ xi ⎪ n i =1 ⎪ ⎨ n ⎪ E ( X 2 ) = D ( X ) + ( EX ) 2 = σ 2 + μ 2 = 1 X i2 ∑ ⎪ n i =1 ⎩
解得矩法估计量为
§6.1 点估计
一、点估计 设总体X 的分布函数F ( x;θ )的形式为已知，θ 是待估参数。X 1 本，x1 xn 是相应的样本值。 点估计问题： X n 是X 的一个样
构造一个适当的统计量θ ( X 1 , ˆ( X , 我们称θ 1
二、 矩估计法
ˆ( x , , X n )，用它的观察值θ 1
ˆ= μ
1 n 1 n 1 n 1 n ˆ 2 = ∑ X i2 − μ 2 = ∑ X i2 − X 2 = ∑ ( X i − X ) 2 = S 2 。 Xi = X ；σ ∑ n i =1 n i =1 n i =1 n i =1
三、最大似然估计 1、最大似然原理
直观想法是:一个试验有若干个可能的结果 A，B，C， … ，若在一次试验中结果 A 出 现，则一般认为试验条件对结果 A 出现有利，也即 A 出现的概率最大。 例 6.4 设有外形完全相同的两个箱子， 甲箱有 99 个白球和一个黑球， 乙箱有 99 个黑球和一 个白球， 今随机抽取一箱， 并从中随机抽取一球， 如果取出白球， 问这球是从哪一箱取出的？ 解 从甲乙两箱均可取出白球，但计算得 P（取出白球 甲箱） =
, xn )来估计未知参数θ。
ˆ( x , , X n )为θ的点估计量；称θ 1
, xn )为θ的点估计值。
英国统计学家皮尔逊(K.pearson)提出 1、矩估计法的基本思想
用样本的各阶原点矩去估计对应的各阶总体的原点矩， 这就是矩估计的基本 思想。 1 n P 注：由辛钦大数定律知：当 n 充分大时， ∑ X ik ⎯⎯ → EX k . 这为矩估计法提供了理论基 n i =1
95
化为求 L ( p ) 的最大值点。 如果总体为连续型的，求未知参数的最大似然估计仍可转化为求 L ( p ) 的最大值点问 题。为此给出似然函数与最大似然估计的定义。
2、似然函数与最大似然估计
定义 6.1 设总体 X 的概率函数为 p ( x; θ ), θ ∈ Θ 是一个未知参数或几个未知参数组成 的参数向量, x1 , x 2 ,
, X n ) 是总体 X 的一个样本，求 a, b 的最大似
解
⎧ 1 ⎪ X 的密度函数为 p ( x) = ⎨ b − a ⎪ ⎩ 0
a≤ x≤b 其它
， 设 ( x1 , x2 ,
, xn ) 为样本 ( X 1 , X 2 ,
, Xn)
的一个观察值，则似然函数 L ( a, b) =
∏ b − a = (b − a)