概率论与数理统计(浙大版)第七章第八章课件

( (
) )
(
(
)
)
例1：设总体X 的均值µ 和方差σ 2都存在，且σ 2 > 0，µ , σ 2均未知，
( X 1 , X 2 ,⋯ , X n ) 是取自X 的一个样本，试求µ , σ 2的矩估计。
解：先求总体矩：
µ1 = E ( X ) , µ 2 = E ( X 2 ) = D ( X ) + E 2 ( X ) = µ 2 + σ 2
再求样本矩：
A1 = 1 ∑ X i = X , A2 = 1 ∑ X i2 n i =1 n i =1
n n
µ1 = A1 令 ⇒ µ 2 = A2
ˆ µ = X 2 1 n σ = ∑ ( X i − X )2 ˆ n i =1
例2：设总体X 的密度为： θ x θ −1 0 ≤ x ≤ 1 f ( x) = θ > 0为未知参数， 其他 0 ⋯ ( X 1 , X 2， , X n ) 为取自X 的样本，求θ的矩估计。
P ( X = x ) = p( x , θ ), θ未知
样本 ( X 1 , X 2 , ⋯ , X n ) 取到观测值 ( x1 , x2 , ⋯ , xn ) 事件A 事件
P ( A ) = P ( X 1 = x1 , X 2 = x 2 , ⋯ , X n = x n )
独立
P ( X 1 = x1 ) P ( X 2 = x2 ) ⋯ P ( X n = xn )
P ( A) = L(θ ), 随θ变而变, A已经发生，由极大 已经发生， 已经发生
似然原理， 达到最大， 似然原理， L(θ ) 达到最大，所以 θ 的最合理
ˆ 应满足： ˆ 估计值 θ 应满足： (θ )为最大值 L
定义 对给定的样本值 x1 , x2 , ⋯ , xn ，若
θˆ ( x1 , x2 , ⋯ , xn )满足
回忆： 回忆： (1) f ( x ) > 0, ln[ f ( x )] 单调性相同，从而最大值 单调性相同，从而最大值 点相同. 点相同
( 2) L(θ ) = ∏ p( xi ;θ ) n项连乘 求导麻烦 项连乘, 项连乘
i =1 n
ln[ L(θ )] n项相加，求导简单 项相加，
从而， 从而，
Gauss
Fisher
极大似然原理： 极大似然原理：一个随机试验有若干个可能结 发生， 果A,B,C,…。若在一次试验中，结果 发生， 。若在一次试验中，结果A发生 则一般认为试验条件对A最有利， 则一般认为试验条件对 最有利，即A发生的 最有利 发生的 概率 P ( A / θ ) 最大 条件 99 红 1 , 乙 如, 甲 1 黑 99
对来自总体的样本 ( X1 , X2 ,⋯, Xn ) ， 其观测值 为
( x1 , x2 ,⋯, xn ) ，作为与总体X同分布且相互 作为与总体X同分布且相互
f ( x1, x2 ,⋯, xn ) = f X1 ( x1 ) f X2 ( x2 )⋯ f Xn ( xn )
独立的n维随机变量，样本的联合概率密度为 独立的 维随机变量，样本的联合概率密度为: 维随机变量
= f ( x1,θ ) ⋅ f ( x2 ,θ )⋯ f ( xn ,θ ) = ∏ f ( xi ,θ )
i =1
n
于是， 于是，样本 ( X1, X2 ,⋯, Xn ) 落入点 ( x1, x2 ,⋯, xn ) 邻域内的概率为 ∏ f ( xi ,θ )∆xi ，由极大似然原
n i =1
ˆ 理，最合理的 θ 的估计值 θ 应该是使
( x − µ )2 −
§1 参数的点估计
对每一个未知参数θ i ( i = 1, 2,⋯ , k )，构造出一 称为θ 的估计量。 点估计的问题就是根据样本 ( X 1 , X 2 ,⋯ , X n )，
ɵ 个统计量θˆi = θ i ( X 1 , X 2 ,⋯ , X n )，作为参数θ i的估计，
设总体X的分布律为 的分布律为： 例1 : 设总体 的分布律为：
X pk 0 1-p 1 p
0<p<1, p未知 , 求参数 的极大似然估计量 未知 求参数p 的极大似然估计量. 总体X的分布律为 解:总体 的分布律为： 总体 的分布律为：
P { X = x } = p (1 − p )
x
1− x
矩估计法： 矩估计法：
设总体X 的分布函数为F ( x;θ1 , θ 2 ,⋯ , θ k ) , (θ1 , θ 2 ,⋯ , θ k ) 是待 v = 1, 2,⋯ , k , 对于样本X = ( X 1 , X 2 ,⋯ , X n ) , v = 1, 2,⋯ , k
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
红 , 任取1箱从中任取1球, 黑
已知取到红球 , 问最有可能从何箱取 ?
P (红球/甲) = 0.99
P (红球/乙) = 0.01
自然， 自然，认为从甲箱取更合理
又如，兔龟赛跑，得第一名的最有可能是谁？ 又如，兔龟赛跑，得第一名的最有可能是谁？ 极大似然估计法： 极大似然估计法： 离散型， （1）X---离散型，已知 X的分布 ） 离散型 的分布
L(θ1 , ⋯, θ k ) = ∐ f ( xi ;θ1 , ⋯ , θ k )
i =1 n
解方程 ∂ ln L ∂θ = 0 1 ⋯⋯⋯ ∂ ln L =0 ∂θ k
ˆ ˆ 得到θ1 , ⋯ , θ k
例3: X ~ N(µ,σ 2 ), 其中 ,σ > 0未知, µ 给定一组样本 ( X 1 , X 2 , ⋯ , X n ) , 求 的极大似然估计量． 的极大似然估计量． 解
1 n ˆ p = ∑ Xi n i =1
说明：p的极大似然估计值为： 的极大似然估计值为： 说明： 的极大似然估计值为
1n ˆ p= ∑ x i n i=1
是来自总体X的一个样本 例2: 设(X1,X2,…Xn )是来自总体 的一个样本 是来自总体 的一个样本,
θ xθ −1, 0 < x < 1 , 其中 > 0未知 , X ~ f ( x;θ ) = θ 其它 0,
的极大似然估计量． 求θ的极大似然估计量． 的极大似然估计量 的似然函数为： 解： θ的似然函数为： 的似然函数为
L(θ ) = ∏ f ( Xi ;θ ) = ∏θ Xiθ −1(0 < Xi < 1)
i =1 i =1
n
n
= θ n ( X1 X2 ⋯Xn )θ −1 1 ≤ i ≤ n
取对数
ln L(θ ) = nlnθ + (θ − 1)∑ln Xi
对数似然函数
ln[ 求的L(θ ) 最大值点就转为求 L(θ )]的最大值点 方法二： 方法二： d ln[ L(θ )] ˆ 解方程 = 0, 得到θ dθ
（2）连续型总体似然函数的求法 ） 为连续型总体， 设X为连续型总体，其概率密度为： 为连续型总体 其概率密度为：
f ( x;θ ) 其中 θ 未知
ln L ( p ) = ( ∑ x i ) ln p + ( n − ∑ x i ) ln( 1 − p )
i =1 i =1
n d 1 n 1 ln L( p) = ∑ xi − ( n − ∑ xi ) = 0 dp p i =1 1− p i =1
n
n
解得p的极大似然估计量为： 解得 的极大似然估计量为： 的极大似然估计量为
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
i =1
n
求导并令其为0 求导并令其为
d ln L(θ ) n n = + ∑ln Xi = 0 dθ θ i =1
从中解得
θ = −n
∧
∑ln X
i =1
n
i
即为θ的极大似然估计量 的极大似然估计量。 , θ 即为 的极大似然估计量。
∧
推广： 推广：X ~ f ( x;θ1 , ⋯ , θ k ), θ1 , ⋯ , θ k未知
∏ f ( x ,θ )∆x
i= i =1 i
n
i
达到最大， 达到最大，由于∆xi 是不依赖于θ
的增量，所以我们只需求使 的增量， 似然函数 L(θ ) = ∏ f ( xi ,θ ) 达到最大
i =1 n
ˆ 的步骤： 求 θ 的步骤：
(1) 写出 L(θ ) ( 2) 取对数 ln L(θ ) d ln[ L(θ )] ˆ ( 3) 解方程 = 0, 得到θ dθ
∏ p( x ,θ )
i =1 i
n
的函数，称为似然函数 似然函数， 是参数 θ 的函数，称为似然函数，记做 L(θ ).
即 L(θ ) = ∏ p( xi ;θ )
i =1
n
改 p( x , θ ) i 结构： 项连乘， 结构：n 项连乘，总体分布 p( x , θ )
i = 1, 2, ⋯, n
, x = 0 ,1 .
是来自总体X的样本 设(X1,X2,…,Xn)是来自总体 的样本。 是来自总体 的样本。
似然函数为： 似然函数为：
L( p) = ∏ P( Xi , p) =
i =1
n n
n
∏p
i =1
n
Xi
(1 − p )
1− X i
n−∑Xi ∑Xi = pi=1 (1 − p) i=1
i
点估计有两种方法： 矩估计法和极大似然估计法
一. 矩估计法 矩思想: 矩思想 利用样本矩作为相应总体矩的估计量
1 n k ∵ ∑ Xi n i =1
估计
E X k (n → ∞)
( )
矩估计法: 总体X ~ f ( x;θ1 , ⋯, θ k ), θ1 , ⋯ , θ k未知, 矩估计法
(一 )
L(θˆ ) = max L(θ )
θ
ˆ 称 : θ ( x1 , x2 , ⋯ , xn )为θ的极大似然估计值 θˆ ( X , X , ⋯, X )为θ的极大似然估计量
1 2 n
ˆ 如何求 θ ？即求 L(θ ) 的最大值点问题
方法一: 方法一 若 L(θ ) 为可导函数 dL(θ ) 解方程 = 0, dθ ˆ ˆ 得到θ = θ ( X 1 , X 2 ,⋯ , X n )
解：E ( X ) = ∫
+∞ −∞
xf ( x ) dx = ∫0 θ x θ dx =
1
θ +1
2
θ
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
Fra Baidu bibliotek
二、 极大似然估计法 极大似然估计法是在总体的分布类型已知的 极大似然估计法是在总体的分布类型已知的 总体的分布类型已知 条件下所使用的一种参数估计方法. 条件下所使用的一种参数估计方法 它首先是由德国数学家 高斯在 高斯在1821年提出的 . 年提出的 然而， 然而，这个方法常归功于 英国统计学家费歇 英国统计学家费歇 . 费歇在1922年重新发现了这一方法， 费歇在 年重新发现了这一方法， 年重新发现了这一方法 并首先研究了这种方法的一些性质 .
Xi与X 同分布 与
P ( X = x1 ) P ( X = x2 ) ⋯ P ( X = xn )
= p( x1 , θ ) p( x2 , θ ) ⋯ p( xn , θ ) = ∏ p ( xi , θ )
对给定的样本值( x1 , x 2 ,..., x n ), 对给定的样本值
i =1 n
第七章 参数估计
关键词： 矩估计法 极大似然估计法 置信区间 置信度
﹜点估计 ﹜区间估计
问题的提出：
参数估计是统计推断的基本问题之一，实际工作中碰到的总体X , 它的分布类型往往是知道的，只是不知道其中的某些参数， 例如：产品的质量指标X 服从正态分布，其概率密度为： 1 e 2σ 2 − ∞ < x < +∞ 2πσ 但参数µ , σ 2的值未知，要求估计µ , σ 2，有时还希望以一定的可靠性来 估计µ 值是在某个范围内或者不低于某个数。 参数估计问题就是要求通过样本估计总体分布所包含的未知参数的值。 参数估计的两种方法：点估计法和区间估计法 f ( x; µ , σ 2 ) =