1矩估计和极大似然估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
13/22
例3：设总体X的均值为，方差为2，求 和 2 的矩估计。
解：由
E(X) , 2 2 2 E(X ) .
^ X, 即 ^ n 2 1 2 2 X i X . n i 1
14/22
即
ˆ X, ˆ2 1 n 2 (Xi X ) . n i 1
总体 k 阶原点矩 ak E ( X ), 1 n k 样本 k 阶原点距 Ak X i , n i 1
k
总体 k 阶中心矩 bk E（ [ X EX）],
k
1 n k 样本 k 阶中心距 Bk （X i X） , n i 1
矩估计就是用相应的样本矩去估计总体矩。
29/22
xi
n
n
xi
i 1
n
,
对数似然函数为：
ln L( p) xi ln( p) (n xi ) ln(1 p),
i 1 i 1
n
n
对 p 求导，并令其等于零，得
n d ln L( p) 1 n 1 xi (n xi ) 0. dp p i 1 1 p i 1 nx
1
1 . 2 9/22
由矩法，令
样本矩
1 X 2
2 X 1 ˆ 1 X
总体矩
解得
为α 的矩估计。
注意：要在参数上边加上“^”， 表示ຫໍສະໝຸດ Baidu数的估计。它是统计量。
10/22
例2：设 X1,X2,„Xn 是取自总体 X 的简单样本, X 有概率密度函数
1 ( x ) e , x , f ( x) 其他 . 0, 其中 , 为未知参数， 0 。求 , 的矩估计。
n
根据极大似然思想, 值应是在中使P(A) 达到最 大的那一个 ,也就是使 样本联合分布律 n f ( xi , 最大 . )
L( ) f ( xi ; ),
i 1
i 1
i 1
n
, L( )称为样本似然函数.
最大似然估计法
得到样本值x1 , x2 ,, xn时, 选取使似然函数 L( )
ˆ 作为未知参数 的估计值, 取得最大值的 ˆ ) max L( x1 , x2 ,, xn ; ). 即 L( x1 , x2 ,, xn ;
( 其中 是 可能的取值范围 )
ˆ 与样本值 x1 , x2 ,, xn有关, 记为 这样得到的 ˆ ( x1 , x2 ,, xn ), 参数 的最大似然估计值 ,
故，均值,方差2的矩估计为
ˆ X, 即 n 1 2 1 n 2 2 S . ˆ （ X X ) i n n i 1
15/22
如：正态总体N( , 2) 中 和2的矩估计为
ˆ X, ˆ2 1 n 2 （ X X ) . i n i 1
解: 先求总体的均值和 2 阶原点矩。
E ( X ) x e( x ) d x
1
y 0 (θ y )e d y
θ . 11/22
令y=(x-μ )/θ
E ( X ) x e
2
2
1
( x )
dx
令y=(x-μ )/θ
8/22
例1：设总体 X 的概率密度为
( 1) x , 0 x 1, f ( x) 其他 . 0, 其中 α 1 为未知参数。求 的矩估计。
解：先求总体的期望
E ( X ) 0 x ( 1) x d x
1
( 1) 0 x 1 d x
17/22
步骤二：算出样本的 m 阶原点矩 1 n m Am X i , m 1,2,, k . n i 1 步骤三：令 a1 (1 , 2 ,, k ) A1 , a ( , ,, ) A , 2 1 2 k 2 (1) aL (1 , 2 ,, k ) AL . 得到关于 1,2,„,k 的方程组(L≥k)。 一般要求方程组(1)中有 k 个独立方程。
依样本对参数θ 做出估计，或估计参数 θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。 参数估计包括：点估计和区间估计。
4/22
为估计参数 µ ，需要构造适当的统计量 T( X1, X2 , „ , Xn )， 一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为 µ的估计， 称该计算 值为 µ的一个点估计。
16/22
设总体 X 的分布函数中含 k 个未知参数
1 , 2 , k .
步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am , m =1,2,„,k. 一般地, am (m =1, 2, „, K) 是总体分布 故, 中参数或参数向量 (1, 2, „, k) 的函数。 am (m=1, 2, „, k) 应记成: am(1,2,…,k), m =1, 2, „, k.
28/22
解 从这批手机电池中任意取一块，定义X， 当电池在保修期内失效时X=1，否则X=0，则 X~B(1, p)，X1, X2, „, Xn是取自总体 的一个 样本。 似然函数为
L( p) f ( xi , p) p (1 p)
xi i 1 i 1 n 1 xi
n
p i1 (1 p)
0 (θ y ) e d y
2 y
0 (θ y 2 y )e d y
2 2 2 y
2θ 2
2 2
θ (θ ) ,
2 2
12/22
X , n 1 令 2 2 2 ( ) X i . n i 1
上式等价于
x 1 x . p 1 p
30/22
x 1 x . p 1 p
解上述方程，得 p x .
ˆ 换成 p
换成 n X
ˆ X 为 p 的极大似然估计量。 得p
3 (2)根据样本信息，n=2000, X =0.0015 2000 p 的极大似然估计值为0.0015。
31/22
18/22
步骤四：解方程组(1), 并记其解为
ˆ ˆ ( X , X ,, X )，m 1,2,, k . m m 1 2 n
ˆ ( ˆ , ˆ ,, ˆ ) 就是 ( , ,, ) 则 1 2 k 1 2 k 的矩估计。
这种参数估计法称为参数的矩估计法， 简称矩法。
ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
假定现在我们观测到一组样本 X1, X2, „, Xn，要去估计未知参数θ 。 一种直观的想法是：哪个参数(多个参数 时是哪组参数) 使得现在的出现的可能性 (概 率) 最大，哪个参数(或哪组参数)就作为参数 的估计。 这就是 极大似然估计原理。如果
33/22
若θ 是向量，上述似然方程需用似然方程组 ln L(1 , 2 ,, k ) 0 , 1 ln L(1 , 2 ,, k ) 0, 2
5/22
寻求估计量的方法 1. 矩估计法
2. 极大似然法
3. 最小二乘法
4. 贝叶斯方法 „
我们仅介绍前面的两种参数估计法 。
6/22
一、 矩估计
矩估计是基于“替换”思想建立起来的 最早由英国统计学家 K. 一种参数估计方法 。 皮尔逊 提出。
其思想是: 用同阶、同类 的样本矩来估计总体矩。
7/22
统计推断的过程
总体
样 本
样本统计量
例如：样本均 值、比例、方 差
1/22
参数估计的方法
估 计 方 法
点
估
计
区间估计
矩估计法 顺序统计量法 最大似然法 最小二乘法
2/22
参数的点估计
1. 矩法估计
2. 极大似然估计
3/22
参数估计问题的一般提法
设总体 X 的分布函数为 F( x, θ )，其中θ 为未知参数或参数向量，现从该总体中抽样, 得到样本 X1, X2 , „ , Xn .
22/22
二、 极大似然估计
极大似然估计法是在总体的分布类型已 知前提下，使用的一种参数估计法 。 该方法首先由德国数学家高斯于 1821年 提出，其后英国统计学家费歇于 1922年发现 了这一方法，研究了方法的一些性质，并给 出了求参数极大似然估计一般方法——极大 似然估计原理 。
23/22
(1) 设总体 X 属离散型
1.设总体X为离散型随机变量，它的分布律为
P{X x} f ( x, )
现有样本观察值x1,x2,…xn,,其中xk取值于{ak,k=1,2…} 问：根据极大似然思想，如何用x1,x2,…xn估计
记 A {X1 x1,..., X n xn }
则 P( A) P{ X1 x1 ,..., X n xn } f ( xi , )
20/22
得
a b 2 X, (b a ) 2 ˆ 2. 12
解上述方程组，得到 a,b 的矩估计:
ˆ X 3 ˆ X 3 ˆ, b ˆ. a
1 n 2 ˆ 其中 （ X X ) . i n i 1
21/22
矩估计的优点是：简单易行, 不需要事 先知道总体是什么分布。 缺点是：当总体的分布类型已知时，未 充分利用分布所提供的信息；此外，一般情 形下，矩估计不具有唯一性 。
ˆ) max L( ). L(
ˆ 为θ 的极大似然估计 (MLE)。 称
27/22
θ 可能变化空间, 称为参数空间。
III. 下面举例说明如何求参数的MLE
例1: 在正确使用情况下，某手机电池的保修 期为400小时，假设P是一批这种手机电池在 保修期内失效的比例。 （1）求p的极大似然估计量； （2）随机抽取了2000块电池作为样本，发现 有3块电池在保修期内失效，根据这些信息求 参数p的极大似然估计值。
得
用样本矩 估计总体矩
n n 1 1 2 2 2 ˆ X n X ( X X ) , i i n n i 1 i 1 1 n 2 ˆX ( X X ) . i n i 1
ˆ 为参数 , 的矩估计。 ˆ,
19/22
又如：若总体 X∼ U(a, b)，求a, b的矩估计。
解：列出方程组
ˆ, E( X ) 2 ˆ Var ( X ) .
n 1 ˆ X, ˆ2 其中 （X i X ) 2 . n i 1
因
ab (b a) 2 E( X ) , Var ( X ) . 2 12
32/22
两点说明：
●
求似然函数 L(θ ) 的最大值点，可应用微积 分中的技巧。由于 ln(x) 是 x 的增函数，所 以 ln L(θ ) 与 L(θ ) 在 θ 的同一点处达到各自 的最大值。假定 θ 是一实数, ln L(θ )是 θ 的 一个可微函数。通过求解似然方程
d ln L( ) 0, d 可以得到 θ 的MLE。
II. 求极大似然估计(MLE)的一般步骤 (1). 由总体分布导出样本的联合概率函数(连 续型时为联合概率密度, 离散型时为联合 概率分布)； (2). 把样本的联合概率函数中的自变量看成 已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )； (3). 求似然函数 L(θ ) 的最大值点 (常常转化 为求ln L(θ )的最大值点) ，即 θ 的MLE; (4). 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。
似然函数的定义
设分布律 P{X k} f ( x; ), 为待估参数, ,
(其中 是 可能的取值范围 ) X1 , X 2 ,, X n是来自总体X 的样本,
则 X1 , X 2 , , X n 的联合分布律为 f ( xi ; ).
i 1 n
2. 最大似然估计法
例3：设总体X的均值为，方差为2，求 和 2 的矩估计。
解：由
E(X) , 2 2 2 E(X ) .
^ X, 即 ^ n 2 1 2 2 X i X . n i 1
14/22
即
ˆ X, ˆ2 1 n 2 (Xi X ) . n i 1
总体 k 阶原点矩 ak E ( X ), 1 n k 样本 k 阶原点距 Ak X i , n i 1
k
总体 k 阶中心矩 bk E（ [ X EX）],
k
1 n k 样本 k 阶中心距 Bk （X i X） , n i 1
矩估计就是用相应的样本矩去估计总体矩。
29/22
xi
n
n
xi
i 1
n
,
对数似然函数为：
ln L( p) xi ln( p) (n xi ) ln(1 p),
i 1 i 1
n
n
对 p 求导，并令其等于零，得
n d ln L( p) 1 n 1 xi (n xi ) 0. dp p i 1 1 p i 1 nx
1
1 . 2 9/22
由矩法，令
样本矩
1 X 2
2 X 1 ˆ 1 X
总体矩
解得
为α 的矩估计。
注意：要在参数上边加上“^”， 表示ຫໍສະໝຸດ Baidu数的估计。它是统计量。
10/22
例2：设 X1,X2,„Xn 是取自总体 X 的简单样本, X 有概率密度函数
1 ( x ) e , x , f ( x) 其他 . 0, 其中 , 为未知参数， 0 。求 , 的矩估计。
n
根据极大似然思想, 值应是在中使P(A) 达到最 大的那一个 ,也就是使 样本联合分布律 n f ( xi , 最大 . )
L( ) f ( xi ; ),
i 1
i 1
i 1
n
, L( )称为样本似然函数.
最大似然估计法
得到样本值x1 , x2 ,, xn时, 选取使似然函数 L( )
ˆ 作为未知参数 的估计值, 取得最大值的 ˆ ) max L( x1 , x2 ,, xn ; ). 即 L( x1 , x2 ,, xn ;
( 其中 是 可能的取值范围 )
ˆ 与样本值 x1 , x2 ,, xn有关, 记为 这样得到的 ˆ ( x1 , x2 ,, xn ), 参数 的最大似然估计值 ,
故，均值,方差2的矩估计为
ˆ X, 即 n 1 2 1 n 2 2 S . ˆ （ X X ) i n n i 1
15/22
如：正态总体N( , 2) 中 和2的矩估计为
ˆ X, ˆ2 1 n 2 （ X X ) . i n i 1
解: 先求总体的均值和 2 阶原点矩。
E ( X ) x e( x ) d x
1
y 0 (θ y )e d y
θ . 11/22
令y=(x-μ )/θ
E ( X ) x e
2
2
1
( x )
dx
令y=(x-μ )/θ
8/22
例1：设总体 X 的概率密度为
( 1) x , 0 x 1, f ( x) 其他 . 0, 其中 α 1 为未知参数。求 的矩估计。
解：先求总体的期望
E ( X ) 0 x ( 1) x d x
1
( 1) 0 x 1 d x
17/22
步骤二：算出样本的 m 阶原点矩 1 n m Am X i , m 1,2,, k . n i 1 步骤三：令 a1 (1 , 2 ,, k ) A1 , a ( , ,, ) A , 2 1 2 k 2 (1) aL (1 , 2 ,, k ) AL . 得到关于 1,2,„,k 的方程组(L≥k)。 一般要求方程组(1)中有 k 个独立方程。
依样本对参数θ 做出估计，或估计参数 θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。 参数估计包括：点估计和区间估计。
4/22
为估计参数 µ ，需要构造适当的统计量 T( X1, X2 , „ , Xn )， 一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为 µ的估计， 称该计算 值为 µ的一个点估计。
16/22
设总体 X 的分布函数中含 k 个未知参数
1 , 2 , k .
步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am , m =1,2,„,k. 一般地, am (m =1, 2, „, K) 是总体分布 故, 中参数或参数向量 (1, 2, „, k) 的函数。 am (m=1, 2, „, k) 应记成: am(1,2,…,k), m =1, 2, „, k.
28/22
解 从这批手机电池中任意取一块，定义X， 当电池在保修期内失效时X=1，否则X=0，则 X~B(1, p)，X1, X2, „, Xn是取自总体 的一个 样本。 似然函数为
L( p) f ( xi , p) p (1 p)
xi i 1 i 1 n 1 xi
n
p i1 (1 p)
0 (θ y ) e d y
2 y
0 (θ y 2 y )e d y
2 2 2 y
2θ 2
2 2
θ (θ ) ,
2 2
12/22
X , n 1 令 2 2 2 ( ) X i . n i 1
上式等价于
x 1 x . p 1 p
30/22
x 1 x . p 1 p
解上述方程，得 p x .
ˆ 换成 p
换成 n X
ˆ X 为 p 的极大似然估计量。 得p
3 (2)根据样本信息，n=2000, X =0.0015 2000 p 的极大似然估计值为0.0015。
31/22
18/22
步骤四：解方程组(1), 并记其解为
ˆ ˆ ( X , X ,, X )，m 1,2,, k . m m 1 2 n
ˆ ( ˆ , ˆ ,, ˆ ) 就是 ( , ,, ) 则 1 2 k 1 2 k 的矩估计。
这种参数估计法称为参数的矩估计法， 简称矩法。
ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
假定现在我们观测到一组样本 X1, X2, „, Xn，要去估计未知参数θ 。 一种直观的想法是：哪个参数(多个参数 时是哪组参数) 使得现在的出现的可能性 (概 率) 最大，哪个参数(或哪组参数)就作为参数 的估计。 这就是 极大似然估计原理。如果
33/22
若θ 是向量，上述似然方程需用似然方程组 ln L(1 , 2 ,, k ) 0 , 1 ln L(1 , 2 ,, k ) 0, 2
5/22
寻求估计量的方法 1. 矩估计法
2. 极大似然法
3. 最小二乘法
4. 贝叶斯方法 „
我们仅介绍前面的两种参数估计法 。
6/22
一、 矩估计
矩估计是基于“替换”思想建立起来的 最早由英国统计学家 K. 一种参数估计方法 。 皮尔逊 提出。
其思想是: 用同阶、同类 的样本矩来估计总体矩。
7/22
统计推断的过程
总体
样 本
样本统计量
例如：样本均 值、比例、方 差
1/22
参数估计的方法
估 计 方 法
点
估
计
区间估计
矩估计法 顺序统计量法 最大似然法 最小二乘法
2/22
参数的点估计
1. 矩法估计
2. 极大似然估计
3/22
参数估计问题的一般提法
设总体 X 的分布函数为 F( x, θ )，其中θ 为未知参数或参数向量，现从该总体中抽样, 得到样本 X1, X2 , „ , Xn .
22/22
二、 极大似然估计
极大似然估计法是在总体的分布类型已 知前提下，使用的一种参数估计法 。 该方法首先由德国数学家高斯于 1821年 提出，其后英国统计学家费歇于 1922年发现 了这一方法，研究了方法的一些性质，并给 出了求参数极大似然估计一般方法——极大 似然估计原理 。
23/22
(1) 设总体 X 属离散型
1.设总体X为离散型随机变量，它的分布律为
P{X x} f ( x, )
现有样本观察值x1,x2,…xn,,其中xk取值于{ak,k=1,2…} 问：根据极大似然思想，如何用x1,x2,…xn估计
记 A {X1 x1,..., X n xn }
则 P( A) P{ X1 x1 ,..., X n xn } f ( xi , )
20/22
得
a b 2 X, (b a ) 2 ˆ 2. 12
解上述方程组，得到 a,b 的矩估计:
ˆ X 3 ˆ X 3 ˆ, b ˆ. a
1 n 2 ˆ 其中 （ X X ) . i n i 1
21/22
矩估计的优点是：简单易行, 不需要事 先知道总体是什么分布。 缺点是：当总体的分布类型已知时，未 充分利用分布所提供的信息；此外，一般情 形下，矩估计不具有唯一性 。
ˆ) max L( ). L(
ˆ 为θ 的极大似然估计 (MLE)。 称
27/22
θ 可能变化空间, 称为参数空间。
III. 下面举例说明如何求参数的MLE
例1: 在正确使用情况下，某手机电池的保修 期为400小时，假设P是一批这种手机电池在 保修期内失效的比例。 （1）求p的极大似然估计量； （2）随机抽取了2000块电池作为样本，发现 有3块电池在保修期内失效，根据这些信息求 参数p的极大似然估计值。
得
用样本矩 估计总体矩
n n 1 1 2 2 2 ˆ X n X ( X X ) , i i n n i 1 i 1 1 n 2 ˆX ( X X ) . i n i 1
ˆ 为参数 , 的矩估计。 ˆ,
19/22
又如：若总体 X∼ U(a, b)，求a, b的矩估计。
解：列出方程组
ˆ, E( X ) 2 ˆ Var ( X ) .
n 1 ˆ X, ˆ2 其中 （X i X ) 2 . n i 1
因
ab (b a) 2 E( X ) , Var ( X ) . 2 12
32/22
两点说明：
●
求似然函数 L(θ ) 的最大值点，可应用微积 分中的技巧。由于 ln(x) 是 x 的增函数，所 以 ln L(θ ) 与 L(θ ) 在 θ 的同一点处达到各自 的最大值。假定 θ 是一实数, ln L(θ )是 θ 的 一个可微函数。通过求解似然方程
d ln L( ) 0, d 可以得到 θ 的MLE。
II. 求极大似然估计(MLE)的一般步骤 (1). 由总体分布导出样本的联合概率函数(连 续型时为联合概率密度, 离散型时为联合 概率分布)； (2). 把样本的联合概率函数中的自变量看成 已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )； (3). 求似然函数 L(θ ) 的最大值点 (常常转化 为求ln L(θ )的最大值点) ，即 θ 的MLE; (4). 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。
似然函数的定义
设分布律 P{X k} f ( x; ), 为待估参数, ,
(其中 是 可能的取值范围 ) X1 , X 2 ,, X n是来自总体X 的样本,
则 X1 , X 2 , , X n 的联合分布律为 f ( xi ; ).
i 1 n
2. 最大似然估计法