矩估计和极大似然估计

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
27
又 Lθ) lnLθ)在 一处 到 值 因 θ 极 因( 与 ( 同 θ 取 极 , 此的 大 然 计也 从 述 程 得 似估θ 可下方解: d lnLθ)=0 ( . d θ
若体分中含个数 母的布包多参,
∂ L 即令 可 =0i = ,L . , 1 ,k ∂i θ ∂l L n 或 =0i = ,L . , 1 ,k θ ∂i

有关, 记为
称为参数θ的极大似然估计值 极大似然估计值。 极大似然估计值 称为参数θ的极大似然估计量 极大似然估计量。 极大似然估计量
26
若总体X属连续型, 其概率密度
θ 的形式已知, 为待估参数; 则
的联合密度:
一般,
关于θ可微,故θ可由下式求得:
在同一点处取极值。 因此 的极大似然估计θ也可从下式解得:
2 2
(b−a ) (a+b ) 1 + =A = X2 2 i 1 2 4 n i= 1

n
即 a+b=2 1, b−a= 1 (A −A ) A 2 2
2 1
3n 2 ˆ 解 : A − 3 A −A ) =X− ∑X −X 2 得a= 2 ( 2 1 ( i ) n i= 1
3n 2 ˆ b=A+ 3 A −A ) =X+ ∑X −X 2 ( 2 1 ( i ) 1 n i= 1
是一个样本值
似然函数为
34
似然函数为
因为 对于满足
等价于 的任意 有


时,取最大值
35
似然函数为

在 故
时,取最大值 的极大似然估计值为:

的极大似然估计量为:
36
例5 指数分布的点估计 某电子管的使用寿命 X (单位:小时) 服从指数分布 x 1 −θ e , x>0 (; ) θ ( >0 θ ) X: p xθ = , o e th r 0 今取得一组样本Xk数据如下,问如何估计θ? 16 340 分析 29 410 50 450 68 520 100 620 130 190 140 210 270 800 280 1100
……
2
参数估计要解决问题: 参数估计要解决问题: 总体分布函数的形式为已知, 总体分布函数的形式为已知,但其中参数θ 只有当参数θ 确定后, 确定后, 未知时,需要确定未知参数。 未知时,需要确定未知参数。 才能通过率密度函数计算概率。 才能通过率密度函数计算概率。 率密度函数计算概率 对于未知参数, , n 对于未知参数, 如何应用样本 X, X ,LX 1 2 所提供的信息去对其一个或多个未知参数进行估计。 所提供的信息去对其一个或多个未知参数进行估计。 这类问题称为参数估计问题。 这类问题称为参数估计问题。
24
极大似然估计法: 极大似然估计法: 定义7.1 设 定义 是 的一个样本值
(如离散型) X的分布列为 形式已知 的联合分布列 联合分布列为: 联合分布列
事件 为
发生的概率为 的函数,
25
为样本的似然函数 样本的似然函数。 样本的似然函数
样本的似然函数 现从中挑选使概率 作为θ的估计值。 即取 达到最大的参数 使得:
ˆ 所 X=λ 估 值 = .2 。 以 , 计λ 1 2
12
二、常用分布常数的矩法估计
下面我们通过几个例子说明利用矩估计法求 未知参数的过程。 未知参数的过程。
13
设 体的 值, 差都 在 且 2 >0 总X 均µ 方σ 存,σ , 例2 但, 2未 , 设1,LX 是 个 本 µ σ 知又X , n 一样;
(b−a ) (a+b ) 1 2 + =A = X 2 i 1 2 4 n i= 1
2 2

n
即 a+b=2 1, b−a= 1 (A −A ) A 2 2
2 1
3n 2 ˆ =A − 3 A −A ) =X− ∑X −X 217 解: 2 得a ( 2 1 ( i ) n i= 1
a+b 1n 令 =A = ∑ i X 1 2 n i= 1
可用两种方法:矩法估计 和极大似然估计.
37
x 1 −θ e , x>0 X: p xθ)= (; ( >0 θ ) θ , 0 o e th r
1)矩法估计
Q E =∫ X
+ ∞
0
1 θ x⋅ e d =θ x

x
ˆ 令 =θ 则 得的 法 计 为 θ =X X 可θ 矩估量: .
=θ2+(θ+µ)2
注意到 令
+ =X θ , µ 2 =M . θ 2
DX = E ( X2 )-( EX )2=θ2 -

ˆ = M = 1 ∑ X −X 2, ( i ) θ 2 n
i= 1
n
ˆ µ=X M . − 2
21
第二节 极大似然估计
第七章
极大似然估计
22
极大似然法的基本思想 先看一个简单例子: 先看一个简单例子: 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响, 只听一声枪响,野兔应声倒下 . 如果要你推测, 如果要你推测, 是谁打中的呢? 是谁打中的呢? 你会如何想呢? 你会如何想呢?

E =∫ X
=∫
e
d x
y − θ
令 y=x−µ ,
θ (y+ 0
+ ∞ 1
µ e d =θ+µ ) y ,
20
E = +µ ቤተ መጻሕፍቲ ባይዱ θ
xµ − − 2 + x ∞ 2 E X )=∫ ( e θ d x µ θ y
− 2 θ 2 2 + 1 ∞ (y+µ e d =2 +2 θ µ ) y θ =∫0 µ+ θ
它与矩估计量是相同的。 它与矩估计量是相同的。
30
例2 设总体X的分布列为:
似然估计值。 解: 似然函数为
31


所以参数
的极大似然估计量为
32
例3 设 X1, X2, …, Xn 是取自总体X 的一个样本,
,求参数λ的极大似然估计值。 解
似然函数为: 似然函数为:
33
例4 设
求 解 设
未知, 的极大似然估计量. 的概率密度为:
θ
代具数可θ 估值: 入 体 值 得的 计 为
第七章 参数估计
矩法估计 一 、矩法估计 二、极大似然估计法 三、估计量的评选标准 四、置信区间
1
参数估计
统计推断:参数估计和假设检验。 统计推断:参数估计和假设检验。 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数。 来估计总体的某些参数或者参数的某些函数。 估计湖中鱼数 估计平均降雨量
矩估计步骤: 矩估计步骤:
离散型
连续型
10
例: 总体 X 的分布列为 :
是来自总体X的样本, 解: 由于总体X 的分布为二项分布,
所以参数 p 的矩估计量为
11
例1
设某炸药厂一天中发生着火现象的次数X
数 λ 泊 分 ,未 , 以 样 值 服从 参 为的 松 布 λ 知 有 下 本 ;
试 计 数( 矩 ) 估参λ 用法。
着的数 k 火次 0 1 2 3 4 5 6 发k 着天 n 7 9 5 2 6 2 1 ∑ 5 生次 火 数 k 5 0 4 2 =2 0
1n 解 µ =E =λ A = ∑ i =X :1 X X 1 n i= 1 令 X=λ , ˆ =x= 1 (0 7 + × 0+ +6 1 = .2 则 λ × 5 1 9 L ×) 1 2 20 5
8
设总体X的分布函数为 设总体 的分布函数为 其中 是待估参数. 是待估参数. 为来自 的样本, 设总体的k阶矩 的样本, 设总体的 阶矩 存在,则样本的k阶矩 存在,则样本的 阶矩 (由大数定理) 由大数定理) 令 从中解得 k个方程组 个方程组 即为矩估计量。 即为矩估计量。
9
矩估计量的观察值称为矩估计值。 矩估计量的观察值称为矩估计值。
1
θ− 1
ˆ θ µ=x= ˆ , θ− 1
解得
ˆ= x . θ x− 1
19
例7. 设总体X的概率密度为
1 −(x−µ)/θ e , p x = () θ 0 ,
x− µ − + ∞ x θ µ θ
x≥µ ; x<µ .
其中θ>0,µ与θ是未知参数,X1,X2,…,Xn, 是X 的一组样本,求µ与θ的矩估计量.
, 第 取 不 格 ; 1 i次 到 合 品 X = i = ,2Ln 1 , , . i 0 i次 到 格 . , 第 取 合 品
解 因 p=EX, 故 p 的矩估计量为
1n ˆ p=X= ∑ i = fn(A X ) n i=1
(即出现不合格产品的频率).
16
总 X [ , ] , 未 ;1 , n 例5 设 体 ~Ua b,a b 知 X,LX 是 个 本 求 ab 矩 计 。 一 样 ; :, 的 估 量 a+b 解 µ =E = X , 1 2 ( −a 2 (a+b 2 b ) ) 2 2 µ =E X )=D +(E ) = ( X X + 2 1 2 4 n a+b 1 令 =A = ∑ i X 1 2 n i= 1
3
参数估计是对已知分布类型的总体, 参数估计
利用样本对其未知参数作出估计 参数估计可作如下划分 矩 估 计 点 估 计 参数估计 极大似然估计 区间估计
4
寻求估计量的方法
1. 矩估计 2. 极大似然估计 3. 最小二乘法 4. 贝叶斯方法 ……
这里我们主要介绍前面两种方法 .
5
参数估计: 点估计: 参数估计: 点估计:估计θ的具体数值; 的具体数值; 区间估计: 的所在范围. 区间估计:估计θ的所在范围.
2 令 µ =A, µ =A, 即 µ=A, σ2 +µ =A, 1 1 2 2 1 2
14
注: 总体均值方差的矩估计量与总体分布无关。 做矩估计时,也可用中心矩建立关于未知参数的 方程组, 因而矩估计不唯一。
例3
解:
λ未知,求参数λ的矩估计。
15
例4 不合格品率 p 的矩法估计 设某车间生产一批产品,为估计该批产品不合格品 率,抽取了n 件产品进行检查. 分析 设总体X 为抽的不合格产品数,相当于抽取了 一组样本X1,X2,… ,Xn , 且
23
基本思想: 基本思想: 若一试验有n个可能结果 若一试验有 个可能结果 现做一试验, 现做一试验,
在这n个可能结果 若事件A 发生了,则认为事件Ai在这 若事件 i 发生了,则认为事件 在这 个可能结果 中出现的概率最大。 中出现的概率最大。 极大似然估计就是在一次抽样中, 极大似然估计就是在一次抽样中,若得到观测值 则选取 使得当 的估计值。 作为θ的估计值 样本出现的概率最大。 时,样本出现的概率最大
解个 程 求 θ,L k的 大 然 计 。 k 方 组 得1 ,θ 极 似 估 值
28
例1 设
是来自总体X的一
试求参数 p 的极大似然估计值. 个样本, 解:设 X的分布列为: 是一个样本值。
故似然函数为


29

解得
解得
p的极大似然估计值 的极大似然估计值 p的极大似然估计量 的极大似然估计量
2
求 µσ 的 估 量 :, 矩计。 2 2 2 2 ( X X σ X , 2 解 µ =E =µ µ =E X ) =D +(E ) = +µ 1
所 µ=A =X 以 ˆ , 1 1n 2 1n 2 ˆ2 =A −A ∑ i −X2 ∑X −X 2 σ = X = ( i ) 2 1 n i= n i= 1 1 特 , X Nµσ2) µσ2未 ; 别若 ~ ( , , , 知 1n ˆ 则 µ=X σ2 = ∑X −X 2 , ˆ ( i ) n i= 1
点估计问题:
构造一个适当的统计量 用它的观察值 用它的观察值 称 来估计未知参数θ. 的估计量, 为θ的估计量, 的估计值. 为θ的估计值.
6
第七章
第一节 矩 法 估 计
一 、矩法估计 二、常用分布参数的矩法估计
7
一 . 矩估计法
基本原理: 总体矩是反映总体分布的最简单的 基本原理: 数字特征,当总体含有待估计参数时, 数字特征,当总体含有待估计参数时,总体矩是 待估计参数的函数。 待估计参数的函数。 样本取自总体, 样本取自总体, 样本矩在一定程度上可以逼近总体矩, 样本矩在一定程度上可以逼近总体矩, 故用样本矩来估计总体矩 由英国统计学家K.皮尔逊最早提出的。 由英国统计学家 .皮尔逊最早提出的。
18
例6
设总体X的概率密度为
1 x−(θ+ ), θ x> ; 1 p x = () θ>1 , x≤ . 1 0 θ是未知参数,X1,X2,…,Xn,是X 的一组样本,
求θ的矩估计量.

1n µ=E = ∑i , X x n i= 1 + ∞ + ∞ θ − θ −θ+ ) ( 1 x , E =∫ x x d =θ∫1 x d = X θ x
相关文档
最新文档