第二章1_矩估计和极大似然估计
4 极大似然估计和广义矩估计
OLS
ˆ x ˆ ML y ˆOLS ML
MLE的线性回归模型的残 差平方和等于OLS的残差 平方和
2 的极大似然估计
2 ˆ ML
1 n 2 ˆ x )2 RSS n 2 ˆ ML ˆ ( yi ML i OLS n i 1 n n
i 1 n i 1
更方便、更容易
极大似然估计的思想： θ 的极大似然估计是使得产生样 本 y1, y2 ,, yn 的最高概率的那个 θ 值，(使得观测到该样本 可能性最大的那个 θ )；即 θ 的极大似然估计是使似然函数 ˆ L(θ) 达到最大的值。记为 θ 似然方程
ML
ˆ ) max L(θ; y), L(θ ML
L(θ) ln L(θ) 0, or 0 θ θ
总体有离散型和连续型两种，离散型总体通过分布列来构 造似然函数，而连续型总体通过密度函数来构造似然函数.
2014-6-4 S( θ)
ln L(θ) Score向量，梯度向量 θ
离散型随机变量极大似然原理
若总体为离散型分布，分布列 P{ X x} f ( x; θ)
n
n
i 1
似然函数 L(θ) f ( xi ; θ), 对数似然 ln L(θ) ln f ( xi ; θ) i 1 i 1 ˆ 极大似然估计就是使得下式成立的 θ
ML
n
ˆ ) max L(θ) L(θ ML
具体求法：由 L(θ) / θ 0 解出极大值点，因函数ln单增,故
上式达到极大的一阶条件是
d ln L( p) N1 N N1 0 dp p 1 p
解之得到p的极大似然估计量
ˆ N1 / N p
数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
数理统计7：矩法估计（MM）、极⼤似然估计（MLE），定时截尾实验在上⼀篇⽂章的最后，我们指出，参数估计是不可能穷尽讨论的，要想对各种各样的参数作出估计，就需要⼀定的参数估计⽅法。
今天我们将讨论常⽤的点估计⽅法：矩估计、极⼤似然估计，它们各有优劣，但都很重要。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：矩法估计矩法估计的重点就在于“矩”字，我们知道矩是概率分布的⼀种数字特征，可以分为原点矩和中⼼矩两种。
对于随机变量X⽽⾔，其k阶原点矩和k阶中⼼矩为a_k=\mathbb{E}(X^k),\quad m_k=\mathbb{E}[X-\mathbb{E}(X)]^k,特别地，⼀阶原点矩就是随机变量的期望，⼆阶中⼼矩就是随机变量的⽅差，由于\mathbb{E}(X-\mathbb{E}(X))=0，所以我们不定义⼀阶中⼼矩。
实际⽣活中，我们不可能了解X的全貌，也就不可能通过积分来求X的矩，因⽽需要通过样本(X_1,\cdots,X_n)来估计总体矩。
⼀般地，由n个样本计算出的样本k阶原点矩和样本k阶中⼼矩分别是a_{n,k}=\frac{1}{n}\sum_{j=1}^{n}X_j^k,\quad m_{n,k}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^k.显然，它们都是统计量，因为给出样本之后它们都是可计算的。
形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是⽐较容易计算的。
容易验证，a_{n,k}是a_k的⽆偏估计，但m_{n,k}则不是。
特别地，a_{n,1}=\bar X，m_{n,2}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^2=\frac{n-1}{n}S^2\xlongequal{def}S_n^2,⼀阶样本原点矩就是样本均值，⼆阶样本中⼼矩却不是样本⽅差，⽽需要经过⼀定的调整，这点务必注意。
二项分布的矩估计量和最大似然估计量
二项分布的矩估计量和最大似然估计量
二项分布的矩估计量和最大似然估计量是对于二项分布参数的估计方法。
矩估计量是通过对随机变量的矩进行估计来得到参数的估计值。
对于二项分布，它有两个参数：试验次数n和成功概率p。
设随机变量X服从二项分布B(n,p)，则X的矩估计量可以通过样本
观测值的矩来计算。
例如对于二项分布的第一矩（均值）E(X) = np，可以通过样本均值的估计值来估计参数p。
最大似然估计量是基于样本数据的概率分布模型来计算参数。
对于二项分布，最大似然估计量通过最大化给定样本的似然函数来找到参数的估计值。
似然函数是样本中观测值的联合概率密度函数（或质量函数）关于参数的函数。
对于二项分布，似然函数可以表示为L(p) = (n choose x) * p^x * (1-p)^(n-x)，其中n是试验次数，x是成功的观测值次数。
最大似然估计量就是找到
能使似然函数取得最大值的参数值。
总结起来，矩估计量是通过样本观测值的矩计算参数的估计值，而最大似然估计量是通过最大化给定样本的似然函数来计算参数的估计值。
两种方法在实际应用中经常被使用，具体选择哪种方法取决于具体情况和假设的合理性。
矩估计和极大似然估计
矩估计
极大似然估计
最小二乘法
贝叶斯方法
……
这里我们主要介绍前面两种方法 .
寻求估计量的方法
点估计问题：
01
构造一个适当的统计量
02
用它的观察值
03
来估计未知参数θ.
04
称
05
为θ的估计量，
06
为θ的估计值.
07
点估计:估计θ的具体数值;
08
区间估计:估计θ的所在范围.
09
参数估计：
第一节
第七章
1
2
取对数： 当 0 < xi < 1, (i=1,2, …,n) 时
建立似然方程
极大似然估计 量为
求解得极大似然估计值为
2) 矩估计法
矩法估计量与极大似然估计量不一定相同；
用矩法估计参数比较简单,但有信息量损失；
极大似然估计法精度较高,但运算较复杂；
不是所有极大似然估计法都需要建立似然方程
在
例5 指数分布的点估计
今取得一组样本Xk数据如下，问如何估计θ？ 某电子管的使用寿命 X （单位：小时) 服从指数分布 分析 可用两种方法：矩法估计 和极大似然估计.
340
410
450
520
620
190
210
800
1100
1）矩法估计
取对数
极大似然估计 构造似然函数 当xi>0,（i=1,2, …,n) 时，似然函数为 建立似然方程
小 结
求解.
解
分析 设总体X 即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2，… ，Xn , 且
设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.
第二章参数估计
第二章 参数估计【学习目标】1、掌握矩估计的替代原则；会求已知分布中未知参数的矩估计（值）2、熟练掌握极大似然估计的思想及求法3、估计量的评价标准：无偏性、有效性、相合性的定义4、统计量的无偏性的判断；两个无偏估计的有效性判断；会用Fisher 信息量及c-R 下界进行统计量的UMVUE 充分性判断5、掌握区间估计的定义6、单个正态总体均值的区间估计（包括方差已知、方差未知）；单个正态总体方差的区间估计（包括均值已知、均值未知）7、两个正态总体均值差的区间估计（方差未知）；两个正态总体方差比的区间估计 8、单侧置信区间的求法 【典型例题讲解】例1、设1,,n X X 是来自均匀分布(,1)U θθ+的总体的容量为n 的样本，其中θ-∞<<+∞为未知参数，试证：θ的极大似然估计量不止一个，例如1(1)ˆXθ=，2()ˆ1n X θ=-，3(1)()11ˆ()22n XXθ=+-都是θ的极大似然估计。
解：(,1)U θθ+分布的密度函数为11()0x f x θθ≤≤+⎧=⎨⎩其他似然函数(1)()11()0n x x L θθθ≤≤≤+⎧=⎨⎩其他由于在(1)()1n x x θθ≤≤≤+上()L θ为常数，所以凡是满足：(1)()ˆˆ1n x x θθ≤≤≤+的ˆθ均为θ的极大似然估计。
从而（1）1(1)ˆX θ=满足此条件，故1(1)ˆX θ=是θ的极大似然估计；（2）由于()(1)1n X X -≤，故2()(1)()2ˆˆ11n n X X X θθ=-≤≤=+，所以2()ˆ1n Xθ=-为θ的极大似然估计；（3）由于()(1)1n X X -≤，故(1)()(1)12n X X X +-≤，(1)()()12n n X X X ++≥，从而有3(1)()(1)()(1)()31111ˆˆ()()12222n n n XXXXXXθθ=+-≤≤≤++=+，故3ˆθ也为θ的极大似然估计。
随机数据处理方法 第三版 课后答案(王清河 著) 中国石油大学出版社
（2） P( A3 | A) = 0.4 。 19．某专门化医院平均接待 K 型病患者 50%，L 型病患者 30%，M 型病患 者 20%，而治愈率分别为 7/10、8/10、9/10。今有一患者已治愈，问此患者是 K 型病的概率是多少？
提示与答案：依题意，这是一全概率公式及贝叶斯公式的应用问的事件是互逆的。
2．如果 x 表示一个沿着数轴随机运动的质点位置，试说明下列事件的包含、
互不相容等关系：
A = {x | x ≤ 20}
B = {x | x > 3}
C = {x | x < 9}
D = {x | x < −5} E = {x | x ≥ 9}
解：（1）包含关系： D ⊂ C ⊂ A 、 E ⊂ B 。
P( AB) = P( A ∩ B ) = P( A ∪ B) = 1 − P( A ∪ B)
=1 − 1 − P(B) + P( AB) 3
从而得 2 − P(B) = 0 ，即 3 P(B) = 2 3
7．一个袋中有 5 个红球 2 个白球，从中任取一球，看过颜色后就放回袋中， 然后再从袋中任取一球。求：（1）第一次和第二次都取到红球的概率；
球，也可能是黑球），并且也只有这两种可能。因此若把这两种可能看成两个事
件，这两个事件的和事件便构成了一个必然事件。
若设 A 表示：“由甲袋取出的球是白球”； B 表示：“由甲袋取出的球是黑 球”； C 表示：“从乙袋取出的球是白球”。则 P(C) = 5 /12 。
18．设有一箱同类产品是由三家工厂生产的，其中 1 是第一家工厂生产的， 2
17．有两个口袋，甲袋中盛有 2 个白球 1 个黑球；乙袋中盛有 1 个白球 2 个黑球。由甲袋任取一球放入乙袋，再从乙袋中取出一球，求取到白球的概率。
极大似然估计和矩估计
极大似然估计和矩估计
极大似然估计和矩估计是统计学中常用的参数估计方法。
极大似然估计是指在给定一组观测数据的情况下，寻找最能解释这些数据的模型参数值的方法。
具体而言，我们需要在模型的参数空间中找到一个使得观测数据的似然函数最大的参数值。
似然函数是参数的函数，描述了给定参数下观测数据出现的概率。
极大似然估计的优点是它是渐进无偏的、有效的和一致的，但缺点是它需要知道分布函数的形式，并且在计算中可能会受到样本量的限制。
矩估计是指通过样本矩来估计未知参数的方法。
这些样本矩可以看作是从总体矩中抽取的矩的估计，因此矩估计也称为矩法。
矩估计的优点是它不需要知道分布函数的形式，可以使用有限的样本数据进行估计，并且可以用于多维参数的估计。
但矩估计的缺点是它可能会受到样本量的限制，且估计结果通常比极大似然估计的结果更不精确。
总的来说，极大似然估计和矩估计都是重要的参数估计方法，具有各自的优缺点和适用范围。
在实际应用中，我们可以根据数据的特点和需要进行选择。
- 1 -。
极大似然估计和广义矩估计
05
案例分析
极大似然估计的案例
线性回归模型
在回归分析中，极大似然估计常用于估计线性回归模型的参数。通过最大化似然 函数，可以得到最佳线性无偏估计，使得预测值与实际观测值之间的误差最小。
正态分布参数估计
极大似然估计在正态分布的参数估计中也有广泛应用。例如，假设一组数据来自 正态分布，我们可以通过极大似然估计来估计均值和方差。
极大似然估计和广义矩估 计
• 引言 • 极大似然估计 • 广义矩估计 • 极大似然估计与广义矩估计的比较 • 案例分析 • 总结与展望
01
引言
主题简介
极大似然估计
极大似然估计是一种参数估计方 法，基于观测数据的概率分布模 型，通过最大化似然函数来估计 未知参数。
广义矩估计
广义矩估计是一种非参数估计方 法，通过最小化一系列矩（如一 阶矩、二阶矩等）的离差来估计 未知参数。
唯一性
在某些条件下，极大似然估计具有唯一性，即真实参 数值是极大似然函数的唯一最大值。
极大似然估计的步骤和实现
1 2
定义似然函数
根据数据分布和模型假设，定义似然函数。
求导并求解
对似然函数求导，并使用优化算法求解导数为零 的点，得到参数的极大似然估计值。
3
验证估计值
使用验证数据集验证估计值的准确性和有效性。
3. 优化目标函数
实现
使用优化算法（如牛顿法、拟牛顿法等） 最小化目标函数，以找到最优的模型参数 。
在编程语言（如Python、R等）中，可以 使用相应的统计库（如statsmodels、 EMMA等）来方便地实现广义矩估计。
04
极大似然估计与广义矩估计的比较
相似之处
理论基础
01
矩估计和极大似然估计
矩估计和极大似然估计
统计学研究中估计参数是最基本的技术。
它是推断未知参数值的重要方法，它可以应用于任何分布，而无论它是均衡的还是不均衡的。
本文将介绍两种最常用的而且最有效的估计方法，即矩估计和极大似然估计。
矩估计是一种无偏估计。
它用平均方差作为估计的标准，以期获得无偏估计量。
它的思想是找到一组参数，使得它与观测数据的总平方和达到最小。
最小二乘法把参数的估计量分解为一系列不受体系误差影响的估计量，以便更加准确地估计。
极大似然估计也是无偏估计，但它是通过最大似然函数来求参数估计量的。
这个函数的思想是，根据观测数据，计算出参数的估计量，使得似然性最大。
极大似然估计就是使用给定观测数据和某个参数模型，来求出使这个参数模型似然函数最大的参数估计量。
矩估计和极大似然估计都有许多优点，如无偏性、处理简单，可以使用不同的统计模型以及可以计算准确率等等。
然而，它们也有一定的弊端。
矩估计假设数据服从正态分布，而实际数据常常不会服从正态分布，这时估计值可能会出现误差。
极大似然估计也存在类似的问题，因为它依赖于正确假设分布模型，它在模型类别选择和设定参数上可能会出现错误。
总的来说，矩估计和极大似然估计是统计学中重要的估计参数技术，它们都具有优点和缺点，但由于它们的效率和准确性，它们仍然是统计学的基础。
在选择估计方法时，应考虑到参数类别、数据分布
和分析技术，以选择最适宜的估计方法。
第二章1-矩估计和极大似然估计
0
解法二
E
X
x
1
x
e dx
1
x
x e dx (2)
2
0
即 E|X|
1 n
用 n i1 X i
替换
EX
即得的另一矩估计量为
ˆ 1
n
n i 1
Xi
16
• 矩估计的优点 – 不依赖总体的分布，简便易行 – 只要n充分大，精确度也很高。
• 矩估计的缺点 – 矩估计的精度较差； – 要求总体的某个k阶矩存在； – 要求未知参数能写为总体的原点矩的函数形 式
得和2的估计值分别为13(mm)和 0.133(mm)2
12
例2 设总体X的概率密度为
f
( x;
)
x 1 ,
0,
0 x 1 其它
X1,X2,,Xn为来自于总体X的样本,x1,x2, ,xn 为样本值,求参数的矩估计。
解： 先求总体矩
1
1
E( X ) x x 1dx x dx
x 1 1
ˆ2 (x1, x2 ,, xn )
数值
ˆk (x1, x2 ,, xn )
称数ˆ1,ˆ2 ,,ˆk 为未知参数1,2 ,,k 的估计值 对应的统计量为未知参数1,2 ,,k 的估计量
问题 如何构造统计量？
6
二.点估计的方法
1、矩方法；（矩估计） 2、极大似然函数法（极大似然估计）.
1. 矩方法
• 极大似然估计的缺点 要求必须知道总体的 分布函数形式
29
多参数情形的极大似然估计
若总体X的概率密度为：f (x;1,2 , ,k )
其中
1
,
2
,,
应用数理统计(武汉理工大)2-参数估计
1
D(S 2 )nI (
2)
n 1 n
1,
n
故S 2是渐进有效的。
第二章 参数估计
例： 设总体X （）, X1, X 2 , , X n是X的一个样本， 讨论的无偏估计X的有效性。
解：lnp( X
,)
ln
X e
X!
X
ln
ln( X
!)
区间估计的关键: 用合适的方法确定两个统计量
1(X1, X2 , , Xn)， 2(X1, X2 , , Xn)
第二章 参数估计
1.区间估计的定义及计算步骤
3) 区间估计的例子
例1 设总体X~N(μ , σ2), σ2已知，μ未知，设X1,…,Xn是X的样本， 求μ的置信度为1-α的置信区间。
)
2
n
,
D(ˆ2 )
D(nZ )
n2D(Z )
n2
n
2
2
当n 1时，显然D(ˆ1) D(ˆ2 ),故ˆ1比ˆ2有效。
第二章 参数估计
最小方差无偏估计问题 设 若 及T对 任(g意X(1, ， X)的2都,任有一 , XD无n()T是 偏) g估(D计()T的量')一， T '个 ( X无1, X偏2估 , 计, X量n )， 则 无称 偏T估(计X1，, X或2 ,者,称X为n )是最g优(无)的偏一估致计最。小方差
其它类型的估计,如 贝叶斯估计…
第二章 参数估计
2.1参数的点估计
1. 矩估计 2. 极大似然估计 3. 点估计量的评价
矩估计和极大似然估计
参数估计包括：点估计和区间估计。
4/22
为估计参数 µ，需要构造适当的统计量 T( X1, X2 , … , Xn )，
一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为µ的估计， 称该计算 值为 µ的一个点估计。
解: 先求总体的均值和2阶原点矩。
E( X ) x 1 e(x) d x
0
(θ
y
)e y
d
y
令y=(x-μ )/θ
θ 11/22 .
E( X 2 ) x2 1 e(x) d x
令y=(x-μ )/θ
0
(θ
y
)2 e y
nX
2
1
n
n i1
(Xi
X
)2
,
ˆ X
1
n
n
(Xi
i1
X
)2
.
ˆ, ˆ 为参数 , 的矩估计。
13/22
例3：设总体X的均值为，方差为2，求 和 2 的矩估计。
E(X) , 解：由 E(X2) 2 2.
即
^ X,
的矩估计。
这种参数估计法称为参数的矩估计法， 简称矩法。
19/22
又如：若总体 X∼ U(a, b)，求a, b的矩估计。
解：列出方程组
E( X ) ˆ,
Var
(
X
)
ˆ
指数分布的矩估计和极大似然估计
指数分布的矩估计和极大似然估计指数分布是概率统计中一个重要的分布类型，它被广泛用于时间，距离，速率等方面的计算。
在实际应用中，我们需要对指数分布的参数进行估计，以便更好地对数据进行分析和预测。
本文将针对指数分布的矩估计和极大似然估计进行介绍。
一、矩估计矩估计是一种基于数据的估计方法。
首先，我们通过实际观测数据计算出样本的一阶矩和二阶矩，然后将其代入概率分布函数，得到参数估计值。
对于指数分布而言，其概率密度函数为：f(x|θ) = θe^-θx其中，θ为指数分布的参数。
我们可以通过计算样本的一阶矩和二阶矩来估计θ的值。
样本的一阶矩为：E(X) = 1/θ样本的二阶矩为：E(X^2) = 2/θ^2将计算出的一阶矩和二阶矩代入上述概率密度函数中，得到θ的矩估计值为：θ = 1/（2E(X^2) - E(X)^2）二、极大似然估计极大似然估计是一种基于概率的估计方法。
它假设已知观测数据的分布类型，通过最大化似然函数来估计参数值。
对于指数分布而言，其似然函数为：L(θ|x) = ∏ i=1^n θe^-θxi其中，n为样本个数，x1，x2，...，xn为样本数据。
我们可以通过计算该似然函数的对数，将乘积转换为求和。
即：ln(L(θ|x)) = nln(θ) - θ∑ xi通过求导，令导数等于0，求出使似然函数最大的θ，即为θ的极大似然估计值：θ = n/∑ xi三、矩估计和极大似然估计的比较矩估计和极大似然估计都是常见的参数估计方法。
它们的区别在于矩估计基于统计量而极大似然估计基于似然函数。
从估计结果的准确性和稳定性来看，极大似然估计更加优越，因为它是最大化整个概率函数，利用了全部的数据信息。
而矩估计则只是利用了一阶和二阶矩作为参数的估计依据，忽略了其他高阶矩的信息。
但是，在样本容量较小的情况下，矩估计可能更为可靠，因为极大似然估计会受到极端值和样本大小的影响，而矩估计则更加稳定。
因此，在不同的数据分析和预测应用中，需要根据实际情况选择适合的参数估计方法。
极大似然估计和广义矩估计
这里用到了矩阵微分的以下两条规则： （1）ab/ba （2） ( b A b ) / b ( A + A ) b 2 A b ，第二个等号成立 的条件是A为对称矩阵。
在（4.19）式中，a是 YX ，A是 XX 。 由（4.19）式的结果，使对数似然函数（4.17）达到 极大的一阶条件为
lnL(β,2) 2XY2XXβ β 22 0
为了得到 的无偏估计量的Cramèr-Rao下界，需要 先计算信息矩阵
I(β , 2 ) E 2 2l ln n L L / / β 2 β β 2 l2 n ln L L / /β 2 22 (4 .2 2 )
信息矩阵是按 β 和 2分块对角的，这是扰动项为正态
ln L (β 2 ,2) (Y X β 2 ) (Y 4 X β ) 2 n 2 0
解此二正规方程，得: βˆML(XX)-1XY
ˆM 2 L (Y X β ) n (Y X β ) R S S /n e e /n
因此，在随机扰动项满足标准假设条件的情况下 ，β 的极大似然估计量与普通最小二乘估计量相同 ，方差 2 的ML估计量与OLS估计量则不同。
消费方程设定为：
t c t 0 1 g d p t 2 p t u t t 1 9 8 8 , 1 9 8 9 , . . . , 2 0 0 7
偏估计量中方差最小。假设多一些（CLR模型加上正
态性），得到的也多一些（MVU而不仅仅是BLUE）。
例4.2 以简单的消费函数为例，说明极大似然估计 法的估计过程。
根据经济理论，消费和收入与价格密切相关，因此 建立以国内生产总值gdp和消费价格指数p 为解释 变量，国内总消费tc为被解释变量的消费方程。数 据区间为1988—2007年。
点估计中两种方法的分析和比较
点估计中两种常用方法的比较与分析楚尚坤河南理工大学数学与信息科学学院信息与计算科学专业2005级3班摘 要：本文首先介绍矩估计法和极大似然估计法，然后对于同一分布和同一参数，用这两种不同的方法求出矩估计量和极大似然估计量，利用估计量的三条评选标准：无偏性、有效性和一致性来判断哪个估计量在这种情况下与该参数的真实值更相近，从而选择相应的点估计法。
关键词：矩估计 极大似然估计 无偏性 有效性 一致性§1 引言当我们碰到这样的问题：假设总体分布函数的形式已知（它可由理论分析和过去经验得到，或者从抽样数据的直方图和概率纸描点初步估计出），但它的一个或多个参数未知，借助于总体的一个样本值，构造适当的样本函数来估计总体未知参数的问题，我们称之为点估计问题。
点估计是数理统计学中内容很丰富的一个分支，其中两种最常用的构造的估计量的方法是矩估计法和极大似然估计法。
当对于同一分布和同一参数时，先用矩估计法和极大似然估计法分别求得矩估计量和极大似然估计量，然后用无偏性、有效性和一致性对这两个估计量进行衡量，当样本容量足够大时，从而选出一个估计量使得这个估计量既在未知参数的真实值附近，又与未知参数真实值的偏离程度很小，而且随着样本容量n 的增大估计量与被估计参数的偏差越来越小，进而选择相应的点估计法。
§2 相关概念2.1 参数估计所谓参数估计，是指从样本),,,(21n X X X 中提取有关总体X 的信息，即构造样本的函数——统计量),,,(21n X X X g ，然后用样本值代入，求出统计量的观测值12(,,,)n g x x x ，用该值来作为相应待估参数的值。
此时，把统计量),,,(21n X X X g 称为参数的估计量，把),,(,21n x x x g 称为参数的估计值。
2.2 参数估计的类型参数估计问题常有两类：点估计和区间估计。
（1） 点估计：指对总体分布中的参数θ，根据样本),,,(21n X X X 及样本值),,,(21n x x x ，构造一统计量),,,(21n X X X g ，将),,(,21n x x x g 作为θ的估计值，则称),,,(21n X X X g 为θ的点估计量，简称点估计，记为∧θ=),,,(21n X X X g 。
极大似然估计
E ( )
U (0, )
ˆ 2
ˆ ( n )
2 易见, 不是 2的无偏估计量 ˆL
注 极大似然估计量不一定 是无偏估计量
极大似然估计有一个简单但很有用的性质
性质 （极大似然估计的不变 性） ˆ是f ( x; )中参数的极大似然估计，并且 函数 设
ˆ )是u( )的 ˆ u( u u( )具有单值反函数 ( u)，则u 极大似然估计， 这里 ，Ц 为u( )的值域
例1 设ξ1,ξ2,…, ξn是取自母体 ξ~b(1, p) 的一个子样， 0 1分布 求参数p的极大似然估计.
解：的概率函数为 : P ( x ) p x (1 p)1 x ( x 0,1)
(1)似然函数 : L( p; x1 ,, xn ) p (1 p)
x
e ,
x 0,1,2,, 0
n n
i 1
xi
n
x1 ! x2 ! xn !
e n ,
( 2) ln L ( xi ) ln ln( xi ! ) n
i 1 i 1
d ln L i 1 令 n0 d ˆ ( 3)
0 1分布 b( n, p) P ( )
N ( , 2 )
常用概率分布的参数估 计表 矩估计 极大似然估计
ˆ p ˆ p n ˆ p
ˆ p
n
ˆ
ˆ
ˆ
1 n ˆ ( i )2 n i 1 1 ˆ
2
ˆ
1 n ˆ ( i )2 n i 1 1 ˆ
xi i 1 np )
xi
矩估计和极大似然估计
估计方法
点估计
矩估计法 顺序统计量法 最大似然法 最小二乘法
1/22
区间估计
参数的点估计
1. 矩法估计 2. 极大似然估计
2/22
参数估计问题的一般提法 设总体X的分布函数为F( x, θ )，其中θ 为未知参数或参数向量，现从该总体中抽样, 得到样本
X1, X2 , … , Xn . 依样本对参数θ 做出估计，或估计参数θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。
设分布律 P{X k} f (x; ), 为待估参数, ,
(其中 是 可能的取值范围)
X1,
X2 ,
,
X
是来自总体
n
X
的样本,
n
则 X1, X 2,L , X n 的联合分布律为 f (xi ; ). i 1
2. 最大似然估计法
1.设总体X为离散型随机变量，它的分布律为
P{X x} f (x, )
θ 2 (θ )2,
11/22
令
2
( )2
X,
1 n
n i1
X i2.
用样本矩 估计总体矩
得
ˆ
1 n
n
i1
X
2 i
nX
2
1
n
n i1
(Xi
X
)2
,
ˆ X
1
n
n i1
(Xi
X )2
.
ˆ, ˆ 为参数 , 的矩估计。
12/22
例3：设总体X的均值为，方差为2，求和 2 的矩估计。
解: 先求总体的均值和2阶原点矩。
E( X ) x 1 e(x) d x
0
矩估计和极大似然估计
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
2
14
第二节
极大似然估计
第七章
极大似然估计
15
极大似然估计法: 定义7.1 设 是
1, 第i次取到不合格品； Xi i 1, 2, , n. 0, 第i次取到合格品.
解 因 p=EX, 故 p 的矩估计量为
1 ˆ X X i f n ( A) p n i 1
(即出现不合格产品的频率).
9
n
例5
设总体X ~ U [a, b], a, b未知；X 1 , , X n
1100
可用两种方法：矩法估计 和极大似然估计.
28
1 x e , x0 X : p( x; ) ( 0) 0 , other
1）矩法估计
令 X
1 EX x e dx 0 则可得 的矩法估计量为：ˆ X .
x
1 n A1 X i X n i 1
1 ˆ 则 x (0 75 1 90 6 1) 1.22 250
ˆ 1.22。 所以 X 估计 下面我们通过几个例子说明利用矩估计法求 未知参数的过程。
6
例2
22
令
即
所以参数
的极大似然估计量为
23
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本,
，求参数λ的极大似然估计值。
似然函数为:
极大似然估计
是一个样本值
似然函数为 13
似然函数为
因为 对于满足
即
在
等价于
的任意
有
时,取最大值 14
似然函数为
即
在
故
时,取最大值 的极大似然估计值为:
故
的极大似然估计量为:
15
例5 指数分布的点估计
某电子管的使用寿命 X （单位：小时) 服从指数分布
X:
p(
x;
)
1
e
x
,
x0
( 0)
0 , other
令
解得
解得
p的极大似然估计值
p的极大似然估计量
它与矩估计量是相同的。
9
例2
设总体X的分布列为：
似然估计值。 解：
似然函数为
10
令
即
所以参数
的极大似然估计量为
11
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本, ，求参数λ的极大似然估计值。
似然函数为:
12
例4 设
求
解设
未知， 的极大似然估计量. 的概率密度为：
d ln L( ) 0. d
若母体的分布中包含多个参数，
即可令 L 0,i 1, , k.
i
或 ln L 0,i 1, , k.
i
解k个方程组求得1,
,
的极大似然估计值。
k总体X的一
个样本， 试求参数 p 的极大似然估计值.
解：设
是一个样本值。
X的分布列为：
故似然函数为
而 令 8
p(x, )
0,
其他.
2. 取对数：
当 0 < xi < 1, (i=1,2, …,n) 时
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例1 有一批零件，其长度X~N(,2)，现 从中任取4件，测的长度(单位：mm)为 12.6,13.4,12.8,13.2。试估计和2的值。 解： 由
1 x (12.6 13.4 12.8 13.2) 13 4 1 2 s [(12.6 13)2 (13.4 13)2 (12.8 13)2 4 1 (13.2 13)2 ] 0.133
解法二
E X
1 x e 2
x
dx
1
0
xe
x
dx ( 2)
即 E|X |
用
1 n Xi n i 1
替换 E X
n 1 ˆ 即得的另一矩估计量为 Xi n i 1
16
• 矩估计的优点
– 不依赖总体的分布，简便易行
– 只要n充分大，精确度也很高。
27
ln L( ) ln L( x , x , , x ; )
1 2 n
n ( x ) ln ln( x !)
i 1 i i 1 i
n
n
1 ln L( x , x ,, x ; ) n ( x )
n 1 2 n i 1 i
k
L( ) L( x , x , , x ; ) p( x ; ) p( x ; ) p( x ; )
1 2 n
1 2 n
x1
x1 !
e
i
x2
x2 !
e
xn
xn !
e
xi
i 1
n
x1 ! x2 ! xn !
e n
x {0,1,2,}, i 1,2,, n
^
i
ˆ 是的极大似然估计。
24
例2： 设X服从(0－1)分布，P{X=1}=p, 其 中p未知， x1,x2, ,xn为来自于总体的样本 值求p的极大似然估计。 解: X P 0 1-p 1 p
P{X 0} 1 p 1 x x P { X x } (1 p ) p , x 0,1 P{X 1} p
构造 k 个统计量： 1 ( X 1 , X 2 ,, X n )
2 ( X 1 , X 2 ,, X n )
随机变量
k ( X 1 , X 2 ,, X n )
5
当测得一组样本值(x1, x2,…, xn)时，代入上述 统计量，即可得到 k 个数： ˆ1 ( x1 , x2 ,, xn ) ˆ2 ( x1 , x2 ,, xn ) 数值 ˆk ( x1 , x2 ,, xn )
x
x , 0
ˆ 求的矩估计量
解法一 虽然 f ( x, ) 中仅含有一个参数， 但因 x
1 EX x e dx 0 2
不含,不能由此解出,需继续求总体 的二阶原点矩
1 1 2 2 EX x e dx 2
注: 矩估计不唯一
8
事实上，按矩法原理，令 1 n ˆ X Xi n i 1
1 n 2 2 A2 X i 是E(X )的估计 n i 1
ˆX
2
2 ˆ ˆ E ( X ) E ( X ) A2
2 2
n 1 n 2 1 2 2 2 X i X ( X i X ) Sn n i 1 n i 1
ˆ1 , ˆ2 ,, ˆk 为未知参数1 , 2 ,, k 的估计值 称数
对应的统计量为未知参数1 , 2 ,, k 的估计量 问题 如何构造统计量？
6
二.点估计的方法
1、矩方法；（矩估计） 2、极大似然函数法（极大似然估计）. 1. 矩方法 用样本的 k 阶矩作为总体的 k 阶矩的 方法 估计量, 建立含待估计参数的方程， 从而可解出待估计参数
10
解方程组，得 k 个统计量： ˆ1 ( X 1 , X 2 ,, X n ) ˆ2 ( X 1 , X 2 ,, X n ) ——未知参数1,2, ,k 的矩估计量 ˆk ( X 1 , X 2 ,, X n ) 代入一组样本值得k个数: ˆ1 ˆ1 ( x1 , x2 ,, xn ) ˆ2 ˆ2 ( x1 , x2 ,, xn ) ——未知参数1,2, ,k 的矩估计值 ˆk ˆk ( x1 , x2 ,, xn )
分别计算p=1/4,p=3/4时，P{X=x}的值，列于表
X p=1/4时 p=3/4时 结论:
0 27/64 1/64
1 27/64 9/64
x 0,1 x 2, 3
2 9/64
3 1/64
27/64 27/64
1/ 4 , ˆ ( x) p 3 / 4 ,
定义 1:(1) 设随机变量 X 的概率密度函数为 f(x, ), 其中 为未知参数 (f 为已知函数 ). x1 , x2 , , xn 为样本 X1 , X 2 , , X n 的样本观察值,
1 ln L x x 0 可以解出 从 n
n i 1 i
因此
n 1 ˆ ( x , x , , x ) xi 1 2 n n i 1
n
n d ln L d n n (n ln xi ) xi 第二步 d d i 1 i 1 n n 1 d ln L n ˆ 令 xi 0 n 第三步 x d i 1 x
i 1 1 ln L( ) 在 处达到最大，所以 经验证， x
i 1
22
i 1
n
定义2 如果似然函数 L( ) L( x , x , , x ; ) ˆ 时达到最大值,则称 ˆ 是参数的 在 极大似然估计。
1 2 n
例1 设总体X 服从参数为的指数分布， 即有概率密度
e x , x 0 f ( x, ) , ( 0) x0 0,
(1 p) xi p (1 xi ) 0 np xi
ˆx p
例3：设总体X服从参数为的泊松分布，即X 有分布列(分布律) p ( k ; ) P{ X k } e , k 0,1,2, k! 是未知参数，(0,+)，试求的极大似 然估计。 解： 样本的似然函数为
x
0
x 2e dx 2 (3) 2 2
15
x
1 n 2 用 A2 n X i 替换 i 1
EX 即
2
得的矩估计量为
1 n 2 A2 X i 2 2 n i 1
n 1 1 ˆ X i2 A2 / 2 , 0 2 n i 1
第二章
参数估计
1
统计 推断 的 基本 问题
参数估 计问题
点估计 区间估 计
假设检 验问题
2
பைடு நூலகம்
什么是参数估计？
参数是刻画总体某方面的概率特性的数量.
当这个数量是未知的时候，从总体抽出一个 样本，用某种方法对这个未知参数进行估计 就是参数估计.
例如，X ~N ( , 2), 若, 2未知，通过构造样本的函数, 给出它 们的估计值或取值范围就是参数估计的内容.
2. 对相同的参数 q( )，存在多个矩估计。
例如，考虑总体是参数为 的Poisson分布，
既是总体的均值，又是总体的方差。
18
2、极大似然函数法
先看一个简单的例子: 某位同学与一位猎人一起外出打猎,一 只野兔从前方窜过.只听到一声枪响,野兔 应声倒下.如果要你推测,是谁打中的呢？ 你会如何想呢？ 你就会想,只发一枪便打中,猎人命中的 概率一般大于这位同学命中的概率.看来这 一枪是猎人射中的. 这个例子所作的推断已经体现了极 大似然法的基本思想.
得和2的估计值分别为13(mm)和0.133(mm)2
12
例2 设总体X的概率密度为 x , 0 x 1 f ( x; ) 其它 0, X1,X2,,Xn为来自于总体X的样本,x1,x2, ,xn为样本值,求参数的矩估计。
1
解： 先求总体矩
E( X ) x x dx x dx
得(0－1)分布之分布律的另一种表达形式
25
L( x1 , x2 , , xn ; ) P( X i xi )
(1 p)1 xi p xi
i 1
n
i 1 n
ln L [(1 xi )ln(1 p) xi ln p]
i 1
n
令
d ln L 1 1 xi (1 xi ) 0 dp p 1 p
9
设待估计的参数为 1 , 2 ,, k
设总体的 r 阶矩存在，记为
E ( X ) r (1 , 2 ,, k )
r
设 X1, X2,…, Xn为一样本，样本的 r 阶矩为
令
1 r Br X i n i 1
n
1 n r r (1 , 2 ,, k ) X i r 1,2,, k n i 1 —— 含未知参数 1,2, ,k 的方程组
• 矩估计的缺点
– 矩估计的精度较差；
– 要求总体的某个k阶矩存在；
– 要求未知参数能写为总体的原点矩的函数形
式
17
注意： 1. 总体不一定存在适当阶的矩。 例 考虑Cauchy分布，其密度函数为 1 f ( x , ) , x , 2 (1 ( x ) ) 其各阶矩均不存在。
1
0 0 1 1
1
x