矩估计和极大似然估计的求解步骤
数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
数理统计7：矩法估计（MM）、极⼤似然估计（MLE），定时截尾实验在上⼀篇⽂章的最后，我们指出，参数估计是不可能穷尽讨论的，要想对各种各样的参数作出估计，就需要⼀定的参数估计⽅法。
今天我们将讨论常⽤的点估计⽅法：矩估计、极⼤似然估计，它们各有优劣，但都很重要。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：矩法估计矩法估计的重点就在于“矩”字，我们知道矩是概率分布的⼀种数字特征，可以分为原点矩和中⼼矩两种。
对于随机变量X⽽⾔，其k阶原点矩和k阶中⼼矩为a_k=\mathbb{E}(X^k),\quad m_k=\mathbb{E}[X-\mathbb{E}(X)]^k,特别地，⼀阶原点矩就是随机变量的期望，⼆阶中⼼矩就是随机变量的⽅差，由于\mathbb{E}(X-\mathbb{E}(X))=0，所以我们不定义⼀阶中⼼矩。
实际⽣活中，我们不可能了解X的全貌，也就不可能通过积分来求X的矩，因⽽需要通过样本(X_1,\cdots,X_n)来估计总体矩。
⼀般地，由n个样本计算出的样本k阶原点矩和样本k阶中⼼矩分别是a_{n,k}=\frac{1}{n}\sum_{j=1}^{n}X_j^k,\quad m_{n,k}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^k.显然，它们都是统计量，因为给出样本之后它们都是可计算的。
形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是⽐较容易计算的。
容易验证，a_{n,k}是a_k的⽆偏估计，但m_{n,k}则不是。
特别地，a_{n,1}=\bar X，m_{n,2}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^2=\frac{n-1}{n}S^2\xlongequal{def}S_n^2,⼀阶样本原点矩就是样本均值，⼆阶样本中⼼矩却不是样本⽅差，⽽需要经过⼀定的调整，这点务必注意。
1矩估计和极大似然估计
16/22
设总体 X 的分布函数中含 k 个未知参数
1 , 2 , k .
步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am , m =1,2,„,k. 一般地, am (m =1, 2, „, K) 是总体分布 故, 中参数或参数向量 (1, 2, „, k) 的函数。 am (m=1, 2, „, k) 应记成: am(1,2,…,k), m =1, 2, „, k.
13/22
例3：设总体X的均值为，方差为2，求 和 2 的矩估计。
解：由
E(X) , 2 2 2 E(X ) .
^ X, 即 ^ n 2 1 2 2 X i X . n i 1
14/22
即
ˆ X, ˆ2 1 n 2 (Xi X ) . n i 1
依样本对参数θ 做出估计，或估计参数 θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。 参数估计包括：点估计和区间估计。
4/22
为估计参数 µ ，需要构造适当的统计量 T( X1, X2 , „ , Xn )， 一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为 µ的估计， 称该计算 值为 µ的一个点估计。
故，均值,方差2的矩估计为
ˆ X, 即 n 1 2 1 n 2 2 S . ˆ （ X X ) i n n i 1
15/22
如：正态总体N( , 2) 中 和2的矩估计为
ˆ X, ˆ2 1 n 2 （ X X ) . i n i 1
19/22
又如：若总体 X∼ U(a, b)，求a, b的矩估计。
解：列出方程组
ˆ, E( X ) 2 ˆ Var ( X ) .
点估计中两种方法的分析和比较
点估计中两种常用方法的比较与分析楚尚坤河南理工大学数学与信息科学学院信息与计算科学专业2005级3班摘要：本文首先介绍矩估计法和极大似然估计法，然后对于同一分布和同一参数，用这两种不同的方法求出矩估计量和极大似然估计量，利用估计量的三条评选标准：无偏性、有效性和一致性来判断哪个估计量在这种情况下与该参数的真实值更相近，从而选择相应的点估计法。
关键词：矩估计极大似然估计无偏性有效性一致性§ 1引言当我们碰到这样的问题：假设总体分布函数的形式已知（它可由理论分析和过去经验得到，或者从抽样数据的直方图和概率纸描点初步估计出），但它的一个或多个参数未知，借助于总体的一个样本值，构造适当的样本函数来估计总体未知参数的问题，我们称之为点估计问题。
点估计是数理统计学中内容很丰富的一个分支，其中两种最常用的构造的估计量的方法是矩估计法和极大似然估计法。
当对于同一分布和同一参数时，先用矩估计法和极大似然估计法分别求得矩估计量和极大似然估计量，然后用无偏性、有效性和一致性对这两个估计量进行衡量，当样本容量足够大时，从而选出一个估计量使得这个估计量既在未知参数的真实值附近，又与未知参数真实值的偏离程度很小，而且随着样本容量n的增大估计量与被估计参数的偏差越来越小，进而选择相应的点估计法。
§ 2相关概念2.1参数估计所谓参数估计，是指从样本（X l,X2，…，X n）中提取有关总体X的信息，即构造样本的函数一一统计量g（X l,X2，…，X n），然后用样本值代入，求出统计量的观测值g（X l, X2」I （ , X n），用该值来作为相应待估参数的值。
此时，把统计量g（X1,X2，…，XQ称为参数的估计量，把9（人也凡）称为参数的估计值。
2.2参数估计的类型参数估计问题常有两类：点估计和区间估计。
（1）点估计：指对总体分布中的参数r ,根据样本（X「X2，…,X n）及样本值（X1，X2，…,X n），构造一统计量g（X i,X2，…,X n），将9（旨公2,…儿）作为二的估计值，则称g （X「X2，…，X n）为二的点估计量，简称点估计，记为A"g（X1,X2, ,X n）。
2.2 矩估计和最大似然估计
求未知参数 ( , 2 ) 的矩估计量． 解 分别用样本均值 X 和二阶中心矩（未修正样本方
差） M 2* 估计 EX 和 DX ，得 和 2 的联立方程组：
1 2 X exp ， 2 M * (e 1) exp2 2 ． 2
于是，得 和 2 的矩估计量：
* 2 X M 2 2 ， ˆ ln ˆ ． ln 1 2 M* X 2 X 2
* 2 2
1 2
．
二、最大似然估计法
1、最大似然原理 一个试验有若干个可能的结果 A，B，C， ，若在一次 试验中结果 A 出现， 则一般认为试验条件对结果 A 出现有利， 也即 A 出现的概率最大。
2
关于 和 2 解方程组：
1 ln X 2， ln X 2 2 2 , 2
* ln M 2 ln(e 1) 2 2 ln(e 1) ln X 2；
2 2
ln(e
2
* * M2 M2 2 1) ln 2 ， e 1 2 ， X X * M2 2 ˆ ln 1 2 ； X
第 3 页 共 13 页
2.2 矩估计和最大似然估计
* ˆ X 3M2 a 所以 a , b 的矩估计为 * ˆ b X 3M 2
矩估计和极大似然估计正式版PPT文档
pˆX1 n ni1
Xi
fn(A)
(即出现不合格产品的频率).
例5 设总 X~U 体 [a,b]a ,,b未知 X1, ； ,Xn
是一个 求：样 a, b的本 矩估计； 量。
解 令 2 1 E a( E 2X bX2 ) aAD 12X b 1n, ( iE n1X X)2 i (b 1 2 a )2 (a 4 b )2
参数估计
统计推断：参数估计和假设检验。 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数。
估计湖中鱼数
估计平均降雨量
……
参数估计要解决问题:
总体分布函数的形式为, 但其中参数θ 未知时，需要确定未知参数。只有当参数θ 确定后，
才能通过率密度函数计算概率。
对于未知参数，如何应用样本 X1,X2,,Xn
一 . 矩估计法
根本原理：总体矩是反映总体分布的最简单的 数字特征，当总体含有待估计参数时，总体矩是 待估计参数的函数。
样本取自总体，Ak PE(Xk) k1,2,.
样本矩在一定程度上可以逼近总体矩， 故用样本矩来估计总体矩
由英国统计学家K.皮尔逊最早提出的。
设总体X的分布函数为 F(x;1, ,k)
参数估计： 点估计:估计θ的具体数值; 区间估计:估计θ的所在范围.
点估计问题：
构造一个适当的统计量 ˆ(X1,X2, ,Xn)
用它的观察值 ˆ(x1,x2,,xn)来估计未知参数θ.
称 ˆ(X1,X2,Xn) 为θ的估计量， ˆ(x1,x2,,xn) 为θ的估计值.
第一节 矩法估计
第七章
一 、矩法估计 二、常用分布参数的矩法估计
则ˆX, ˆ21 ni n1(XiX)2
参数估计公式最大似然估计贝叶斯估计矩估计
参数估计公式最大似然估计贝叶斯估计矩估计参数估计是统计学中的一个重要问题，它的目标是通过已经观测到的样本数据来估计未知参数的值。
在参数估计中，最大似然估计、贝叶斯估计和矩估计是常用的方法。
下面将分别介绍这三种估计方法及其公式。
一、最大似然估计最大似然估计是一种常用的参数估计方法，它基于样本数据的观测结果，通过寻找参数值使得观测样本出现的概率最大化来估计未知参数的值。
最大似然估计的公式如下所示：$$\hat{\theta}_{MLE} = \arg \max_{\theta} P(X|\theta)$$其中，$\hat{\theta}_{MLE}$表示最大似然估计得到的参数值，$P(X|\theta)$表示给定参数$\theta$下观测样本$X$出现的概率。
二、贝叶斯估计贝叶斯估计是另一种常用的参数估计方法，它基于贝叶斯定理，通过在先验分布和观测数据的基础上更新参数的后验分布来进行参数估计。
贝叶斯估计的公式如下所示：$$P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)}$$其中，$P(\theta|X)$表示给定观测样本$X$后，参数$\theta$的后验分布；$P(X|\theta)$表示给定参数$\theta$下观测样本$X$出现的概率；$P(\theta)$表示参数$\theta$的先验分布；$P(X)$表示观测样本$X$的边缘概率。
三、矩估计矩估计是一种基于样本矩的无偏估计方法，它通过样本矩与理论矩之间的差异来估计未知参数的值。
矩估计的公式如下所示：$$\hat{\theta}_{MME} = g(\overline{X}_n)$$其中，$\hat{\theta}_{MME}$表示矩估计得到的参数值，$g(\cdot)$表示由样本矩计算得到参数的函数，$\overline{X}_n$表示样本的均值。
在实际应用中，最大似然估计常用于样本量较大、参数唯一可估情况下的参数估计；贝叶斯估计常用于样本量较小、先验分布已知情况下的参数估计；矩估计常用于样本量较大、参数个数较多时的参数估计。
均匀分布的矩估计和极大似然估计
一、概述矩估计和极大似然估计是统计学中常用的两种参数估计方法，它们在众多领域中都有着重要的应用。
本文将对均匀分布的矩估计和极大似然估计进行深入探讨，分析它们的特点和适用范围，并对两种方法的优缺点进行比较和总结。
二、均匀分布的矩估计1. 均匀分布的概念和特点均匀分布是概率论中常见的一种离散型随机变量分布，它具有概率密度函数f(x) = 1/(b-a)，其中a和b分别为分布的起始值和终止值。
均匀分布的特点是在[a, b]区间内各个数值出现的概率相等。
2. 均匀分布的矩估计方法均匀分布的参数估计通常采用矩估计方法。
矩估计是利用样本矩来估计总体矩，其基本思想是将样本矩与总体矩相等，通过方程求解得到参数的估计值。
对于均匀分布而言，可以通过样本均值和样本方差来进行参数估计，具体的计算过程可以通过数学推导来进行详细阐述。
三、均匀分布的极大似然估计1. 极大似然估计的基本原理极大似然估计是统计学中另一种常用的参数估计方法，其基本思想是在给定样本条件下，寻找最大化似然函数的参数值作为估计值。
对于均匀分布而言，可以通过求解似然函数的一阶导数为0的方程来得到参数的极大似然估计值，具体的推导过程也需要进行详细的分析和阐述。
2. 极大似然估计与矩估计的比较极大似然估计与矩估计在参数估计的方法和理论基础上存在着一定的差异，它们在不同情况下各有优劣。
通过比较两种方法在均匀分布参数估计中的应用，可以得出它们在精确度、稳定性和有效性等方面的优缺点，为使用者提供更多的参考依据。
四、实例分析通过实际的数据样本和模拟实验，可以对均匀分布的矩估计和极大似然估计进行对比分析。
选择适当的参数和样本规模，比较两种方法得到的参数估计值与真实值之间的偏差情况，从而验证两种方法的可靠性和有效性。
五、结论通过对均匀分布的矩估计和极大似然估计的深入研究和分析，可以得出它们在不同情况下各有优劣，适用范围也有所不同。
在实际应用中，需要根据具体问题的特点选择合适的参数估计方法，以保证估计结果的准确性和可靠性。
矩估计法的一般步骤
总体参数的点估计一 矩估计法如果总体中的未知参数θ恰好就是某个总体矩，那么相应的样本矩就是它的矩估计。
但是当总体中的未知参数θ不是某个总体矩时，通常按下面的步骤来求未知参数θ的矩估计。
问题：设总体X 中含有k 个参数k θθθ ,,21，n X X X ,,21是来自总体的样本，求k θθθ ,,21的矩估计。
不管未知参数k θθθ ,,21是不是总体矩，我们都可以按以下步骤来求它们的矩估计。
①求出总体X 的一阶直到k 阶原点矩()()()k X E X E X E ,,,2 （也可以是总体中心距），并且把它们表示成未知参数k θθθ ,,21的函数。
设求得：()()k a X E θθθ,,,211 =()()k a X E θθθ,,,2122 =………………………………()()k k k a X E θθθ,,,21 =②用样本矩替换相应的总体矩，即()k ni i a X n θθθ,,,12111=∑= ()k ni i a X n θθθ,,,121212 =∑=………………………()k k n i ki a X n θθθ,,,1211=∑= 这是k 个关于未知参数k θθθ ,,21的方程。
③解由这k 个方程构成的方程组，得到k θθθ ,,21的解k θθθˆ,ˆ,ˆ21 ，这k 个解就是相应的未知参数的矩估计。
注意：（1）在上面的第一个步骤中，如果计算总体中心矩比较方便，也可以把部分总体原点矩换成总体中心矩。
（2）在上面的三个步骤中，把步骤②和③颠倒也可以。
二 最大似然估计法求总体中的未知参数k θθθ ,,21的最大似然估计可以归结为求似然函数的最大值点。
一般情况下可以按照以下三个步骤来做：①求似然函数()k n x x x L θθθ ,,;,,,2121 ②对似然函数取自然对数，并列似然方程()()()⎪⎪⎪⎩⎪⎪⎪⎨⎧=∂∂=∂∂=∂∂0,,,;,,,ln 0,,,;,,,ln 0,,,;,,,ln 21212212112121k k n k n k n x x x L x x x L x x x L θθθθθθθθθθθθ ②解似然方程，得到k θθθ ,,21的解k θθθˆ,ˆ,ˆ21 ，这k 个解就是未知参数k θθθ ,,21的最大似然估计值。
矩估计法和最大似然估计法
)]2
a
b2
12
a
b2
4
,
令
a
2
b
A1
1 n
n i 1
Xi,
(a b)2 12
(a
b)2 4
A2
1 n
n i 1
Xi2,
即
a b 2 A1, b a 12( A2
A12 ).
解方程组得到a, b的矩估计量分别为
aˆ A1
3( A2 A12 ) X
3 n
n i 1
若
L(
x1
,
x2
,,
xn
;ˆ
)
max
L(
x1
,
x2
,,
xn
;
).
ˆ( x1, x2,, xn ) 参数 的最大似然估计值,
ˆ( X1, X2,, Xn ) 参数 的最大似然估计量.
最大似然估计法是由费舍尔引进的. 求最大似然估计量的步骤:
费舍尔
(一) 写出似然函数
n
L( ) L( x1, x2 ,, xn; ) p( xi; )
.
解 总体X 的一阶矩为
1 E( X )
1 x( 1)x dx 1
0
2
以一阶样本矩 A1 X 代替上式中的一阶总体矩 1 ，
有
A1
1 2
,
从中解出
，得到
的矩估计量为
ˆ 1 2A1 1 2X .
A1 1 X 1
，
例3 设总体X的概率密度为
f
( x; , )
1
e ( x) /
本, x1, x2 ,, xn 为相应的一个样本值.
点估计问题就是要构造一个适当的统计量
分别用矩估计和极大似然比估计法求 的估计量
分别用矩估计和极大似然比估计法求的估计量分别用矩估计和极大似然比估计法求估计量一、引言估计量是统计学中常用的概念，用于估计总体参数。
其中，矩估计和极大似然估计是两种常见的估计方法。
本文将以“分别用矩估计和极大似然比估计法求估计量”为中心，详细阐述这两种方法的原理、步骤和应用。
二、矩估计法矩估计法是由卡尔·皮尔逊于1894年提出的。
它是一种基于样本矩的方法，通过样本矩与总体矩的对应关系来估计总体参数。
具体步骤如下：1.确定总体分布类型：首先，根据问题的背景和数据的特征，确定总体的分布类型，如正态分布、均匀分布等。
2.确定矩条件：根据总体分布类型的特点，确定需要估计的总体参数的矩条件。
例如，对于正态分布，需要估计均值和方差，因此需要确定一阶矩和二阶矩条件。
3.计算样本矩：从样本中计算出与所确定的矩条件对应的样本矩。
4.建立矩方程组：利用样本矩与总体矩的对应关系，建立矩方程组。
5.求解矩方程组：解矩方程组，得到参数的估计值。
矩估计法的优点是计算简单、易于理解，但其估计结果可能存在偏差。
同时，矩估计法对分布类型的选择比较敏感，如果选取的分布类型不准确，估计结果可能会失真。
三、极大似然估计法极大似然估计法是由拉夫·费歇尔于1922年提出的。
它是一种基于样本似然函数的方法，通过寻找使样本观测值出现的概率最大的参数值来估计总体参数。
具体步骤如下：1.建立似然函数：根据总体分布类型的假设，建立样本的似然函数。
似然函数是参数的函数，表示给定参数值时样本观测值出现的概率。
2.构造对数似然函数：为了方便计算，通常将似然函数取对数，得到对数似然函数。
3.求解极大化问题：将对数似然函数最大化，得到参数的极大似然估计值。
极大似然估计法的优点是估计结果具有一致性、渐进正态性和最大效率性等良好的性质。
但在实际应用中，由于似然函数的复杂性和求解问题的难度，常常需要使用数值优化方法进行求解。
四、应用示例为了更好地理解矩估计和极大似然估计的应用，下面以正态分布为例进行说明。
概率论与数理统计第七章-1矩估计法和极大似然估计法
数理统计
例5
设总体 X ~N( μ , σ 2) , μ , σ 2 未知 . x1 ,
, xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解 X 的概率密度为
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ˆ ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ. ˆ ( x1 , x2 ,, xn )称为 的估计值. 简记为
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
数理统计
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？
数理统计
你可能会想，只发一枪便打中, 猎人命中的概 率一般大于这位同学命中的概率 . 看来这一枪是猎 人射中的 . 这个例子所作的推断已经体现了极大似然估计 法的基本思想 .
矩估计和极大似然估计
参数估计包括：点估计和区间估计。
4/22
为估计参数 µ，需要构造适当的统计量 T( X1, X2 , … , Xn )，
一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为µ的估计， 称该计算 值为 µ的一个点估计。
解: 先求总体的均值和2阶原点矩。
E( X ) x 1 e(x) d x
0
(θ
y
)e y
d
y
令y=(x-μ )/θ
θ 11/22 .
E( X 2 ) x2 1 e(x) d x
令y=(x-μ )/θ
0
(θ
y
)2 e y
nX
2
1
n
n i1
(Xi
X
)2
,
ˆ X
1
n
n
(Xi
i1
X
)2
.
ˆ, ˆ 为参数 , 的矩估计。
13/22
例3：设总体X的均值为，方差为2，求 和 2 的矩估计。
E(X) , 解：由 E(X2) 2 2.
即
^ X,
的矩估计。
这种参数估计法称为参数的矩估计法， 简称矩法。
19/22
又如：若总体 X∼ U(a, b)，求a, b的矩估计。
解：列出方程组
E( X ) ˆ,
Var
(
X
)
ˆ
指数分布的矩估计和极大似然估计
指数分布的矩估计和极大似然估计指数分布是概率统计中一个重要的分布类型，它被广泛用于时间，距离，速率等方面的计算。
在实际应用中，我们需要对指数分布的参数进行估计，以便更好地对数据进行分析和预测。
本文将针对指数分布的矩估计和极大似然估计进行介绍。
一、矩估计矩估计是一种基于数据的估计方法。
首先，我们通过实际观测数据计算出样本的一阶矩和二阶矩，然后将其代入概率分布函数，得到参数估计值。
对于指数分布而言，其概率密度函数为：f(x|θ) = θe^-θx其中，θ为指数分布的参数。
我们可以通过计算样本的一阶矩和二阶矩来估计θ的值。
样本的一阶矩为：E(X) = 1/θ样本的二阶矩为：E(X^2) = 2/θ^2将计算出的一阶矩和二阶矩代入上述概率密度函数中，得到θ的矩估计值为：θ = 1/（2E(X^2) - E(X)^2）二、极大似然估计极大似然估计是一种基于概率的估计方法。
它假设已知观测数据的分布类型，通过最大化似然函数来估计参数值。
对于指数分布而言，其似然函数为：L(θ|x) = ∏ i=1^n θe^-θxi其中，n为样本个数，x1，x2，...，xn为样本数据。
我们可以通过计算该似然函数的对数，将乘积转换为求和。
即：ln(L(θ|x)) = nln(θ) - θ∑ xi通过求导，令导数等于0，求出使似然函数最大的θ，即为θ的极大似然估计值：θ = n/∑ xi三、矩估计和极大似然估计的比较矩估计和极大似然估计都是常见的参数估计方法。
它们的区别在于矩估计基于统计量而极大似然估计基于似然函数。
从估计结果的准确性和稳定性来看，极大似然估计更加优越，因为它是最大化整个概率函数，利用了全部的数据信息。
而矩估计则只是利用了一阶和二阶矩作为参数的估计依据，忽略了其他高阶矩的信息。
但是，在样本容量较小的情况下，矩估计可能更为可靠，因为极大似然估计会受到极端值和样本大小的影响，而矩估计则更加稳定。
因此，在不同的数据分析和预测应用中，需要根据实际情况选择适合的参数估计方法。
参数估计-矩法和极大似然法
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 .
这个例子所作的推断已经体现了极大似然法的 基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f
(x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L( ) f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
L( ) f (x1,x2,…, xn; )
L( )看作参数 的函数，它可作为 将以多大可
能产生样本值 x1, x2,… ,xn 的一种度量 .
i 1
i 1
对p求导并令其为0，
d ln L( p) dp
1 p
n i 1
xi
1 1 p
(n
n i 1
xi )=0
得
pˆ
1 n
n i 1
xi
x
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
pˆ ( X1,
1n , X n ) n i1 X i X
求最大似然估计(MLE)的一般步骤是：
如何求解参数的矩估与极大似然估计
如何求解参数的矩估与极大似然估计一、矩估计若统计量Ｔ作为总体参数θ（或g(θ )）的估计时，Ｔ就称为θ（或g(θ )）的估计量。
定义 6.1矩估计量 设n X X X ,,,21 是总体Ｘ的样本，Ｘ的分布函数),,:(1k x F θθ 依赖于参数k θθ,,1 ，假定X 的r 阶矩为),,,(1k r r EX θθα =,,,1k r =（或r 阶中心矩）相应的样本矩记为),,,(1n r X X A 如下的k 个议程k r a X X A k r n r ,,1),,,(),,(11 ==θθ （6.1） 的解，称为未知参数k θθ,,:1 的矩估计。
二、最（极）大似然估计设总体Ｘ的密度函数θθ),,(x f 是参数或参数向量，n X X X ,,,21 是该总体的样本，对给定的一组观测值n x x x ,,,21 ，其联合密度是θ的函数，又称似然函数，记为：其中Θ为参数集，若存在,),,(ˆˆ1Θθθ∈=n x x 使Θθθθ∈≥),()ˆ(L L 就称 ),,(ˆ1n x x θ是θ的最大似然估计值，而),,(ˆ1nX X θ是θ的最大似然估计量。
注：１）对给定的观测值，)(θL 是θ的函数，最大似然估计的原理是选择使观测值n x x x ,,,21 出现的“概率”达到最大的θˆ作为θ的估计。
２）最大似然估计具有不变性，即若θˆ是θ的最大似然估计，则)(θg 的最大似然估计为)ˆ(θg 。
但是，矩估计不具有不变性，例如假定θ是X 的矩估计，一般情形下，2θ的矩估计不是2X 。
1. 设总体ξ服从指数分布，其概率密度函数为⎪⎩⎪⎨⎧<≤=-001)(1x x ex f x θθ，（θ>0）试求参数θ的矩估计和极大似然估计.解：ξ的概率密度为()1,0;,00,0xe xf x x θθθθ-⎧≥⎪=>⎨⎪<⎩似然函数为： ()11i x n i L eθθθ-=⎛⎫=⋅ ⎪⎝⎭∏而 令得到：11ˆn i i x n θ==∑=X 因此得到参数θ的极大似然估计量为：11ˆn i i X n θ==∑矩估计求法如下： 因为1E μξθ==令111ni i A x n θ===∑则11ˆn i i x n θ==∑从而θ的矩估计量为11ˆn i i X n θ==∑=X2. 设母体ξ具有指数分布，密度函数为⎩⎨⎧<≤=-00),(x xe xf xλλλ，（λ>0） 试求参数λ的矩估计和极大似然估计. 解：参数λ的矩估计求法为：因为令：则λ的矩估计量为：111ˆnii nA Xλ===∑极大似然估计求法如下：ξ的概率密度为(),0,0,0x e x f x x λλλ-⎧≥=⎨<⎩似然函数为： 而1ln ln nii L n xλλ==-∑令1ln 0ni i d L n x d λλ==-=∑解得λ的极大似然估计量为：1ˆnii nxλ==∑3. 设总体X ～N(μ,1), ),,(1n X X 为来自X 的一个样本，试求参数μ的矩估计和最大似然估计.解：矩估计求法为：令111ni i A x n μ===∑则11ˆni i x n μ==∑ 极大似然估计求法为： X 的概率密度为： 似然函数为： 而 令 即解得μ的极大似然估计量为：11ˆni i x n μ==∑。
矩估计和极大似然估计的求解步骤
2 1
(n
1)
2 0.975
(4)
0.484,
2
(n 1)
2 0.025
(4)
11.143
2
2
由样本值得：S 2 0.01425 , 代入数据计算区间上、下限，
得 2的置信度为95%的置信区间为：(0.0051,0.1178)。
总结：
2已知,的置信区间
(X Z , X Z )
小节：推导置信区间的步骤
（1）寻求一个含有待估参数θ（而不含其他任 何未知参数）的统计量U ，且其分布已知.
（2）对事先给定的置信度1-α，确定分位点. （3）解不等式，求得待估参数θ的置信区间.
例1: 设总体X~N(µ，52)，随机抽取容量为16的样
__
本，求得 x 65 , 试 求µ的置信度为95%的置信
使得 P ˆ1 ˆ2 1 (1)
成立，则称随机区间 ˆ1,ˆ2 为参数的置信度
为1－ 的置信区间。 1－ 称为置信度。
说明:
1、（1）式的含义是指总体参数θ 以1- 的概率
包含在 ˆ1,ˆ2 内，而不被包含的概率仅为。若取 =0.05, (1)式是指θ 以95的概率包含在 ˆ1,ˆ2 内,不
2
2
2 n 1 y
2
例3:求课本P124例2 中 2的置信度为95%的置信区间。 解： 2的置信度为1-α 的置信区间为：
n
2
2
1S 2 n 1
，n
2 1
1S n
2
2
1
对给定的α=1-0.95=0.05，查表知
矩估计量和矩估计值
矩估计量和矩估计值
求矩估计量、矩估计值和极大似然估计值的详细过程：
1、根据题目给出的概率密度函数，计算总体的原点矩（如果只有一个参数只要计算一阶原点矩，如果有两个参数要计算一阶和二阶）。
由于有参数这里得到的都是带有参数的式子。
如果题目给的是某一个常见的分布，就直接列出相应的原点矩（E(x)）。
2、根据题目给出的样本。
按照计算样本的原点矩，让总体的原点矩与样本的原点矩相等，解出参数。
所得结果即为参数的矩估计值。
矩估计量的背景知识：
简单的讲，概率密度函数表示的就是随机变量X在某点的概率（所有点的概率和为1）。
对于连续型的随机变量，其图像通常为一个连续的曲线，离散型的随机变量的图像一般是一个一个点组成。
“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。
似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
这里类似于“贝叶斯方法”的思路。
矩估计和极大似然估计
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
2
14
第二节
极大似然估计
第七章
极大似然估计
15
极大似然估计法: 定义7.1 设 是
1, 第i次取到不合格品； Xi i 1, 2, , n. 0, 第i次取到合格品.
解 因 p=EX, 故 p 的矩估计量为
1 ˆ X X i f n ( A) p n i 1
(即出现不合格产品的频率).
9
n
例5
设总体X ~ U [a, b], a, b未知；X 1 , , X n
1100
可用两种方法：矩法估计 和极大似然估计.
28
1 x e , x0 X : p( x; ) ( 0) 0 , other
1）矩法估计
令 X
1 EX x e dx 0 则可得 的矩法估计量为：ˆ X .
x
1 n A1 X i X n i 1
1 ˆ 则 x (0 75 1 90 6 1) 1.22 250
ˆ 1.22。 所以 X 估计 下面我们通过几个例子说明利用矩估计法求 未知参数的过程。
6
例2
22
令
即
所以参数
的极大似然估计量为
23
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本,
，求参数λ的极大似然估计值。
似然函数为:
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、 σ2 已知 ，求μ的置信度为1-α的置信区间
解：考虑到样本均值X 是 μ的一个无偏估计量，且
X ~ N(, 2 )
n
___
即U
(X
)
n ~ N (0,1)
由于U中含有µ而不含其他任何未知参数,且其
分布已知.故对事先给定的置信度1-α，由标准
正态分布上α分位点的定义可知：
(x)
P(Z U Z ) 1
为1－的置信区间为:
( X t (n 1)
2
S n
,
X
t
2
(n
1)
S) n
例2、课本P124例2
分析：这其实是当 2未知时, 求µ的置信度为95%的置信区间问题。
解： µ的置信度为1-α 的置信区间为：
( X t (n 1)
2
S) n
对事先给定的α=1-0.95=0.05，查表知 t (n 1) t0.025(4) 2.778 2
3、求方差σ2 的置信区间
无论已知或未知,考虑到§4.1定理3
Y n 1S 2 2
~ 2 n 1
P122
n
1
Y
2
2
n
1
1
f (y)
可得 2 的置信度为(1- )的置信区间为:
n
2
2
Hale Waihona Puke 1S2 n 1，n 1S2
2 1
n
1
2
2 1
n
1
2
2
2 n 1 y
2
例3:求课本P124例2 中 2的置信度为95%的置信区间。 解： 2的置信度为1-α 的置信区间为：
(X Z
, X Z
)
2n
2n
对给定的α=1-0.95=0.05，查表知
Z Z0.025 1.96 2
跳转到第一页
代入数据
__
x 65, Z 1.96, 5, n 16 4
2
由于
5
X Z
2
65 1.96 62.55
n
4
X Z
2
65 1.96 5 67.45
n
4
故µ的置信度为95% 的置信区间为：
被包含的概率仅为5%。
2、α的大小决定了 参数θ包含在 ˆ1,ˆ内2 概率的大
小。即α越小，则θ落在区间
ˆ1内,ˆ2的 概率越大。
由于 α 通常取得很小，因而θ落在区间
内 ˆ1 ,ˆ2
的概率很大。
下面通过例子说明置信区间的求法：
二、单个正态总体置信区间的求法
设总体 X ~ N (, 2 ), ( X1 , X 2 X n )是其样本。
2
~
2 (n 1)
§3 区间估计
一、置信区间的定义 二、置信区间的求法
1、σ2 已知时 ，求μ的置信区间 2、σ2 未知 时，求μ的置信区间 3、求σ2 的置信区间 三、第四章小结
引言
由点估计,我们可以利用样本信息求得待估参数θ的 一个估计值θ*，但θ*与θ有没有误差，误差多大我们并 不清楚。 而区间估计不仅给出了待估参数的 一个取值范围，而且还给出了参数真值包含在该区间 内的概率。
2n
2n
2、σ2 未知时，求μ的置信区间
当 2未知时,就不能再用例1中的统计量了 考虑到§4.1定理5
T (X ) n ~ t(n 1)
S
对事先给定的置信度1－,由t分布 上α分位点的定义可知
P t (n 1) T t (n 1) 1
2
2
2
t (n 1)
2
1
2
t (n 1)
2
代入T,解不等式就得到μ的置信度
__
由样本得： x 12.59, S 0.119, 代入数据计算区间上、下限
由于
X t (n 1)
2
S n
12.59 2.776 0.119 12.44 5
X t (n 1)
2
S n
12.59 2.776 0.119 12.74 5
故平均直径的置信度为95% 的置信区间为：(12.44,12.74)
所谓区间估计就是将待估参数估计在一个区间内， 并以一定的概率保证待估参数在该区间内。
区间估计的关键是求置信区间，下面先给出置信区 间的定义。
一、置信区间的定义
定义:设为总体X的一个未知参数，若对事先给定 的（0< <1）, 存在由样本(X1,X2,…Xn )确定的 两个统计量
ˆ1 ˆ1( X1, X2 ,..., Xn )与ˆ2 ˆ2( X1, X2 ,..., Xn )
(62.55,67.45)
小节： 求具体置信区间的步骤：
（1）写出置信区间 （2）查表求分位点 （3）代样本值计算置信区间上、下 限的数值 （4）作结论
练习: 设总体X~N(µ，0.42)，随机抽取容量为10 的样本，试 求µ的置信度为95%的置信区间。 解： µ的置信度为1-α 的置信区间为：
( X Z , X Z ) 即：( X 0.248, X 0.248)
2
2
将U代入，解不等式
(X ) n
Z
2
Z
2
Z
2
Z
2
由上式可得μ的置信度为1－α的置信区间为：
(X Z , X Z )
2n
2n
说明:(由上可知求置信区间的方法思路)
寻求一个含有待估参数θ（而不含其他任何未 知参数）的统计量U ，且其分布已知，再根据U的 分位数，求出θ的置信区间。
小节：推导置信区间的步骤
使得 P ˆ1 ˆ2 1 (1)
成立，则称随机区间 ˆ1,ˆ2 为参数的置信度
为1－ 的置信区间。 1－ 称为置信度。
说明:
1、（1）式的含义是指总体参数θ 以1- 的概率
包含在 ˆ1,ˆ2 内，而不被包含的概率仅为。若取 =0.05, (1)式是指θ 以95的概率包含在 ˆ1,ˆ2 内,不
n
2
2
1S 2 n 1
，n
2 1
1S n
2
2
1
对给定的α=1-0.95=0.05，查表知
2 1
(n
1)
2 0.975
(4)
0.484,
2
(n
1)
2 0.025
(4)
11.143
复习:1、矩估计与极大似然估计的求解步骤
2、估计量的无偏性与有效性的含义
3、几个有用的统计量
设X～N(,2),(X1,X2…Xn)是它的一个样本,则
__
__
(1) X
~
N(, 2 ) U
(X )
n ~ N (0,1)
n
(2) T ( X ) n ~ t(n 1)
S
(3) Y
(n 1)S 2
（1）寻求一个含有待估参数θ（而不含其他任 何未知参数）的统计量U ，且其分布已知.
（2）对事先给定的置信度1-α，确定分位点. （3）解不等式，求得待估参数θ的置信区间.
例1: 设总体X~N(µ，52)，随机抽取容量为16的样
__
本，求得 x 65 , 试 求µ的置信度为95%的置信
区间。
解： µ的置信度为1-α 的置信区间为：