矩法与极大似然法的合理性与比较分析报告
数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
数理统计7：矩法估计（MM）、极⼤似然估计（MLE），定时截尾实验在上⼀篇⽂章的最后，我们指出，参数估计是不可能穷尽讨论的，要想对各种各样的参数作出估计，就需要⼀定的参数估计⽅法。
今天我们将讨论常⽤的点估计⽅法：矩估计、极⼤似然估计，它们各有优劣，但都很重要。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：矩法估计矩法估计的重点就在于“矩”字，我们知道矩是概率分布的⼀种数字特征，可以分为原点矩和中⼼矩两种。
对于随机变量X⽽⾔，其k阶原点矩和k阶中⼼矩为a_k=\mathbb{E}(X^k),\quad m_k=\mathbb{E}[X-\mathbb{E}(X)]^k,特别地，⼀阶原点矩就是随机变量的期望，⼆阶中⼼矩就是随机变量的⽅差，由于\mathbb{E}(X-\mathbb{E}(X))=0，所以我们不定义⼀阶中⼼矩。
实际⽣活中，我们不可能了解X的全貌，也就不可能通过积分来求X的矩，因⽽需要通过样本(X_1,\cdots,X_n)来估计总体矩。
⼀般地，由n个样本计算出的样本k阶原点矩和样本k阶中⼼矩分别是a_{n,k}=\frac{1}{n}\sum_{j=1}^{n}X_j^k,\quad m_{n,k}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^k.显然，它们都是统计量，因为给出样本之后它们都是可计算的。
形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是⽐较容易计算的。
容易验证，a_{n,k}是a_k的⽆偏估计，但m_{n,k}则不是。
特别地，a_{n,1}=\bar X，m_{n,2}=\frac{1}{n}\sum_{j=1}^{n}(X_j-\bar X)^2=\frac{n-1}{n}S^2\xlongequal{def}S_n^2,⼀阶样本原点矩就是样本均值，⼆阶样本中⼼矩却不是样本⽅差，⽽需要经过⼀定的调整，这点务必注意。
点估计中两种方法的分析和比较
点估计中两种常用方法的比较与分析楚尚坤河南理工大学数学与信息科学学院信息与计算科学专业2005级3班摘要：本文首先介绍矩估计法和极大似然估计法，然后对于同一分布和同一参数，用这两种不同的方法求出矩估计量和极大似然估计量，利用估计量的三条评选标准：无偏性、有效性和一致性来判断哪个估计量在这种情况下与该参数的真实值更相近，从而选择相应的点估计法。
关键词：矩估计极大似然估计无偏性有效性一致性§ 1引言当我们碰到这样的问题：假设总体分布函数的形式已知（它可由理论分析和过去经验得到，或者从抽样数据的直方图和概率纸描点初步估计出），但它的一个或多个参数未知，借助于总体的一个样本值，构造适当的样本函数来估计总体未知参数的问题，我们称之为点估计问题。
点估计是数理统计学中内容很丰富的一个分支，其中两种最常用的构造的估计量的方法是矩估计法和极大似然估计法。
当对于同一分布和同一参数时，先用矩估计法和极大似然估计法分别求得矩估计量和极大似然估计量，然后用无偏性、有效性和一致性对这两个估计量进行衡量，当样本容量足够大时，从而选出一个估计量使得这个估计量既在未知参数的真实值附近，又与未知参数真实值的偏离程度很小，而且随着样本容量n的增大估计量与被估计参数的偏差越来越小，进而选择相应的点估计法。
§ 2相关概念2.1参数估计所谓参数估计，是指从样本（X l,X2，…，X n）中提取有关总体X的信息，即构造样本的函数一一统计量g（X l,X2，…，X n），然后用样本值代入，求出统计量的观测值g（X l, X2」I （ , X n），用该值来作为相应待估参数的值。
此时，把统计量g（X1,X2，…，XQ称为参数的估计量，把9（人也凡）称为参数的估计值。
2.2参数估计的类型参数估计问题常有两类：点估计和区间估计。
（1）点估计：指对总体分布中的参数r ,根据样本（X「X2，…,X n）及样本值（X1，X2，…,X n），构造一统计量g（X i,X2，…,X n），将9（旨公2,…儿）作为二的估计值，则称g （X「X2，…，X n）为二的点估计量，简称点估计，记为A"g（X1,X2, ,X n）。
均匀分布的矩估计和极大似然估计
一、概述矩估计和极大似然估计是统计学中常用的两种参数估计方法，它们在众多领域中都有着重要的应用。
本文将对均匀分布的矩估计和极大似然估计进行深入探讨，分析它们的特点和适用范围，并对两种方法的优缺点进行比较和总结。
二、均匀分布的矩估计1. 均匀分布的概念和特点均匀分布是概率论中常见的一种离散型随机变量分布，它具有概率密度函数f(x) = 1/(b-a)，其中a和b分别为分布的起始值和终止值。
均匀分布的特点是在[a, b]区间内各个数值出现的概率相等。
2. 均匀分布的矩估计方法均匀分布的参数估计通常采用矩估计方法。
矩估计是利用样本矩来估计总体矩，其基本思想是将样本矩与总体矩相等，通过方程求解得到参数的估计值。
对于均匀分布而言，可以通过样本均值和样本方差来进行参数估计，具体的计算过程可以通过数学推导来进行详细阐述。
三、均匀分布的极大似然估计1. 极大似然估计的基本原理极大似然估计是统计学中另一种常用的参数估计方法，其基本思想是在给定样本条件下，寻找最大化似然函数的参数值作为估计值。
对于均匀分布而言，可以通过求解似然函数的一阶导数为0的方程来得到参数的极大似然估计值，具体的推导过程也需要进行详细的分析和阐述。
2. 极大似然估计与矩估计的比较极大似然估计与矩估计在参数估计的方法和理论基础上存在着一定的差异，它们在不同情况下各有优劣。
通过比较两种方法在均匀分布参数估计中的应用，可以得出它们在精确度、稳定性和有效性等方面的优缺点，为使用者提供更多的参考依据。
四、实例分析通过实际的数据样本和模拟实验，可以对均匀分布的矩估计和极大似然估计进行对比分析。
选择适当的参数和样本规模，比较两种方法得到的参数估计值与真实值之间的偏差情况，从而验证两种方法的可靠性和有效性。
五、结论通过对均匀分布的矩估计和极大似然估计的深入研究和分析，可以得出它们在不同情况下各有优劣，适用范围也有所不同。
在实际应用中，需要根据具体问题的特点选择合适的参数估计方法，以保证估计结果的准确性和可靠性。
极大似然估计和矩估计
极大似然估计和矩估计
极大似然估计和矩估计是统计学中常用的参数估计方法。
极大似然估计是指在给定一组观测数据的情况下，寻找最能解释这些数据的模型参数值的方法。
具体而言，我们需要在模型的参数空间中找到一个使得观测数据的似然函数最大的参数值。
似然函数是参数的函数，描述了给定参数下观测数据出现的概率。
极大似然估计的优点是它是渐进无偏的、有效的和一致的，但缺点是它需要知道分布函数的形式，并且在计算中可能会受到样本量的限制。
矩估计是指通过样本矩来估计未知参数的方法。
这些样本矩可以看作是从总体矩中抽取的矩的估计，因此矩估计也称为矩法。
矩估计的优点是它不需要知道分布函数的形式，可以使用有限的样本数据进行估计，并且可以用于多维参数的估计。
但矩估计的缺点是它可能会受到样本量的限制，且估计结果通常比极大似然估计的结果更不精确。
总的来说，极大似然估计和矩估计都是重要的参数估计方法，具有各自的优缺点和适用范围。
在实际应用中，我们可以根据数据的特点和需要进行选择。
- 1 -。
广义矩估计和极大似然估计
广义矩估计一、背景我们前面学了OLS 估计、工具变量估计方法，前面这几种方法都有重要假设就是需要知道分布才能估计，但是往往现实理论我们无法得到关于分布的信息，因此矩估计方法应运而生。
矩估计方法的基本思想是利用样本矩的信息组成方程组来求总体矩，以此得到渐进性质下的一致性估计量。
那么在构成方程组求解的过程中涉及识别问题和解决。
本章详细介绍矩估计方法。
矩估计方法实际应用非常广泛，应注意将矩估计与OLS 估计、工具变量估计和极大似然估计方法结合对比进行应用。
二、知识要点 1，应用背景2，矩估计存在的问题（识别） 3，矩正交方程和矩条件 4，矩估计的属性 三、要点细纲 1、应用背景其基本思想是：在随机抽样中，样本统计量（在一个严格意义上，一个统计量是观察的n 维随机向量即子样(),,,12X X X n =X 的一个（波雷尔可测）函数，且要求它不包含任何未知参数）将依概率收敛于某个常数。
这个常数又是分布中未知参数的一个函数。
即在不知道分布的情况下，利用样本矩构造方程（包含总体的未知参数），利用这些方程求得总体的未知参数。
基本定义统计量 11n m X i n i νν∑= 为子样的ν阶矩（ν阶原点矩）； 统计量 ()11n B X X i n i νν∑-= 为子样的ν阶中心矩。
子样矩的均值与方差()()()()2222EX Var X E X E X kk EX E X kkμμμοαμμ=-=--我们用到k k αμ或时假定它是存在的。
基本做法设：母体X 的可能分布族为(){},,F x θθ∈Θ，其中属于参数空间Θ的(),,,12k θθθθ= 是待估计的未知参数。
假定母体分布的k 阶矩存在，则母体分布的ν阶矩()(),,,,112x dF x k k ναθθθθνν∞=≤≤⎰-∞是(),,,12k θθθθ= 的函数。
对于子样(),,,12X X X n = X ，其ν阶子样矩是1,11n m X k i n i ννν=≤≤∑= 现在用子样矩作为母体矩的估计，即令：()1,,,1,2,,121n m X k ik n i ναθθθννν===∑= （1）（1）式确定了包含k 个未知参数(),,,12k θθθθ= 的k 个方程式。
矩估计和极大似然估计
矩估计和极大似然估计
统计学研究中估计参数是最基本的技术。
它是推断未知参数值的重要方法，它可以应用于任何分布，而无论它是均衡的还是不均衡的。
本文将介绍两种最常用的而且最有效的估计方法，即矩估计和极大似然估计。
矩估计是一种无偏估计。
它用平均方差作为估计的标准，以期获得无偏估计量。
它的思想是找到一组参数，使得它与观测数据的总平方和达到最小。
最小二乘法把参数的估计量分解为一系列不受体系误差影响的估计量，以便更加准确地估计。
极大似然估计也是无偏估计，但它是通过最大似然函数来求参数估计量的。
这个函数的思想是，根据观测数据，计算出参数的估计量，使得似然性最大。
极大似然估计就是使用给定观测数据和某个参数模型，来求出使这个参数模型似然函数最大的参数估计量。
矩估计和极大似然估计都有许多优点，如无偏性、处理简单，可以使用不同的统计模型以及可以计算准确率等等。
然而，它们也有一定的弊端。
矩估计假设数据服从正态分布，而实际数据常常不会服从正态分布，这时估计值可能会出现误差。
极大似然估计也存在类似的问题，因为它依赖于正确假设分布模型，它在模型类别选择和设定参数上可能会出现错误。
总的来说，矩估计和极大似然估计是统计学中重要的估计参数技术，它们都具有优点和缺点，但由于它们的效率和准确性，它们仍然是统计学的基础。
在选择估计方法时，应考虑到参数类别、数据分布
和分析技术，以选择最适宜的估计方法。
矩估计和极大似然估计分析解析
14
注:
总体均值方差的矩估计量与总体分布无关。
做矩估计时,也可用中心矩建立关于未知参数的 方程组， 因而矩估计不唯一。
例3
解：
λ未知，求参数λ的矩估计。
15
例4 不合格品率 p 的矩法估计 设某车间生产一批产品，为估计该批产品不合格品 率，抽取了n 件产品进行检查. 分析 设总体X 为抽的不合格产品数，相当于抽取了 一组样本X1，X2，… ，Xn , 且
中出现的概率最大。 极大似然估计就是在一次抽样中,若得到观测值
则选取
使得当
作为θ的估计值。 时,样本出现的概率最大。
24
极大似然估计法:
定义7.1 设 是
的一个样本值
形式已知
(如离散型) X的分布列为 的联合分布列为：
事件 为
发生的概率为 的函数，
25
为样本的似然函数。
样本的似然函数
现从中挑选使概率
θ
1 0 ( y )2 e θ dy 2θ 2 2 2
x μ 2 x θ e dx μ θ y
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
(b a ) ( a b) 1 A2 12 4 n
2 2
i 1
n
2 Xi
2 1
即 a b 2 A1 , b a 12( A2 A )
n 3 2 2 ˆ 解得： a A2 3( A2 A1 ) X ( X i X ) 17 n i 1
概率论与数理统计第七章-1矩估计法和极大似然估计法
数理统计
例5
设总体 X ~N( μ , σ 2) , μ , σ 2 未知 . x1 ,
, xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解 X 的概率密度为
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ˆ ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ. ˆ ( x1 , x2 ,, xn )称为 的估计值. 简记为
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
数理统计
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？
数理统计
你可能会想，只发一枪便打中, 猎人命中的概 率一般大于这位同学命中的概率 . 看来这一枪是猎 人射中的 . 这个例子所作的推断已经体现了极大似然估计 法的基本思想 .
参数估计-矩法和极大似然法
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 .
这个例子所作的推断已经体现了极大似然法的 基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f
(x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L( ) f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
L( ) f (x1,x2,…, xn; )
L( )看作参数 的函数，它可作为 将以多大可
能产生样本值 x1, x2,… ,xn 的一种度量 .
i 1
i 1
对p求导并令其为0，
d ln L( p) dp
1 p
n i 1
xi
1 1 p
(n
n i 1
xi )=0
得
pˆ
1 n
n i 1
xi
x
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
pˆ ( X1,
1n , X n ) n i1 X i X
求最大似然估计(MLE)的一般步骤是：
如何求解参数的矩估与极大似然估计
如何求解参数的矩估与极大似然估计一、矩估计若统计量Ｔ作为总体参数θ（或g(θ )）的估计时，Ｔ就称为θ（或g(θ )）的估计量。
定义 6.1矩估计量 设n X X X ,,,21 是总体Ｘ的样本，Ｘ的分布函数),,:(1k x F θθ 依赖于参数k θθ,,1 ，假定X 的r 阶矩为),,,(1k r r EX θθα =,,,1k r =（或r 阶中心矩）相应的样本矩记为),,,(1n r X X A 如下的k 个议程k r a X X A k r n r ,,1),,,(),,(11 ==θθ （6.1） 的解，称为未知参数k θθ,,:1 的矩估计。
二、最（极）大似然估计设总体Ｘ的密度函数θθ),,(x f 是参数或参数向量，n X X X ,,,21 是该总体的样本，对给定的一组观测值n x x x ,,,21 ，其联合密度是θ的函数，又称似然函数，记为：其中Θ为参数集，若存在,),,(ˆˆ1Θθθ∈=n x x 使Θθθθ∈≥),()ˆ(L L 就称 ),,(ˆ1n x x θ是θ的最大似然估计值，而),,(ˆ1nX X θ是θ的最大似然估计量。
注：１）对给定的观测值，)(θL 是θ的函数，最大似然估计的原理是选择使观测值n x x x ,,,21 出现的“概率”达到最大的θˆ作为θ的估计。
２）最大似然估计具有不变性，即若θˆ是θ的最大似然估计，则)(θg 的最大似然估计为)ˆ(θg 。
但是，矩估计不具有不变性，例如假定θ是X 的矩估计，一般情形下，2θ的矩估计不是2X 。
1. 设总体ξ服从指数分布，其概率密度函数为⎪⎩⎪⎨⎧<≤=-001)(1x x ex f x θθ，（θ>0）试求参数θ的矩估计和极大似然估计.解：ξ的概率密度为()1,0;,00,0xe xf x x θθθθ-⎧≥⎪=>⎨⎪<⎩似然函数为： ()11i x n i L eθθθ-=⎛⎫=⋅ ⎪⎝⎭∏而 令得到：11ˆn i i x n θ==∑=X 因此得到参数θ的极大似然估计量为：11ˆn i i X n θ==∑矩估计求法如下： 因为1E μξθ==令111ni i A x n θ===∑则11ˆn i i x n θ==∑从而θ的矩估计量为11ˆn i i X n θ==∑=X2. 设母体ξ具有指数分布，密度函数为⎩⎨⎧<≤=-00),(x xe xf xλλλ，（λ>0） 试求参数λ的矩估计和极大似然估计. 解：参数λ的矩估计求法为：因为令：则λ的矩估计量为：111ˆnii nA Xλ===∑极大似然估计求法如下：ξ的概率密度为(),0,0,0x e x f x x λλλ-⎧≥=⎨<⎩似然函数为： 而1ln ln nii L n xλλ==-∑令1ln 0ni i d L n x d λλ==-=∑解得λ的极大似然估计量为：1ˆnii nxλ==∑3. 设总体X ～N(μ,1), ),,(1n X X 为来自X 的一个样本，试求参数μ的矩估计和最大似然估计.解：矩估计求法为：令111ni i A x n μ===∑则11ˆni i x n μ==∑ 极大似然估计求法为： X 的概率密度为： 似然函数为： 而 令 即解得μ的极大似然估计量为：11ˆni i x n μ==∑。
参数估计-矩法和极大似然法
(4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
可靠性数学基础
例 设总体 X ~N( μ , σ )2 ,
2 μ , σ未知 .
x1 ,
, xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解 X 的概率密度为
f ( x) 1 2 e
( x )2 2 2
Fisher
可靠性数学基础
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
可靠性数学基础
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体现了极大似然法的 基本思想 .
1
n
可靠性数学基础
且是的增函数
取其它值时，L( , ) 0.
故使 L( , )达到最大的 , 即 的MLE 是
min xi
* 1 i n
于是
n 1 * xi * n i 1 即 * , *为 , 的MLE .
可靠性数学基础
1 ( x ) e , x X ~ f ( x ) , 为未知参数 其它 0,
其中 >0,求 , 的最大似然估计. 解：似然函数为
1 ( xi ) ， xi e L( , ) i 1 其它 0,
可靠性数学基础
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f (x1,x2,… ,xn ; ) . 当给定样本X1,X2,…Xn时，定义似然函数为：
矩估计和极大似然估计
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
2
14
第二节
极大似然估计
第七章
极大似然估计
15
极大似然估计法: 定义7.1 设 是
1, 第i次取到不合格品； Xi i 1, 2, , n. 0, 第i次取到合格品.
解 因 p=EX, 故 p 的矩估计量为
1 ˆ X X i f n ( A) p n i 1
(即出现不合格产品的频率).
9
n
例5
设总体X ~ U [a, b], a, b未知；X 1 , , X n
1100
可用两种方法：矩法估计 和极大似然估计.
28
1 x e , x0 X : p( x; ) ( 0) 0 , other
1）矩法估计
令 X
1 EX x e dx 0 则可得 的矩法估计量为：ˆ X .
x
1 n A1 X i X n i 1
1 ˆ 则 x (0 75 1 90 6 1) 1.22 250
ˆ 1.22。 所以 X 估计 下面我们通过几个例子说明利用矩估计法求 未知参数的过程。
6
例2
22
令
即
所以参数
的极大似然估计量为
23
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本,
，求参数λ的极大似然估计值。
似然函数为:
矩估计和极大似然估计实验报告
纵坐标是每组 的值，横坐标是组的番号。总体看来，大多数的组都是分布在0附近，就少数离散开0 较大。
三、实验3：
（一）试验课题：置信区间
（二）试验目的：已知 来自正态总体 ，其中 ，取 ，求置信度为0.99的 置信区间。（MeanCI[]函数）
（三）试验过程
根据题目写下列mathematica语言为
（2） 将（1）重复10次，用10次估计值的平均值作为a，b的估计，并与（1）的结果比较，体会其中包含的概率思想。
（三）试验过程
输入以下Mathematica语句：
(1)矩估计：data=RandomVariate[UniformDistribution[{0,1}],50];
EstimatedDistribution[data,UniformDistribution
p =Sort[data];
a =Append[a, p[[1]]];
b =Append[b, p[[50]]], {10}];
Total[a]/10
Total[b]/10
（四）试验结果分析
（1）矩估计
极大似然估计
矩估计法生成的结果是 ，
极大似然估计法生成的结果是 ，
从而可得出，两种结果都还是比较接近理论值的，在此情况下，极大似然估计的估计效果比矩估计效果更理想
data=RandomVariate[NormalDistribution[], 50];
MeanCI[data,ConfidenceLevel-> 0.99]
（四）试验结果
（2）通过多次运行mathematics得当样本容量变大时，模拟的结果更加稳定，波动更小。
二、实验2：
（一）试验课题：绘图估计量
如何求解参数的矩估与极大似然估计
如何求解参数的矩估与极大似然估计一、矩估计若统计量Ｔ作为总体参数θ（或g(θ )）的估计时，Ｔ就称为θ（或g(θ )）的估计量。
定义 6.1矩估计量 设n X X X ,,,21 是总体Ｘ的样本，Ｘ的分布函数),,:(1k x F θθ 依赖于参数k θθ,,1 ，假定X 的r 阶矩为),,,(1k r r EX θθα =,,,1k r =（或r 阶中心矩）相应的样本矩记为),,,(1n r X X A 如下的k 个议程k r a X X A k r n r ,,1),,,(),,(11 ==θθ （6.1） 的解，称为未知参数k θθ,,:1 的矩估计。
二、最（极）大似然估计设总体Ｘ的密度函数θθ),,(x f 是参数或参数向量，n X X X ,,,21 是该总体的样本，对给定的一组观测值n x x x ,,,21 ，其联合密度是θ的函数，又称似然函数，记为：∏=∈==nk k n x f x x L L 11),,(),,,()(Θθθθθ其中Θ为参数集，若存在,),,(ˆˆ1Θθθ∈=n x x 使Θθθθ∈≥),()ˆ(L L 就称 ),,(ˆ1n x x θ是θ的最大似然估计值，而),,(ˆ1nX X θ是θ的最大似然估计量。
注：１）对给定的观测值，)(θL 是θ的函数，最大似然估计的原理是选择使观测值n x x x ,,,21 出现的“概率”达到最大的θˆ作为θ的估计。
２）最大似然估计具有不变性，即若θˆ是θ的最大似然估计，则)(θg 的最大似然估计为)ˆ(θg 。
但是，矩估计不具有不变性，例如假定θ是X 的矩估计，一般情形下，2θ的矩估计不是2X 。
1. 设总体ξ服从指数分布，其概率密度函数为⎪⎩⎪⎨⎧<≤=-001)(1x x ex f x θθ，（θ>0）试求参数θ的矩估计和极大似然估计.解：ξ的概率密度为()1,0;,00,0xe xf x x θθθθ-⎧≥⎪=>⎨⎪<⎩似然函数为： ()11i x n i L eθθθ-=⎛⎫=⋅ ⎪⎝⎭∏ 11111niii x nx nni eeθθθθ=--=∑=⋅=⋅∏而11ln ln ni i L n x θθ==-⋅-∑令21ln 110nii d L n xd θθθ==-⋅+=∑得到：11ˆni i x n θ==∑=X因此得到参数θ的极大似然估计量为：11ˆn i i X n θ==∑矩估计求法如下： 因为1E μξθ==令111ni i A x n θ===∑则11ˆn i i x n θ==∑从而θ的矩估计量为11ˆn i i X n θ==∑=X2. 设母体ξ具有指数分布，密度函数为⎩⎨⎧<≤=-00),(x xe xf xλλλ，（λ>0） 试求参数λ的矩估计和极大似然估计. 解：参数λ的矩估计求法为：因为11E μξλ==令：1111ni i A x n λ===∑ 则λ的矩估计量为：111ˆnii nA Xλ===∑极大似然估计求法如下：ξ的概率密度为(),0,0,0x e x f x x λλλ-⎧≥=⎨<⎩似然函数为： ()1,0inx i L e x λλλ-==≥∏而1ln ln nii L n xλλ==-∑令1ln 0ni i d L n x d λλ==-=∑ 解得λ的极大似然估计量为：1ˆnii nxλ==∑3. 设总体X ～N(μ,1), ),,(1n X X 为来自X 的一个样本，试求参数μ的矩估计和最大似然估计.解：矩估计求法为：()1E X μμ==令111ni i A x n μ===∑则11ˆni i x n μ==∑ 极大似然估计求法为：X 的概率密度为： ()()22;x f x μμ--=似然函数为：()()221i x ni L μμ--==()()211222ni i x n e μπ=---∑=而()()211ln ln 222n i i n L x πμ==---∑令()1ln 1202ni i d L x d μμ==-=∑ 即()10nii x μ=-=∑解得μ的极大似然估计量为：11ˆni i x n μ==∑以下无正文仅供个人用于学习、研究；不得用于商业用途。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
矩法与极大似然法的合理性及比较分析矩法与极大似然法的合理性及比较分析摘要:皮尔逊所引入的矩法是较早提出的求参数点估计的方法。
我们从辛钦大数定律知道，若总体ξ的数学期望E(ξ)有限，则样本的平均值依概率收敛于E（ξ）。
这就启示我们想到，在利用样本所提供的信息来对总体ξ的分布函数中未知参数作估计时，可以用样本矩作为总体矩的估计。
费希尔引进的极大似然法，从理论观点来看，至今仍然是参数点估计中最重要的方法，以后将会知道，这种估计方法，是利用总体ξ的分布函数F（x；）的表达式及样本所提供的信息，建立未知参数的估计量（）。
极大似然法的想法同矩法一样也是直观的。
今举一个通俗的例子：有两位同学一起进行实弹射击，两人共同射击一个目标，事先并不知道谁的技术较好，让每人各打一发，有一人击中目标，那么认为击中目标的同学的技术比击不中的技术较好，显然是合理的。
又举一例；有一事件，我们知道它发生大概率p只可能是0.01或0.09，在一次观察中这事件发生了，试问这事件发生的概率是什么？当然人们会认为它发生的概率是0.09而不是0.01。
1、参数估计1.1、极大似然法一、基本概念：求未知参数点估计的一种重要方法。
思路是设一随机试验已知有若干个结果Ａ，Ｂ，Ｃ，…，如果在一次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故应如此选择分布的参数，使发生Ａ的概率最大。
对总体参数的估计分两种——点估计和区间估计。
在点估计里，我们介绍两种求估计量的方法：矩估计法和极大似然估计法。
从矩估计法公式我们得到,对正态总体N(μ, σ2)，未知参数μ的矩估计,σ2的矩估计为sn2；μ, σ2的极大似然估计也分别为x和sn2.一般地，在相当多的情况下，矩估计与极大X，似然估计是一致的，但也确有许多情形，矩估计法和极大似然估计法给出的估计是不同的.谁优谁劣?我们可以用估计量的优劣标准进行评价．除此之外，亦可以根据问题的实际意义进行判定.二、极大似然思想一般地说，事件A与参数Θ∈θ有关，θ取值不同，则)(AP也不同．若A发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P．分析：易知P的值无非是1/4或3/4．为估计P的值，现从袋中有放回地任取3只球，用X表示其中的黑球数，则),3(~PbX．按极大似然估计思想，对P的取值进行估计．解：对P的不同取值，X取3,2,1,0=k的概率可列表如下:X０１２３41=P6427642764964143=P64164964276427故根据极大似然思想即知：⎪⎩⎪⎨⎧===3,2,431,0,41ˆkkP．在上面的例子中，P是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P就最象那个三、似然函数与极大似然估计若总体X的密度函数为p(x; θ1, θ2,…, θk)，其中θ1, θ2,…,θk是未知参数，(X1, X2,…, X n)是来自总体X的样本，称为θ1,θ2,…,θk的似然函数若有使得成立,则称为θj极大似然估计量(j=1,2,…,k).根据微积分中函数极值的原理，要求使得上式成立，只要令其中L(θ)=L(x1,x2,…,x n;θ).解之，所得解为极大似然估计量，上式称为似然方程.又由于与=的极值点相同,所以根据情况,也可以求出的解作为极大似然估计量极大似然估计的不变性求未知参数θ的某种函数)g的极大似然估计可用极大似然估计的不变原则，证(θ明从略．定理（不变原则）设θˆ是θ的极大似然估计，)(θgg是θ的连续函数，则)(θ的极大似然估计为)ˆ(θg四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)L；(θ3、求似然函数)l的最大值(θL的最大值点（常转化为求对数似然函数)(θ点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．下面通过例子来说明：例一：设总体X服从正态分布N(μ, σ2)，试求μ及σ2的极大似然估计.解：μ,σ的似然函数为似然方程组为解之得: ,.因此及分别是μ及σ2的极大似然估计.例二：设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21Λ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：∑===-=-∏ni ii x n ni x ee L 11)(λλλλλ（２）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ（３）将)(λl 对λ求导得似然方程为：0)(1=-=∑=ni i x n d dl λλλ （４）解似然方程得：xxnni i1ˆ1==∑=λ经验证，λˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ；根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：X X E ==λˆ1)(．1.2 矩法估计一、矩法估计的概念对于随机变量来说，矩是其最广泛，最常用的数字特征，母体ξ的各阶矩一般与ξ的分布中所含的未知参数有关，有的甚至就等于未知参数。
由辛钦大数定律知，简单随机子样的子样原点矩依概率收敛到相应的母体原点矩E ξr ,r = 1,2,Λ。
这就启发我们想到用子样矩替换母体矩（今后称之为替换原则），进而找出未知参数的估计，基于这种思想求估计量的方法称为矩法。
用矩法求得的估计称为矩法估计，简称矩估计。
它是由英国统计学家皮尔逊Pearson 于1894年提出的。
二、矩法估计的理论依据由辛钦大数定律知：即对，有或三、矩法估计的具体步骤设母体ξ的概率函数为f (x ,θ1,Λ,θk ),其中是k 个未知参数，ξ1,Λ,ξn 是取自这一母体的一个子样。
设ξ的k 阶矩v k = E ξk存在，则v j ,j < k 都存在，并且是θ1,Λ,θk 的函数v j (θ1,Λ,θk )，又子样ξ1,Λ,θk 的j 阶矩为。
我们设(1)这样我们就得到含k 个未知参数θ1,Λ,θk 的k 个方程，解由这k 个方程联列所构成的方程组就可以得到theta 1,Λ,θk 的一组解：(2)用(2)中的解来估计参数θi 就是矩法估计。
一般我们考察的情形。
在数理统计学中，我们一般用表示θ的估计量。
例三：设总体X 的概率密度为X1， … ， Xn 为样本，求参数σ的矩估计。
解：||()02x x E X e dx σμσ∞--∞≡==⎰||222201()2x x x E X e dx x e dxσσασσ∞∞---∞≡==⎰⎰202x xx dexedxσσ∞∞--=-=⎰⎰02xxdeσσ∞-=-⎰xσ∞-2而例五:已知大学生英语四级考试成绩ξ~N(μ,σ2)，均值μ,方差σ2均未知，ξ1,Λ,ξn为取自母体ξ的一个子样，(x1,Λ,x n)是子样的一组观测值,求μ与σ2的矩法估计。
解：注意到有两个未知参数，由矩法估计知需两个方程，按照(1)式得方程组解这一方程组得μ与σ的矩法估计量从而μ与σ2的矩法估计值分别为。
分析：注意到我们这里求出μ与σ2的矩法估计并未用到母体ξ的分布。
这样对μ,σ2作出了估计，也就对整个母体分布作出了推断，进而对大学生英语四级考试成绩ξ相关的其它数字特征如标准分、标准差、偏态系数等作出了估计。
四、矩法估计的优缺点矩法估计原理简单、使用方便，使用时可以不知母体的分布，而且具有一定的优良性质（如矩估计为Eξ的一致最小方差无偏估计），因此在实际问题，特别是在教育统计问题中被广泛使用。
但在寻找参数的矩法估计量时，对母体原点矩不存在的分布如柯西分布等不能用，另一方面它只涉及母体的一些数字特征，并未用到母体的分布，因此矩法估计量实际上只集中22()22E Xασ⇒==211niXnα==∑)212niiXnσ∧=∴=∑了母体的部分信息，这样它在体现母体分布特征上往往性质较差，只有在样本容量n较大时，才能保障它的优良性,因而理论上讲，矩法估计是以大样本为应用对象的。
2、两种方法比较分析归纳如下两种方法的归纳比较如下表：极大似然法给出了具有最小方差的参数µ和σ的渐近无偏估计量，尽管它需要复杂的计算，随着计算机技术的迅速发展，极大似然估计量，，随着计算机技术的迅速发展，极大似然估计量的计算不难在计算机上实现。
而虽然渐近方差和渐进协方差较大，但概率加权矩法却给出参数µ 和σ的无偏估计量，表明了在估计能写出分布函数的反函数形式的分布参数时这种方法非常有用具体的两种方法的比较如下：1. 矩法估计量与极大似然估计量不一定相同；2. 用矩法估计参数比较简单,但有信息量损失；3. 极大似然估计法精度较高,但运算较复杂；4. 不是所有极大似然估计法都需要建立似然方程下面通过举例来说明：一、两种方法估计量相同的情形：例：某电子管的使用寿命 X （单位：小时) 服从指数分布今取得一组样本Xk 数据如下，问如何估计θ？分析 可用两种方法：矩法估计 和极大似然估计. 1）矩法估计2）极大似然估计 1、构造似然函数当x i>0,（i =1,2, …,n ) 时，似然函数为 2、取对数3、建立似然方程1,0:(;)(0)0,xe x X p x other θθθθ-⎧>⎪=>⎨⎪⎩01xEX x e dx θθθ-+∞=⋅=⎰Q ˆ.X X θθθ==则计为：令可得的矩法估量θ数计为：代入具体值可得的估值).(318572318111小时≈⋅=∑=n i i x n 1111()ni i i n x x n i L e e θθθθθ=---=∑==⋅∏∑--==ni ix n L 11ln ln θθ.01ln 12=∑+-==ni i x n d L d θθθ∑=θ--θ-=⋅θ=∏θ=θn i i ix nx n i n e e x x L 11111);,...,(.01ln 12=∑+-==n i i x n d L d θθθ4、求解极大似然估计值5、的极大似然估计值 带入具体值得： θ=二、两种方法不同的情形例：设总体概率密度为求参数θ的极大似然估计, 并用矩法估计θ.1) 极大似然估计法1. 构造似然函数2. 取对数：当 0<xi <1, (i =1,2, …,n) 时3、建立似然方程,1ˆ1x x n n i i =∑==θ,1ˆ1X X nn i i =∑==θ).(318572318111小时≈⋅=∑=n i i x n (1),01;(,)0,.x x p x θθθ⎧+<<=⎨⎩其他01)0n n i i i n x x L x x θθθ=⎧+<<⎪=⎨⎪⎩∏11(1),;(,...,;,其它∑++==n i i x n L 1ln )1ln(ln θθ,0ln 1ln 1=∑++==n i i x n d L d θθ4、求解极大似然估计值5、极大似然估计量为2) 矩估计法参考文献：1、苏均和主编：概率论与数理统计，上海财经大学．1999年1版．2、茆诗松等编著：概率论与数理统计，中国统计．1999年1版．3、魏振军编：概率论与数理统计三十三讲，中国统计．2000年1版．4、唐生强主编：概率论与数理统计复习指导，科学．1999年1版．5、大学，邓集贤：概率论及数量统计，高等教育。