考研数学概率学：极大自然估计量考点
极大似然估计及其性质
极大似然估计及其性质一、极大似然估计 设联合密度函数为12(;),'()k f Y θθθθθ=则似然函数为似然函数(;)(;)L Y f Y θθ==为使关于θ的似然函数最大化，求θ的一个估计ˆθ，使获得的已观测到的样本值的概率自大化，即最大似然估计量（MLE ）。
定义对数似然函数为ln l L =则l l LL θθ∂∂=∂∂ 最大化l 的ˆθ值也会最大化L ，l 对θ的导数(;)s Y θ称作得分，将得分定义为0，即可解出（MLE ）ˆθ，即(;)0ls Y θθ∂==∂ 二、MLE 的性质 1、一致性。
ˆlim()P θθ= 2、渐进正态性。
1ˆ~(,())N I θθθ- 式中()I θ为信息矩阵2()'l l l I E E θθθθθ⎡⎤'⎡⎤∂∂∂⎛⎫⎛⎫⎢⎥==- ⎪⎪⎢⎥∂∂∂∂⎢⎥⎝⎭⎝⎭⎣⎦⎣⎦ 当θ是一个k 维向量时，lθ∂∂表示k 个偏导数组成的列向量，即12k l l l l θθθθ∂⎛⎫∂ ⎪ ⎪∂∂ ⎪∂= ⎪∂ ⎪ ⎪∂ ⎪∂⎝⎭ 而lθ∂∂的二阶导数为 222211212222212*'k k k k k kl l l ll l l θθθθθθθθθθθθ⎛⎫∂∂∂ ⎪∂∂∂∂∂⎪⎪∂= ⎪∂∂⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂∂∂⎝⎭ 3、渐进有效性。
2ˆ)(0,)d N θθσ-−−→4、不变性。
如果ˆθ是θ的MLE ，()g θ是θ的连续函数，则ˆ()g θ是()g θ的MLE 。
5、得分的均值为0，方差为()I θ。
三、线性模型的极大似然估计 设2~(0,)Y XB UU N σ=+U 的多元正态密度函数为21()(')2221()(2)U U n f U eσπσ-=Y 关于X 的多元条件密度为(,)()U f Y X f U Y∂=∂ UY∂∂是由U 中元素关于Y 中元素的偏导数组成的n n ⨯矩阵转换成的行列式的绝对值，并且为恒等矩阵。
极大似然估计方法
极大似然估计方法极大似然估计（Maximum Likelihood Estimation，MLE）方法是一种用于估计参数的统计方法，它基于观测到的样本数据，通过选择最大化观测数据出现的概率的参数值来估计未知参数。
极大似然估计是概率论和统计学中最重要的方法之一，广泛应用于各个领域的数据分析与建模中。
极大似然估计方法的核心思想是基于某一参数下观测数据出现的概率，选择使得这个概率最大的参数值。
具体而言，给定一个观测数据集合X，其来自于一个具有参数θ的概率分布，我们要估计未知参数θ的值。
极大似然估计的目标是找到一个参数值θ^，使得给定θ^条件下观测数据集合X出现的概率最大。
数学上，极大似然估计可以通过最大化似然函数来求解。
似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。
极大似然估计的目标是寻找一个参数θ^，使得似然函数最大化，即：θ^ = arg max L(θ|X)为了方便计算，通常将似然函数转化为其对数形式，即对数似然函数：l(θ|X) = log L(θ|X)本文将主要介绍如何利用极大似然估计来估计参数。
具体而言，将分为两个部分：首先是介绍极大似然估计的理论基础，包括似然函数和对数似然函数的定义，以及如何通过最大化似然函数来估计参数；其次是通过一个实际的例子，展示如何使用极大似然估计来求解参数。
理论基础似然函数是极大似然估计的核心概念之一。
似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的值越大，则表示给定参数θ的取值越可能产生观测数据X。
对数似然函数是似然函数的对数变换，通常在实际计算中会更加方便。
它的定义如下：l(θ|X) = log L(θ|X)对数似然函数和似然函数存在着一一对应关系，因此在求解参数时，两者等价。
西安交大西工大 考研备考期末复习 概率论与数理统计 极大似然估计
一、参数点估计问题
设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题.
引例1 元件无故障的工件时间 X 具有负指数分
极大似然法的基本概念
得到样本值 x1, x2 ,, xn时,选取使似然函数L( )
取得最大值的ˆ 作为未知参数 的估计值,
即
L(
x1
,
x2
,,
xn
;ˆ
)
max
L(
x1
,
x2
,,
xn
;
).
(其中 是 可能的取值范围)
这样得到的ˆ 与样本值 x1, x2 ,, xn有关,记为 ˆ( x1, x2 ,, xn ), 参数 的最大似然估计值,
t
此时 L(N ) 关于 N 是单调递增的。于是在 N rs 时，
t
L(N ) 取最大值，故
^
N
rs
t
因为待估计量是整数，所以上式取最接近的整数.
模型评析
1、建模理论依据：超几何分布的概率计算，极 大似然估计。应用参数估计的思想和方法分 析、处理问题。
2、应用与推广：本例可推广到一定区域范围内 的生物总数估计等问题。例如，估计一个城 市的人口总数，也可以用同样的方法考虑。
模型2：参数点估计模型
设捕出的 s 条鱼中带有标记的个数为随机变量 ，则 服从超几何分布，取值0,1,2, l(l min{ s, r})
分布律
P(
i)
C Ci si r N r
极大似然估计
1）矩法估计
EX0x1exdx
令 X 则 可 得 的 矩 法 估 计 量 为 ： ˆ X .
代 入 具 体 数 值 可 得 的 估 计 值 为 ：
1 ni n1xi 118 572 3 31(小 8 )时 .
17
X: p(x;)1ex, x0 (0)
2）极大似然估计
0 , other
出现的可能性应最大, 其概率为
29
px(1 p)1x, P(x;p)
0,
x0, 1; 其.它
L (x1,x2, .x .n .;p ,)
P {X 1x1,X 2x2, .X .n . ,xn}
nP {X ix i} npx i(-1 p )1 -x i
i 1
i 1
pi n1xi(-1p)n i n 1xi, (xi0, 1p;1 0)
节
章
极大似然估计
极大似然估计
1
极大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
2
基本思想:
若一试验有n个可能结果 A1, ,An,现做一试验,
若事件Ai 发生了, 则认为事件Ai在这n个可能结果 中出现的概率最大。
故似然函数为
n
L(p)
n
n
pxi
(1p)1xi
xi
n xi
pi1 (1p) i1 ,
而
i1 n
n
lnL(p)( xi)lnp(n xi)ln1 (p)
i1 n
in1
令
d ln L( p) dp
xi n xi i1 i1 0
概率与数理统计极大似然估计详细讲解及例题
P(Y=3) 0.343 0.027
估计
估计
应如何估计p? p=0.7 或 p=0.3
P (Y
k)
3 k
pk
(1
p)3k
k=0,1,2,3
如果有p1,p2,…,pm可供选择, 又如何合理地 选p呢?
若重复进行试验n次,结果“1”出现k次 (0 ≤ k≤ n), 我们计算一切可能的
P(Y=k; pi )=Qi ， i=1,2,…,m 从中选取使Qi 最大的pi 作为p的估计.
i
n 1
(
xi
)
0,
min xi
其它
对 min xi , L( , ) 0, 且是 的增函数
取其它值时，L( , ) 0.
故使 L( , ) 达到最大的 , 即 的MLE，
是
*
min
1in
xi
即 *, 为* , 的MLE .
于是
*
1 n
n i 1
xi
*
如果要你推测， 是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中,猎人命中的 概率一般大于这位同学命中的概率. 看来这 一枪是猎人射中的 .
这个例子所作的推断已经体现了极大似 然法的基本思想 .
下面我们再看一个例子,进一步体会极 大似然法的基本思想 .
例4 设X~B(1,p), p未知.设想我们事先知
极大似然估计
二、寻求估计量的方法
1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍第二两种方法 .
2. 极大似然法
是在总体类型已知条件下使用的一种 参数估计方法 .
极大似然法的基本思想 先看一个简单例子：
概率论与数理统计：极大似然估计法
教学内容一、引入新课：矩估计法虽然简单，但是没有用到已知分布的信息。
而在极大似然估计法中，我们将改进这一点。
下面先通过一个例子来说明极大似然估计法的原理：例1 有两个外形相同的箱子，甲箱和乙箱，各有100个球，甲箱有90个黑球，10个白球，乙箱有10个黑球 ，90个白球。
很明显，两个箱中的优势球种完全不一样。
现在把甲乙两箱的标签撕掉，随机从一箱中，进行返回式抽取4次，其结果全为黑球，问所取的球来自哪一个箱子？我相信大家都会说是甲箱，因为它的可能性更大。
我们也可以进行如下计算来说明这个结果。
解：设i X 表示第i 次取球的结果)4,3,2,1(=i ，4321,,,X X X X 是相互独立的。
已知，443214321)1()1()1()1()1,1,1,1(p X P X P X P X P X X X X P ========== 若从甲箱中抽取，则9.0=p ，抽取4次全为黑球的概率为6561.0，若从乙箱中抽取，则1.0=p ，抽取4次全为黑球的概率为0001.0.0.0001是一个小概率，一般认为小概率事件在一次试验中是不可能发生的。
反过来也就说明一次试验中某事件发生了，这个事件的概率应该较大。
这就是极大似然估计法的基本思想。
二、讲授新课：1、极大似然法的基本原理：一个随机试验有若干可能结果， A ，B ，C 等等，然后进行了一次试验，如果结果A 出现了，我们认为试验的条件对A 的出现有利，也就是试验条件对A 的概率应该是最大。
把这样的原理用到参数估计上，就是总体X 服从分布中含有未知参数θ，在一次试验中出现了样本n x x ,,1 ，如何估计θ呢？极大似然估计的思想，试验的条件应该使这组样本观测值出现的概率最大。
所以，要计算参数θ就是寻找使样本观测值出现的概率达到最大值的θˆ。
这样找到的θˆ就是θ的极大似然估计值。
2、 极大似然法的步骤：(1)似然函数：);,,(1θn x x L );,,(11θn n x X x X P ===⎪⎪⎩⎪⎪⎨⎧==∏∏==似然函数是其密度函数是连续型随机变量时，当似然函数是其分布律是离散型随机变量时，当i n i i i ni i i X x f X x X P ,);(,)(11θ (2)取对数： );,,(ln 1θn x x L(3)求导：0);,,(ln 1=∂∂θθn x x L 似然方程 (4)求解似然方程，得参数的估计值。
极大似然估计
极大似然估计极大似然估计（Maximum Likelihood Estimation，MLE）是Fisher提出的一种点估计方法，在很多场合都有应用。
根据字面意思理解，极大似然估计就是最大可能的一个估计，我们获得了样本数据后，根据已知的样本结果反推找到一个估计值，使得出现这种样本结果的可能性最大，这就是极大似然估计的基本思想。
极大似然估计的实际计算比较复杂，本文简单介绍其基本原理。
1. 似然函数要理解极大似然估计的基本原理，先要理解似然函数的概念。
例1 一家公司每次从供应商送来的一个批次的零件中随机抽取20件进行检验，以确定是否接收这批零件。
假定这批零件的批量很大，我们希望推断这批零件的不良率p。
抽取20件产品，可能的不良品件数是0~20的整数。
由于样本量与批量相比很小，可以近似认为抽到x件不良品的概率服从二项分布，计算公式为：式中x是随机变量的取值，p是该批产品的不良品率，是未知的，我们希望估计这个数值。
如果抽取20件产品中2件不良品，则这批产品的不良率是多少呢？20件产品中有2件不良品，不良率为10%，这个不良率是样本不良率，我们关心的是整个这批产品的不良率。
假定总体不良率为p，则抽取20件产品，抽到2件不良品的概率用下式计算：当总体不良率p取不同数值时，抽到2件不良品的概率是变化的，现在我们以总体不良品率p为横轴，以P(X=2)为纵轴画出二者之间的关系图，图中的函数称为似然函数。
可以看出当总体不良品率为0.1时，P(X=2)的值最大，大约是0.285。
2. 对数似然函数例2 一条生产线生产瓷砖，每100块瓷砖的瑕疵点数服从均值为λ的Poisson分布，λ未知。
抽取了两个随机样本，经过检查发现分别有10个和12个瑕疵点，求平均瑕疵点数λ。
我们知道，Poisson分布的概率计算公式是：似然函数是P(10)和P(12)二者的乘积：上式可以通过取自然对数简化：同样画出对数似然函数如下图：可以看出，当λ=11时对数似然函数最大，所以可以确定λ=DPU=11。
概率论与数理统计第七章-1矩估计法和极大似然估计法
数理统计
例5
设总体 X ~N( μ , σ 2) , μ , σ 2 未知 . x1 ,
, xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解 X 的概率密度为
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ˆ ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ. ˆ ( x1 , x2 ,, xn )称为 的估计值. 简记为
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
数理统计
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？
数理统计
你可能会想，只发一枪便打中, 猎人命中的概 率一般大于这位同学命中的概率 . 看来这一枪是猎 人射中的 . 这个例子所作的推断已经体现了极大似然估计 法的基本思想 .
概率论中的极大似然估计和贝叶斯估计
概率论中的极大似然估计和贝叶斯估计是两个重要的概率统计方法，它们在实际问题中都有着广泛的应用。
虽然它们的思想和理论有所不同，但是它们的目的都是为了找到最优的精度和效率的估计值。
一、极大似然估计极大似然估计是一种参数估计方法，用于确定某个未知参数的值。
在估计未知参数时，我们可以把这个参数想象成一个未知的点，而通过样本数据作为输入，就可以得到输出。
极大似然估计方法的目的就是在所有可能的输入中，选择能让输出概率最大的那个未知点的值。
举个例子，假设我们有一个包含50个人的样本，我们想知道这里面有多少人患有某种疾病。
我们假设这个患病率为p，那么患病的人数X就是一个二项式分布。
使用极大似然估计方法，我们通过观察样本数据，找到一个最能代表这个患病率的值。
这个最优的值要满足以下两个条件：1.它使得已知的样本数据出现的概率最大。
2.它是能够真实描述数据分布的。
在这个例子中，我们要找到最优的p值，使得在我们观测到的50个人中，恰好有x个人患病的概率最大，那么这个最大概率就是我们需要估计出来的患病率。
二、贝叶斯估计贝叶斯估计是一种基于贝叶斯定理的参数估计方法，它允许我们使用先验知识来估计参数。
在贝叶斯估计中，我们假设参数并不是一个恒定的值，而是一个概率分布。
这个概率分布被称为先验分布，它反映了我们关于参数的先前知识。
在样本数据输入之后，我们可以使用贝叶斯定理来更新我们对参数的估计，得到概率分布后验分布。
后验分布包含了更准确的信息，反映了我们对参数的新认知。
举个例子，假设我们要估计某种疾病的患病率，并且我们之前已经知道，在某些人群中这种疾病的患病率为0.5。
我们可以把这个先前知识，即患病率的先验概率，引入到概率模型中。
使用贝叶斯定理，我们可以得到这个患病率的后验概率，即在观测到当前数据后，我们对患病率的估计。
这个后验概率还可以反过来被用作先验概率，随着新的数据不断输入，我们的后验概率不断被更新和调整。
三、极大似然估计和贝叶斯估计的比较极大似然估计和贝叶斯估计各有优点与不足。
6极大似然估计
第1章 极大似然估计极大似然估计是非线性模型中非常重要的一种估计方法。
最小二乘法是极大似然估计在线性模型中的特例。
1.1 似然函数假设随机变量x t 的概率密度函数为 f (x t )，其参数用θ= (θ1, θ2, …, θk ) 表示，则对于一组固定的参数 θ 来说，x t 的每一个值都与一定的概率相联系。
即给定参数θ，随机变量x t 的概率密度函数为f (x t )。
相反若参数 θ 未知，当得到观测值x t 后，把概率密度函数看作给定x t 的参数 θ 的函数，这即是似然函数。
L (θ | x t ) = f (x t | θ )似然函数L (θ | x t ) 与概率密度函数f (x t | θ ) 的表达形式相同。
所不同的是在f (x t | θ ) 中参数 θ 是已知的，x t 是未知的；而在L (θ | x t ) 中x t 是已知的观测值，参数 θ是未知的。
对于n 个独立的观测值x =(x 1, x 2, …, x n )，其联合概率密度函数为1(|)(|)ni i f f x ==∏x θθ其对应的似然函数为：11(|)(|)(|)nn i i i i LnL LnL x f x ====∑∏θx θθ经常使用的是对数似然函数，即对L (θ| x t )取自然对数：LnL (θ | x t ) =log[f (x t | θ )]例 1.1正态分布随机变量的似然函数设一组随机变量x i ,（i = 1, 2, …, n ）是相互独立的，且服从正态分布N (μ,σ2)。
存在N 个独立的观测值x =(x 1, x 2, …, x n )。
x i 的似然函数为221/22()1(,|)(|,)exp (2)2i i i i x L x f x μμσμσπσσ⎛⎫-==-⎪⎝⎭=1i x μφσσ-⎛⎫- ⎪⎝⎭其中，φ表示标准正态分布的概率密度函数，2()2x x φ⎛⎫=- ⎪⎝⎭x i 的对数似然函数为：21(,|)ln()ln ()2i i i x LnL x μμσσφσ-⎛⎫=-+ ⎪⎝⎭其中，21ln ()ln(2)22x x φπ=--(x 1, x 2, …, x n )的联合似然函数为21(,|)ln()ln ()2n i i x n LnL μμσσφσ=-⎛⎫=-+ ⎪⎝⎭∑x=2221()ln()ln(2)222n i i x n n μσπσ=----∑ 例 1.2 泊松分布的对数似然函数假设每5分钟到达商店的顾客的数目服从Poisson 分布，有N 个样本观测值(x 1, x 2, …, x N )。
概率论第十九讲极大似然估计法
i1
i1
而
1
n
2
ci
n
ci2 2
cic ji1 i1 Nhomakorabea1i jn
n
n
ci2 (ci2 c2j ) n ci2
i 1
1i jn
i 1
n
i1
ci2
1 n
D(ˆ )
1 n
2
D(ˆ1)
结论 算术均值比加权均值更有效.
例如 X ~ N( , 2 ) , ( X 1 ,X 2 ) 是一样本.
X
)2
Sn2
极大似然估计方法
1） 写出似然函数 L
2）求出 ˆ1,ˆ2,,ˆk , 使得
L(x1, x2,, xn;ˆ1,ˆ2,,ˆk )
(1
max
,2 ,,k
{L(
)
x1,
x2
,,
xn
;1,
2
,,
k
)}
若 L是 1, ,k的可微函数,解似然方程组
r
L( x1 ,
x2 ,,
xn;1,2,,k ) 0
极大似然估计法
思想方法：一次试验就出现的 事件有较大的概率
例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球
现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱？ 答: 第一箱.
例6 设总体 X 服从0-1分布,且P (X = 1) = p, 用极大似然法求 p 的估计值.
FZ (z) 1 P(X1 z, X2 z,, Xn z)
1 P(X1 z)P(X2 z)P(Xn z)
1
n i 1
第四章 极大似然估计
（16）
（15）表示成向量形式为： 这里 µ = c / (1 − φ ) 。
E (Y ) = µ
其中 µ 表示（16）的右边的 (T ×1) 向量。 Y 的方差协方差矩阵为：
E (Y1 − µ ) = σ 2 / (1 − φ ) 。因为 ε t ∼ iidN ( 0, σ 2 ) ，因此 Y1 也是高斯分布。其概
2
率密度函数为
⎡ − y − ⎡c / (1 − φ ) ⎤ 1 ⎣ ⎦ fY1 ( y1 ;θ ) = fY1 ( y1 ; c, φ , σ ) = exp ⎢ 2 2 ⎢ 2σ / (1 − φ ) 2π σ / (1 − φ ) ⎢ ⎣
φ <1， 则精确极大似然估计和条件极大似然估计具有相同的大
样本分布。 4．
φ > 1 ，条件 MLE 是一致估计。
第三节 一．计算似然函数 对于高斯 AR ( p ) 过程
高斯 AR ( p ) 过程的似然函数
Yt = c + φYt −1 + φ2Yt − 2 + .... + φ pYt − p + ε t
第四章
极大似然估计 引言
第一节 考虑 ARMA 模型：
Yt = c + φ1Yt −1 + φ2Yt − 2 + .... + φ pYt − p + ε t + θ1ε t −1 + ... + θ qε t − q
（1）
其中 ε t ∼ WN ( 0, σ 2 ) 。前面我们假定知道总体参数 ( c, φ1 ,..., φ p ,θ1 ,...,θ q , σ 2 ) ， 此时利用过程（1）进行预测。 本章我们要研究在仅能观测到 Y 的情况下，如何估计
极大似然估计方法介绍
极大似然估计方法介绍极大似然估计（Maximum Likelihood Estimation, MLE）是概率统计中常用的参数估计方法之一，也是统计学中估计方法的基础之一、它的核心思想是通过最大化样本的似然函数来估计未知参数值。
在介绍极大似然估计方法之前，首先需要了解一些概率统计的基础知识。
1.似然函数：似然函数是一个关于参数的函数，其定义为给定参数下观察到的样本的概率密度函数（概率质量函数）的乘积。
似然函数表示了参数取值的可能性在给定观察数据下的程度。
2.最大似然估计：最大似然估计是一种基于观察数据的统计推断方法，通过寻找使得似然函数取得最大值的参数值来估计未知的参数。
下面以一个例子来说明极大似然估计的思想和步骤。
假设我们有一组观察数据{x₁,x₂,...,xx}，并假设这些数据服从一些分布，例如正态分布。
我们希望通过这组数据来估计正态分布的均值和方差。
步骤一：似然函数的建立对于正态分布，概率密度函数为：x(x，xx,x²)=(1/√(2xx²))*x^(-(x−xx)²/(2x²))其中xx和x²是未知参数，我们要通过观察数据来估计这两个参数。
对于一个具体的观察值xᵢ，其在给定参数xx和x²下的概率为x(xᵢ，xx,x²)。
那么样本的似然函数为：x(xx,x²)=x(x₁，xx,x²)*x(x₂，xx,x²)*...*x(xx，xx,x²)=∏[x(xᵢ，xx,x²)]步骤二：对数似然函数的计算为了方便计算，通常会对似然函数取对数，即对数似然函数：xx(x(xx,x²))=∑xx[x(xᵢ，xx,x²)]步骤三：最大化对数似然函数通过求解xx(x(xx,x²))对参数xx和x²的偏导数，令偏导数等于0，可以得到最大似然估计的闭式解。
如果无法解析求解，可以通过数值优化等方法来求得最大似然估计。
高等数学-概率7.2 极大似然估计
二、极大似然估计法
是在总体类型已知条件下使用的一种参 数估计方法 .
它首先是由德国数学家 高斯在1821年提出的 , 然而，这个方法常归功于 英国统计学家费希尔 .
费希尔在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 .
Gauss
Fisher
（一）极大似然估计法的基本思想 先看几个简单例子： 例1、某位同学与一位猎 人一起外出打猎 . 一只野兔从前方窜过 .
ˆ L( ) max L( )
ˆ 称 为 的极大似然估计（MLE）.
（MLE：maximum likelihood estimate）
求极大似然估计(MLE)的一般步骤：
(1) 由总体分布导出样本的联合概率函数 (或联合概率密度); (2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( ); (3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE; (4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
1 e i1 2
n
n
xi 2
2 2
（2）似然函数为 n xi 2 n 1 2 2 2 L , e i1 2 对数似然函数为 n n 1 n 2 2 2 ln L , ln 2 ln 2 xi 2 2 2 i 1 （3）求（对数）似然函数最大值点 L , 2 1 n ln x 0 2 i i 1 令 n ln L , 2 n 1 1 2 2 2 x 0 2 i 2 2 2 i 1
极大似然估计
是一个样本值
似然函数为 13
似然函数为
因为 对于满足
即
在
等价于
的任意
有
时,取最大值 14
似然函数为
即
在
故
时,取最大值 的极大似然估计值为:
故
的极大似然估计量为:
15
例5 指数分布的点估计
某电子管的使用寿命 X （单位：小时) 服从指数分布
X:
p(
x;
)
1
e
x
,
x0
( 0)
0 , other
令
解得
解得
p的极大似然估计值
p的极大似然估计量
它与矩估计量是相同的。
9
例2
设总体X的分布列为：
似然估计值。 解：
似然函数为
10
令
即
所以参数
的极大似然估计量为
11
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本, ，求参数λ的极大似然估计值。
似然函数为:
12
例4 设
求
解设
未知， 的极大似然估计量. 的概率密度为：
d ln L( ) 0. d
若母体的分布中包含多个参数，
即可令 L 0,i 1, , k.
i
或 ln L 0,i 1, , k.
i
解k个方程组求得1,
,
的极大似然估计值。
k总体X的一
个样本， 试求参数 p 的极大似然估计值.
解：设
是一个样本值。
X的分布列为：
故似然函数为
而 令 8
p(x, )
0,
其他.
2. 取对数：
当 0 < xi < 1, (i=1,2, …,n) 时
概率论与数理统计02-71.2极大似然估计_64
0 min{ x1, x2 , , xn } max{ x1, x2 , , xn }
故 关 于 的 递 减 函 数 L n 的 最 大 值 点 为
m a x x 1 , x 2 , , x n
即 ， 参 数 的 极 大 似 然 估 计 值 为 ˆ ma x { x , x , , x } .
e n
xi i 1
.
n
x i !
i1
ln L
n
n
i1
xi
l n
n
l n x i!.
i1
似然方程为
d
d
ln L ( )
n
1
n
xi
i 1
0.
解 得 的 极 大 似 然 估 计 值 即的极大似然估计量为
ˆ
1 n
n
i 1
xi
x.
ˆ X .
例4 设 总 体 X 服 从 均 匀 分 布 U [ 0 , ] ( 0 ) , 即 密 度 函 数 为
k12
n
k
( k 1 , 2 , , r)的 极 大 似 然 估 计 值 . 称 ˆ X , X , , X 为 参 数
k
1
2
n
k (k 1,2,, r) 的 极 大 似 然 估 计 量 .
Note: 由定义可知，求参数的极大似然估计问题，就是求似然函数的最大值
点的问题. 一般步骤如下：
(1) 求 出 似 然 函 数 L(1,2 , , r )
i1
极大似然估计法
似然方程为
d ln L
d
n
n
ln
i1
xi
0.
解得
ˆ n n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
考研数学概率学：极大自然估计量考点
考研将第一时间整理发布考研相关信息，希望对2016考研考生有所帮助。
概率论与数理统计虽然占据的分值不是特别大，但是因其公式、概念的复杂，也着实难为了不少同学，下面，在复习中很多同学都抱有疑问，考研老师就针对学院问的最多的问题为大家作出解答，希望能帮助考生顺利通过考研秋季复习。
对于数学一的考生或者数学三的考生来说，这个类型是考试的重点，每门课程重点有很多，不是每个重点都考，只要重点的地方考生不要投机取巧，比如参数估计，三种方法，那就是矩估计方法，极大似然估计方法，区间估计方法，这三种方法前两者是重点。
大家记几个公式就可以了，2003年数学一考了区间估计的填空题。
你对前面两者要熟练掌握，前面两种对整体没有做限制，所以命题空间比较大。
如果命题空间小考的可能性有很小。
你四个步骤一定要掌握，刚才有网友说那个计算量太大，考试的题计算量不会太大。
第一步一定要把函数会写出来，数量函数有两种：一个是总体是离散型的一个是连续型的，你都要会写出来，离散型是指联合分布率，连续型是联合密度，因为这个联合密度和联合分布率都具有独立性，都是等于边缘密度的乘积，做任何一个，只要考这类型的题第一步少不了，你的问题属于会把L似然函数写出来，把L写出来以后下面求L关于未知参数最大值点的问题，这是高等数学微积分里面最基本的问题，所以一般的话，我们先取对数，取对数以后令这个函数对未知参数的导数等于零，这个偏导数或者导数等于零的解就是可能的极值点。
当然也可能出现这种情况，偏导数等于零的方程没有解的情况，只考过一次，这个时候找未知参数的边界点，取值范围的定义域找到它，这个2000年考过一次，这个大家要注意，有解没有解的都会做了你就不怕他考了。
小提示：目前本科生就业市场竞争激烈，就业主体是研究生，在如今考研竞争日渐激烈的情况下，我们想要不在考研大军中变成分母，我们需要：早开始+好计划+正确的复习思路+好的辅导班（如果经济条件允许的情况下）。
2017考研开始准备复习啦，早起的鸟儿有虫吃，一分耕耘一分收获。
加油！。