极大似然估计法
极大似然估计法
《概率论与数理统计》极大似然思想一般地说，事件A 与参数Θ∈θ有关，θ取值不同，则)(A P 也不同．若A 发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P ．分析：易知P 的值无非是1/4或3/4．为估计P 的值，现从袋中有放回地任取3只球，用X 表示其中的黑球数，则),3(~P b X ．按极大似然估计思想，对P 的取值进行估计．解：对P 的不同取值，X 取3,2,1,0=k 的概率可列表如下:X ０ １ ２ ３41=P 6427 6427 649 64143=P641 64964276427故根据极大似然思想即知：⎪⎩⎪⎨⎧===3,2,431,0,41ˆk k P ．在上面的例子中，P 是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P 的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P 就最象那个．二、似然函数与极大似然估计1、离散分布场合：设总体X 是离散型随机变量，其概率函数为);(θx p ，其中θ是未知参数．设n X X X ,,,21 为取自总体X 的样本．n X X X ,,,21 的联合概率函数为∏=ni i X p 1);(θ，这里，θ是常量，n X X X ,,,21 是变量．若我们已知样本取的值是n x x x ,,,21 ，则事件},,,{2211n n x X x X x X === 发生的概率为∏=ni i x p 1);(θ．这一概率随θ的值而变化．从直观上来看，既然样本值n x x x ,,,21 出现了，它们出现的概率相对来说应比较大，应使∏=ni i x p 1);(θ取比较大的值．换句话说，θ应使样本值n x x x ,,,21 的出现具有最大的概率．将上式看作θ的函数，并用)(θL 表示，就有：∏===ni i n x p x x x L L 121);();,,,()(θθθ （１）称)(θL 为似然函数．极大似然估计法就是在参数θ的可能取值围Θ，选取使)(θL 达到最大的参数值θˆ，作为参数θ的估计值．即取θ，使);,,,(max )ˆ;,,,()(2121θθθθnn x x x L x x x L L Θ∈== （２） 因此，求总体参数θ的极大似然估计值的问题就是求似然函数)(θL 的最大值问题．这可通过解下面的方程0)(=θθd dL （３） 来解决．因为L ln 是L 的增函数，所以L ln 与L 在θ的同一值处取得最大值．我们称)(ln )(θθL l =为对数似然函数．因此，常将方程（３）写成：0)(ln =θθd L d （４） 方程（４）称为似然方程．解方程（３）或（４）得到的θˆ就是参数θ的极大似然估计值．如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解．２、连续分布场合：设总体X 是连续离散型随机变量，其概率密度函数为);(θx f ，若取得样本观察值为n x x x ,,,21 ，则因为随机点),,,(21n X X X 取值为),,,(21n x x x 时联合密度函数值为∏=ni i x f 1);(θ．所以，按极大似然法，应选择θ的值使此概率达到最大．我们取似然函数为∏==ni i x f L 1);()(θθ，再按前述方法求参数θ的极大似然估计值．三、求极大似然估计的方法1、可通过求导获得极大似然估计：当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值．例２、设某工序生产的产品的不合格率为p ，抽n 个产品作检验，发现有T 个不合格，试求p 的极大似然估计．分析：设X 是抽查一个产品时的不合格品个数，则X 服从参数为p 的二点分布),1(p b ．抽查n 个产品，则得样本n X X X ,,,21 ，其观察值为n x x x ,,,21 ，假如样本有T 个不合格，即表示n x x x ,,,21 中有T 个取值为１，T n -个取值为０．按离散分布场合方法，求p 的极大似然估计．解：（１）写出似然函数：∏=--=ni x x i i P p p L 11)1()(（２）对)(p L 取对数，得对数似然函数)(p l ：∑∑==--+-=--+=ni i ni i i p p x p n p x p x p l 11)]1ln([ln )1ln()]1ln()1(ln [)(（３）由于)(p l 对p 的导数存在，故将)(p l 对p 求导，令其为０，得似然方程：0)1(11)111(1)(11=-+--=-++--=∑∑==ni i n i i x p p p n p p x p n dp p dl （４）解似然方程得：x x n pni i ==∑=11ˆ （５）经验证，在x p =ˆ时，0)(22<dpp l d ，这表明x p =ˆ可使似然函数达到最大（６）上述过程对任一样本观测值都成立，故用样本代替观察值便得p 的极大似然估计为：X p=ˆ 将观察值代入，可得p 的极大似然估计值为：nTx p==ˆ，其中∑==ni i x T 1．若总体X 的分布中含有多个未知参数k θθθ,,,21 时，似然函数L 是这些参数的多元函数),,(1k L θθ ．代替方程（３），我们有方程组),,2,1(0)(ln k i L i==∂∂θ，由这个方程组解得kθθθˆ,,ˆ,ˆ21 分别是参数k θθθ,,,21 的极大似然估计值．例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从),(2σμN ，其中2,σμ未知．为估计2,σμ，从中随机抽取100=n 根轴，测得其偏差为10021,,,x x x ．试求2,σμ的极大似然估计．分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数2,σμ的似然方程组，从而进行求解．解：（１）写出似然函数：212222)(2212)(2)2(21),(σμσμπσσπσμ∑===---=--∏ni i i x n ni x ee L（２）写出对数似然函数：21222)(21)2ln(2),(∑=---=n i i x n l μσπσσμ（３）将),(2σμl 分别对2σμ、求偏导，并令它们都为０，得似然方程组为：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==0)(212),(0)(1),(1242221222ni i ni i x n l x l μσσσσμμσμσμ （４）解似然方程组得：x =μˆ，∑=-=ni i x x n 122)(1ˆσ （５）经验证2ˆ,ˆσμ使),(2σμl 达到极大， （６）上述过程对一切样本观察值成立，故用样本代替观察值，便得2,σμ的极大似然估计分别为：X =μˆ，2122)(1ˆn n i i S X X n =-=∑=σ．２、不可通过求导方法获得极大似然估计：当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求)(θL 的极大值点．例4、设总体X 服从均匀分布),0(θU ，从中获得容量为n 的样本n X X X ,,,21 ，其观测值为n x x x ,,,21 ，试求θ的极大似然估计．分析：当写出其似然函数)(θL 时，我们会发现)(θL 的非零区域与θ有关，因而无法用求导方法来获得θ的极大似然估计，从而转向定义（２）直接求)(θL 的极大值．解：写出似然函数：⎩⎨⎧≤≤≤=-其它场合,00,)()()1(θθθn n x x L 为使)(θL 达到极大，就必须使θ尽可能小，但是θ不能小于)(n x ，因而θ取)(n x 时使)(θL 达到极大，故θ的极大似然估计为：)(ˆn X =θ． 进一步，可讨论估计θˆ的无偏性： 由于总体),0(~θU X ，其密度函数与分布函数分别为：⎪⎩⎪⎨⎧<<=其它,00,1)(θθx x p ，⎪⎩⎪⎨⎧≥<<≤=θθθx x x x x F ,10,0,0)(，从而)(ˆn X =θ的概率密度函数为：θθθ<<==--y ny y p y F n p nn n 0,)()]([11ˆ θθθθθθθ≠+====⎰⎰1)()()ˆ(0ˆ)(n ndy ny dy y yp X E E nnn 这说明θ的极大似然估计)(ˆn X =θ不是θ的无偏估计，但对θˆ作一修正可得θ的无偏估计为：)(11ˆn X nn +=θ． 通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计．综上，可得求极大似然估计值的一般步骤．四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)(θL ；3、求似然函数)(θL 的最大值点（常转化为求对数似然函数)(θl 的最大值点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．五、极大似然估计的不变性求未知参数θ的某种函数)(θg 的极大似然估计可用极大似然估计的不变原则，证明从略．定理（不变原则）设θˆ是θ的极大似然估计，)(θg 是θ的连续函数，则)(θg 的极大似然估计为)ˆ(θg ． 例5、设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21 ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：∑===-=-∏ni iix nni x eeL 11)(λλλλλ（２）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ（３）将)(λl 对λ求导得似然方程为：0)(1=-=∑=ni i x n d dl λλλ（４）解似然方程得：xxnni i1ˆ1==∑=λ经验证，λˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ； 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：X X E ==λˆ1)(． 五、小结1、极大似然估计的思想；2、求解未知参数极大似然估计的一般步骤；3、极大似然估计的不变原则．。
极大似然法
极大似然估计的不变性
• 分为X析的：期可望先值求，在的指极数大分似布然场估合计，，有由于E元( X件)的平1均，寿它命是即
的函数，故可用极大似然估计的不变原则，求其极大似然
估计．
n
•
解：（１）写出似然函数：L()
n
e e xi
xi
n
i 1
i 1
n
（２）取对数得对数似然函数： l() n ln xi i 1
• 2、把样本联合概率函数（或联合密度）中自变量看
成已知常数，而把参数 看作自变量，得到似然函数
L( )
• 3、求似然函数 L( ) 的最大值点（常转化为求对数似
然函数 l( ) 的最大值点）；
• 4、在最大值点的表达式中，用样本值代入就得参数 的极大似然估计值．
极大似然估计的不变性
• 求未知参数 的某种函数 g( )的极大似然估计可用极大
n
L( ) L(x1, x2 ,, xn ; ) p(xi ; ) i1
称 L( )为似然函数．
求总体参数 的极大似然估计值的问题就是求似
然函数 L( )的最大值问题．
似然函数与极大似然估计
• ２、连续分布场合：
设总体 X 是连续离散型随机变量，其概率密
度函数为 f (x; ) ，若取得样本观察值为
取x1值, x为2 ,(x1,,xxn2，,则, 因xn为)时随联机合点密(度X1函, X数2 ,值,为X n )
n
f (xi ; ) 。所以，按极大似然法，应选
择i1 的值使此概率达到最大．我们取 )
再按前述方法求参数
的极大似然估i1计值．
极大似然函数
极大似然估计，是以极大似然函数为基础。 所谓“似然函数”，就是构造一个以观察数据和
参数估计极大似然法
将其取对数,然后对 1 , 2 ,, 2 , , k ) 0 1 ln L( 1 , 2 , , k ) 0 k
该方程组的解 ˆi ˆi (x1, x2 ,, xn ),i 1,2,, k , 即为 i 的极 大似然估计值.
求极大似然估计的一般步骤归纳如下：
（1）求似然函数 L( ) ；
（2）求出 ln L( ) 及方程
d ln L( ) 0 d
；
（3）解上述方程得到极大似然估计值
ˆ ˆ( x , x ,, x ) 1 2 n .
（4）解上述方程得到极大似然估计量
ˆ ˆ( X , X ,, X ) 1 2 n .
令
ˆ( x , x ,, x ) 解此方程得θ的极大似然估计值 1 2 n ,
从而得到θ的极大似然估计量ˆ( X1, X 2 ,, X n ) .
因为 解方程
L( )
与
ln L( )
具有相同的最大值点
d ln L( ) 0 d
也可得θ的极大似然估计值
ˆ( x , x ,, x ) 和θ的极大似然估计量 ˆ( X , X ,, X ) . 1 2 n 1 2 n
~ x d 2 ln L() 且 0 2 d ~ x
~ 从而得出λ的极大似然估计量为 X
例：设总体 X 服从参数为λ 的指数分布，其中λ 未
( x1 , x2 ,, xn ) ( X 1 , X 2 ,, X n ) 为从总体抽取一个样本， 知，
为其样本观测值， 试求参数λ 的极大似然估计值和 估计量.
例:设随机变量X服从泊松分布:
P{ X k}
k e
k!
,
极大似然估计方法
极大似然估计方法极大似然估计（Maximum Likelihood Estimation，MLE）方法是一种用于估计参数的统计方法，它基于观测到的样本数据，通过选择最大化观测数据出现的概率的参数值来估计未知参数。
极大似然估计是概率论和统计学中最重要的方法之一，广泛应用于各个领域的数据分析与建模中。
极大似然估计方法的核心思想是基于某一参数下观测数据出现的概率，选择使得这个概率最大的参数值。
具体而言，给定一个观测数据集合X，其来自于一个具有参数θ的概率分布，我们要估计未知参数θ的值。
极大似然估计的目标是找到一个参数值θ^，使得给定θ^条件下观测数据集合X出现的概率最大。
数学上，极大似然估计可以通过最大化似然函数来求解。
似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。
极大似然估计的目标是寻找一个参数θ^，使得似然函数最大化，即：θ^ = arg max L(θ|X)为了方便计算，通常将似然函数转化为其对数形式，即对数似然函数：l(θ|X) = log L(θ|X)本文将主要介绍如何利用极大似然估计来估计参数。
具体而言，将分为两个部分：首先是介绍极大似然估计的理论基础，包括似然函数和对数似然函数的定义，以及如何通过最大化似然函数来估计参数；其次是通过一个实际的例子，展示如何使用极大似然估计来求解参数。
理论基础似然函数是极大似然估计的核心概念之一。
似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的值越大，则表示给定参数θ的取值越可能产生观测数据X。
对数似然函数是似然函数的对数变换，通常在实际计算中会更加方便。
它的定义如下：l(θ|X) = log L(θ|X)对数似然函数和似然函数存在着一一对应关系，因此在求解参数时，两者等价。
极大似然估计方法
极大似然估计方法极大似然估计方法是统计学中一种常用的参数估计方法，用于根据已知的样本数据来估计未知的参数值。
该方法的核心思想是选择使得观测到的样本数据出现的概率最大的参数值作为估计值。
在进行极大似然估计之前，首先需要确定一个概率分布模型。
以伯努利分布为例，假设有一组二元观测数据{0,1,1,0,1}，其中1表示成功，0表示失败。
我们希望通过这组数据来估计成功的概率p。
假设成功的概率p服从伯努利分布，则观测到这组数据的概率为p^3*(1-p)^2。
极大似然估计的目标是找到一个使得观测到的样本数据的概率最大的参数值。
通常通过对似然函数取对数，转化为求解极值的问题。
对于上述的伯努利分布模型，我们可以计算出对数似然函数L(p)为3log(p)+2log(1-p)。
为了找到使得L(p)最大的p值，可以对L(p)求导，令导数等于0，并解方程求解。
极大似然估计方法的优点是可以直接利用样本数据来进行参数估计，而无需对概率分布的形式做出过多的假设。
因此，它具有广泛的应用领域。
例如，在医学研究中，可以利用极大似然估计来估计某种疾病的患病率；在金融风险管理中，可以利用极大似然估计来估计某种金融产品的违约概率。
然而，极大似然估计方法也存在一些限制和注意事项。
首先，估计结果的准确性依赖于样本数据的质量和数量。
如果样本数据存在较大的误差或者样本量较小，估计结果可能会失真。
其次，极大似然估计方法对假设的概率分布模型敏感。
如果所选择的模型与真实分布不匹配，估计结果也可能不准确。
因此，在使用极大似然估计方法时，需要对所选择的模型进行合理性检验。
极大似然估计方法是一种常用的参数估计方法，具有广泛的应用领域。
它通过最大化样本数据出现的概率来估计参数值，充分利用了样本数据的信息。
然而，在使用极大似然估计方法时，需要注意样本数据的质量和数量，以及所选择的概率分布模型的合理性。
只有在这些条件满足的情况下，才能得到准确可靠的参数估计结果。
极大似然估计法及其在统计中的应用
极大似然估计法及其在统计中的应用统计学是一门研究样本数据的收集、分析和解释的学科。
统计方法在各个学科中都有着广泛的应用，例如医学、经济学、社会学、心理学等。
而在统计中，极大似然估计法是一种常用的推断方法，本文将详细介绍极大似然估计法及其在统计学中的应用。
一、极大似然估计法的基本原理极大似然估计法的基本思想是：在已知样本的前提下，选择一个最合适的参数值，使得样本中出现该参数值的概率最大。
这里的“概率”指的是似然函数，即以参数值为自变量，样本出现的概率为因变量的函数。
以简单的二项分布为例，其概率函数为：P(X=k)=C(n,k)p^k(1-p)^(n-k)其中，X表示二项分布的随机变量，k表示X的取值，n表示试验次数，p表示成功的概率。
在已知样本的情况下，极大似然估计法的目标是确定p的最佳估计值。
首先，根据已知样本的情况，似然函数L(p)为：L(p)=f(x1)f(x2)...f(xn)其中，f(x)表示二项分布中取值为x的概率密度函数，n表示样本容量，x1,x2,...,xn为样本中的数据。
而根据似然函数的定义，选择最合适的p值即为最大化似然函数L(p)。
因此，极大似然估计法的估计值为：p^=argmax L(p)最后，通过求解该表达式的导数，可以求得p的最佳估计值为：p^=k/n其中，k表示样本中成功的次数，n表示样本容量。
二、极大似然估计的应用极大似然估计法在统计学中有着广泛的应用，本节将介绍其中的一些常见应用。
1. 线性回归在线性回归中，极大似然估计法通常被用来估计参数向量。
对于给定的样本数据，线性回归的目标是找到一组最优参数，使得样本数据的误差平方和最小。
而误差平方和的似然函数则可以表示为一个高斯分布的概率密度函数。
通过极大似然估计法，可以求解该高斯分布的均值和方差，从而得到最佳参数估计值。
2. 逻辑回归在逻辑回归中，极大似然估计法通常被用来估计模型中的系数。
逻辑回归是一种用来处理二元分布数据的分类算法，其目标是根据已知的样本数据，预测模型中某个事件发生的概率。
极大似然估计法步骤
极大似然估计法步骤极大似然估计法（Maximum Likelihood Estimation，MLE）是一种常用的参数估计方法，它利用样本数据来估计概率模型的参数。
它的基本思想是选择参数值使得观测到的样本出现的概率最大化。
极大似然估计法被广泛应用于统计学、机器学习以及其他领域。
极大似然估计法的步骤可以概括为以下几个主要步骤：1.确定参数化模型：首先，必须确定概率模型的形式和参数化，以便进行参数估计。
例如，对于二项分布模型，我们需要确定参数p 表示成功概率。
2.构建似然函数：接下来，需要构建似然函数。
似然函数是指在给定模型参数条件下观测到的样本的条件概率密度（或离散情况下的概率质量函数）。
似然函数的形式可以根据不同的概率模型进行定义。
例如，对于离散情况下的伯努利分布，似然函数可以表示为：L(p) = p^k * (1-p)^(n-k)，其中k是观测到的成功次数，n是总的观测次数。
对于连续情况下的正态分布，似然函数可以表示为：L(μ,σ) = (2πσ^2)^(-n/2) * exp[-(1/2σ^2) * Σ(xi-μ)^2]。
3.对数似然函数的求解：通常，为了便于计算和优化，我们会使用对数似然函数进行求解。
对数似然函数和似然函数具有相同的最大值点，但其大大简化了计算过程。
4.最大化对数似然函数：确定参数的MLE估计值等于使得对数似然函数最大化时的参数值。
常见的最大化方法包括数值方法（如牛顿法、梯度下降法等）和解析方法。
对于某些简单的模型，可以通过求导数等条件判断来获得解析解。
例如，对于伯努利分布中的参数p，可以通过求取对数似然函数的一阶导数，并令其等于0，解得MLE估计值为p = k/n。
5.参数估计：得到MLE估计值后，就可以根据估计参数进行进一步的分析和预测了。
通常，MLE估计值具有良好的频率特性，即当样本数量趋近于无穷大时，估计值收敛到真实参数。
极大似然估计法的优点在于其较好的性质和理论基础。
极大似然估计法
n
(3) 对似然函数求导，令其为零，得到似然估计值
n n dl( p) n 1 1 n 1 xi ( ) xi 0 dp 1 p i 1 p 1 p 1 p p(1 p) i 1
1 n T ˆ p xi n i 1 n
6
例2：设某机床加工的轴的直径与图纸规定的中心 尺寸的偏差服从N (, 2 ) ，其中参数 , 2 未知。为 了估计 , 2 ，从中随机抽取n=100根轴，测得其偏 差为x1,x2…x100。试求 , 2的极大似然估计。
i 1 N
如果不要求 的分布密度，只要问 的值为多少 (最可能的值)，那么就只要求 使得：
L y1 y N max
14
对于确定了的观测值Y而言，似然函数仅仅是参数 的函数。由极大似然原理可知，ˆML 满足以下方程：
L ˆ
ˆ ˆ ML
0
考虑到似然函数一般为指数函数，而指数函数和 对数函数都是单调的，为了方便求解，上式等价于 如下方程：
ln L ˆ
ˆ ˆ ML
0
ˆ 在特殊情况下，ML 能够通过方程得到解，但在一 般情况下，上式不容易得到解析解，需要采用数值 方法来求近似解。
15
下面利用极大似然原理，分析动态系统模型参数 的极大似然估计问题。首先分析极大似然估计和最 小二乘估计的关系。
考虑系统模型为线性差分方程：
极大似然的思想
先看一个简单例子：
某位同学与一位猎人一起外出打猎，一只野 兔从前方窜过。只听一声枪响，野兔应声到下了， 如果要你推测，这一发命中的子弹是谁打的？
你就会想，只发一枪便打中，由于猎人命中 的概率一般大于这位同学命中的概率，看来这一 枪应该是猎人射中的。这个例子所作的推断就体 现了极大似然的基本思想。
用极大似然法进行参数估计
用极大似然法进行参数估计极大似然估计（Maximum Likelihood Estimation, MLE）是一种统计推断方法，用于通过观测数据确定概率分布的参数值。
它的基本思想是选择使得已观测数据出现的概率最大化的参数值。
在本文中，我们将介绍极大似然法的基本原理、计算步骤以及一些常见的应用。
1.极大似然法的基本原理假设我们有一组独立同分布的随机样本观测值X1，X2，...，Xn，其概率密度函数（或概率质量函数）为f(x;θ)，其中θ是待估计的参数。
MLE的目标是通过最大化似然函数（Likelihood Function）L(θ)来估计参数θ的值，即找到能最大化样本观测值出现概率的参数值。
似然函数L(θ)的定义为：L(θ) = f(x1;θ) * f(x2;θ) * ... * f(xn;θ)为了简化计算，常常使用对数似然函数logL(θ)进行最大化：logL(θ) = log(f(x1;θ)) + log(f(x2;θ)) + ... +log(f(xn;θ))2.极大似然法的计算步骤-确定似然函数L(θ)的表达式，即样本观测值的联合概率密度函数（或概率质量函数）的乘积。
- 对似然函数取对数，得到logL(θ)。
- 对logL(θ)求导，并令导数等于0，解出参数θ的估计值。
-检查导数的二阶偏导数，以确保估计值是一个极大值点，并非极小值或驻点。
-检验估计值的结果，并进行统计推断。
值得注意的是，当样本观测值满足一定的正则条件时，估计值通常具有一些优良的统计性质，如渐近正态性、渐近有效性等。
3.极大似然法的常见应用-二项分布参数估计：假设我们有一组成功/失败的观测数据，用于估计成功的概率p。
我们可以建立二项分布模型，并通过MLE来估计参数p 的值。
-正态分布参数估计：假设我们有一组服从正态分布的观测数据，用于估计均值μ和方差σ^2、我们可以通过MLE来分别估计这两个参数的值。
-泊松分布参数估计：假设我们有一组服从泊松分布的观测数据，用于估计平均发生率λ。
用极大似然估计法推出朴素贝叶斯法中的概率估计公式
极大似然估计法是一种常用的概率统计方法，它在统计学领域有着广泛的应用。
朴素贝叶斯法是一种基于贝叶斯定理的分类算法，它在文本分类、垃圾邮件过滤等领域被广泛应用。
本文将通过极大似然估计法推导出朴素贝叶斯法中的概率估计公式，以帮助读者深入理解这一经典的分类算法。
1. 极大似然估计法简介极大似然估计法是一种参数估计方法，它的核心思想是通过已知的样本数据，估计出使样本数据出现的概率最大的参数值。
在数学上，假设有一组观测数据X，我们希望估计出参数θ，使得观测数据X出现的概率P(X|θ)最大。
极大似然估计法就是要找到使得P(X|θ)取得极大值的参数θ。
2. 朴素贝叶斯法简介朴素贝叶斯法是一种基于贝叶斯定理与特征条件独立假设的分类算法。
在文本分类问题中，朴素贝叶斯法通过计算每个类别对应的概率，从而实现对文本进行分类。
在朴素贝叶斯法中，需要计算每个特征在每个类别下出现的概率，以及每个类别的先验概率。
3. 朴素贝叶斯法中的概率估计在朴素贝叶斯法中，需要对每个特征在每个类别下的概率进行估计。
以二元特征为例，假设有一个文本分类问题，特征X1表示某个词汇出现在文本中，特征X2表示另一个词汇出现在文本中，那么我们需要估计P(X1|C)和P(X2|C)，其中C表示类别。
根据极大似然估计法，我们可以使用样本数据来估计这些概率。
4. 朴素贝叶斯法中的概率估计公式根据极大似然估计法，我们可以使用样本数据来估计每个特征在每个类别下的概率。
假设训练集中有n个样本，其中属于类别C的样本有nC个，其中特征X1出现的次数为nX1，属于类别C的样本中特征X1出现的次数为nC,X1，则有P(X1|C) ≈ nC,X1/nC。
5. 朴素贝叶斯法中的先验概率估计除了对条件概率进行估计，朴素贝叶斯法还需要对每个类别的先验概率进行估计。
假设训练集中属于类别C的样本占比为nP，总样本数为n，则先验概率P(C)可估计为nP/n。
6. 朴素贝叶斯法的应用朴素贝叶斯法在文本分类、垃圾邮件过滤等领域有着广泛的应用。
系统辨识 第6章 极大似然估计
n N
k n 1
2 e (k )
可见在ξ(k)为高斯白噪声序列这一特殊情况下，极大似然辨 识与一般最小二乘法辨识有相同结果。
2、动态系统模型参数的极大似然估计
2.有色噪声情况
a( z 1 ) y (k ) b( z 1 ) u (k ) c( z 1 ) (k ) 1 1 n a ( z ) 1 a z a z 1 n 系统差分方程 1 1 n b ( z ) b b z b z 0 1 n c( z 1 ) 1 c z 1 c z n 1 n ˆ ˆ (k ) e(k ) y(k ) y eN YN Φ N θ
L( y1, y2 ,..., yN | ) P( y1, y2 ,..., yN | )
各观测量y1,y2,…,yN由随机变量y的独立样本所组成，观测量 是独立的
L( y1 , y2 ,..., y N | ) P( y1 | ) P( y2 | )...P( y N | ) P( yi | )
2、动态系统模型参数的极大似然估计
因为ε(k)为高斯白噪声， 故而e(k)可假设为零均值的高斯白噪声。
则似然函数L为： ˆ ) T (Y Φ θ ˆ) ( Y Φ θ 1 N N N N ˆ) L(e N θ exp( ) 2 N/2 2 (2πσ ) 2σ
ln L(e N
N N 1 2 ˆ θ) ln 2π ln σ 2 2 2 2σ
i 1 N
θ的极大似然估计
L 0
观察值概率分布密度函数的乘积
ln L 等价于 0 ˆmLE
但一般不容易得到解析解，需采用数值方法得到其近似解
极大似然估计法解题步骤
极大似然估计的一般求解方法极大似然估计求解一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程。
极大似然估计的特点：1.比其他估计方法更加简单；2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；3.如果假设的类条件概率模型正确，则通常能获得较好的结果。
但如果假设模型出现偏差，将导致非常差的估计结果。
极大似然估计的原理极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。
极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。
通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
假设样本集中的样本都是独立同分布（随机变量在任何时刻的取值互相独立，并且服从同一个分布），可以只考虑一类样本集D，来估计参数向量θ。
记已知的样本集为：针对于样本集 D，联合概率密度函数 p ( D ∣θ ) p(D | \theta )p(D∣θ) 称为θ\thetaθ的似然函数（likehood function）。
对于独立同分布的样本集，他的联合概率密度函数实际上是各个样本概率的乘积：似然函数则为：如果θ是参数空间中能使似然函数)L(θ)最大的θ值，则应该是“最可能”的参数值，那么就是θ的极大似然估计量。
它是样本集的函数，记作：称作极大似然函数估计值。
求解极大似然函数极大似然估计：求使得出现该组样本的概率最大的θ值。
实际中为了便于分析，定义了对数似然函数，对原似然函数取一下对数：根据对数运算法则，两数乘积的对数等于各自的对数之和：接下来可以分为两种情况，一个参数和多个参数：未知参数只有一个（θ为标量）在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：或者等价于未知参数有多个（θ为向量）则θ可表示为具有S个分量的未知向量：记梯度算子：若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。
声发射b值计算公式极大似然估计法
声发射b值计算公式是地震学中用来衡量地震能量大小的重要参数。
在地震监测和研究中，准确地计算声发射b值对于了解地震活动的特征和趋势具有重要意义。
声发射b值的计算方法有很多种，其中极大似然估计法是一种广泛应用且有效的方法。
1. 极大似然估计法简介极大似然估计法是统计学中常用的参数估计方法，它通过最大化样本观测值出现的概率来估计参数的值。
在地震学中，我们可以利用极大似然估计法来计算声发射b值。
2. 声发射b值的定义在地震监测中，声发射b值是指地震活动中释放的能量与震源体积的对数比值，通常用公式表示为：b = log(E/V)。
其中，E表示地震释放的能量，V表示震源体积。
声发射b值的计算对于研究地震活动的规模和能量释放具有重要意义。
3. 极大似然估计法在声发射b值计算中的应用极大似然估计法在声发射b值的计算中具有一定的优势和适用性。
它可以通过对地震能量释放样本数据进行最大似然估计，得到声发射b 值的估计值，从而更准确地衡量地震能量的大小。
4. 公式推导极大似然估计法在声发射b值计算中的具体公式推导过程如下：（1）我们假设地震释放的能量满足某一特定的概率分布，常用的分布包括指数分布、Weibull分布等。
（2）我们利用观测到的地震能量释放数据，构建似然函数。
似然函数反映了在给定参数下观测数据出现的概率。
（3）接下来，通过对似然函数进行最大化，得到声发射b值的极大似然估计值。
这个估计值可以更好地反映地震能量的大小。
5. 应用案例极大似然估计法在声发射b值的计算中已经得到了广泛的应用，并取得了一定的成果。
许多研究表明，采用极大似然估计法计算的声发射b值能够更准确地反映地震能量的释放情况，为地震监测和研究提供了重要的参考依据。
6. 结论极大似然估计法在声发射b值的计算中具有一定的优势和适用性。
通过对地震能量释放数据进行最大似然估计，可以更准确地估计声发射b值，为地震监测和研究提供更可靠的数据支持。
在未来的研究中，极大似然估计法在声发射b值计算中的应用还有待进一步深入和扩展。
极大似然估计的原理和方法
1n x n 0 ,. . . . . ( 1 ) 2 i 2 ln L ( , ) 0 , i 1 令 n 2 n 1 2 ln L ( , ) 0 , ( x ) 0 . . . . . . ( 2 ) 2 i 2 22 2 2 ( )
（二）极大似然原理及数学表述
若一试验有n个可能结果 A 1, 中出现的概率最大。 现做一试验, ,A n,
若事件Ai 发生了, 则认为事件Ai 在这n个可能结果 一次试验就出现的事件（应该）有较大的概率
极大似然估计就是在一次抽样中,若得到观测值
ˆ(x , , x )作为θ的估计值。 x ,x 1, n 则选取 1 n ˆ 使得当 ( x , ,x ) 时,样本出现的概率最大。 1 n
极大似然估计法最早由高斯（C.F.Gauss）提出。 后来为费歇在1912年的文章中重新提出，并且证明 了这个方法的一些性质。极大似然估计这一名称也 是费歇（R.A.Fisher）给的。这是一种目前仍然得 到广泛应用的方法。它是建立在极大似然原理的基 础上的一个统计方法。
（C.F.Gauss）
（R.A.Fisher）
i 1
2 极大似然估计值为 故和 的
1 n ˆ xi x, n i 1
1n ˆ (xi x)2, ni1
2
这一估计值与矩估计值是相同的.
例3 设总体 X 服从 [0, ] 上的均匀分布 ， 0 未知 ， x1 , x2 . , xn 是来自于总体 X 的样本值，求出 的极
大似然估计值.
解
记
x m a x ( x , x , , x ) , ( h ) 1 2 n
极大似然估计法
第八章参数估计第一节参数的点估计二、极大似然估计法极大似然估计最早是由高斯于1821年提出，但一般将之归功于英国统计学家Fisher,R.A,因为Fisher,R.A在1922年证明了极大似然估计的性质，并使得该方法得到了广泛的应用。
这里介绍估计的另一种常用方法－极大似然估计法。
先看一个简单的例子:某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只听到一声枪响,野兔应声倒下.如果要你推测,是谁打中的呢？你会如何想呢？你就会想,只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪有极大的可能是猎人射中的.这个推断很符合人们的经验事实，这里的“极大的可能”就是“极大似然”之意。
这个例子所作的推断已经体现了极大似然法的基本思想.极大似然法的基本思想在社会思维意识中常有所体现。
例如某地发生了一个疑难案件，警察欲破案或民众推测嫌疑人，一般是将重点集中在作案可能性较大的可疑人身上。
为了说明极大似然估计的原理，我们先来考察一个简单的估计问题。
设袋中装有许多白球和黑球。
只知两种球的数目之比为3:1，试判断是白球多还是黑球多。
显然，从袋中任取一球为黑球的概率p 是41或者43，如果是41，则袋中白球多，如果是43，就是黑球多。
现在我们从袋中有放回的任取3只球，那么黑球数目X 服从二项分布：xx x p p C p x X P --==33)1(};{, 3,2,1,0=x ； 43,41=p 其中p 为取到黑球的概率.从常识上可以接受这样的判断:(1)若取出的3只中有0只黑球,3只白球,则我们以较大的把握认为袋中白球多, 应认为是从黑球概率为41=p 的总体中取来的. (2)若取出的3只中有1只黑球, 2只白球,则我们以较大的把握认为袋中白球多, 应认为是从黑球概率为41=p 的总体中取来的; (3)若取出的3只中有2只黑球, 1只白球,则我们以较大的把握认为袋中黑球多, 应认为是从黑球概率为43=p 的总体中取来的; (4)若取出的3只中有3只黑球, 0只白球,则我们以较大的把握认为袋中黑球多,应认为是从黑球概率为43=p 的总体中取来的. 分别计算4341==p p 和时，}{x X P =的值，列于表8—1.由于样本来自于总体，因而应很好的反映总体的特征。
4.1 极大似然估计法
• 被解释变量样本的对数似然函数为：
ln L
n
2
ln 2
n
2
ln 2
ln J(yi , ) i
2
1 2
2
[h(yi , ) g(xi , )] i
ln 2 ln 2 + ln J(yi , ) 2 2 2 i n n
x2i xki
其中 h () 和 g () 是非线性函数， 和 是参数。
以上是一般非线性模型的完整描述。
模型参数的一种估计方法是最小二乘法，即最小化
S ( , ) [h( yi , ) g ( xi , )]
i
2
• 模型参数的另一种估计方法是极大似然法。得到广 泛应用。
2
代替 ，可得：
2 2
n 1 2 2 ˆ ˆ , ˆ | y, x) [ln(2 ) ln( ˆ )] ln(| |) ln L( , 2 2 n ui n 1 2 ˆ ln(| U U / |) 2 yi i 1
n 1 2 2 ˆ ˆ , ˆ | y, x) [ln(2 ) ln( ˆ )] ln(| |) ln L( , 2 2 n ui n 1 2 ˆ ln(| U U / |) 2 yi i 1
i =1,2,…,n
ˆ ), 2 ) Yi ~ N ( f (Xi , β
2 ˆ L(β, ) P(Y1 , Y2 ,, Yn )
i ~ N (0, 2 )
1 (2 ) n
n 2
1 2
e
ˆ )) 2 ( Y f ( X , i i 2
极大似然估计方法介绍
极大似然估计方法介绍极大似然估计（Maximum Likelihood Estimation, MLE）是概率统计中常用的参数估计方法之一，也是统计学中估计方法的基础之一、它的核心思想是通过最大化样本的似然函数来估计未知参数值。
在介绍极大似然估计方法之前，首先需要了解一些概率统计的基础知识。
1.似然函数：似然函数是一个关于参数的函数，其定义为给定参数下观察到的样本的概率密度函数（概率质量函数）的乘积。
似然函数表示了参数取值的可能性在给定观察数据下的程度。
2.最大似然估计：最大似然估计是一种基于观察数据的统计推断方法，通过寻找使得似然函数取得最大值的参数值来估计未知的参数。
下面以一个例子来说明极大似然估计的思想和步骤。
假设我们有一组观察数据{x₁,x₂,...,xx}，并假设这些数据服从一些分布，例如正态分布。
我们希望通过这组数据来估计正态分布的均值和方差。
步骤一：似然函数的建立对于正态分布，概率密度函数为：x(x，xx,x²)=(1/√(2xx²))*x^(-(x−xx)²/(2x²))其中xx和x²是未知参数，我们要通过观察数据来估计这两个参数。
对于一个具体的观察值xᵢ，其在给定参数xx和x²下的概率为x(xᵢ，xx,x²)。
那么样本的似然函数为：x(xx,x²)=x(x₁，xx,x²)*x(x₂，xx,x²)*...*x(xx，xx,x²)=∏[x(xᵢ，xx,x²)]步骤二：对数似然函数的计算为了方便计算，通常会对似然函数取对数，即对数似然函数：xx(x(xx,x²))=∑xx[x(xᵢ，xx,x²)]步骤三：最大化对数似然函数通过求解xx(x(xx,x²))对参数xx和x²的偏导数，令偏导数等于0，可以得到最大似然估计的闭式解。
如果无法解析求解，可以通过数值优化等方法来求得最大似然估计。
极大似然估计
是一个样本值
似然函数为 13
似然函数为
因为 对于满足
即
在
等价于
的任意
有
时,取最大值 14
似然函数为
即
在
故
时,取最大值 的极大似然估计值为:
故
的极大似然估计量为:
15
例5 指数分布的点估计
某电子管的使用寿命 X （单位：小时) 服从指数分布
X:
p(
x;
)
1
e
x
,
x0
( 0)
0 , other
令
解得
解得
p的极大似然估计值
p的极大似然估计量
它与矩估计量是相同的。
9
例2
设总体X的分布列为：
似然估计值。 解：
似然函数为
10
令
即
所以参数
的极大似然估计量为
11
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本, ，求参数λ的极大似然估计值。
似然函数为:
12
例4 设
求
解设
未知， 的极大似然估计量. 的概率密度为：
d ln L( ) 0. d
若母体的分布中包含多个参数，
即可令 L 0,i 1, , k.
i
或 ln L 0,i 1, , k.
i
解k个方程组求得1,
,
的极大似然估计值。
k总体X的一
个样本， 试求参数 p 的极大似然估计值.
解：设
是一个样本值。
X的分布列为：
故似然函数为
而 令 8
p(x, )
0,
其他.
2. 取对数：
当 0 < xi < 1, (i=1,2, …,n) 时
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
。这里n ，p(X i 1
i
,是 )
如果样本取值x1x2…xn，则事件 {X1 x1, , X n xn}
发生的概率为 n i1
p(
xi
,
)
。这一概率随
的值变化而
变化。从直观上来看，既然样本值x1x2…xn已经出现
了，它们出现的概率相对来说应比较大，应使其概
率取比较大的值。取似然函数如下：
n
1
nN
v2 (k )
2 N k n1
根据极大似然原理，对数似然函数取极值，等价于：
V (ˆML )
1 N
nN
v2 (k )
k n1
ˆML
min
式中v(k)满足约束条件。
23
综合以上分析，极大似然估计就是使得 V (ˆML) min 因为V () 是参数c1,c2…cn的非线性函数，只能通过 迭代法求解．这里介绍Newton-Raphson法。
nN v2 (k) ˆ 2 1
k n1
N
nN v2 (k)
k n1
(3) 计算J的梯度J / ˆ和Hessian矩阵2 J / ˆ T
J
ˆ
nN k n1
v(k
)
v(k
ˆ
)
其中：
v(k) y(k i) aˆi
n j 1
cˆi
v(k aˆi
j)
v(k )
bˆi
u(k
i)
n j 1
cˆi
v(k bˆi
14
对于确定了的观测值Y而言，似然函数仅仅是参数
的函数。由极大似然原理可知，ˆML 满足以下方程：
L
ˆ
ˆˆML
0
考虑到似然函数一般为指数函数，而指数函数和
对数函数都是单调的，为了方便求解，上式等价于
如下方程：
ln L
ˆ 0 ˆˆML
在特殊情况下，ˆML 能够通过方程得到解，但在一 般情况下，上式不容易得到解析解，需要采用数值
j)
v(k) v(k i)
cˆi
n j 1
cˆi
v(k cˆi
j)
25
可以看出上面三个等式为差分方程，这些差分方程
的初始条件为0，可以求解这些差分方程，分别求出
v(k)关于aˆ1, , aˆn,bˆ0, ,bˆn,cˆ1, ,cˆn的全部偏导数。
再由向量 J / ˆ 对参数向量 ˆ求偏导数，得到
ai
y(k
i)
n i0
biu(k
i)
n i1
ci
(k
i)
20
(k) y(k)
n i1
ai
y(k
i)
n i0
biu(k
i)
n i1
ci
(k
i)
在独立观测的前提下，得到输入输出数据{y(k)}和
{u(k)}，测量N次，得到N值白噪声向量为：
(n 1) (n 2) (n N)T N 0, 2I
可以表示成以下向量问题：
16
Y e
Y y(n 1) y(n 2) y(n N)T
e (n 1) (n 2) (n N)T
a1 a2 an b0 b1 bn T
y(n)
y(n 1)
y(n N 1)
y(1) u(n 1) y(2) u(n 2)
y(N) u(n N)
分析：设X是抽查一个产品时的不合格品的个数 ，则X服从参数为p的两点分布。抽查n个产品， 则得样本X1,X2,…Xn，其观察值为x1,x2…xn，假 如样本有T个不合格，即表示x1,x2…xn中有T个取 值为1，有n-T个取值为0。基于此求参数p的极大 似然估计值。
5
(1) 写出似然函数
n
L( p) pxi (1 p)1xi i 1
估计的求解。
19
2.数值解法
考虑模型为如下形式： A(z1) y(k) B(z1)u(k) C(z1) (k)
A(z1) 1 a1z1 B(z1) b0 b1z1 C(z1) 1 c1z1
an zn bn zn cn zn
上式可以改写为：
(k) y(k)
n i1
的不同的参数值，将有不同的概率密度函数。
当 ˆML ，得到该观测值{y1,y2,…,yN}的可能性最 大。也就是说，当观测结果为{y1,y2,…,yN}的条件
下，ˆML是接近于参数 真实值的可能性最大的参数
估计值。
13
极大似然法需要构造一个以数据和未知参数为自 变量的似然函数，并通过极大化似然函数，获得模 型的参数估计值。
求似然函数 L( ) 最大值问题。这通过解方程dL() / d 0
来得到。因为 ln L( )和 L( )的增减性相同，所以它们
在 的同一值处取得最大值，称 ln L( ) 为对数似然
函数。可以通过求解下列方程来得到极大似然解。
d ln L( ) 0 d
4
例1：设某工序生产的产品的不合格率为p，抽n个 产品作检验，发现有T个不合格，试求p的极大似 然估计值。
似然函数，并求对数得到：
ln
L
N 2
ln
2
N 2
ln
2
1
2
2
nN
v2 (k )
k n1
其中：
ln L
ˆ 2
0
ˆ 2
1 N
nN v2 (k)
k n1
v(k) y(k)
n i1
aˆi
y(k
i)
n i0
bˆiu(k
i)
n i1
cˆiv(k
i)
22
进一步得到：
ln L const N ln
数 , 2 的似然方程组，从而进行求解。
7
n
L(, 2 ) i1
n
1
( xi )2
e (2 ) e 2 2
2
n 2
( xi )2 i1
2 2
2
l(,
2
)
n 2
ln(2
2
)
1
2
2
n
( xi
i 1
)2
l(, 2 )
1
2
n
( xi
i 1
) 0
l
(
,
2
)
2
n
2 2
1
2 4
340 410 450 520 620 190 210 800 1100
9
L( )
n i 1
1
e
xi
e n
1
n i1
xi
ln
L
n
ln
1
n
i 1
xi
d ln L
d
n
1
2
n
xi
i 1
0
ˆ
1 n
n
xi
i 1
x
1
n
n i 1
xi
1 5723 318 18
10
极大似然估计的法的运算步骤： 1、由总体分布导出样本的联合概率函数； 2、把样本联合概率函数中自变量看成已知常数，
(1) 选定初始值ˆ(0) 。对于ˆ(0)中的参数a1,a2…an， b0,b1…bn，可按模型：
v(k) Aˆ (z1) y(k) Bˆ (z1)u(k) 用最小二乘法求得，对于ˆ(0) 中的c0,c1…cn可以先 假定一些值。
24
(2) 计算预测误差 v(k) y(k) yˆ(k)
J 1 2
(2) 对似然函数取对数，得到对数似然函数:
n
l( p) [xi ln p (1 xi ) ln(1 p)] i 1
n
n ln(1 p) xi[ln p ln(1 p)] i 1
(3) 对似然函数求导，令其为零，得到似然估计值
dl( p)
dp
n 1 p
n i1
1 xi ( p
1) 1 p
➢ 随机逼近法是由统计学中，通过连续逼近以获得估 计参数发展而来的。它是随机问题的梯度法应用于 观测数据被噪声污染，且对此噪声的统计特性不够 了解的情况。算法十分简单，具有实用价值。
1
极大似然的思想
先看一个简单例子：
某位同学与一位猎人一起外出打猎，一只野 兔从前方窜过。只听一声枪响，野兔应声到下了， 如果要你推测，这一发命中的子弹是谁打的？
2J
ˆˆT
nN k n1
v(k )
ˆ
v(k )
ˆT
nN k n1
v(k
)
2v(k)
ˆˆT
因为v(k)是个小量，
n k
N n 1
v(k
)
2v(k)
ˆˆT
可以忽略。
2 J
ˆˆT
nN v(k) v(k)
kn1 ˆ ˆT
26
(4) 按照Newton-Raphson法计算：
ˆ(k
1)
ˆ(k
)
ˆML T 1 TY
18
这与最小二乘法的结果相同，这说明当噪声为高斯
白噪声时，参数 的极大似然估计和最小二乘估计
是等价的。进一步，由：
ln L
2
2
2 ML
0
ˆ
2 ML
1 N
Y ˆML
T
Y ˆML
在实际问题中，e(k) 往往不是白噪声序列，而是相
关噪声序列。下面讨论残差相关的情况下极大似然
而把参数 看作自变量，得到似然函数L( ) ；
3、求似然函数的最大值点(常转化为求对数似 然函数的最大值点)；
4、在最大值点的表达式中，用样本值代入就得 参数的极大似然估计值。
11
作业：设总体的密度函数为：