第10章非线性似然估计
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
t 1
T
2
1、非线性估计的计算方法 求解参数的非线性LS估计，要比线性模型的LS估计复 杂的多，通常采用数值解法。以下三种方法较常见： ⑴直接查找法： 是指对不同的参数值比较误差平方和S函数的值，使S 最小的那组值就是参数的估计值。这种方法适用于所 有参数仅有若干取值的情形。
第10章 非线性估计与极大似然估计
其中1, 0 , 2 , 0 ,, p , 0为参数的初始数值集 。
第10章 非线性估计与极大似然估计
上式可变形为 p f p f Y f (X1 , X 2 ,, X k , 1, 0 , 2, 0 ,, p , 0 ) i , 0 i 10.1 i1 i 1 i 0 i 0 这是关于参数的线性模型，用普通LS法可以得到参数 的LS解，作为参数新的数值集，替换(10.1)式的初始 数值集。如此循环下去直至
通过求解正规方程组，获得参数估计。 由于正规方程关于参数是非线性的，通常采用数值解 法如梯度法(参数从初始数值集朝使函数值下降最快的 方向逼近，亦称最速下降法)
第10章 非线性估计与极大似然估计
⑶循环线性化法 是指将非线性方程在某个参数的初始数值集附近线性 化，然后用普通LS法得到参数的新数值集；再把非线 性方程在新的数值集附近重新线性化，用普通LS法得 到参数更新的数值集，如此循环反复直至数值集变化 很小(即数值集收敛)，作为参数的最终取值。 其中利用了关于以参数为变元函数的一阶泰勒级数展 开式 p f Y f (X1 , X 2 ,, X k , 1, 0 , 2 , 0 ,, p , 0 ) (i i , 0 ) i 1 i 0
第10章 非线性估计与极大似然估计
2、似然比检验 下面用极大似然比检验模型中一些参数β=0的原假设。 用L(βUR)表示没有限制条件时对数似然函数的最大值， L(βR)表示有限制条件时对数似然函数的最大值，显然 有L(βUR)≥ L(βR)，若原假设成立，两者应十分接近。
L( R ) L( UR )
Yi 1X i i
i ~ N(0, 2 )
第10章 非线性估计与极大似然估计
Yi的密度函数为
1 (Yi Xi ) p(Yi ) exp[ ] 2 2 2
2
N 2
则似然函数是密度函数在所有N个观测取值的乘积， N 即
N
(Yi X i ) 1 2 L(, , ) p(Yi ) exp[ i1 ] 2 2 i 1 2 2
λ 称为似然比。通常更多地考虑两者的差，即统计量
2[L( R ) L( UR )] ~ m
2
其中m为限制条件个数。如果统计量大于临界值，就认 为两者存在较大的差异，即原假设不成立，这些参数不 为0。
第10章 非线性估计与极大似然估计
3、一个应用：Box-Cox模型 考虑下面的Box-Cox模型 Y 1 X 1
Y 0 1X1
2
2 2
Y 0 0 1 1 X1
10.2
其中β0,β1,β2是最后一次循环线性回归参数的数值解， 利用残差平方和及参数估计的标准差构造相应的正态 随机变量ε与η0,η1,η2，它们均值都等于0，标准差为对 应值。
i i
i
当参数λ=1时，模型化为线性模型
Yi 1 X i 1 i
当λ趋于0时，有
Yi 1 log Yi
Yi e log Y 1 log Yi 所以
i
对X作类似处理， Box-Cox模型化为对数线性模型
log Yi log X i i
Y 0 1 X1 2 X 2 Y 1e X 2 e X
1 2
1 1 2 2
这些模型无法变换为线性模型，因此线性LS不再适 用。但误差平方和最小化原则仍然可以施行，所得 到的参数估计，我们称为非线性LS估计。考虑一般 模型
Y f (X1 , X 2 ,, X k , 1 , 2 ,, p )
第10章 非线性估计与极大似然估计
实际上Box-Cox模型是广义的非线性模型，参数λ当然也 不是随意指定，通常可通过极大似然法获得。下面先考 虑Y的似然函数
Yi 1 y i 1 FY ( y i ) P(Yi y i ) P( ) Xi 1 yi 1 yi 1 Xi 1 P ( i ) P ( i ) yi 1 Xi 1 F ( )
N
从这个对数似然函数最大化，可以求得λ的数值解。 如果 Y Y Y Y ，Yg是Y值N个观测的几何平均； 对Y的原始观测进行如下数据变换Y*=Y/Yg，那么 线性模型λ=1： * *
g 1 2 N
Y X
对数线性模型λ=0： 显然
log Y * log X *
y2 t
ˆ ˆ ˆ ˆ YT1 f (X1,T1 , X2,T1 ,, X k ,T1 , 1 , 2 ,, p )
第10章 非线性估计与极大似然估计
但由于YT+1不再服从正态分布，因此其预测区间无法 类似于第8章那样给出。但通过参数服从正态分布的假 定，利用蒙特卡罗模拟方法，可以得到YT+1的一个近 似预测区间。下面说明模型 的预测区间产生办法。 ⑴确定蒙特卡罗模拟方程
i
i i i
两边对yi求导数可得 y i 1 X i 1 Y ( y i ) y i 1 ( )
第10章 非线性估计与极大似然估计
所以Y的对数似然函数为
N 1 y i 1 X i 1 2 log L ( 1) log y i log(22 ) 2 ( ) 2 2
第10章 非线性估计与极大似然估计
⑵产生ε与η0,η1,η2的正态随机数，由(10.2)可以计算 YT+1的预测值。 ⑶重复第二步100至200次，获得YT+1的预测值的样本 标准差，从而得到YT+1的近似预测区间。
§10.2 极大似然估计法
参数极大似然估计，在一般情况下具有一致性和渐近 有效性这两个优良性质。 1、极大似然估计法 现在先从最简单的一元线性模型阐明极大似然估计法
第10章 非线性估计与极大似然估计
LM检验法是最大化以下目标函数 由极大化的一阶偏导条件可得
log L( UR ) ( UR R )
N 1 N 2 log L log(2 ) 2 [Yi f (X1i , X ki , 1 , p )]2 2 2 i1
类似于一元线性模型可以求出参数的极大似然估计， 只是在许多情况下β只能得到数值解，但总有 ˆ i2 ˆ i2 N 1] 2 log L Max [log( 2) log N 2 N 有趣的是可以得到各个参数β估计方差的近似值 2 log L I(i ) E( ) 费歇信息量 2 i
log L 1 N 2 (Yi X i ) 0 i1 log L 1 N 2 X i (Yi X i ) 0 i1 log L N 1 N (Y X ) 2 0 i i 2 2 2 2 i 1 2 2
解出参数α,β,σ2的值，就得到了对应参数的极大似然 估计。不难发现方程组中含α,β的前两个方程与普通LS 估计是一样的，σ2的极大似然估计为 i2 ˆ 2 N
第10章 非线性估计与极大似然估计
对一般非线性模型 Y f (X1 , X 2 ,, X k , 1 , 2 ,, p ) ε 服从N(0,σ2)，其对数似然函数定义为
不再服从正态分布，因此残差平方和也不再服从Χ2分 布，原来线性模型中的F分布、t分布不在适用了。但 2仍然是有用的 ˆ2 拟合优度R t 2
ˆ ˆ ˆ ˆ t Yt f (X1t , X2 t ,, Xkt , 1 , 2 ,, p )
R 1
3、非线性回归方程的预测 一旦得到了非线性方程的估计，就可以用它来预测。 因此Y的点预测为
⑵直接优化法 误差平方和S关于各参数求偏导，得到相应的正规方程
f T 2[ Y f ( X1 , X 2 ,, X k , 1 , 2 ,, p )] 0 t 1 1 T 2[ Y f ( X1 , X 2 ,, X k , 1 , 2 ,, p )] f 0 t 1 2 T f 2[ Y f ( X1 , X 2 ,, X k , 1 , 2 ,, p )] 0 p t 1
1, j1 1, j 2 , j1 2 , j p , j1 p , j , , , 1, j 2, j p, j
这里δ 为指定的一个正数，如0.01。
第10章 非线性估计与极大似然估计
2、非线性回归方程的评价 由于非线性回归方程的残差
第10章 非线性估计与极大似然估计
其中f是k个自变量X1,X2,…,Xk和p个参数β1,β2,…,βp的非 线性函数。如果具有Y与X1,X2,…,Xk的T个观测，利用 误差平方和最小化可得参数的非线性LS估计：
S [Y f (X1 , X 2 ,, X k , 1 , 2 ,, p )]
* * Y1* Y2* YN 1 log Y1* log Y2* log YN 0
第10章 非线性估计与极大似然估计
这样两者的对数似然函数形式(第一项都为0)就完全一致 了，α,β的极大似然估计不仅形式一致且等价于LS估计。 这从另一个侧面表明最小误差平方和的参数估计准则， 具有很好的性质。对于非线性模型来说，由于R2最大等 价于误差平方和最小，拟合优度R2仍是评价一个模型好 坏的标准。 4、拉格朗日乘数 (LM)检验法 第5章介绍了用F分布对参数进行联合检验，这一方法也 称为Wald检验法(其范围更广)。它从无限制条件模型开 始，检验给模型加上限制条件(某些参数β=0)是否减弱了 回归模型的解释能力。而LM检验法，却是从限制条件出 发，检验如果向无条件限制方向变化是否能显著提高模 型的解释能力。 LM检验法也以极大似然函数为基础。
第10章 非线性估计与极大似然估计
§10.1 非线性估计 §10.2 极大似然估计法 §10.3 ARCH与GARCH模型
第10章 非线性估计与极大似然估计
§10.1 非线性估计 前面讨论的单方程回归模型中，它们都是关于参数 线性的。通常利用普通LS法、加权LS法等估计这些 参数。下面将参数线性模型拓宽到本质上非线性的 情形，如模型
极大似然估计的目标是寻找最可能生成样本观测 Y1,…,YN的参数α,β,σ2的值，即使对数似然函数logL最 大的参数值。 N 1 N 2
wenku.baidu.com
log L
2
log(2 )
2
(Yi X i ) 2 2
i 1
第10章 非线性估计与极大似然估计
对数似然函数关于参数求偏导可得
T
2
1、非线性估计的计算方法 求解参数的非线性LS估计，要比线性模型的LS估计复 杂的多，通常采用数值解法。以下三种方法较常见： ⑴直接查找法： 是指对不同的参数值比较误差平方和S函数的值，使S 最小的那组值就是参数的估计值。这种方法适用于所 有参数仅有若干取值的情形。
第10章 非线性估计与极大似然估计
其中1, 0 , 2 , 0 ,, p , 0为参数的初始数值集 。
第10章 非线性估计与极大似然估计
上式可变形为 p f p f Y f (X1 , X 2 ,, X k , 1, 0 , 2, 0 ,, p , 0 ) i , 0 i 10.1 i1 i 1 i 0 i 0 这是关于参数的线性模型，用普通LS法可以得到参数 的LS解，作为参数新的数值集，替换(10.1)式的初始 数值集。如此循环下去直至
通过求解正规方程组，获得参数估计。 由于正规方程关于参数是非线性的，通常采用数值解 法如梯度法(参数从初始数值集朝使函数值下降最快的 方向逼近，亦称最速下降法)
第10章 非线性估计与极大似然估计
⑶循环线性化法 是指将非线性方程在某个参数的初始数值集附近线性 化，然后用普通LS法得到参数的新数值集；再把非线 性方程在新的数值集附近重新线性化，用普通LS法得 到参数更新的数值集，如此循环反复直至数值集变化 很小(即数值集收敛)，作为参数的最终取值。 其中利用了关于以参数为变元函数的一阶泰勒级数展 开式 p f Y f (X1 , X 2 ,, X k , 1, 0 , 2 , 0 ,, p , 0 ) (i i , 0 ) i 1 i 0
第10章 非线性估计与极大似然估计
2、似然比检验 下面用极大似然比检验模型中一些参数β=0的原假设。 用L(βUR)表示没有限制条件时对数似然函数的最大值， L(βR)表示有限制条件时对数似然函数的最大值，显然 有L(βUR)≥ L(βR)，若原假设成立，两者应十分接近。
L( R ) L( UR )
Yi 1X i i
i ~ N(0, 2 )
第10章 非线性估计与极大似然估计
Yi的密度函数为
1 (Yi Xi ) p(Yi ) exp[ ] 2 2 2
2
N 2
则似然函数是密度函数在所有N个观测取值的乘积， N 即
N
(Yi X i ) 1 2 L(, , ) p(Yi ) exp[ i1 ] 2 2 i 1 2 2
λ 称为似然比。通常更多地考虑两者的差，即统计量
2[L( R ) L( UR )] ~ m
2
其中m为限制条件个数。如果统计量大于临界值，就认 为两者存在较大的差异，即原假设不成立，这些参数不 为0。
第10章 非线性估计与极大似然估计
3、一个应用：Box-Cox模型 考虑下面的Box-Cox模型 Y 1 X 1
Y 0 1X1
2
2 2
Y 0 0 1 1 X1
10.2
其中β0,β1,β2是最后一次循环线性回归参数的数值解， 利用残差平方和及参数估计的标准差构造相应的正态 随机变量ε与η0,η1,η2，它们均值都等于0，标准差为对 应值。
i i
i
当参数λ=1时，模型化为线性模型
Yi 1 X i 1 i
当λ趋于0时，有
Yi 1 log Yi
Yi e log Y 1 log Yi 所以
i
对X作类似处理， Box-Cox模型化为对数线性模型
log Yi log X i i
Y 0 1 X1 2 X 2 Y 1e X 2 e X
1 2
1 1 2 2
这些模型无法变换为线性模型，因此线性LS不再适 用。但误差平方和最小化原则仍然可以施行，所得 到的参数估计，我们称为非线性LS估计。考虑一般 模型
Y f (X1 , X 2 ,, X k , 1 , 2 ,, p )
第10章 非线性估计与极大似然估计
实际上Box-Cox模型是广义的非线性模型，参数λ当然也 不是随意指定，通常可通过极大似然法获得。下面先考 虑Y的似然函数
Yi 1 y i 1 FY ( y i ) P(Yi y i ) P( ) Xi 1 yi 1 yi 1 Xi 1 P ( i ) P ( i ) yi 1 Xi 1 F ( )
N
从这个对数似然函数最大化，可以求得λ的数值解。 如果 Y Y Y Y ，Yg是Y值N个观测的几何平均； 对Y的原始观测进行如下数据变换Y*=Y/Yg，那么 线性模型λ=1： * *
g 1 2 N
Y X
对数线性模型λ=0： 显然
log Y * log X *
y2 t
ˆ ˆ ˆ ˆ YT1 f (X1,T1 , X2,T1 ,, X k ,T1 , 1 , 2 ,, p )
第10章 非线性估计与极大似然估计
但由于YT+1不再服从正态分布，因此其预测区间无法 类似于第8章那样给出。但通过参数服从正态分布的假 定，利用蒙特卡罗模拟方法，可以得到YT+1的一个近 似预测区间。下面说明模型 的预测区间产生办法。 ⑴确定蒙特卡罗模拟方程
i
i i i
两边对yi求导数可得 y i 1 X i 1 Y ( y i ) y i 1 ( )
第10章 非线性估计与极大似然估计
所以Y的对数似然函数为
N 1 y i 1 X i 1 2 log L ( 1) log y i log(22 ) 2 ( ) 2 2
第10章 非线性估计与极大似然估计
⑵产生ε与η0,η1,η2的正态随机数，由(10.2)可以计算 YT+1的预测值。 ⑶重复第二步100至200次，获得YT+1的预测值的样本 标准差，从而得到YT+1的近似预测区间。
§10.2 极大似然估计法
参数极大似然估计，在一般情况下具有一致性和渐近 有效性这两个优良性质。 1、极大似然估计法 现在先从最简单的一元线性模型阐明极大似然估计法
第10章 非线性估计与极大似然估计
LM检验法是最大化以下目标函数 由极大化的一阶偏导条件可得
log L( UR ) ( UR R )
N 1 N 2 log L log(2 ) 2 [Yi f (X1i , X ki , 1 , p )]2 2 2 i1
类似于一元线性模型可以求出参数的极大似然估计， 只是在许多情况下β只能得到数值解，但总有 ˆ i2 ˆ i2 N 1] 2 log L Max [log( 2) log N 2 N 有趣的是可以得到各个参数β估计方差的近似值 2 log L I(i ) E( ) 费歇信息量 2 i
log L 1 N 2 (Yi X i ) 0 i1 log L 1 N 2 X i (Yi X i ) 0 i1 log L N 1 N (Y X ) 2 0 i i 2 2 2 2 i 1 2 2
解出参数α,β,σ2的值，就得到了对应参数的极大似然 估计。不难发现方程组中含α,β的前两个方程与普通LS 估计是一样的，σ2的极大似然估计为 i2 ˆ 2 N
第10章 非线性估计与极大似然估计
对一般非线性模型 Y f (X1 , X 2 ,, X k , 1 , 2 ,, p ) ε 服从N(0,σ2)，其对数似然函数定义为
不再服从正态分布，因此残差平方和也不再服从Χ2分 布，原来线性模型中的F分布、t分布不在适用了。但 2仍然是有用的 ˆ2 拟合优度R t 2
ˆ ˆ ˆ ˆ t Yt f (X1t , X2 t ,, Xkt , 1 , 2 ,, p )
R 1
3、非线性回归方程的预测 一旦得到了非线性方程的估计，就可以用它来预测。 因此Y的点预测为
⑵直接优化法 误差平方和S关于各参数求偏导，得到相应的正规方程
f T 2[ Y f ( X1 , X 2 ,, X k , 1 , 2 ,, p )] 0 t 1 1 T 2[ Y f ( X1 , X 2 ,, X k , 1 , 2 ,, p )] f 0 t 1 2 T f 2[ Y f ( X1 , X 2 ,, X k , 1 , 2 ,, p )] 0 p t 1
1, j1 1, j 2 , j1 2 , j p , j1 p , j , , , 1, j 2, j p, j
这里δ 为指定的一个正数，如0.01。
第10章 非线性估计与极大似然估计
2、非线性回归方程的评价 由于非线性回归方程的残差
第10章 非线性估计与极大似然估计
其中f是k个自变量X1,X2,…,Xk和p个参数β1,β2,…,βp的非 线性函数。如果具有Y与X1,X2,…,Xk的T个观测，利用 误差平方和最小化可得参数的非线性LS估计：
S [Y f (X1 , X 2 ,, X k , 1 , 2 ,, p )]
* * Y1* Y2* YN 1 log Y1* log Y2* log YN 0
第10章 非线性估计与极大似然估计
这样两者的对数似然函数形式(第一项都为0)就完全一致 了，α,β的极大似然估计不仅形式一致且等价于LS估计。 这从另一个侧面表明最小误差平方和的参数估计准则， 具有很好的性质。对于非线性模型来说，由于R2最大等 价于误差平方和最小，拟合优度R2仍是评价一个模型好 坏的标准。 4、拉格朗日乘数 (LM)检验法 第5章介绍了用F分布对参数进行联合检验，这一方法也 称为Wald检验法(其范围更广)。它从无限制条件模型开 始，检验给模型加上限制条件(某些参数β=0)是否减弱了 回归模型的解释能力。而LM检验法，却是从限制条件出 发，检验如果向无条件限制方向变化是否能显著提高模 型的解释能力。 LM检验法也以极大似然函数为基础。
第10章 非线性估计与极大似然估计
§10.1 非线性估计 §10.2 极大似然估计法 §10.3 ARCH与GARCH模型
第10章 非线性估计与极大似然估计
§10.1 非线性估计 前面讨论的单方程回归模型中，它们都是关于参数 线性的。通常利用普通LS法、加权LS法等估计这些 参数。下面将参数线性模型拓宽到本质上非线性的 情形，如模型
极大似然估计的目标是寻找最可能生成样本观测 Y1,…,YN的参数α,β,σ2的值，即使对数似然函数logL最 大的参数值。 N 1 N 2
wenku.baidu.com
log L
2
log(2 )
2
(Yi X i ) 2 2
i 1
第10章 非线性估计与极大似然估计
对数似然函数关于参数求偏导可得