第四章 非线性回归与非线性约束

具体检验时，用来对原假设进行检验的似然比统 用来对原假设进行检验的似然比统 具体检验 计量定义为： 计量定义为： L( β R ) LR = −2(ln L( β R ) − ln L( βUR )) = −2 ln L( βUR )
LR ~ χ , m为限制条件的个数。
2 m 2 若LR大于给定显著性水平下的χ m临界值，
2
exp[−
1 2σ
2
(Yi − f ( X 1i , X 2i , L X ki , β1 , β 2 ,L β p )) 2 ]
则N个观测值的对数似然函数为 LnL = ∑ p (Yi , X i β ) = − ( N / 2) ln(2π ) − ( N / 2) ln(σ )
2
− (σ / 2)∑ (Yi − f ( X 1i , X 2i , L X ki , β1 , β 2 , L β p ))
L( β R ) 则似然比定义为λ = . L( βUR )
L( β R ) 则似然比定义为λ = . L( βUR )
L越大表明对数据的拟合程度越好，分母来自无条 越大表明对数据的拟合程度越好， 越大表明对数据的拟合程度越好 件模型，变量个数越多，拟合越好， 件模型，变量个数越多，拟合越好，因此分子小于分 似然比在0到 间 母，似然比在 到1间。分子是在原假设成立下参数的 极大似然函数值，是零假设的最佳表示。 极大似然函数值，是零假设的最佳表示。而分母则表 示在在任意情况下参数的极大似然函数值。 示在在任意情况下参数的极大似然函数值。比值的最 大极限值为1，其值靠近1， 大极限值为 ，其值靠近 ，说明局部的最大和全局最 大近似，零假设成立可能性就越大。 大近似，零假设成立可能性就越大。
设L( βUR )代表没有限制条件时似然函数 的极大值, L( β R )代表有限制条件时似然函数的极大值,
受约束的似然函数值不会超过无约束的似然函数值 受约束的似然函数值不会超过无约束的似然函数值， 的似然函数值不会超过无约束的似然函数值 但如果约束条件为真 约束条件为真，则两个函数值就非常“接近 接近”。 约束条件为真 接近
Y = f ( X 1 , X 2 ,L X k , β10 , β 20 ,L β p 0 ) + ∑ (
i =1 p
∂f
αβ i
) |β = β 0 ×( β i − β i 0 ) + u
∂f Y − f ( X 1 , X 2 ,L X k , β10 , β 20 , L β p 0 ) + ∑ β i 0 ( ) |β = β 0 ∂β i i =1
1 2
记
~2 ~ σ βˆ + βˆ = σ 2 f ( X)
1 2
可建立沃尔德统计量 沃尔德统计量: 沃尔德统计量 ˆ ˆ ( β 1 + β 2 − 1) 2 W = ~ χ 2 (1) ~2 σ βˆ + βˆ
设总体分布的密度函数为p ( X ;θ ),θ为未知参数. 相互独立的随机样本X 1 , L X n取自总体, 因此随机样本的联合密度函数为 : L( X ;θ ) = ∏ p( X ;θ ),
i =1 n
反映X 1 ,L X n被抽取的概率, 称L( X ;θ )为似然函数. θ的估计值θˆ越接近真实值，L ( X ;θˆ)越接近X ,L X
第九章 非线性回归与非线性约束 一、非线性估计 (一)非线性最小二乘法 一 非线性最小二乘法 之前我们讨论的单方程回归模型都是因 变量关于参数线性的， 变量关于参数线性的，都可通过一定的变换 化为标准线性回归模型。 化为标准线性回归模型。 本质上非线性的回归模型因变量关于参数 是非线性的，不能变化为线性回归模型。 是非线性的，不能变化为线性回归模型。
∂f = ∑ βi ( ) |β = β1 +u ∂β i i =1 对这个方程运用普通最小二乘法， 对这个方程运用普通最小二乘法，得到一组新估计 值 ( β12 , β 22 ,L β p 2 ) 。不断重复这个重新线性化的过程直 到估计的参数收敛。 到估计的参数收敛。
（三）极大似然估计法 1、极大似然估计的思想 、
= 1 (2πσ )
2 N 2
exp[−∑
1 2σ 2
(Yi − α − β X i) 2 ]
极大似然估计的目标是寻找最可能生成样本观测值 Y1， YN的参数α， β和σ的值， 即求使对数似然函数 L 达到最大的α， β和σ值。
对数似然函数 LnL = −( N / 2) ln(2π ) − ( N / 2) ln(σ 2 ) − (σ 2 / 2)∑ (Yi − α − β X i) 2
如对 Y = β 0 + β 1 X 1 + β 2 X 2 + L + β k X k + µ
在所有古典假设都成立的条件下，容易证明
2 ˆ ˆ β 1 + β 2 ~ N ( β 1 + β 2 , σ βˆ + βˆ )
1 2
因此，在β1+β2=1的约束条件下 ˆ ˆ β1 + β 2 − 1 z= ~ N ( 0 ,1) σ βˆ + βˆ
1
n
ˆ 被抽取的真实概率,因此L( X ;θ )值越大。 ˆ ˆ 所以， 用满足L( X ;θ ) = max L( X ;θ )的θ作为θ的
θ
ˆ 极大似然估计值， 记为θ ML .
因为L( X ;θ )与 ln L( X ;θ )有相同的极值点， 所以一般通过将 ln L( X ;θ )对θ求导并使之等于0 来得到参数的极大似然估计值. ln L( X ;θ )称为对数似然函数.
2、标准线性模型的极大似然估计 、
标准线性模型Yi = α + β X i+ui， 每一个Yi 服从正态分布, 即Yi ~ N (α + β X i, σ 2 ), 其概率密度函数可表示为 p (Yi ) = 1 2πσ
2
exp[−
1 2σ
2
(Yi − α − βX i) 2 ]
则似然函数是密度函数在所有N个观测处取值 则似然函数是密度函数在所有 个观测处取值 的连乘积： 的连乘积： L(Y1 , Y2 , LYN , α , β , σ ) = P(Y1 ) P (Y2 ) L P (YN )
反之， 则拒绝原假设， 约束条件不成立。
2、沃尔德检验（Wald test, W） 、沃尔德检验（ ）
与似然比检验相比， 检验的一个直接的 与似然比检验相比，W检验的一个直接的 优点就是只需估计无约束模型。 优点就是只需估计无约束模型。当约束模型的 估计很困难时，此方法尤其适用。 检验由沃 估计很困难时，此方法尤其适用。W检验由沃 尔德（ 尔德（Wald 1943）提出，适用于线性与非线 ）提出， 性约束条件的检验。 性约束条件的检验。
则拒绝原假设， 认为限制条件不成立， 即所希望检验的β不全为0。
似然比检验在计量经济模型选择上的应用 例：我们要讨论线性回归模型是否应该加 入一些重要变量的问题： 入一些重要变量的问题：
H 0 : Y = β1 + β 2 X 2 + L β k − m X k − m + u (有约束条件模型) H1 : Y = β1 + β 2 X 2 + L β k − m X k − m + L β k X k + u (无约束条件的饱和模型)
二、非线性约束 当对模型 Y = β 0 + β1 X 1 + β 2 X 2 + L + β k X k + µ 施加非线性约束β β 得到受约束回归模型: 施加非线性约束β1β2=1,得到受约束回归模型 得到受约束回归模型
Y = β 0 + β1 X 1 + 1 X 2 +L+ βk X k + µ*
在零假设成立的条件下，约束模型的极大对数 在零假设成立的条件下， 似然函数为 LnL( β R ) ；非约束模型的极大对 数似然函数为 LnL( βUR )
LR = −2(ln L( β R ) − ln L( βUR )) ~ χα ( m )
2
2 若LR < χα ( m ) , 则接受原假设， 约束条件成立;
β1
为了检验非线性约束条件， 为了检验非线性约束条件 ， 有三种常用的检 验方法，即似然比（ ）检验，沃尔德（ ） 验方法，即似然比（LR）检验，沃尔德（Wald） 检验和拉格朗日（ 检验和拉格朗日（lagrange）乘数（LM）检验。 ）乘数（ ）检验。 这三种检验所用统计量都是基于极大似然估计 法计算， 既适用于对线性约束条件的检验， 法计算 ， 既适用于对线性约束条件的检验 ， 也 适用于对非线性约束条件的检验。 适用于对非线性约束条件的检验。
2
2
令对数似然函数对每一个β和σ求偏导并令它们等于零， 可得到关于p + 1未知数p + 1个非线性方程组， 求解过程较复杂。 但最终的极大似然估计量都是一致的和 渐近有效的。
二、非线性约束 似然比检验和拉格朗日乘数检验 这两种检验所用统计量都是基于极大似然 估计法的计算,可用于检验数据是否支持某些参 估计法的计算 可用于检验数据是否支持某些参 数限制条件。 数限制条件。
p
∂f = ∑ βi ( ) | β = β 0 +u ∂β i i =1
p
为一组新的自变量， 为一组新的自变量，β1 , β 2 , L β p ) 为未知参 ( 则原模型转化成线性模型， 数，则原模型转化成线性模型，可以用普通最小 二乘法来估计这些参数。 二乘法来估计这些参数。 将( β1 , β 2 , L β p )的第一次估计值记为( β11 , β 21 , L β p1 ),
ML ML
ˆ2 但σ ML (虽然是一致的)却是σ 2的有偏估计量， 但可以证明 ˆ2 σ ML仍是σ 2的渐近有效估计量。