第4章非线性回归模型的
合集下载
第四章 非线性回归与非线性约束ppt课件
应接近于零。
因此，拉格朗日乘数检验就是检验某些拉格朗日乘
数的值是否“足够大”，如果“足够大”，则拒绝
约束条件为真的假设。
检验思路：
H0:Y12X2 kmXkmu(有约束条 ) 件模型 H1:Y12X2 kmXkm kXku(无约束条件)
对于非约束的极大 估似 计然 量 UR,有LUnRL0. 若约束条件成 ，则 立施加约束条件 的下 极大似然估计量
但最终的极大似然 量估 都计 是一致的和
渐近有效。的
二、非线性约束 似然比检验和拉格朗日乘数检验
这两种检验所用统计量都是基于极大似然 估计法的计算,可用于检验数据是否支持某些参 数限制条件。
二、非线性约束
当对模型 Y 0 1 X 1 2 X 2 k X k
施加非线性约束12=1,得到受约束回归模型:
Yf(X1,X2, Xk,10 ,20 , p0)i p1i0(fi)|0
p f
i1
i(i)|0
u
f
一组令新左的边自为变一量个，新(的1因,变2,量 ，右p)边为未(知i )参|数0为，
则原模型转化成线性模型，可以用普通最小二乘
法来估计这些参数。
将(1,2,p)的第一次估计(值 11,记 21, 为p1),
对非线性约束，沃尔德统计量W的算法描述要复杂得多。
3、拉格朗日乘数检验（LM）
• 与W检验不同的是拉格朗日（Lagrange） 乘数（LM）检验只需估计约束模型。所以 当施加约束条件后模型形式变得简单时， 更适用于这种检验。LM检验是由艾奇逊— 西尔维（Aitchison-Silvey 1960）提出的。
首先，用OLS法估计约束模型，计算残差序列
e ty tˆ1ˆ2 x 2 t ˆqx qt
因此，拉格朗日乘数检验就是检验某些拉格朗日乘
数的值是否“足够大”，如果“足够大”，则拒绝
约束条件为真的假设。
检验思路：
H0:Y12X2 kmXkmu(有约束条 ) 件模型 H1:Y12X2 kmXkm kXku(无约束条件)
对于非约束的极大 估似 计然 量 UR,有LUnRL0. 若约束条件成 ，则 立施加约束条件 的下 极大似然估计量
但最终的极大似然 量估 都计 是一致的和
渐近有效。的
二、非线性约束 似然比检验和拉格朗日乘数检验
这两种检验所用统计量都是基于极大似然 估计法的计算,可用于检验数据是否支持某些参 数限制条件。
二、非线性约束
当对模型 Y 0 1 X 1 2 X 2 k X k
施加非线性约束12=1,得到受约束回归模型:
Yf(X1,X2, Xk,10 ,20 , p0)i p1i0(fi)|0
p f
i1
i(i)|0
u
f
一组令新左的边自为变一量个，新(的1因,变2,量 ，右p)边为未(知i )参|数0为，
则原模型转化成线性模型，可以用普通最小二乘
法来估计这些参数。
将(1,2,p)的第一次估计(值 11,记 21, 为p1),
对非线性约束，沃尔德统计量W的算法描述要复杂得多。
3、拉格朗日乘数检验（LM）
• 与W检验不同的是拉格朗日（Lagrange） 乘数（LM）检验只需估计约束模型。所以 当施加约束条件后模型形式变得简单时， 更适用于这种检验。LM检验是由艾奇逊— 西尔维（Aitchison-Silvey 1960）提出的。
首先，用OLS法估计约束模型，计算残差序列
e ty tˆ1ˆ2 x 2 t ˆqx qt
（整理）计量经济学第四章非线性回归模型的线性化
（整理）计量经济学第四章⾮线性回归模型的线性化第四章⾮线性回归模型的线性化以上介绍了线性回归模型。
但有时候变量之间的关系是⾮线性的。
例如 y t = α 0 + α11βt x + u t y t = α 0 t x e 1α+ u t上述⾮线性回归模型是⽆法⽤最⼩⼆乘法估计参数的。
可采⽤⾮线性⽅法进⾏估计。
估计过程⾮常复杂和困难，在20世纪40年代之前⼏乎不可能实现。
计算机的出现⼤⼤⽅便了⾮线性回归模型的估计。
专⽤软件使这种计算变得⾮常容易。
但本章不是介绍这类模型的估计。
另外还有⼀类⾮线性回归模型。
其形式是⾮线性的，但可以通过适当的变换，转化为线性模型，然后利⽤线性回归模型的估计与检验⽅法进⾏处理。
称此类模型为可线性化的⾮线性模型。
下⾯介绍⼏种典型的可以线性化的⾮线性模型。
4.1 可线性化的模型⑴指数函数模型y t = t t ubx ae + (4.1)b >0 和b <0两种情形的图形分别见图4.1和4.2。
显然x t 和y t 的关系是⾮线性的。
对上式等号两侧同取⾃然对数，得Lny t = Lna + b x t + u t (4.2)令Lny t = y t *, Lna = a *, 则y t * = a * + bx t + u t (4.3) 变量y t * 和x t 已变换成为线性关系。
其中u t 表⽰随机误差项。
010203040501234XY 1图4.1 y t =tt u bx ae+, (b > 0) 图4.2 y t =t+, (b < 0)⑵对数函数模型y t = a + b Ln x t+ u t(4.4)b>0和b<0两种情形的图形分别见图4.3和4.4。
x t和y t的关系是⾮线性的。
令x t* = Lnx t, 则y t = a + b x t* + u t(4.5)变量y t和x t* 已变换成为线性关系。
图4.3 y t = a + b Lnx t + u t , (b > 0) 图4.4 y t = a + b Lnx t + u t , (b < 0)⑶幂函数模型y t= a x t b t u e(4.6) b取不同值的图形分别见图4.5和4.6。
第四节 非线性回归模型的参数估计 (赵)
从上述估计过程可以看出，对于不可线性化模型，将 其展开成泰勒级数一阶项并经过适当的变量变换之后， 也可以将其转化成线性回归模型。因此，仍然可以采 用OLS方法估计其中的参数。
需要指出的是，上述迭代估计过程的收敛性及收敛速度 与参数初始值的选取密切相关。若选取的初始值与参数 真值比较接近，则收敛速度较快；反之，则收敛缓慢甚 至发散。因此，估计模型时最好依据参数的经济意义和 有关先验信息，设定好参数的初始值。
f f f y f (a0 , b0 , c0 ) (a a0 ) (b b0 ) (c c0 ) a b c
＋余项＋ε
f f f y f (a0 , b0 , c0 ) a0 b0 c0 a b c f f f a b c V a b c
第四节 非线性回归模型
一、 可线性化模型
1．双曲线函数模型(倒数代换模型)
1 模型 y ab x 1 * 1 * 设： x ，或 y y x
1 1 a b y x
即进行变量的倒数变换，就可以将其转化成线性回归模型， 所以又称该模型为倒数变换模型。
2．双对数模型（幂函数模型） 模型函数和边际成本函数
*二、不可线性化模型
一般采用高斯—牛顿迭代法进行估计，即将其展开 成泰勒级数之后，再利用迭代估计方法进行估计。
1．迭代估计法 （1）根据经济理论和所掌握的资料，先确定一组数 作为参数的初始估计值；
（2）将模型在点 (a0 , b0 , c0 ) 处展开成泰勒级数，并 取一阶近似值：
即
(2---8)
其中，V是余项与随机误差项的和；
xb 的具体结果为： 对P51模型 y a xc x b0 x b0 a0 a0 ( x b0 ) y a0 a0 b0 c0 2 x c0 x c0 x c0 ( x c0 )
计量经济学第四章非线性模型
• 3.双对数模型
ln Yi b0 b1 ln Xi i
转换
令Yi
ln
Yi ,
X
i
ln
Xi
计 量
Yi
b0
b1
X
i
i
经 济 学
b1
d d
ln ln
y x
dy / dx /
y x
y / x /
y x
此时斜率系数表明了自变量X的相对变化引起因变量的相对变化
26
• 在研究产品的价格弹性和需求弹性时经常使用双对数 模型
计 量
第四章 非线性模型
经
济
学
1
在实际分析过程中经常研究两类非线性模型;
• 1.被解释变量与解释变量之间非线性，而被解释变量和参 数仍为线性关系；
•如
计 量 经
Yi
b0
b1 Xi
i
济
学 2.被解释变量和解释变量之间非线性，而被解释变量和
参数之间也是非线性关系
如柯布－道格拉斯生产函数
Y AL K e
销售额X
计
(万元)
量
1.5
经
4.5
济
7.5
学
10.2
15.5
16.5
19.5
22.5
25.5
流通费用率Y (%) 7
4.8 3.6 3.1 2.7 2.5 2.4 2.3 2.2
12
• 观察商品流通费用率和销售额的散点图，明显发现 它们呈现非线性变化趋势，可以采用双曲线模型， 利用表中数据进行回归，有下面结果：
计 转换过程： 量
令Zi X i (i 1,2, k)
则经济原多项式模型转换为
计量经济学4非线性模型
Yi Z i1 Z iP
ˆ0 ˆ1
ˆP
计量经济学
1、多项式函数
Y 0 1X 2 X 2 3 X 3 P X P u
令：Zi X i，（i 1，2， ，P）
则：Y 0 1Z1 2 Z 2 3Z3 P Z P u
2、双曲函数
1 a b
K dY
;
Y
Y
dL
dM
劳力贡献率: L ；土地贡献率： M
dY
dY
Y
Y
计量经济学
例：给定生产函数Y AK L，其中，Y、K、L分别
为产量、资本、劳力，若 1 ， 3 ，在某期间
4
4
Y、K、L的增长率分别为5%，4%，2%，求技术进步、
资本、劳力在产品增长中的贡献份额。
解：技术进步率 5% 1 4% 3 2% 2.5%
mY ,
1,
mY ,
1,
规模报酬递减 规模报酬不变 规模报酬递增
计量经济学
二、非线性回归模型的处理 （一）变换法 适用于Y与解释变量非线性，但与参数线性的情形。
Y 0 1 f（1 X1，X 2， ，X l） 2 f（2 X1，X 2， ，X l） P f（P X1，X 2， ，X l） u
4
4
技术进步贡献率 2.5% 50%; 5%
资金贡献率 0.25 4% 20% 5%
劳力贡献率 0.75 2% 30% 5%
计量经济学
α、β、γ的求法： ①利用截面数据进行回归； ②利用时间序列数据进行回归； ③利用混合数据进行回归； ④利用类似地区的α、β、γ。
（三）Taylor展开法（略）
计量经济学
第四章 非线性模型
一、问题的提出 多元线性回归模型为：
第4章 回归模型中的随机误差项问题
• 原假设为：H0：u同方差，即σ21=…=σ2n • 备择假设为： H1：u是递增异(或递减)方差，即 σ2i随
xi递增(或递减) (i=1,2,…,n)
2020年4月4日 山东财经大学统计学院计量经济教研室
第21页
机动 目录 上页 下页 返回 结束
G-Q检验的步骤：
1.将n对样本观察值(xi , yi)按观察值xi的大小排队。 2.将序列中间的c个观察值除去，并将剩下的观察值
GLSE的协方差矩阵为：
Cov(βˆ )
(
X%X%)1
2 u
(
X
1
X
)1
2 u
2020年4月4日 山东财经大学统计学院计量经济教研室
第9页
机动 目录 上页 下页 返回 结束
第二节 异 方 差
一、异方差及其产生的原因
当不能满足同方差的假设，即u的条件方差在不同 次的观测中不再是一个常数，而是取得不同的数值，即
若因假定2和假定3不满足时，有
Cov(u) E(uu) u2
其中Ω≠I， Ω是一个n×n的正定对称方阵。
2020年4月4日 山东财经大学统计学院计量回 结束
此时可以觅得一个n×n的非奇异矩阵P，使得： PΩ P′=I 即 P′ P = Ω-1
然后用觅得的P乘以(4.7)的两边，有：
（三）White检验
White检验的基本思想：如果存在异方差，其方 差与解释变量有关，可以分析方差是否与解释 变量有某些形式的联系以判断异方差性。但是 方差一般是未知的，可用OLS 法估计的残差平 方作为其估计量。在大样本的情况下，做对常 数项，解释变量，解释变量的平方及其交叉乘 积等所构成的辅助回归，利用辅助回归相应的 检验统计量，即可判断是否存在异方差性。
xi递增(或递减) (i=1,2,…,n)
2020年4月4日 山东财经大学统计学院计量经济教研室
第21页
机动 目录 上页 下页 返回 结束
G-Q检验的步骤：
1.将n对样本观察值(xi , yi)按观察值xi的大小排队。 2.将序列中间的c个观察值除去，并将剩下的观察值
GLSE的协方差矩阵为：
Cov(βˆ )
(
X%X%)1
2 u
(
X
1
X
)1
2 u
2020年4月4日 山东财经大学统计学院计量经济教研室
第9页
机动 目录 上页 下页 返回 结束
第二节 异 方 差
一、异方差及其产生的原因
当不能满足同方差的假设，即u的条件方差在不同 次的观测中不再是一个常数，而是取得不同的数值，即
若因假定2和假定3不满足时，有
Cov(u) E(uu) u2
其中Ω≠I， Ω是一个n×n的正定对称方阵。
2020年4月4日 山东财经大学统计学院计量回 结束
此时可以觅得一个n×n的非奇异矩阵P，使得： PΩ P′=I 即 P′ P = Ω-1
然后用觅得的P乘以(4.7)的两边，有：
（三）White检验
White检验的基本思想：如果存在异方差，其方 差与解释变量有关，可以分析方差是否与解释 变量有某些形式的联系以判断异方差性。但是 方差一般是未知的，可用OLS 法估计的残差平 方作为其估计量。在大样本的情况下，做对常 数项，解释变量，解释变量的平方及其交叉乘 积等所构成的辅助回归，利用辅助回归相应的 检验统计量，即可判断是否存在异方差性。
第三讲 DPS应用(4、数学模型模拟分析)
一、非线性回归模型
一元非线性回归模型
实例：
先输入数据：行为样本， 列为变量；定义数据块时 要注意一元非线性回归只 允许定义2 列数据：第一 列为自变量，第二列为因 变量。
以测定的某种肉鸡在良好 生长条件下生长过程数据， 建立Logistic 生长方程为 例。
定义数据块(图阴影区)。
一、非线性回归模型
如果拟合效果不好，可选用其它的曲线类型，或 更改参数的初始值后重新拟合，并从中选择一个 较优的模型。
一、非线性回归模型
非线性回归分析
（1）普通非线性模型 例：研究“岱字棉”自播种至齐苗(以80%出苗
为准)期的天数(Y)和日平均土温(X，℃)的关系，
经试验得到数据后欲建非线性经验模型(莫惠栋 984)。 根据有效积温模型，描述自播种至齐苗期 天数和日平均土温相互关系最直观的回归方程的 数学表达形式为：
分析结果可以作出如下解释：
二、数学模型模拟与优化 第1 阶段，灵敏度大于1，这时的边际产量大于平均效应产量，且平均产量
效应是增加的，当肥料投入量达到10 个单位时，平均效应产量达到最高点。
该点的x 值约为10。
第2 阶段，灵敏度小于1 但仍大于0，目标函数在该阶段的终点达到最大值，
而边际效应值下降到0。这时的投入x 约为14。
第3 阶段，灵敏度小于0，目标函数趋于下降，平均效应虽为正值，但边际 效应为负。
二、数学模型模拟与优化
模型优化
所谓数学模型优化，就是寻求在什么条件下，模型的 目标函数达到最大(或最小)，即求函数的极值问题。
生产实践中的所谓优化问题，只要经验模型的目标函 数有明显的表达式，一般可用微分法、变分法、最大 (最小)值原理等方法求解，叫做间接寻优。如果目标 函数表达式过于复杂甚至根本没有明显的表达式，则 用数值方法或“试验最优化”等直接方法求解，叫做 直接寻优。
第四章 非线性回归模型的线性化讲解
第四章 非线性回归模型的线性化
线性回归模型 最小二乘法求解 若不是线性回归模型，又该如何求解呢？
（一）变量关系非线性问题：
若：(1)、变量
Y 和
X 1 , X K
之间不存在
多元线性随机函数关系
Y 0 1 X 1 K X K
那么我们如何估计出模型中的未知参数呢？
Dependent Variable: Y Method: Least Squares Date: 10/08/08 Time: 13:51 Sample: 1980 1996 Included observations: 17 Variable Coefficient C -10.46551 X1 1.021132 X2 1.472202 R-squared Adjusted R-squared S.E. of regression
(2)可线性化的非线性回归模型： 虽然被解释变量Y与解释变量X1X 2 .....X k以及与未知 参数 0 1...... k 之间都不存在线性关系，但是可以转化 为线性函数。例如： 生产函数模型： Y AK L e 转化为： ln Y LnA LnK LnL (3)不可线性化的非线性回归模型： 被解释变量Y与解释变量X1X 2 .....X k以及与未知 参数 0 1...... k 之间都不存在线性关系，而且无法转化 为线性函数。 例如：Y 0 1e 1x1 2 e 2 x2
0.99841 S.D. dependent var 0.029873 Akaike info criterion
变量间的非线性关系
(1)非标准线性回归模型： 虽然被解释变量Y与解释变量X1X 2 .....X k 之间 不存在线性关系，但与未知参数 0 1...... k 之间 存在线性关系。例如： 根据平均成本与产量为U型曲线理论，总成本C 可以用产量X的三次多项式来近似表示，得到总成 本函数模型如下： C 0 1 X 2 X 2 3 X 3
线性回归模型 最小二乘法求解 若不是线性回归模型，又该如何求解呢？
（一）变量关系非线性问题：
若：(1)、变量
Y 和
X 1 , X K
之间不存在
多元线性随机函数关系
Y 0 1 X 1 K X K
那么我们如何估计出模型中的未知参数呢？
Dependent Variable: Y Method: Least Squares Date: 10/08/08 Time: 13:51 Sample: 1980 1996 Included observations: 17 Variable Coefficient C -10.46551 X1 1.021132 X2 1.472202 R-squared Adjusted R-squared S.E. of regression
(2)可线性化的非线性回归模型： 虽然被解释变量Y与解释变量X1X 2 .....X k以及与未知 参数 0 1...... k 之间都不存在线性关系，但是可以转化 为线性函数。例如： 生产函数模型： Y AK L e 转化为： ln Y LnA LnK LnL (3)不可线性化的非线性回归模型： 被解释变量Y与解释变量X1X 2 .....X k以及与未知 参数 0 1...... k 之间都不存在线性关系，而且无法转化 为线性函数。 例如：Y 0 1e 1x1 2 e 2 x2
0.99841 S.D. dependent var 0.029873 Akaike info criterion
变量间的非线性关系
(1)非标准线性回归模型： 虽然被解释变量Y与解释变量X1X 2 .....X k 之间 不存在线性关系，但与未知参数 0 1...... k 之间 存在线性关系。例如： 根据平均成本与产量为U型曲线理论，总成本C 可以用产量X的三次多项式来近似表示，得到总成 本函数模型如下： C 0 1 X 2 X 2 3 X 3
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 例题，写出利用迭代线性化法估计下面 的非线性消费函数模型的具体步骤
C 0 1Y
2
4.3 案例分析
• 第三步， 将非线性函数f在这组新的参数估计 值 1,1, 2,1, p,1 附近作泰勒极数展开，线性化后得 到一个新的标准线性回归模型。对这个新的标准 线性回归模型再应用普通最小二乘法，又得到一 组新的最小二乘估计量 1,2 , 2,2 , p,2 • 重复这一过程一直到参数估计值收敛为止，既对 于预先给定的任意小的正数 0 ，不等式成立 为止。
• 不断重复上述过程，直至参数估计值收 敛为止。即l+1组参数估计值与第l组参数 估计值没有显著差别时为止。 • 这个方法的一个优点是计算效率比较高， 另一个优点是因为每一次迭代都是一次 线性回归，因此可以进行标准的显著性 检验、拟合优度检验等各种统计检验。
具体步骤
• 第一步， • 根据经济理论和历史统计资料，选定 ( , , ) 作为未知参数(1, , 2, , p, )的一组初始估计值。接 着将模型 Y f ( X1, X 2 , X k ; 1, 2 , p ) 中的非线 性函数f在这组初始估计值附近作泰勒极数展开， 得 （*）
0
• 在泰勒极数展开式*中，前两项就是非线 性函数f的一个线性近似。舍掉二阶和二 阶以上的高阶项，得*的线性近似
f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) ( i i ,0 ) i 1 i 0
p
• 移项整理后得到
p f f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) i , 0 i i 1 i 0 i 1 i 0 p
• 令
f Y Y f ( X 1 , X 2 , X k ; 1,0 , 2,0 , p , 0 ) i , 0 i 0 i 1
1, 0 2, 0 p,0
f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) ( i i,0 ) i 1 i 0
p
1 p p 2 f ( i i , 0 )( j j , 0 ) 2 i 1 j 1 i j
第4章非线性回归模型的线性化
1 变量间的非线性关系 2 线性化方法 3 案例分析
4.1 变量间的非线性关系
对于非线性回归模型，按其形式和估计方法的不 同，可以分为三种类型： 1 非标准线性回归模型 Y 例： f ( X , X ,, X ) f ( X , X ,, X ) f ( X , X ,, X ) 2 可线性化的非线性回归模型 例： Y AK L e 3 不可线性化的非线性回归模型 x x 例： Y 0 1e 2e
p
f f f Z1 , Z2 ,Zp p 0 1 0 2 0
• 得到
（#）
Y 1Z1 2 Z2 p Z p
• 第二步，对标准线性回归模型#式应用普 通最小二乘法估计未知参数。得到一组 新的最小二乘估计量 1,1, 2,1, p,1
3 不可线性化的非线性回归模型的线性化估计方法 （1）直接搜索法 （2）直接优化法 （3）迭代线性化法
直接搜索法（Direct Search Method）
• 这种方法是将模型的参数的每一个参数都选择 一组数值，然后将所有可能的参数值组合代入 方程，使残差平方和达到最小的那一组参数值 组合，就作为未知参数值的估计值。 • 如果非线性模型只有一个或两个未知参数，这 种方法可能比较有效。如果非线性模型的未知 参数比较多，这种方法的计算量就很大。 • 比如，如果有四个参数，每个参数有10个不同 的取值。请计算需要考虑多少种组合
直接优化法（Direct Optimization Method） • 这种方法是根据残差平方和极小化的必 要条件，对每个参数求偏导数，并令它 们等于零，然后求解参数。 • 由于求偏导数的方程组是非线性方程组， 计算上困难很性化法（Iterative Linearzation Method） • 这种方法的基本思想是：首先通过泰勒 极数展开将模型的非线性函数在某一组 初始参数估计值附近线性化，然后对这 一线性化的函数应用普通最小二乘法， 得到一组新的参数估计值。接着是使非 线性函数在新的参数估计值附近线性化， 对新的线性化模型应用普通最小二乘法， 又得到一组新的参数估计值。
0 1 1 1 2 k 2 2 1 2 k p p 1 2 k
1 1
2 2
4.2 线性化方法
1 非标准线性回归模型的线性化方法-变量替换法 （1）多项式函数模型
Yi 0 1 X i 2 X i 2 k X ik i
（2）双曲线函数模型
1 1 i YI Xi
（3）对数函数模型
Yi ln X i i
（4）S-型曲线模型
Yi 1 e X i i
2 可线性化的非线性回归模型的线性化方法 （1）指数函数模型 Yi AebX i i
（2）冥函数模型
Yi AX1i X 2i X ki e
1 2 k i
i ,l 1 i ,l i ,l
• 注意：在应用迭代线性化法时，迭代过 程有可能并不收敛。这是因为迭代过程 是否收敛往往与参数初始估计值的选择 有关，这时候我们应换一组参数估计值 再进行迭代。此外，迭代线性化法不能 保证残差平方和达到最小，它可能使残 差平方和收敛于某一局部极小值，而不 是真正的极小值。