第三章 非线性回归分析(江南大学 张荷观)

始值得到不同的估计值时, 可能是采用的算法有问题, 也可能是回归 模型的问题。
(二) 收敛性和收敛标准
理论上, 参数估计值 b 应使 S ' (b) 0 , 即满足残差平方和最 小的一阶条件。但由于计算中的误差和实际的运算次数, 收敛不是 以 S ' (b) 0 为标准。对给定的 0 , 判断收敛和停止迭代的常 用标准有以下3种。 (1)若残差平方和趋于稳定,即S (b i ) S (b i 1 ) 时可停止迭代。
数, 从而可对 f 采用一阶泰勒展开式近似。这与直接对 f 采用一
阶泰勒展开式近似是相同的。
四、牛顿–拉夫森(Newton – Raphson)法
牛顿–拉夫森法可以看作是高斯–牛顿法的改进。牛顿–拉夫森法
不是作非线性函数 f 的线性近似, 而是直接对残差平方和 S 取最小
的一阶条件作一阶泰勒展开式近似。
一、非线性计量经济分析的基本思路
建立非线性计量经济模型的基本思路与建立线性计量经济模型
是相似的, 也是根据经济理论或实际数据建立初步模型, 然后估计 模型中的未知参数,通过对模型的检验, 最后确定模型。
非线性计量经济分析仍以回归分析为核心, 也称为非线性回归
分析。
最小二乘估计
非线性回归分析的参数估计有两种基本方法: 最大似然估计和 最小二乘估计, 这里介绍最小二乘估计。
(2)若参数估计值趋于稳定, 即 bi 1 bi 时可停止迭代。
(3)若近似满足残差平方和最小的一阶条件, 即 g (b i 1 ) 时可 停止迭代。 在实际工作中这几个标准可替换, 但无明显优劣, 一般可同时 使用。
第三节 非线性回归评价和假设捡验
与线性回归分析一样,非线性回归分析在建立回归方程后进行评
(一)初始值问题
(1) 对给定的非线性回归模型, 初始值越接近真值, 迭代速度则 越快。 (2) 当残差平方和不满足整体唯一最优解的条件时, 始值可能会有不同的结果(不同的局部最优解)。 不同的初
通常, 初始值应尽量接近真值。但初始值的选择并没有一般的法
则, 而只有一些经验方法。
(1) 利用参数的经济意义
用泰勒展开式转化为线性回归模型。设非线性回归模型
y f ( x1, x2 ,, xk ; 1 , 2 ,, p )
记 (1 , 2 ,, p ) , 高斯–牛顿法的具体方法如下。
(1)
先取参数的一组初值 B0 (b10 , b20 ,, bp 0 ) , 根据泰勒级数并 只取线性项, 得
的可能取值为区间 [a , b] 。先把
区间10等分, 然后分别把
a0 a, a1 a 0.1(b a), a2 a 0.2(b a), , a9 a 0.9(b a), a10 b
代入 S , 设 a i 使 S 最小, 再把新区间 [ai 1 , ai 1 ]10等分, 重复上述 方法, 使参数的可能取值范围不断减小, 直到满足精度要求或收敛标 准, 即得参数的最小二乘估计。 上述算法表明,当S 存在唯一最小值时, 格点搜索法才是有效的。 a i 1 a i 1
若把最小二乘估计记为 b1 , b2 ,, bp , 那么 b1 , b2 ,, bp 应使残 差平方和达到最小, 即
b1 ,b2 ,,b p
min S yi f ( x1 , x2 ,, xk ; b1 , b2 ,, b p ) 2
i 1
n
(3-4)
由于回归函数 f 是 b1 , b2 ,, bp 的非线性函数, 一般无法对正规方程 组通过解析的方法求解, 而必须用某种搜索法或迭代算法获得参数的
最小二乘估计。
二、搜索法 1.直接搜索法
直接搜索法是把参数的所有可能取值都代入 S , 使 S 达到最
小的取值即为参数的估计值。
直接搜索法原理简单, 但只适用参数个数少, 且参数的可能取 值也少(或对参数估计的精度要求不高)的情况。
2.格点搜索法
格点搜索法的效率高于直接搜索法。格点搜索法不是是把参数 的所有可能取值都代入 S , 而是按一定规律把部分取值代入 S 。 例1 设只有一个参数 ,
第三章
非线性回归分析
讨论直接对非线性回归模型的回归分析方法, 即非线性回归模
型的参数估计、假设检验和预测方法。
第一节 非线性回归模型
一、简非线性模型简介
非线性回归模型在经济学研究中有着广泛的应用。有一些非线
性回归模型可以通过直接代换或间接代换转化为线性回归模型, 但 也有一些非线性回归模型却无法通过代换转化为线性回归模型。
的可能取值范围, 重上述方法, 使参数的可能取值范围不断减小, 直到满足要求, 即得参数的最小二乘估计。 直接搜索法和格点搜索法都是低效的, 在实际工作中很少采用。
三、高斯–牛顿(Gauss - Newton)法
高斯–牛顿法是一种常用的迭代法。
非线性回归模型不能通过变换转化为线性回归模型, 但可以利
设参数向量 (1 , 2 ,, p ), 估计量向量 B (b1 , b2 ,, bp ) , 残差平方和 S ( B ) 取最小的一阶条件
g ( B) S ( B) B 0
取初始值 B B0 , 对 g ( B ) 采用一阶泰勒展开近似得 g ( B) g ( B0 ) H ( B0 )(B B0 ) 其中 H ( B0 ) 是 S ( B ) 在 B0 处的二阶导数矩阵。 由于 g ( B) 0 , 于是
E ( y)
即
(3-16)
1 1 2 1 E ( y) 1 1 x
根据一元线性回归, 求出 1 1 和 2 1 的估计, 从而得 1 和 2 的估计, 并可把它们作为初始值。
(4) 降维法
对于回归模型
c y
令 1 , 则(3-17)成为一元线性回归模型
对给定的初始值 B0 , M 和 Zi 都是确定的。则得线性回归模型
M 1Z1 2 Z2 p Z p '
(3-7)
从而,由上式可求得 1, 2 ,, p 的最小二乘估计 (b11 , b21 ,, bp1 )。
(2)
把 (b11 , b21 ,, bp1 ) 作为新的初始值, 再次利用泰勒展开式 , 可 得到一组新的估计 (b , b ,, b ) 。重复上述方法, 直到参数估计 12 22 p2 值收敛或满足要求的精度, 最后所得的估计 (b1 j , b2 j ,, b pj ) 就是 参数的估计值。

i 1
p
f i
B0
i '
(3-6)
最小二乘估计
令
f M y f ( x1 , x 2 ,, x k ; b10 , b20 , , b p 0 ) i 1 i
p
B0
bi 0
f Zi i
B0
, i 1,2, , p
一般的经济计量模型的参数都有明确的经济意义, 这些参数的 通常取值范围可以作为选择初始值的参考。例如, 柯布—道格拉斯 生产函数模型
y 1K 2 L3
根据 1 和 2 与 y 的经济意义, 可由实际数据选择初始值。
(2) 模型函数及其导函数在特定点的性状
根据解释变量的某些特定值, 也可为选择初始值提供帮助。例
(ห้องสมุดไป่ตู้-3)
其中 x1 , x2 ,, xk 是模型的 k 个解释变量, 1, 2 ,, p 是模型的 p 个未知参数, f 是一个非线性函数, 是模型的误差项。 关于误差项的假设, 也是满足独立、等方差、不相关和零均值,
也可以进一步假设误差项服从正态分布。
第二节
非线性回归模型的参数估计
如函数( 3 0 )
y 1 2e 3 ( x10)
由于
x 10 时 y 1 2 x 时 y 1 根据这些特定值, 也有助于选择初始值。
(3)
变换模型及其分析
1 x 2 x 1 x 2 x
对于回归模型
y
由于
(3-15)
一个参数时的牛顿 – 拉夫森法
设只有一个参数的非线性回归模型,
b 是 的估计值。残差
平方和 S (b) 取最小的一阶条件 S ' (b) 0 取初始值 b b0 , 对 S ' (b) 采用一阶泰勒展开近似
S ' (b) S ' (b0 ) S '' (b0 )(b b0 ) ' 由于 S (b) 0 , 从而
高斯–牛顿法的另一种思路
根据最小二乘估计的定义, 最小二乘估计 b1, b2 ,, bp 应使残差 平方和
S yi f ( x1 , x2 ,, xk ; b1 , b2 ,, b p )
i 1
n
2
达到最小。求解正规方程组的困难在于 f 不是 b1 , b2 ,, bp 的线性函
a0 a
a1
a2

ai

a9
a10 b
例2
设有二个参数 1 , 2 , (1 , 2 ) 的可能取值为图 3–1 的矩形。
先把矩形等分为10 行10 列, 然后分别把所有的可能取值代入 S ,
1 1 设 (11 , 2 ) 使 S 最小。再以 (11 , 2 ) 相邻的4个小矩形作为参数新
(3-17)
c y
(3-18)
并在 1 的条件下求得 , 的估计 a , b 。则可取 a0 a , b0 b, 0 1 作为初始值。
避免失误的方法
由于初始值的选择并没有一般的法则, 通常可用几组不同的初始
值分别进行迭代计算, 这是避免失误的一种重要方法。当从不同的初