多元非线性回归
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆ ) 3.63 1.05 ln( X ) 0.08 ln( P ) 0.92 ln( P ) ln(Q 1 0
(9.03) (25.35) (-2.28) (-7.34)
按零阶齐次性表达式回归:
ˆ ) 3.83 1.07 ln( X / P ) 0.09 ln( P / P ) ln(Q 0 1 0
（2）双曲线模型
1 Y = 0 + 1 + , X 1 设 Z = , 原方程变换为 X Y = 0 +1 Z + .
例如，Y ：儿童死亡率； X：人均GDP。
（3）对数模型
ln Y 0 1 X ; 半对数模型 Y 0 1 ln X ,
X：人均消费 X1：人均食品 消费 GP：居民消费 价格指数 FP：居民食品 消费价格指数 XC：人均消费 （90年价） Q：人均食品消 费（90年价） P0：居民消费价 格缩减指数 （1990=100） P1：居民食品消 费价格缩减指数 （1990=100
(当年价 ) (当年价 ) (上年 =100) (上年 =100)
设 f ( ) ln[ K (1 ) L ], 其在ρ=0 处展开，
有
f (0) = 0,
1 f '(0) [ K ln K (1 ) L ln L] 0 K (1 ) L ln K (1 )ln L,
因此，对（ ****）式进行回归，就意味着原需求函数 满足零阶齐次性条件。
表 3.5.1 中国城镇居民消费支出（元）及价格指数
X 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 456.8 471.0 505.9 559.4 673.2 799.0 884.4 1104.0 1211.0 1278.9 1453.8 1671.7 2110.8 2851.3 3537.6 3919.5 4185.6 4331.6 4615.9 4998.0 5309.0 X1 420.4 432.1 464.0 514.3 351.4 418.9 472.9 567.0 660.0 693.8 782.5 884.8 1058.2 1422.5 1766.0 1904.7 1942.6 1926.9 1932.1 1958.3 2014.0 GP 102.5 102.0 102.0 102.7 111.9 107.0 108.8 120.7 116.3 101.3 105.1 108.6 116.1 125.0 116.8 108.8 103.1 99.4 98.7 100.8 100.7 FP 102.7 102.1 103.7 104.0 116.5 107.2 112.0 125.2 114.4 98.8 105.4 110.7 116.5 134.2 123.6 107.9 100.1 96.9 95.7 97.6 100.7 XC (1990年价 ) 646.1 659.1 672.2 690.4 772.6 826.6 899.4 1085.5 1262.5 1278.9 1344.1 1459.7 1694.7 2118.4 2474.3 2692.0 2775.5 2758.9 2723.0 2744.8 2764.0 Q (1990年价 ) 318.3 325.0 337.0 350.5 408.4 437.8 490.3 613.8 702.2 693.8 731.3 809.5 943.1 1265.6 1564.3 1687.9 1689.6 1637.2 1566.8 1529.2 1539.9 P0 (1990=100) 70.7 71.5 75.3 81.0 87.1 96.7 98.3 101.7 95.9 100.0 108.2 114.5 124.6 134.6 143.0 145.6 150.8 157.0 169.5 182.1 192.1 P1 (1990=100) 132.1 132.9 137.7 146.7 86.1 95.7 96.5 92.4 94.0 100.0 107.0 109.3 112.2 112.4 112.9 112.8 115.0 117.7 123.3 128.1 130.8
（1）指数函数模型
Y = 0 X1 X 2 e ,
两边取对数，
lnY = ln 0 +1 ln X1 + 2 ln X 2 + .
1
2
例如，Cobb-Dauglas生产函数模型 Q = A K L eμ,
Q：产出量，K：投入的资本；L：投入的劳动
方程两边取对数： ln Q = ln A + ln K + ln L+μ.
（75.86） (52.66) (-3.62)
为了比较，改写该式为：
ˆ 3.83 1.07 (ln X ln P ) 0.09 (ln P ln P ) ln Q 0 1 0 3.83 1.07 ln X 0.09 ln P1 0.98 ln P0
发现与 接近。
ˆ ) 3.63 1.05 ln( X ) 0.08 ln( P ) 0.92 ln( P ) ln(Q 1 0
§3.5 回归模型的其他函数形式
一、模型的类型与变换 二、非线性回归实例
前面我们学习的线性回归模型，解释变量和被解 释变量之间都呈现线性关系，但社会经济现象是极其 复杂的，有时解释变量和被解释变量之间的 依存关系 不一定是线性的，而可能存在某种非线性关系。 如著名的恩格尔曲线(Engle curves)表现为幂函数 曲线形式、宏观经济学中的菲利普斯曲线（Pillips cuves）表现为双曲线形式等。
这时，就需要选择适当类型的曲线模型拟合这种 关系，这就是非线性回归模型或曲线回归模型。 但是，大部分非线性关系又可以通过一些简单的 数学处理，使之化为数学上的线性关系，从而可以运 用线性回归的方法进行计量经济学方面的处理。
一、模型的类型与变换
1、直接置换法 这类模型通过简单的变量换元可直接化为线性回 归模型。由于这类模型的被解释变量没有变形，所以 可直接采用OLS估计回归系数并进行检验和预测。
为
Q: 居民对食品的需求量，X：消费者的消费支出总额
P1: 食品价格指数，
P0：居民消费价格总指数。
零阶齐次性，当所有商品和消费者货币支出总额 按同一比例变动时，需求量保持不变。 (**) Q f ( X P , P P ),
0 1 0
为了进行比较，将同时估计（*）式与（**）式。
首先,确定具体的函数形式： 根据恩格尔定律，居民对食品的消费支出与居民 的总支出间呈幂函数的变化关系:
用于测量许多经济变量的增长率，故又称增长模 型。 双对数模型
lnY 0 1 ln X ,
设 Y * lnY , X * ln X , 则原方程变换为
Y * = 0 +1 X * + .
双对数模型由于弹性为常数β1 ，故称为不变弹性 模型，应用非常广泛。
2、间接置换法 这类模型经常通过对数代换间接地化为线性回归 模型。由于这类模型在对数代换过程中改变了因变量 的形态，使得变形后模型的OLS估计失去了原模型的 残差平方和最小的意义，从而估计不到原模型的最佳 回归系数，可能造成回归模型与原数据之间的较大偏 差。
对数变换: lnQ = 0 +1 ln X + 2 ln P1 + 3 ln P0 + . (***) 考虑到零阶齐次性时， lnQ = 0 +1 ln(X P0 ) + 2 ln(P1 P0 ) + , (****)
Q = AX 1 P1 2 P0 3 e ,
(****)式也可看成是对（***）式施加如下约束而得 1 + 2 + 3 = 0.
意味着：所建立的食品需求函数满足零阶齐次性特征。
f ''(0) [ ln K (1 )ln L]2 ln 2 K (1 )ln 2 L K (1 )(ln K ln L) (1 )ln , L
2 2来自百度文库
于是
1 2 k ln Q ln A ln K (1 )ln L (1 )ln . 2 L
（1）多项式模型
Y = 0 +1 X + 2 X 2 ++ k X k +,
设 Z1 = X , Z2 = X 2 , , Zk = X k , 原方程变换为
Y = 0 +1 Z1 + 2 Z2 ++ k Zk + .
例如，描述税收与税率关系的拉弗曲线：抛物线 s = a + b r + c r2+μ ， c<0 s：税收； r：税率， 设X1 = r，X2 = r2， 则原方程变换为 s = a + b X1 + c X2 + μ ， c<0 .
1800
中 国 城 镇 居 民 人 均 食 品 消 费
1600 1400 1200 1000 800 600 400 200 82 84 86 88 90 92 94 96 98 00 Q
特征：
消费行为在 1981~1995年间表 现出较强的一致性 1995年之后呈现出 另外一种变动特征。
建立1981~1994年中国城镇居民对食品的消费需求模型:
（2）幂函数模型
Y = abX e ,
两边取对数，
lnY = lna +X lnb + .
3、复杂函数模型与级数展开法 有些模型非但不是线性的，而且也无法采取变量 替换的方法化为线性形式，如
Y = 0 +1 X1 +2 X 2 +.
对这类模型的参数估计，一般采用高斯-牛顿迭代 法。即先将非线性模型在初始值处展开成泰勒级数， 略去高次项，用低次项近似替代，然后用OLS法估计 参数。重复上述两个步骤，得到参数估计值的收敛点 列，将收敛点列的极限作为最后估计的结果。
利用OLS估计参数δ1，ρ1，再以δ1，ρ1为初始值， 待入迭代方程，得到δ2，ρ2，如此循环，得到两组参 数估计的点列{δi}，{ρi}。
若点列收敛，则停止，极限值即为估计值；若发 散，则重选初始值。
二、非线性回归实例
例3.5.1 建立中国城镇居民食品消费需求函数模型。 根据需求理论，居民对食品的消费需求函数大致 (*) Q f ( X , P1 , P0 ),
1
2
例如，常替代弹性CES生产函数模型
Q A[ K (1 ) L ] e ,
Q:产出量, K:资本, L:劳动, :替代参数, :分配参数。 方程两边取对数后，得到：
ln Q ln A 1
1
ln[ K (1 ) L ] ,
(9.03) (25.35) (-2.28) (-7.34)
按零阶齐次性表达式回归:
ˆ ) 3.83 1.07 ln( X / P ) 0.09 ln( P / P ) ln(Q 0 1 0
（2）双曲线模型
1 Y = 0 + 1 + , X 1 设 Z = , 原方程变换为 X Y = 0 +1 Z + .
例如，Y ：儿童死亡率； X：人均GDP。
（3）对数模型
ln Y 0 1 X ; 半对数模型 Y 0 1 ln X ,
X：人均消费 X1：人均食品 消费 GP：居民消费 价格指数 FP：居民食品 消费价格指数 XC：人均消费 （90年价） Q：人均食品消 费（90年价） P0：居民消费价 格缩减指数 （1990=100） P1：居民食品消 费价格缩减指数 （1990=100
(当年价 ) (当年价 ) (上年 =100) (上年 =100)
设 f ( ) ln[ K (1 ) L ], 其在ρ=0 处展开，
有
f (0) = 0,
1 f '(0) [ K ln K (1 ) L ln L] 0 K (1 ) L ln K (1 )ln L,
因此，对（ ****）式进行回归，就意味着原需求函数 满足零阶齐次性条件。
表 3.5.1 中国城镇居民消费支出（元）及价格指数
X 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 456.8 471.0 505.9 559.4 673.2 799.0 884.4 1104.0 1211.0 1278.9 1453.8 1671.7 2110.8 2851.3 3537.6 3919.5 4185.6 4331.6 4615.9 4998.0 5309.0 X1 420.4 432.1 464.0 514.3 351.4 418.9 472.9 567.0 660.0 693.8 782.5 884.8 1058.2 1422.5 1766.0 1904.7 1942.6 1926.9 1932.1 1958.3 2014.0 GP 102.5 102.0 102.0 102.7 111.9 107.0 108.8 120.7 116.3 101.3 105.1 108.6 116.1 125.0 116.8 108.8 103.1 99.4 98.7 100.8 100.7 FP 102.7 102.1 103.7 104.0 116.5 107.2 112.0 125.2 114.4 98.8 105.4 110.7 116.5 134.2 123.6 107.9 100.1 96.9 95.7 97.6 100.7 XC (1990年价 ) 646.1 659.1 672.2 690.4 772.6 826.6 899.4 1085.5 1262.5 1278.9 1344.1 1459.7 1694.7 2118.4 2474.3 2692.0 2775.5 2758.9 2723.0 2744.8 2764.0 Q (1990年价 ) 318.3 325.0 337.0 350.5 408.4 437.8 490.3 613.8 702.2 693.8 731.3 809.5 943.1 1265.6 1564.3 1687.9 1689.6 1637.2 1566.8 1529.2 1539.9 P0 (1990=100) 70.7 71.5 75.3 81.0 87.1 96.7 98.3 101.7 95.9 100.0 108.2 114.5 124.6 134.6 143.0 145.6 150.8 157.0 169.5 182.1 192.1 P1 (1990=100) 132.1 132.9 137.7 146.7 86.1 95.7 96.5 92.4 94.0 100.0 107.0 109.3 112.2 112.4 112.9 112.8 115.0 117.7 123.3 128.1 130.8
（1）指数函数模型
Y = 0 X1 X 2 e ,
两边取对数，
lnY = ln 0 +1 ln X1 + 2 ln X 2 + .
1
2
例如，Cobb-Dauglas生产函数模型 Q = A K L eμ,
Q：产出量，K：投入的资本；L：投入的劳动
方程两边取对数： ln Q = ln A + ln K + ln L+μ.
（75.86） (52.66) (-3.62)
为了比较，改写该式为：
ˆ 3.83 1.07 (ln X ln P ) 0.09 (ln P ln P ) ln Q 0 1 0 3.83 1.07 ln X 0.09 ln P1 0.98 ln P0
发现与 接近。
ˆ ) 3.63 1.05 ln( X ) 0.08 ln( P ) 0.92 ln( P ) ln(Q 1 0
§3.5 回归模型的其他函数形式
一、模型的类型与变换 二、非线性回归实例
前面我们学习的线性回归模型，解释变量和被解 释变量之间都呈现线性关系，但社会经济现象是极其 复杂的，有时解释变量和被解释变量之间的 依存关系 不一定是线性的，而可能存在某种非线性关系。 如著名的恩格尔曲线(Engle curves)表现为幂函数 曲线形式、宏观经济学中的菲利普斯曲线（Pillips cuves）表现为双曲线形式等。
这时，就需要选择适当类型的曲线模型拟合这种 关系，这就是非线性回归模型或曲线回归模型。 但是，大部分非线性关系又可以通过一些简单的 数学处理，使之化为数学上的线性关系，从而可以运 用线性回归的方法进行计量经济学方面的处理。
一、模型的类型与变换
1、直接置换法 这类模型通过简单的变量换元可直接化为线性回 归模型。由于这类模型的被解释变量没有变形，所以 可直接采用OLS估计回归系数并进行检验和预测。
为
Q: 居民对食品的需求量，X：消费者的消费支出总额
P1: 食品价格指数，
P0：居民消费价格总指数。
零阶齐次性，当所有商品和消费者货币支出总额 按同一比例变动时，需求量保持不变。 (**) Q f ( X P , P P ),
0 1 0
为了进行比较，将同时估计（*）式与（**）式。
首先,确定具体的函数形式： 根据恩格尔定律，居民对食品的消费支出与居民 的总支出间呈幂函数的变化关系:
用于测量许多经济变量的增长率，故又称增长模 型。 双对数模型
lnY 0 1 ln X ,
设 Y * lnY , X * ln X , 则原方程变换为
Y * = 0 +1 X * + .
双对数模型由于弹性为常数β1 ，故称为不变弹性 模型，应用非常广泛。
2、间接置换法 这类模型经常通过对数代换间接地化为线性回归 模型。由于这类模型在对数代换过程中改变了因变量 的形态，使得变形后模型的OLS估计失去了原模型的 残差平方和最小的意义，从而估计不到原模型的最佳 回归系数，可能造成回归模型与原数据之间的较大偏 差。
对数变换: lnQ = 0 +1 ln X + 2 ln P1 + 3 ln P0 + . (***) 考虑到零阶齐次性时， lnQ = 0 +1 ln(X P0 ) + 2 ln(P1 P0 ) + , (****)
Q = AX 1 P1 2 P0 3 e ,
(****)式也可看成是对（***）式施加如下约束而得 1 + 2 + 3 = 0.
意味着：所建立的食品需求函数满足零阶齐次性特征。
f ''(0) [ ln K (1 )ln L]2 ln 2 K (1 )ln 2 L K (1 )(ln K ln L) (1 )ln , L
2 2来自百度文库
于是
1 2 k ln Q ln A ln K (1 )ln L (1 )ln . 2 L
（1）多项式模型
Y = 0 +1 X + 2 X 2 ++ k X k +,
设 Z1 = X , Z2 = X 2 , , Zk = X k , 原方程变换为
Y = 0 +1 Z1 + 2 Z2 ++ k Zk + .
例如，描述税收与税率关系的拉弗曲线：抛物线 s = a + b r + c r2+μ ， c<0 s：税收； r：税率， 设X1 = r，X2 = r2， 则原方程变换为 s = a + b X1 + c X2 + μ ， c<0 .
1800
中 国 城 镇 居 民 人 均 食 品 消 费
1600 1400 1200 1000 800 600 400 200 82 84 86 88 90 92 94 96 98 00 Q
特征：
消费行为在 1981~1995年间表 现出较强的一致性 1995年之后呈现出 另外一种变动特征。
建立1981~1994年中国城镇居民对食品的消费需求模型:
（2）幂函数模型
Y = abX e ,
两边取对数，
lnY = lna +X lnb + .
3、复杂函数模型与级数展开法 有些模型非但不是线性的，而且也无法采取变量 替换的方法化为线性形式，如
Y = 0 +1 X1 +2 X 2 +.
对这类模型的参数估计，一般采用高斯-牛顿迭代 法。即先将非线性模型在初始值处展开成泰勒级数， 略去高次项，用低次项近似替代，然后用OLS法估计 参数。重复上述两个步骤，得到参数估计值的收敛点 列，将收敛点列的极限作为最后估计的结果。
利用OLS估计参数δ1，ρ1，再以δ1，ρ1为初始值， 待入迭代方程，得到δ2，ρ2，如此循环，得到两组参 数估计的点列{δi}，{ρi}。
若点列收敛，则停止，极限值即为估计值；若发 散，则重选初始值。
二、非线性回归实例
例3.5.1 建立中国城镇居民食品消费需求函数模型。 根据需求理论，居民对食品的消费需求函数大致 (*) Q f ( X , P1 , P0 ),
1
2
例如，常替代弹性CES生产函数模型
Q A[ K (1 ) L ] e ,
Q:产出量, K:资本, L:劳动, :替代参数, :分配参数。 方程两边取对数后，得到：
ln Q ln A 1
1
ln[ K (1 ) L ] ,