第3章 线性回归与非线性回归

Yt B1 B2 X t ut
假设 u t u t -1 v t -1 1 其中，v满足OLS假定，并且 是已知的。
Yt 1 B1 B2 X t 1 ut 1
方程(9 - 2)的两边同时乘以 , 得到 :
Yt -1 B1 B2 X t -1 u t -1
（2）重新定义模型。（将绝对量变为增长率 等相对量） dcar=d(car)/car dqmg=d(qmg)/qmg dpmg=d(pmg)/pmg dqmg c dcar dpmg

3.2 非线性回归分析
可线性化的非线性模型

在某些情形下，可以将这些非线性模型，通过 一定的变换线性化，作为线性模型处理。这类 模型称为可线性化的非线性模型。
(Yt - Yt -1 ) B1 (1- ) B2 (Xt - X t -1 ) v t
由此得到: Y B B X vt
* t * 1 * 2 * t


对变换后的模型（广义差分模型）使用OLS法， 因而获得的估计量具有BLUE性质。 对变换后的模型使用OLS得到的估计量称为广 义最小二乘（generalized least squares)估计 量（GLS)。
多重共线性必定不好吗？

答案是取决于研究的目的。 如果研究是为了用模型来预测解释变量的未来 均值，则多重共线性本身未必是一件坏事。 另一方面，如果研究不仅仅是为了预测，而且 还要可靠地估计所选模型的各个参数，则严重 的共线性将是一件“坏事”，因为它将导致估 计量的标准差增大。
多重共线性的处理方法

在方程定义窗口的定义栏中输入： 线性化方法：ls log(Y) c log(K) log(L) 非线性方法：ls Y=c(1)*K^c(2)*L^c(3)

有时遇到估计结果不符合常规或显示出无法收敛 的错误信息时，需要设定选项重新估计。 （1）初始值(Start Value) 初始值是EViews进行第一次迭代计算时参数所取 的数值。这个值保存在与回归函数有关的系数向 量中。回归函数必须定义初始值。例如如果回归 函数包含表达式1/C (1)，就不能把C (1)的初始值 设定为0，同样如果包含表达式LOG (C (2))，那C (2)必须大于零。
View/Residual Tests/Heteroskedasticity Tests 或者 eq01.hettest(type=Glejser) c car pmg pop rgnp


斯皮尔曼（Spearman）秩相关检验。 戈德费尔德－匡特（Goldfeld-Quandt)检验 巴特莱特（Bartlett）检验 匹克（Peak）检验 布鲁尔什－培甘（Breusch－Pagan）检验 CUSUMSQ检验



建模过程仍是先打开方程定义窗口，在定义栏中输 入模型的非线性表达式即可。不同的是有时候可能 迭代无法收敛，则需要通过修改选项设置来重新估 计。 与例3.6比较，可以看出，线性化与NLS法的参数估 计值完全一样，统计量输出相同，这是由于线性化 仅改变了变量的形式，而NLS法也没有改变y和1/x 的线性关系，在这两种情况下进行最小二乘估计对 于待估参数来说是等价的。


Options中有一栏和NLS有关迭代过程 (Iterative Procedure)。它有两个选项: Max Iterative是最大迭代次数， Convergence是事 先给定的一个比率值，当系数在一次迭代后的 变化率小于该值时就停止迭代，即收敛的误差 精度。
二、参数检验: Wald检验
异方差的补救措施

加权最小二乘法（WLS） 打开方程对象，在Estimate/Options栏中选 Weighted Ls项，并在Weight项中输入权数序 列名即可,如rgnp^1.5。

重新设定模型
–
–
重新设定总体回归函数，常常可以消除异方差。 如：当在线性模型中异方差问题比较严重时，不妨 试一试双对数模型。这样常常可以消除异方差。
异方差的后果

(1)OLS估计量仍然是线性的. (2) OLS也是无偏的. (3) 但它们不再具有最小方差性. (4) OLS方法得到的方差的估计通常是有偏的. (5) 建立在t分布和F分布之上的置信区间和假 设检验是不可靠的。
异方差的诊断

根据问题的性质 残差的图形检验 White 检验（View/Residual Tests/White Heteroskedasticity) 帕克检验（Park test) Glejser检验
百度文库

初始值的选取不当可能会导致NLS运算失败。当 EViews给出Near Singular Matrix的错误提示时，有 可能与初始值选取有关。但通常没有选取初始值的 一般规则，显然离真实值越近越好，所以我们可以 先根据参数的意义猜测参数的范围，给出一个合适 的初始值。如根据劳动弹性系数在0到1之间，例3.7 中可将C (2)赋一个介于0到1的值。



自相关的诊断(detecting autocorrelation) 图形法 时间序列图（time-sequence plot) (et,t) (et,e t-1) 杜宾－瓦尔森d检验（D-W检验，Dubin－Watson d Test）
d
(e e
t 2 t
n
t 1
)
2
et2

Wald检验处理有关解释变量系教约束的假设。 例如，假设一个Cobb-Douglas生产函数已经 估计为以下形式: 其中Q、K和已分别代表产出、资本与劳动的 投入量。规摸报酬不变的假设由以下约束检验 表示:

Wald检验原假设的参数限制以及检验方程可以是线性的，也 可以是非线性的，并且可以同时检验一个或多个约束。 Wald检验的输出结果依赖于约束的线性性。在线性约束下， 输出结果是F统计量、x2统计量和相应的p值。 如果约束是有效的，那么无约束条件下和有约束条件下所得 到的回归的拟合程度基本上没有差异，这样，计算的F统计 量应该很小， p值很大，并且约束不会被拒绝。在大多数应 用中，p值和相应的F统计量应该被认为是近似值，也就是说 只有当F值远大于临界值时结论才是可靠的。
例3.7

粮食产量通常由粮食产量（Y）、农业生产劳 动力(L)、化肥施用量(K)等因素决定。表3.13 是我国粮食生产的有关数据(由于粮食生产劳 动力不易统计，假定它在农业劳动力中的比例 是一定的，故用农业劳动力的数据代替)，研 究其间关系，建立Cobb-Douglas生产函数模 型。

Cobb-Douglas生产函数模型为 Y=AK^{alpha}L^{beta}

剔除法 差分法 重新定义方程 有偏估计（主成分回归，岭回归）
3.1.2 异方差


同方差(homoscedasticity)或等方差（equal variance) 异方差（heteroscedasticity)或非同方差 （unequal variance)

在横截面数据（cross-sectional data)和时间 序列数据(time-series data)中都可能存在异方 差，但大多存在于横截面数据中。

(2)迭代和收敛 EViews用的是Gauss- Seidel迭代法求参数估计值。 迭代停止遵循的法则: 基于回归函数或参数在每次 迭代后的变化率。当待估参数的变化百分比的最大 值小于事先给定的水平时，就会停止迭代。 但有时即使未达到收敛也会停止迭代。这有两种情 况:一种是迭代次数已经达到了给定的次数。这时应 重新设定迭代次数以取得收敛。另一种是经过一定 迭代后EViews发出显示失败的错误信息，而这大多 和回归函数有关。这时可以选取不同的参数初始值， 从不同方向逼近估计值。

多重共线性的后果 多重共线性的直接后果是回归系数参数估计的 标准误差变大，置信区间变宽，估计值的稳定 性降低，因此接受备择假设犯错的概率增加， 系数t检验通不过的概率增大，常不能得到正 确的系数估计值。


诊断方法 经验方法：一般地，如果模型的R2很大，F检 验通过，但有些系数不能通过参数t检验，模 型的自变量之间简单相关系数很高，回归系数 的符号与简单相关系数的符号相反，都有理由 怀疑存在多重共线性。 特征根法 方差扩大因子法

按照线性化的法则，建立非线性模型有两种方法:一 是用genr命令按变换函数生成新序列，再运用LS命 令对新序列进行参数估计。 Genr z=1/x Ls y c z 还有一种方法是在使用LS命令时直接对序列进行操 作而不必生成任何新序列。 Ls y c 1/x 在条件许可的情况下建议使用第二种处理方法。

产生自相关的原因
–
–
– –
惯性（inertia)或者说是迟缓性(sluggishness) 模型设定误差（model specification errors) 蛛网现象（the cobweb phenomenon) 数据加工

自相关的后果 （1）最小二乘估计量仍然是线性的和无偏的 （2）但却不是有效的。 （3）OLS估计量的方差是有偏的。 （4）通常所用的t检验和F检验一般来说是不可靠的。 （5）计算得到的误差方差，是真实方差的有偏估计量。 （6）通常计算的R2不能测度真实R2。 （7）通常计算的预测的方差和标准差可能也是无效的。
自相关（Autocorrelation）


自相关的性质 自相关一词可以定义为:“在时间(如在时间序列 数据中)或者空间(如在横截面数据中)按顺序所 列观察值序列的各成员间存在着相关”. 自相关问题通常与时间序列数据有关. 在横截 面数据中产生的自相关问题称为空间相关 (Spatial Correlation)



在NLS中， EViews用开始估计的系数向量中 对应的值作为初始值。所以我们可以先查看系 数向量中的各个参数值，如果有需要更改的， 可直接在系数向量窗口中编辑更改，这时可输 入更改值。另外也可用命令 Param coef_name(1) n1 coef_name(2) n2... 来重新设置。例如param c(1) 153 c(2) 0.68 c(3) 0.15
第3章 线性回归与非线性回归
3.1 线性回归的常见问题

3.1.1 多重共线性（Multicollinearity） 多重共线性的性质：完全多重共线性的情况， 当解释变量之间存在完全线性相关或者完全多 重共线性时，我们不可能获得所有参数的唯一 估计值。既然我们不能获得它们的唯一估计值， 也就不能根据某一样本做任何统计推论（也即 假设检验）
t 1
n

LM 检验
–
–
零假设：残差不存在从一阶到p阶的自相关 View/Residual Test/Serial Correlation LM Test.
自相关的克服方法：取决于我们对误差项ut相互依 赖的性质的了解。 （1）Cochrane-Orcutt迭代法 为方便起见，我们仍以双变量模型为例：





从输出结果看，上述三种模型的回归系数和回归方 程都通过了显著性检验。说明用这三种模型来描述x 和y的关系都是很好的。决定系数相差不大，但双曲 线的决定系数最大。 以双曲线模型作为终选模型。
非线性模型

一、非线性模型的估计方法 二、参数检验
一、非线性模型的估计方法

并非所有的非线性模型都可做线性化处理，非 线性最小二乘法(NLS :Nonlinear Least Square)是非线性模型的常用估计方法。 例3.6’ 根据表3.11数据用非线性最小二乘法 建立单位成本函数模型。
例3.6
表3.11是某企业在16个月度的 某产品产量(X)和单位成本(Y)资料， 研究二者关系 。

例3.6

为了明确产量和单位成本是何种关系，先 绘制散点图。

三个备选模型：
1 Z x y a bZ
Z ln x y a bZ
ln y ln axb ln a b ln x T ln y Z ln x c ln a T c bZ