第3章非线性回归与含特殊变量的回归预测法
3回归分析法
( y y)
2
又被称为总的离差平方和，记为TSS（total sum of
squares）
21
• 推导：
因为
ˆ y) ( y y ˆ) ( y ˆ y) e y y (y
所以总方差可以分解为：
2 ˆ ˆ ) 2 ( y ˆ y )( y y ˆ) ( y y ) ( y y ) (y y 2 2
ˆ b ˆ x 成立时， ˆ b 可以证明，当 y 0 1
从而有：
ˆ y )( y y ˆ) 0 ( y
2
ˆ y) ( y y ˆ) ( y y) ( y
2 2
22
（2）回归变差ESS （或回归平方和）
2 是因变量的样本回归值与其样本均值的 ˆ ( y y )
如：作物收成对气温、降雨量、阳光和施肥量的依 赖关系
（2）按因变量和自变量之间的变动形式：
• 线性回归 • 非线性回归
3
（3）一元线性回归和多元线性回归 • 一元线性回归 是指两个相关变量之间的关系可以用数学中的线性组 合来描述 • 多元线性回归 是指三个或三个以上相关变量之间的关系可以用数学 中的线性组合来描述
3 回 归 预 测 法
3.1 一元线性回归预测法
3.2 多元线性回归预测法 3.3 非线性回归预测法
3.4 应用回归预测时应注意的问题
1
回归分析预测法
• “回归”的来历
生物统计学家高尔顿（F. Galton） 1887年，回复（Reversion）— 回归 (Regression)
1888年，相关 (Correlation)
25
• 判定规则： 判定系数 R 2的取值范围为 0 R 2 1 ，判定系数 R 2 的值 越接近于1，回归平方和在总的平方和所占的比重就（3）i 与 μ j相互独立，即： Cov( i , j ) 0 i j; i, j 1,2,, n
第三章回归分析方法1
第三章回归分析⽅法1第三章线性回归分析§3.1 ⼀元线性回归模型⼀、回归分析变量之间的关系，⼤体分为两类：⼀类是函数关系；另⼀类是统计相关关系，或称随机关系。
具有相关关系的变量间虽然不具有确定的函数关系，但可以根据⼤量的统计数据，找出变量之间在数量变化上的统计规律，这种统计规律称为回归关系。
⽤以近似地描述具有相关关系的变量间的函数关系称为回归函数。
有关回归关系的计算⽅法和理论称为回归分析技术。
回归分析的主要内容是：1.根据样本观察值对模型参数进⾏估计,求得回归⽅程;2.对回归⽅程、参数估计值进⾏显著性检验;3.利⽤回归⽅程进⾏预测与控制。
⼆、总体回归⽅程1、例⼦假设⼀个地区的⼈⼝总体由60户组成。
我们要研究每⽉家庭消费⽀出Y与每⽉可⽀配家庭收⼊X的关系。
也就是说知道了家庭的每⽉收⼊，要预测每⽉消费⽀出的（总体）平均⽔平。
为此，将这60户家庭划分为组内收⼊差不多的10组，以分析每⼀收⼊组的家庭消费⽀出。
表2.1给出了假定的数据.表1.1 X,每⽉家庭收⼊(元)每⽉家庭消费⽀出550600650700750--650700740800850880-790840--800 930 950 1030 1080 1130 1150 1020 1070 1100 1160 1180 1250 -1100 1150 1200 1300 1350 1400 -1200 1360 1400 1440 1450 --1350 137016001620137014501550165017501890-1500152017501780180018501910共计3250 4620 4450 7070 6780 7500 6850 10430 9660 12110表2.1表明:对应于每⽉800元收⼊的5户家庭的每⽉消费⽀出为550到750元不等.类似地,给定X=2400元,6户家庭的每⽉⽀出在1370元和1890元之间.即表2.1的每个纵列给出对应于给定收⼊⽔平X的消费⽀出Y的分布.;也就是说,它给出了以X的给定值为条件的条件分布.表2.1的数据代表⼀个总体.我们可计算出给定X的Y的条件概率)(XYP.计算如下表2.2表2.2 与表2.1的数据相对应的条件概率)(i X YP)(i X Y P1/5 1/5 1/5 1/5 1/5 - -1/6 1/6 1/6 1/6 1/6 1/61/5 1/5 1/5 1/5 1/1/7 1/7 1/7 1/7 1/7 1/7 1/7 1/6 1/6 1/6 1/6 1/6 1/6 - 1/6 1/6 1/6 1/6 1/6 1/6 - 1/5 1/5 1/5 1/5 1/5 - - 1/7 1/7 1/7 1/7 1/7 1/7 1/7 1/6 1/6 1/6 1/6 1/6 1/6 - 1/7 1/7 1/7 1/7 1/7 1/7 1/7 Y 的条件均值650770 8901010113012501370149016101730如:6507505170051650516005155051)800(=?++++==i X YE以上述条件均值作散点图,可以看出,Y 的条件均值随X 增加⽽增加,散点图表明这些条件均值落在⼀条有正斜率的直线上,这条直线叫做总体回归直线,具体描述如下.2、总体回归⽅程描述两个变量X 与Y 之间的线性关系可⽤下列数学式⼦表⽰。
第三章非线性回归分析
图 3.5 yt = a xt be
ut
b 图 3.6 yt = a xt e
ut
⑷ 双曲线函数模型 1/yt = a + b/xt + ut 也可写成， yt = 1/ (a + b/xt + ut) yt* = a + b xt* + ut 已变换为线性回归模型。其中 ut 表示随机误差项。 (3.9) (3.10)
at ut k/yt = 1 + be at ut 移项， k/yt - 1 = be
取自然对数，Ln ( k/yt - 1) = Lnb - a t + ut 令 yt* = Ln ( k/yt - 1), b* = Lnb, 则 yt* = b* - a t + ut 此时可用最小二乘法估计 b*和 a。
y t 1 y t x t 1 y t Lnyt y t / y t 1 = = = = x t 1 1 x t 1 Lnxt 1 x t 1 / x t 1 y t x t 1
(3.28)
可见弹性系数是两个变量的变化率的比。 注意， 弹性系数是一个无量纲参 数，所以便于在不同变量之间比较相应弹性系数的大小。 对于线性模型，yt = 0 + 1 xt1 + 2 xt2 + ut ，1 和 2 称作边际系数。 以1 为例，
(3.12) (3.08) (18.75)
例 3：硫酸透明度与铁杂质含量的关系（摘自《数理统计 与管理》1988.4, p.16） 某硫酸厂生产的硫酸的透明度一直达不到优质指标。经分析透 明度低与硫酸中金属杂质的含量太高有关。影响透明度的主要 金属杂质是铁、钙、铅、镁等。通过正交试验的方法发现铁是 影响硫酸透明度的最主要原因。测量了 47 个样本，得硫酸透 明度（y）与铁杂质含量（x）的散点图如下
非线性回归课件
§8.1 可化为线性回归的曲线回归
C o effi ci en ts
St andardi zed
U ns tandardize Cdoef f icie C oef f icients nts
Model
B Std. ErrorBeta
t
1
(C ons t8a.n1t9) 0 .043
190. 106
《非线性回归》PPT课件
§8.2 多项式回归
称回归模型
yi=β0+β1xi1+β2xi2+β11
x
2 i1
+β22
x
2 i2
+β12xi1xi2+εi
为二元二阶多项式回归模型。
它的回归系数中分别含有两个自变量的线性项系数β1 和β2， 二次项系数β11 和β22，并含有交叉乘积项系数β12。 交叉乘积项表示 x1与 x2的交互作用。
线性回归 y=b0+b1t
Regression Residuals
Analysis of Variance:
DF Sum of Squares
1
9454779005.1
16
1588574273.6
Mean Square 9454779005.1
99285892.1
F
Signif F
95.22782 .0000
Adjus t ed Rof t he
Model R R SquareSquareEs t imD atuerbin-W at s on
1
. 996a . 992
.89.971601E-02
. 616
a.Predic t ors : (C onst ant ), T
非线性回归预测法——高斯牛顿法(詹学朋)
非线性回归预测法前面所研究的回归模型，我们假定自变量与因变量之间的关系是线性的，但社会经济现象是极其复杂的，有时各因素之间的关系不一定是线性的，而可能存在某种非线性关系，这时，就必须建立非线性回归模型。
一、非线性回归模型的概念及其分类非线性回归模型，是指用于经济预测的模型是曲线型的。
常见的非线性回归模型有下列几种： (1)双曲线模型：i ii x y εββ++=121 (3-59) (2)二次曲线模型：i i i i x x y εβββ+++=2321 (3-60)(3)对数模型：i i i x y εββ++=ln 21 (3-61)(4)三角函数模型：i i i x y εββ++=sin 21 (3-62)(5)指数模型：i x i i ab y ε+= (3-63)i i i x x i e y εβββ+++=221110 (3-64)(6)幂函数模型：i b i i ax y ε+= (3-65)(7)罗吉斯曲线：i x x i iie e y εββββ++=++1101101 (3-66)(8)修正指数增长曲线：i x i i br a y ε++= (3-67)根据非线性回归模型线性化的不同性质，上述模型一般可细分成三种类型。
第一类：直接换元型。
这类非线性回归模型通过简单的变量换元可直接化为线性回归模型，如：(3-59)、(3-60)、(3-61)、(3-62)式。
由于这类模型的因变量没有变形，所以可以直接采用最小平方法估计回归系数并进行检验和预测。
第二类：间接代换型。
这类非线性回归模型经常通过对数变形的代换间接地化为线性回归模型，如：(3-63)、(3-64)、(3-65)式。
由于这类模型在对数变形代换过程中改变了因变量的形态，使得变形后模型的最小平方估计失去了原模型的残差平方和为最小的意义，从而估计不到原模型的最佳回归系数，造成回归模型与原数列之间的较大偏差。
第三类：非线性型。
3第三章 多元线性回归模型及非线性回归模型new
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
注意
ˆ 是向量 (i 1, 2, n) β ( j 1, 2, n)
(由无偏性) (由OLS估计式)
ˆ β)( β ˆ β )] E[( β
E[( X X )1 X uuX ( X X )1 ] ( X X )1 X E(uu) X ( X X )1 ( X X )1 X 2 IX ( X X )1
计量经济学
第三章 多元线性回归模型
引子:中国已成为世界汽车产销第一大国
2009年，为应对国际金融危机、确保经济平稳较快增长， 国家出台了一系列促进汽车消费的政策，有效刺激了汽车消费市 场，汽车产销呈高增长态势，首次成为世界汽车产销第一大国。 2009年，汽车产销分别为1379.1万辆和1364.5万辆，同比增长
c c12 11 c21 c22 ck 1 ck 2
c1k c2 k ckk
所以
ˆ ~ N ( , c ) j j
中第 j 行第 j 列的元素） 2 （j=1,2,---k） jj
19
ˆ 的方差-协方差 β
ˆ ) E{[ β ˆ E( β ˆ )][ β ˆ E( β ˆ )]} COV ( β
因为样本回归函数为 两边左乘 X
X
e
0
ˆ +e Y = Xβ
ˆ + X e X Y = X Xβ
第3章线性回归问题与非线性回归分析
White异方ቤተ መጻሕፍቲ ባይዱ性检验
EViews显示两个检验统计量： F统计量和 Obs*R2 统计量。 White检验的原假设：不存在异方差性 方程对象窗口:
View/Residual Test/Heteroskasticity/White
例3.3 对例2.1进行怀特检验 回归方程的 White 异方差检验的结果：
0
x
(a)满意模式
残差图(形态及判别)
残 差
当回归模型满足所有假定时，残差图上 的散点应该是随机的，无任何规律。 如果回归模型存在异方差时，残差图上 的散点呈现出相应的趋势。
图b的情况表明，残差图上的散点随着 x的增加而增加。 当然，如果存在异方差，也可能随着x 的增加而减少。
1981
1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995
4901
5489 6076 7164 8792 10133 11784 14704 16466 18320 21280 25864 34501 47111 59405
1996
68498
40172
0.58647
9093
5643
0.620587
由表中的比值可以直观地看到，增量的线性 关系弱于总量之间的线性关系，可以部分克服共线 性的问题。
进一步分析：
GDP与CONS(-1)之间的可决系数为0.988， △GDP与△CONS(-1)之间的可决系数为0.746
一般认为，两个变量之间的可决系数大于 0.8时，二者之间存在强烈的线性关系。 原模型和差分模型经过检验都具有多重共 线性，但程度不同。
非线性回归分析(教案)
非线性回归分析(教案)第一章：非线性回归分析简介1.1 非线性回归的定义与意义1.2 非线性回归与线性回归的比较1.3 非线性回归分析的应用领域1.4 本章概要第二章：非线性模型的选择2.1 常见非线性模型介绍2.2 模型选择的方法与原则2.3 利用软件选择非线性模型2.4 本章概要第三章：非线性回归的计算方法3.1 数值解法简介3.2 梯度下降法3.3 牛顿法3.4 拟牛顿法3.5 本章概要第四章：非线性回归的参数估计与检验4.1 参数估计的原理与方法4.2 参数估计的算法实现4.3 参数检验的方法与准则4.4 模型诊断与改进4.5 本章概要第五章：非线性回归在实际问题中的应用5.1 实例一：人口增长模型5.2 实例二：药物动力学模型5.3 实例三：经济预测模型5.4 实例四：生物医学信号处理模型5.5 本章概要第六章：非线性回归软件的使用6.1 常见非线性回归软件介绍6.2 非线性回归软件的使用方法6.3 利用软件进行非线性回归分析的步骤6.4 本章概要第七章：非线性回归在生物学中的应用7.1 生物学中常见非线性模型介绍7.2 非线性回归在生物学研究中的应用案例7.3 生物学数据处理与非线性回归分析7.4 本章概要第八章：非线性回归在经济与管理科学中的应用8.1 经济与管理科学中的非线性模型介绍8.2 非线性回归在经济预测中的应用案例8.3 非线性回归在管理决策中的应用案例8.4 本章概要第九章：非线性回归在工程与应用科学中的应用9.1 工程与应用科学中的非线性模型介绍9.2 非线性回归在工程设计中的应用案例9.3 非线性回归在应用科学研究中的应用案例9.4 本章概要第十章：非线性回归分析的扩展与前沿10.1 非线性回归分析的局限性与改进10.2 非线性回归分析的新方法与发展趋势10.3 非线性回归分析与其他统计方法的结合10.4 本章概要第十一章：非线性回归的优化策略11.1 优化算法概述11.2 常见优化算法介绍11.3 非线性回归的优化策略11.4 本章概要第十二章：非线性回归在医学中的应用12.1 医学中的非线性模型介绍12.2 非线性回归在医学诊断中的应用案例12.3 非线性回归在医学治疗方案设计中的应用案例12.4 本章概要第十三章：非线性回归在地球科学中的应用13.1 地球科学中的非线性模型介绍13.2 非线性回归在地球物理勘探中的应用案例13.3 非线性回归在气候学研究中的应用案例13.4 本章概要第十四章：非线性回归在化学与材料科学中的应用14.1 化学与材料科学中的非线性模型介绍14.2 非线性回归在化学反应动力学分析中的应用案例14.3 非线性回归在材料性能预测中的应用案例14.4 本章概要第十五章：非线性回归分析的实践与挑战15.1 非线性回归分析的实际操作技巧15.2 非线性回归分析面临的挑战与问题15.3 未来非线性回归分析的发展方向15.4 本章概要重点和难点解析第一章：非线性回归分析简介重点：非线性回归的定义与意义，非线性回归与线性回归的比较。
回归预测法
试计算：（1）拟合适当的回归方程； （2）判断拟合优度情况； （3）对模型进行显著性检验；（α =0.05） （4）当体重为75公斤时，求其身高平均值的95% 的置信区间。
回总目录 回本章目录
解答：
（1）n=8，经计算得：
x 472
x 28158
2
y 13.54
y 22.9788
y ax
y ae
bx
回总目录 回本章目录
3.4 应用回归预测法时应注意的问题
应用回归预测法时应首先确定变量 之间是否存在相关关系。如果变量之间 不存在相关关系，对这些变量应用回归 预测法就会得出错误的结果。
回总目录 回本章目录
正确应用回归分析预测时应注意： 用定性分析判断现象之间的依存关系；
回总目录 回本章目录
相关系数
其计算公式为：
r
x x y y x x
2
y y
2
由公式可见，可决系数是相关系数的平方。
相关系数越接近+1或-1，因变量与自变量的拟
合程度就越好。
回总目录 回本章目录
相关系数与可决系数的主要区别：
相关系数测定变量之间的密切程度，可决 系数测定自变量对因变量的解释程度。相关系 数有正负，可决系数只有正号。
正相关系数意味着因变量与自变量以相同 的方向增减。
如果直线从左至右上升，则相关系数为正；
如果直线从左至右下降，则相关系数为负。
回总目录 回本章目录
回归系数显著性检验 检验假设： H
0
: b1 0
H1 : b1 0
~ t n 2
SE
检验统计量： t 其中，
第三章非线性回归分析法-韩苗
2. 幂函数曲线回归模型
y = aX ε
b
对数变换
ln y = ln a + b ln x + ln ε
模型变换涉及 参数， 参数，估计参 数后要还原。 数后要还原。
令 z1 = ln y, z2 = ln x, β0 = ln a, β1 = b, ε ′ = ln ε 原模型可化为线性形式
即可利用线性回归分析的方法处理了。
新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 新引进的自变量只能依赖于原始变量，而不能与未知参数有关。
任何一连续函数都可用分段多项式来逼近， 任何一连续函数都可用分段多项式来逼近，所以 在实际问题中，不论变量y 在实际问题中，不论变量y与其他变量的关系如 何，在相当宽的范围内我们总可以用多项式来拟 合。
ln y = β0 + β1 ln x +ε
令 y* =ln y x* =lnx 原模型可化为线性形式
y* = β0 +β1x* +ε
4. 三角函数回归模型
y = a + b sin x + ε
y = a + b cos x + ε
令 x′ = sin x 或 x′ = cos x, y′ = y 则
⒉ 估计非线性模型 （1）命令方式 在命令窗口直接键入:NLS 非线性函数表达式 例如，对于非线性模型 Y = AK α Lβ ，其估计命令格式为 NLS y=c(1)*k^c(2)*L^c(3) 其中， c(1)、c(2)、c(3)表示待估计的三个参数 β A、 α 、 。回车后，系统会自动给出迭代估计的参 数估计值。
Y 国内生产总值（GDP）(亿元)，K资金投入 国内生产总值（ ） 亿元) 资金投入 亿元）包括固定资产投资和库存占用资金。 就 （亿元）包括固定资产投资和库存占用资金。L就 业总人数（万人）。 业总人数（万人）。
回归预测的知识与常用方法概述(ppt 36页)
9
5.0 15.3 14.91 1.63 0.39
2.66
合计
13.1
(yy)2 0.02 0.03 0.08 0.56 0.15 0.52 0.00 0.52 0.15 2.03
9.2.4 一元线性回归预测案例研究（5）
根据上表数据以及t统计量的计算公式有：
S b
( y y ) 2
9.2.4 一元线性回归预测案例研究（6）
计算确定置信区间。计算得到置信区间为[10.42,13.54]，具体计算 过程如下：
S(y)
(yy)2
n2
11 n
(x0x)2 (xx)2
2.03 11(43.37)2 92 9 13.1
0.6612
( 令 yx0t4(n)2)S(y) 11.982.3650.661120.42
9115.1130.32
a y bx 91.12.930330.3 0.2579
9
9
所以有 y abx 0.25792.9303x
9.2.4 一元线性回归预测案例研究（3）
相关系数检验。
根据前表数据以及相关系数计算公式可知本例为显著线性相关。
r
xy
1 n
二元一次线性回归的正规方程是：
b1 (X1iX1)2b2 (X1iX1)X (2iX2) (X1iX1)Y (iY) b1 (X1iX1)X (2iX2)b2 (X2iX2)2 (X2iX2)Y (iY)
aYb1X1b2X2
9.4.1 二元一次线性回归预测（2）
x
y
x2
1 n
(
x)2
第3章回归预测法
第三章 回归预测法 第一节 一元线性回归预测法一元线性回归预测法是指成对的两个变量数据分布大体上呈直线趋势时，采用适当的计算方法，找到两者之间特定的经验公式，即一元线性回归模型，然后根据自变量的变化，来预测因变量发展变化的方法。
一、建立模型一元线性回归模型可表述为：i i i u x b b y ++=10，n i ,,1 =。
其中0b 、1b 是未知参数；i u 为剩余残差（或随机扰动）二、估计参数 三、进行检验 一元线性回归模型：⎩⎨⎧=++=.),0(...;,,1,210σN d i i u n i u x b b y ii i i 诸 ㈠标准误差∑=∧--=-==n i ii y y n n SSE MSE SE 12)(212 ㈡可决系数SSTSSESST SSR y yy y y y x x y y x x R ni ini ini i n i i n i i i -==--=--⎪⎭⎫⎝⎛--=∑∑∑∑∑==∧===1)()()()())((12121212212 ㈢相关系数∑∑∑===----=ni i ni ini i iy y x xy y x xr 12121)()())((说明：可查《概率论与数理统计教程》中的相关系数的临界值表。
㈣回归系数显著性检验0H ：01=b vs 1H ：01≠b ，由于，)2(~)2()2(112211---=--∧∧n t l n SSEb b n SSEl b b xxxxσσ，所以当0H 为真时，统计量)2(~)2(1--=∧n t l n SSEb t xx。
㈤F 检验（用于对回归模型作检验）0H ：回归方程不显著 vs 1H ：回归方程显著统计量)2,1(~)2()(1)(1212-=---=∑∑=∧=∧n F MSEMSRn y yy y F ni i ini i㈥德宾－沃森统计量（W D -）（用于检验i u 之间是否存在自相关关系） 如前所述，回归模型的剩余项i u 之间应该是相互独立的。
回归预测法.
回归预测法，是分析因变量与自变量之间相互关系，用回归方程表示，根据自变量的数值变化，去预测因变量数值变化的方法。
在经济预测中，人们把预测对象当作因变量，把那些与预测对象有关的因素当作自变量，收集自变量的充分数据，应用相关分析和回归分析求得回归方程，并利用回归方程进行预测。
回归预测法中的自变量，与时间序列预测法中的自变量不相同。
后者的自变量是时间本身，而前者的自变量不是时间本身，而是其他的变量。
回归预测法中的自变量与因变量之间，有的属于因果关系，有的屑于伴随关系。
不能认为只有因果关系才能进行回归预测，实际上伴随关系也是一种相关关系，只要收集大量的足够的资料，也可以用回归预测法进行预测。
在回归预测法中，自变量不是随机的或者是给定的，这与相关分析中自变量有所区别。
相关分析中的自变量是随机的。
二、回归预测法的条件在作回归预测时必须注意下列几个问题，这些问题是提高预测准确度的条件。
(1)经济现象之间，即作为因变量与自变量之间必须有关系。
怎样剖析两者有相关关系呢？从根本上说，只有通过马克思主义政治经济学的理论分析，才能正确作出判断，正确认识经济现象之间的内在的必然联系和外部的偶然联系，不为假相关所迷惑。
因此，切不可轻视理论分析而草率运用回归预测法。
(2)因变量与自变量之间的关系必须密切，要有强相关，而自变量与另一个自变量之间的关系，必须不密切，要求弱相关或零相关。
判断相关关系密切程度的方法，可以通过绘制相关图和计算相关系数。
根据历史资料绘制的相关图能判断相关的类型。
相关图的类型如有以下几种。
①零相关图。
当自变量x与因变量y没有相关关系，称为零相关，如图10-1。
②强正相关图。
当自变量x增大时，因变量y亦随之增大，点子的分布集中，呈直线形。
故两者有强相关。
如图10-2。
③弱正相关图。
当自变量x的数值增大时，y的数值也增大，但点子的分布不集中，两者之间仅有一定相关关系，称弱正相关。
如图10-3。
④强负相关图。
当自变量x增大时，因变量y亦随之减少，点子的分布集中呈直线形，两者之间有强烈的相关关系，称强负相关。
第三章回归分析预测方法课件
简单线性回归方程的形式为 y b0 b1x e ,
也称为直线回归方程。其中， b0是回归直线在y轴上的截距； b1是直线的斜率，称为回归系数，表示当x每变动一个单位 时，y的平均变动值。
x
相关但无
线性关系
-3
-2
-1
0
1
2
3
x
2、回归分析与相关分析
研究和测度两个或两个以上变量之间关系的方 法有回归分析和相关分析。
相关分析。研究两个或两个以上随机变量之 间线性依存关系的紧密程度。通常用相关系 数表示，多元相关时用复相关系数表示。
回归分析。研究某一随机变量（因变量）与 其他一个或几个普通变量（自变量）之间的 数量变动的关系。
-1
0
1
2
x
(c)
-2
-1
0
1
2
x
(d)
y 02468
y -2 -1 0 1 2
-2
-1
0
1
2
x
-3
-2
-1
0
1
2
3
x
(a)
y -2 -1 0 1 2
不相关
-3
-2
-1
0
1
2
x
(c)
y -2 -1 0 1 2
(b)
正相关
-2
-1
0
1
2
x
(d)
y 02468
y -2 -1 0 1 2
-2
-1
0
1
2
负相关
法国数学家勒让德于1806年首次发表最小二乘理论。事实上， 德国的高斯于1794年已经应用这一理论推算了谷神星的轨道， 但迟至1809年才正式发表。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.2 不可转换成线性的趋势模型
一、不可线性化模型
1. 不可线性化模型：无论采取什么方式变换都不可能实现 线性化的模型。
2. 常用的处理方法：一般采用高斯一牛顿迭代法进行参数 估计，即借助于泰勒级数展开式进行逐次的线性近似估 计。
3.2 不可转换成线性的趋势模型
二、迭代估计法
述对话框中，输入非线性函数表达式： y=c(1)*k^c(2)*L^c(3)。
选择估计方法为最小二乘法后，点击OK按钮。
3.2 不可转换成线性的趋势模型
几点说明： （1）在方程描述对话框中，点击Option按钮，可以设置迭代
估计的最大迭代次数（Max Iteration）和误差精度 （Convergence），以便控制迭代估计的收敛过程。 （2）利用NLS命令也可估计可划为线性的非线性回归模型。 例如 NLS y=c(1)+c(2)/x NLS y=c(1)+c(2)*ln(x) （3）迭代估计是一种近似估计，并且参数初始值和误差精度 的设定不当还会直接影响模型的估计结果，甚至出现错误。
3.2 不可转换成线性的趋势模型
⒉ 估计非线性模型 （1）命令方式 在命令窗口直接键入:NLS 非线性函数表达式 例如，对于非线性模型 Y AK L ，其估计命令格式为
NLS y=c(1)*k^c(2)*L^c(3) 其中， c(1)、c(2)、c(3)表示待估计的三个参数A、 、 。 回车后，系统会自动给出迭代估计的参数估计值。 （2）菜单方式 在数组窗口，点击Procs→Make Equation，在弹出的方程描
y 0 1z1 2z2 ... k zk u
即可利用线性回归分析的方法处理了。
3.1 可化为线性的回归模型
2. 双曲线模型
形如
y
0
1
1 x
u
的模型为双曲线模型。
令 Z1
x
原模型可化为线性形式
y 0 1Z u
即可利用线性回归分析的方法处理了。
3.1 可化为线性的回归模型
3. 半对数函数模型和双对数函数模型
基本思路是： 1. 通过泰勒级数展开使非线性方程在某一组初始参数估计值
附近线性化； 2. 然后对这一线性方程应用OLS法，得出一组新的参数估计
值； 3. 使非线性方程在新参数估计值附近线性化，对新的线性方
程再应用OLS法，又得出一组新的参数估计值； 4. 不断重复上述过程，直至参数估计值收敛时为止。
3.2 不可转换成线性的趋势模型
三、迭代估计法的Eviews软件实现
⒈ 设定代估参数的初始值，可采用以下两种方式： （1）使用param命令。命令格式为param 初始值1 初始值2
初始值3 …… （2）在工作文件窗口双击序列C，并在序列窗口中直接输入参
数的初始值（注意序列C中总是保留着刚建立模型的参数估 计值，若不重新设定，系统自动将这些值作为参数的默认初 始值）。
3.3 非线性曲线应用的几个问题
一、非线性模型应注意的几个问题
⒈ 对非线性模型来说：
（1）不能从回归残差中得出随机项方差
2 u
的无偏估计量。
（2）由于非线性模型中的参数估计量同随机项不成线性关系，所
以它们不服从正态分布，其结果使得t检验和F检验都不适用。
⒉ 可以用来预测未来某个时期的因变量值 yˆ ，由于 yˆ 已经不再是 随机项的线性函数，因此，yˆ 已经不具备线性回归中估计值的 最佳、线性、无偏的性质，置信区间也无法构造了。
(
y
yˆ )2
1 n
yˆ 2
1 n
y
2
5. 偏差率（Bias Proportion）、方差率（Variance Proportion）、协方差率（Covariance Proportion）
( yˆ y)2
BP ( yˆ y)2 / n
VP
( yˆ y )2
( yˆ y)2 / n
CP
第3章 非线性回归与含特殊变量的 回归预测法
学习目标
• 了解：非线性回归、含特殊变量的回归模型的一般形式 • 理解：可线性化的非线性回归的形式变换、不可线性化的参
数估计方法。 • 掌握：应用Excel、SPSS、Eviews软件进行非线性趋势预
测和有特殊变量的回归预测。
内
容
3.1 可化为线性的回归模型
MAE
1 n
y
ቤተ መጻሕፍቲ ባይዱ
yˆ
3. 平均绝对百分比误差（Mean Absolute Percent Error）
简记为MAPE
MAPE
1 n
y y
yˆ
100%
3.3 非线性曲线应用的几个问题
3. 希尔不等系数（Theil Inequality Coefficient）简记为 TheilIC
TheilIC =
1 n
形如 ln y 0 1x u 数函数模型，形如
模型。
和 y ln x u 的模型为半对 ln y 0 1 ln x u的模型为双对数函数
令 y* ln y
x* ln x 原模型可化为线性形式 y* 0 1x* u
即可利用线性回归分析的方法处理了。
3.1 可化为线性的回归模型
3.3 非线性曲线应用的几个问题
二、最优曲线的选择
首先是定性分析；其次若同一数据有几种趋势线可选择，可通 过下列指标比较选择。
1. 均方根误差（Root Mean Squared Error），记为 RMSE
RMSE ( y yˆ)2
n
2. 平均绝对误差（Mean Absolute Error），记为MAE
3.2 不可化为线性的回归模型
3.3 非线性回归应用的几个问题
3.4 含特殊变量的回归模型
3.1 可化为线性的回归模型
一、非线性回归模型的直接代换
1. 多项式函数模型 形如 y=0 +1x1+2 x22 +...+k xkk u 的模型为多项式模型。 令 z1 x1, z2 x22, zk xkk ， 原模型可化为线性形式
二、非线性模型的间接代换
1. 一般形式
形如
y
βo
x β
x β
x βk k
e
u
的指数模型，可间接转化成线性形
式，
ln y βo β ln x β ln x βk ln xk u
之后可以采用前述代换的形式建立模型。 2. 著名的柯布——道格拉斯（Cobb—Douglas）生产函数
Q AL K eu
2(1 r) yˆ y
( yˆ y)2 / n
6. 修正判定系数（Adjusted R Square）