第三章 一元线性回归模型
第三章 一元线性回归模型
第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。
为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。
y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。
定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。
其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。
给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。
一元线性回归模型
一元线性回归模型1．一元线性回归模型有一元线性回归模型（统计模型）如下，y t = β0 + β1 x t + u t上式表示变量y t 和x t之间的真实关系。
其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项，β0称常数项，β1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t) = β0 + β1 x t,（2）随机部分，u t。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。
回归模型存在两个特点。
（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。
（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。
通常线性回归函数E(y t) = β0 + β1 x t是观察不到的，利用样本得到的只是对E(y t) = β0 + β1 x t 的估计，即对β0和β1的估计。
在对回归函数进行估计之前应该对随机误差项u t做出如下假定。
(1) u t 是一个随机变量，u t 的取值服从概率分布。
数学地质第三章 回归分析
yi
n
（3-9）
n 1 1 y yi x xi n i 1 n i 1 则式（3-9）可化为
n
n n 2 na x b xi xi y i i 1 i 1 a bx y
（3-10）
二、参数a,b的最小二乘估计
由式（3-10）中第一个方程得
y x
一、一元线性回归的数学模型
将式（3-2）及式（3-3）两边取对数，则分别为 Lny=lnα+βx （3-4） 及 lny=lnα+βlnx （3-5） 如果在式（3-4）中令Y=lny，则Y与x即成线性 关系；如果在式（3-5）中令Y=lny，X=lnx，则Y与X 就成线性关系。此外，还有一些函数，只要经过简单 变换，也可变为线性关系。这些统称为可化为线性关 系的情况，只要线性情况得到解决，可化为线性的情 况也就不难解决。
一元线性回归分析，主要是处理两个变量
x、y之间的关系。两个变量之间的关系有线性 和非线性两种情况，这里主要讨论线性关系及 可化为线性关系的非线性情况。
一、一元线性回归的数学模型
线性关系数学模型，如 y=a+bx (a,b为常数) （3-1） 非线性的情况，如指数函数 x y e （α，β为常数） （3-2） 幂函数形式 （3-3）
n Q 2 ( yi a bxi ) 0 a i 1 n Q 2 ( yi a bxi ) xi 0 b i 1
（ 3-8）
二、参数a,b的最小二乘估计
即
令
i 1 i 1 n n n a xi b xi2 xi y i i 1 i 1 i 1 na b xi
二、参数a,b的最小二乘估计
一元线性回归的模型
一元线性回归的模型
一元线性回归模型表示如下：
yt = β0 + β1 xt +ut（1）上式表示变量yt 和xt之间的真实关系。
其中yt 称作被解释变量（或相依变量、因变量），xt称作解释变量（或独立变量、自变量），ut称作随机误差项，β0称作常数项（截距项），β1称作回归系数。
在模型(1) 中，xt是影响yt变化的重要解释变量。
β0和β1也称作回归参数。
这两个量通常是未知的，需要估计。
t表示序数。
当t表示时间序数时，xt和yt称为时间序列数据。
当t表示非时间序数时，xt和yt称为截面数据。
ut则包括了除xt以外的影响yt变化的众多微小因素。
ut的变化是不可控的。
上述模型可以分为两部分。
（1）β0 +β1 xt是非随机部分；（2）ut是随机部分。
一元线性回归模型的参数估计
斜率（β1）
表示 x 每变化一个单位，y 平均变化的数量。
一元线性回归模型的假设
线性关系
因变量 y 和自变量 x 之间存在线性关系。
误差项独立
误差项 ε 之间相互独 立，且与 x 独立。
误差项的正态性
误差项 ε 的分布是正 态的。
误差项的无偏性
误差项 ε 的期望值为 0，即 E(ε) = 0。
有限的方差
回归分析的分类
一元回归分析
研究一个自变量和一个因变量之间的关系。
多元回归分析
研究多个自变量和一个因变量之间的关系。
线性回归模型
线性回归模型是一种常用的回归分析方法，它假设自变量和因变量之间存在线性关系，即可以用一条 直线来描述它们之间的关系。
在一元线性回归模型中，自变量和因变量之间的关系可以表示为一条直线，即 y = ax + b，其中 a 是斜 率，b 是截距。
确定样本数据
收集用于估计参数的样本数据。
构建估计量
根据模型和样本数据构建用于估计参数的统计量。
计算估计值
通过计算统计量的值得到参数的估计值。
评估估计质量
通过统计检验和图形方法评估估计的质量和可靠性。
05 模型的评估与检验
模型的拟合度评估
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接 近1表示模型拟合度越好。
数据整理
将数据整理成适合进行统计分析 的格式，如表格或图形，以便后 续分析。
建立一元线性回归模型
确定自变量和因变量
根据研究问题选择合适的自变量和因变量，确 保它们之间存在一定的关联性。
散点图分析
绘制散点图，观察自变量和因变量之间的关系， 初步判断是否适合建立一元线性回归模型。
一元线性回归模型PPT课件
b1、b2
Yi B1 B2 Xi ui
ei
第18页/共67页
3.3 参数的最小二乘估计
• 参数估计：普通最小二乘法（OLS）
• 普通最小二乘法就是要选择参数 ，使得残差平方和（residual sum of squares, RSS） 最小。
•即
b1、b2
ei2
Q ei2
Yi Yˆi 2
Xi 也称 自变量（independent variable）
称为 参数（parameter）
B , B 1 称2为 随机扰动项（random error term）
ui
第13页/共67页
3.2 随机扰动项的来源
• 上式如何解释？
• 可以认为，在给定家庭收入水平 上，第i个学生的数学分数可以表达为两部分之和：
第14页/共67页
3.2 随机扰动项的来源
•
第15页/共67页
3.2 随机扰动项的来源
• 性质1：扰动项代表了未纳入模型变量的影响。例如个人健康状况、居住区域等等。 • 性质2：反映了人类行为的内在随机性。即使模型中包括了决定数学分数的所有变量，其内在随机性也
不可避免，这是做任何努力都无法解释的。 • 性质3：还代表了度量误差，例如收入的数据可能不等于真实值。 • 性质4：“奥卡姆剃刀原则”——即描述应该尽可能简单，只要不遗漏重要的信息，此时可以把影响Y
第8页/共67页
3.1 回归的涵义
• 样本回归函数（sample regression function, SRF） • 可用样本回归函数（SRF）表示样本回归线：
其中， 总体条件均值
的估计量；
Yˆi b1 b2 Xi
Yˆ E Y X • 并非所有样本数据都准确地i落在样本回归线上，因此建立随机i 样本回归函数：
第三节 一元线性回
1
1、回归系数的显著性检验
• 估计量 S 2 来代替。 ˆ • 但样本为小样本时，回归系数估计量 β1 的标准 化变换值服从t分布，即：
σ 2 是未知的，要用其无偏 一般来说，总体方差
tβˆ =
1
ˆ β1 − β1 Sβˆ
1
~ t (n − 2)
• 式中n为样本容量，n-2为自由度。 •
回归系数显著性检验步骤：
(二)一元线性回归分析的特点 二 一元线性回归分析的特点
• 1、在两个变量之间，必须根据研究目的具体确定哪个 是自变量，哪个是因变量。相关分析不必确定两个变量中 哪个是自变量，哪个是因变量。 2、计算相关系数时，要求相关的两个变量都是随机的； 但是，在回归分析中因变量是随机的，而自变量不是随机 的变量。 3、在没有明显的因果关系的两个变量与y之间，可以 3 y 求得两个回归方程。 4、回归方程的主要作用在于：给出自变量的数值来估 计因变量的可能值。一个回归方程只能做出一种推算，推 算的结果表明变量之间的具体的变动关系。 5、直线回归方程中，自变量的系数称回归系数。回归 系数的符号为正，表示正相关；为负则表示负相关。
ˆ β1 =
n∑ xi yi − ∑ xi ∑ yi n∑ x − (∑ xi )
2 i 2
ˆ ˆ β 0 = yi − β1 xi
（一）参数 β 0 , β 1 的最小二乘估计
第三章一元线性回归分析
第三章 一元线性回归一元线性回归分析的对象是两个变量的单向因果关系，模型的核心是两变量线性函数，分析方法是回归分析。
一元线性回归是经典计量经济分析的基础。
第一节一元线性回归模型一、变量间的统计关系社会经济现象之间的相互联系和制约是社会经济的普遍规律。
在一定的条件下，一些因素推动或制约另外一些与之联系的因素发生变化。
这种状况表明在经济现象的内部和外部联系中存在着一定的因果关系，人们往往利用这种因果关系来制定有关的经济政策，以指导、控制社会经济活动的发展。
而认识和掌握客观经济规律就要探求经济现象间经济变量的变化规律。
互有联系的经济变量之间的紧密程度各不相同，一种极端的情况是一个变量能完全决 定另一个变量的变化。
比如：工业企业的原材料消耗金额用y 表示，生产量用1x 表示，单位产量消耗用2x 表示，原材料价格用3x 表示，则有：123y x x x =。
这里，y 与123,,x x x ，是一种确定的函数关系。
然而，现实世界中，还有不少情况是两个变量之间有着密切的联系，但它们并没有密切到由一个可以完全确定另一个的程度。
例如：某种高档费品的销售量与城镇居民的收入；粮食产量与施肥量之间的关系；储蓄额与居民的收入密切相关。
从图示上可以大致看出这两种关系的区别：一种是对应点完全落到一条函数曲线上；另一种是并不完全落在曲线上，而有的点在曲线上，有的点在曲线的两边。
对于后者这种不能用精确的函数关系来描述的关系正是计量经济学研究的重要内容。
二、一元线性回归模型 1.模型的建立一个例子，见教材66页：总体回归模型：01i i i Y X ββε=++ 理解：（1）误差的随机性使得Y 和X 之间呈现一种随机的因果关系；（2）Y i 的取值由两部分组成，一类是系统内影响，一类是系统外影响。
样本回归直线：01i i Y X ββ=+样本回归模型：01i i i Y X e ββ=++2.模型的假设（1） 误差项i ε的数学期望无论I 取什么值都是零。
第三章 一元线性回归
LOGO
三、一元线性回归模型中随机项的假定
( xi , yi )，i,j=1,2,3,…,n后，为了估计（3.1.5） 在给定样本观测值（样本值） 式的参数 0和 1 ，必须对随机项做出某些合理的假定。这些假定通常称 为古典假设。
假设1、解释变量X是确定性变量，不是随机变量； 假设2、随机误差项具有零均值、同方差和不序列相关性： E(i)=0 Var (i)=2 i=1,2, …,n i=1,2, …,n
ˆ i ) ( y i 0 1 xi ) 2 Q（ 0，1） ( yi y
2 i 1 i 1 n n
（3.2.3）
ˆ ， ˆ ，使式 所谓最小二乘法，就是寻找参数 0,，1 的估计值 0 1 ˆ ， ˆ 满足： （3.2.3）定义的离差平方和最小，即寻找 0 1
y 1 x
2 y 0 2 x
LOGO
二是被解释变量x与参数 之间为线性关系，即参数 仅以一次方的 形式出现在模型之中。用数学语言表示为：
y 1 0
y 0 2 0
2
y x 1
2 y 0 2 1
在经济计量学中，我们更关心被解释变量y与参数
之间的线性关系。因
第三章 一元线性回归
3.1 一元线性回归模型 3.2 回归参数 0，1 的估计 3.3 最小二乘估计的性质 3.4 回归方程的显著性检验
3.5 预测和控制
LOGO
3.1 一元线性回归模型
一、回归模型的一般形式
1、变量间的关系 经济变量之间的关系，大体可分为两类：
（1）确定性关系或函数关系：变量之间有唯一确定性的函数关 系。其一般表现形式为：
对于总体回归模型，
y f ( x1, x2 ,, xk ) u
一元线性回归模型ppt课件
差e的原因.
例1.（多选）在如图所示的四个散点图，适合用一元线性回
归模型拟合其中两个变量的是( AC ).
例2．在一元线性回归模型中，下列关于Y＝bx＋a＋e的说法正确的是( C )
A．Y＝bx＋a＋e是一次函数
B．响应变量Y是由解释变量x唯一确定的
C．响应变量Y除了受解释变量x的影响外，可能还受到其他因素的影响，这
Y bx a e
(1)
2
E (e ) 0，D(e ) .
追问3.对于父亲身高为xi的某一名男大学生，他的身高yi一定是bxi+a吗？
对于父亲身高为的某一名男大学生，他的身高 并不一定为
bxi+a ，它仅是该子总体的一个观测值，这个观测值与均值有一个误
差项ei=yi -(+a).
相关程度较高.
编号
1
2
3
4
5
6
7
8
9
10
11
12
13
14
父亲身高/cm 174
170
173
169182172180172168
166
182
173
164
180
儿子身高/cm 176
176
170
170
185
176
178
174
170
168
178
172
165
182
问题2.根据表中的数据，儿子身高和父亲身高这两个变量之间的关系可以
参数；e是Y与bx+a之间的随机误差. 模型中的Y也是随机变量，其值虽不能由变
量x的值确定，但却能表示为bx+a与e的和，前一部分由x所确定，后一部分是随
一元线性回归模型
一．一元线性回归模型1. 一元线性回归模型的基本假设有哪些？违背假设是否能估计？为什么？ 答:①E(i V |i X )=0 随机项i V 的数学期望为0 ②Var(i V |i X )=E{[i V —E(i V )]2}=E (2i V )=2u σ③COV(i V ，j V )=E{[i V —E(i V )][j V —E(j V )]}=0 i V ，j V 相互独立不相关 ④COV(i V ，i X )=0 解释变量i X 与误差项i V 同期独立无关 ⑤i V ～N(0，2u σ) i X ，i V 服从正态分布的随机变量 违背的话可以估计 但是要对原数据适当的处理 2. 方差分析表与参数估计表的结构变差来源 平方和 自由度 均方F统计量回归 残差 ESS RSS 12n - ESS22e RSS n S -= 1(2)ESSF RSSn =-总变差 TSS1n -21y TSS n S -=―2R =ESS TSS =1—RSSTSS=2212211[()()]()()ni i i n niii i x x y y x x y y ===----∑∑∑TSS=21()nii yy =-∑ ESS=21ˆ()ni yy =-∑ RSS=21ˆ()ni i y y =-∑ Eviews 输出结果 参数估计值 估计值标准差 F 检验 Variable Coefficient Std. Error t-Statistic Prob.C （0β） （S(0ˆβ)） 0β<对0β显著 X 1β>非线性不通过R-squared Adjusted R-squaredProb(F-statistic) >方程本身不是线性的 结论：该案例结果不理想 无论从个别还是总体上原因：(1) 0β，1β个别检验不通过 (2)F 检验远远超过期望的值(>5%or>10%) (3) 2R =拟合度特别差<50%(注：2R >80%or>70%认为拟合度好)3. 回归方程的标准记法ˆi y=0β+1βi x Se=(S(0ˆβ)) (S(1ˆβ)) 22211ˆ()ˆ22nni i i i uey yn n σ==-==--∑∑2221121ˆ()2()ni u i nii e s n x x σβ===--∑∑222211ˆ()[]()Xn ii x s nx x βσ==+-∑ 111ˆˆ()t s ββ= *代表显著性大小 **代表1%下显著 *代表5%下显著 无*代表5%下不显著 4. t 检验与F 检验的步骤(1) t 检验：01:0H β=11:0H β≠Next 111ˆˆ()t s ββ=～t(n-2) Next 查t 分布表临界值2(2)t n α- α取1%或5% Next 当|t|≥2(2)t n α-拒绝原假设10β≠说明y 对x 的一元线性相关显著当|t|<2(2)t n α-不拒绝原假设10β≠说明y 对x 的一元线性相关不显著(2) F 检验：01:0H β=11:0H β≠ Next 12ESSF RSS n =-(上：回归 下：残差)=？(假设=100)Next 查F α(1，n-2) Next 当100≥F α(1，n-2)拒绝0H 说明y 对x 的一元线性相关显著当100<F α(1，n-2)不拒绝0H 说明y 对x 的一元线性相关不显著(注：统计软件用P 值进行检验P>α等价F<F α(1，n-2)此时不拒绝0H 当P<αF>F α(1，n-2)此时拒绝0H ) 二．多元线性回归模型1. 基本假设：(1) 随机误差项i V 的条件期望值为0 即E(i V |1i X …ki X )=0 (2) 随机误差项i V 的条件方差相同Var(i V |1i X …ki X )=2u σ (3) i V 之间无序列相关COV(i V ，j V )=0 (4) i V ～N(0，2u σ)(5)各种解释变量之间不存在显著的线性相关关系 2.矩阵表达式12ˆˆˆ.ˆn y y y y ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 11112211...1.....1...k k n kn x x x x x x x ⎫⎛⎪⎪ =⎪ ⎪ ⎝⎭0ˆˆ.ˆk βββ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 1ˆ()()x x x y β-''= 参见P51 例3-1 3随机误差项u 的方差2u σ的最小二乘估计量221ˆ1nii X en k σ==--∑=21ˆ()1niii y yn k =---∑随机误差项i U 同方差且无序列相关 则方差协方差矩阵Var-COV(u)=E(uu ')=)(112.,...n n u E u u u u ⎛⎫⎪ ⎪ ⎪⎝⎭=2u σI4.方差分析表变差来源 平方和 自由度 均方F统计量回归 残差 ESSRSS 12n - ESS22e RSS n S -= 1(2)ESSF RSSn =-总变差 TSS1n -21y TSS n S -=―2R =ESS TSS TSS=21()n i i y y =-∑ ESS=21ˆ()n i y y =-∑ RSS=21ˆ()ni i y y =-∑ 221111(1)11RSSn n k R R TSS n k n ---=-=----- 222211ˆ()ˆ11nniiii i u ey ySe n k n k σ==-===----∑∑5. P69 8(1) 0β1β3β的个别检验不通过，2β的个别检验通过 (2)F 检验通过 对结果不满意三．违背古典假定的计量经济模型 2. 自相关D-W 检验 (1)d< L d ,u 存在一阶正自相关(2)d>4-L d ,u 存在一阶负自相关 (3)u d <d<4-u d ,不存在自相关(4)L d <d<u d ，或4-u d <d<4-L d 时,u 是否存在自相关,不能确定 4.异方差的white 检验(以二元线性模型为例) 二元线性回归模型：01122i i i i y x x u βββ=+++ ① 异方差与解释变量12,x x 的一般线性关系为：2i σ=0α+11i x α+22i x α+231i x α+242i x α+512i i x x α+i V ②<1>运用OLS 估计的式① <2>计算残差序列i并求2i<3>做2i对1i x ，2i x ，21i x ，22i x ，12i i x x 的辅助回归，即222011223142312ˆˆˆˆˆˆˆi i i i i i i e x x x x x x αααααα=+++++ ③其中2ˆi e 为2i e 的估计<4>计算估计量2nR ，n 为样本容量2R 为辅助回归的可决定系数<5>在不存在异方差的原假设下2nR 服从自由度为5的2χ分布，给定显著性水平α查2χ分布表得临界值2αχ(5) 如果2nR >2αχ(5)则拒绝原假设，表明模型中随机误差存在异方差 5.杜宾二步法：第一步求出自相关系数的估计值ˆ第二步利用ˆ进行广义差分变换 对差分模型利用OLS 求的参数0β和1β的估计值0ˆβ和1ˆβ 6.方差扩大因子检验多元回归模型中多重共线性：1x =f(x2,x3….xk) x2=f(x1,x3…xk) …xj=(x1,x2...1j x -…xk) xk=f(x1,x2….1k x -)对每个回归方程求其决定系数分别为12R ，22R (2)j R (2)k R ，在决定系数中寻求最大而接近者，比如2x R 最大，则可判定解释变量Xj 与其他解释变量的一个或多个相关程度高，因此就使回归方程式y=f(x1,x2….xk)表现高度多重共线性，计量经济学中检验多重共线性时，往往称(1-2j R )为自变量Xj 的容忍度，其倒数为方差扩大因子，记为211j jVIF R =- 当模型中全部k 个自变量所对应的方差扩大因子平均数远远大于1时就表明存在严重的多重共线性。
一元线性回归模型及其假设条件
§4.2 一元线性回归模型及其假设条件1．理论模型y=a+bx+εX 是解释变量，又称为自变量，它是确定性变量，是可以控制的。
是已知的。
Y 是被解释变量，又称因变量，它是一个随机性变量。
是已知的。
A,b 是待定的参数。
是未知的。
2．实际中应用的模型x b a yˆˆˆ+= ，bˆ，x 是已知的，y ˆ是未知的。
回归预测方程：x b a y += a ,b 称为回归系数。
若已知自变量x 的值，则通过预测方程可以预测出因变量y 的值，并给出预测值的置信区间。
3．假设条件满足条件：（1）E （ε）=0；（2）D （εi ）=σ2；（3）Cov (εi ,εj )=0,i ≠j ; (4) Cov (εi ,εj )=0 。
条件（1）表示平均干扰为0；条件（2）表示随机干扰项等方差；条件（3）表示随机干扰项不存在序列相关；条件（4）表示干扰项与解释变量无关。
在假定条件（4）成立的情况下，随机变量y ～N （a+bx ，σ2）。
一般情况下，ε～N （0，σ2）。
4．需要得到的结果a ˆ，b ˆ，σ2§4.3 模型参数的估计1．估计原理回归系数的精确求估方法有最小二乘法、最大似然法等多种，我们这里介绍最小二乘法。
估计误差或残差：y y e i i i -=，x b a y i +=，e e y y ii i i x b a ++=+= （5.3—1）误差e i 的大小，是衡量a 、b 好坏的重要标志，换句话讲，模型拟合是否成功，就看残差是否达到要求。
可以看出，同一组数据，对于不同的a 、b 有不同的e i ，所以，我们的问题是如何选取a 、b 使所有的e i 都尽可能地小，通常用总误差来衡量。
衡量总误差的准则有：最大绝对误差最小、绝对误差的总和最小、误差的平方和最小等。
我们的准则取：误差的平方和最小。
最小二乘法：令 ()()∑∑---∑======n i ni n i i x b a y y y e i i i i Q 112212 （5.3—2）使Q 达到最小以估计出a 、b的方法称为最小二乘法。
人教版高中数学选择性必修3《一元线性回归模型及其应用》PPT课件
46
48
51
(1)作出散点图;
(2)建立成绩y关于次数x的经验回归方程;
(3)作出残差图;
(4)计算R2,并用R2说明拟合效果的好坏.
解 (1)该运动员训练次数x与成绩y之间的散点图如图所示,由散点图可知,
它们之间具有线性相关关系.
8
(2)∵ =39.25,=40.875, ∑ xi2 =12 656,
人数y/万 12.39 20.02 25.57 30.26 35.77 37.57 40.23 40.95 41.73 43.71
^ =-157.74+77.62z,
^
故所求的经验回归方程为y =-157.74+77.62ln x.
素养形成
思维脉络
课前篇 自主预习
情境导入
恩格尔系数是根据恩格尔定律得出的比例数,指居民家庭中食物支出占消
费总支出的比重,是表示生活水平高低的一个指标.其计算公式:恩格尔系
数=食物支出金额÷总支出金额.
一个家庭收入越少,家庭收入中或者家庭总支出中用来购买食物的支出所
占的比例就越大,随着家庭收入的增加,家庭收入中或者家庭支出中用来购
均匀地分布在横轴的两边,说明残差比较符合一元线性回归模型的假定
3.我们可以用决定系数 R2 来比较两个模型的拟合效果,R2 的计算公式为
n
2
i=1
n
R =1-
^
∑ (y i -y i )2
2
∑ (y i -y)
i=1
n
.R 越大,表示残差平方和 ∑
2
i=1
^ 2
(yi-yi ) 越小,即模型的拟合效果越
^
∑ (yi -y )2
一元线性回归模型及参数估计
步骤：收集数据、建立模型、 计算参数、评估模型
优点：简单易行，适用于线 性回归模型
最大似然估计法
定义：最大似然 估计法是一种基 于概率的参数估 计方法，通过最 大化样本数据的 似然函数来估计
参数。
原理：利用已知 样本数据和概率 分布函数，计算 出样本数据出现 的概率，然后选 择使得概率最大 的参数值作为估
参数估计的性质
无偏性
定义：参数估计量是 无偏估计时，其期望 值等于参数的真实值。
性质：无偏性是线性 回归模型参数估计的 最基本性质之一，是 评价估计量优劣的重 要标准。
证明：可以通过数学 推导证明无偏性，具 体过程可以参考相关 教材或论文。
应用：在回归分析中， 无偏性可以保证估计 的参数具有最小误差， 从而提高预测的准确 性和可靠性。
计值。
优点：简单易行， 适用于多种分布 类型的数据，具
有一致性。
局限：对样本数 据的要求较高， 当样本数据量较 小或分布不均时， 估计结果可能不
准确。
最小绝对误差准则
定义：最小化预测值与实际值之间的绝对误差
优点：对异常值不敏感，能够更好地处理数据中的噪声和异常值
缺点：可能导致模型过于复杂，过拟合数据 应用场景：适用于预测连续变量，尤其是当因变量和自变量之间的关系是 非线性的情况
行处理。
处理方法：包括 删除不必要的自 变量、合并相关 性较高的自变量、 使用其他模型等
方法。
模型预测与决策应用
预测未来趋势
利用一元线性回 归模型预测未来 趋势
模型参数估计的 方法和步骤
预测结果的解读 与决策应用
模型预测的局限 性及改进方法
制定决策依据
利用回归方程进行 预测
ห้องสมุดไป่ตู้
计量经济学第三章-一元线性回归模型PPT课件
第11页/共79页
四、样本回归函数（SRF）
总体的信息往往无法掌握，现实的情况只能 是在一次观测中得到总体的一个样本。
问题：能否从一次抽样中获得总体的近似的信息 吗？如果可以，如何从抽样中获得总体的近似信息？
式中， ei 称为（样本）残差（或剩余）项（residual），是
实际观测值和拟合值的偏差。可看成是 的估i 计量 ˆi 。
由于方程中引入了随机项，成为计量经济模型， 因此也称为样本回归模型（sample regression model）。
第15页/共79页
• 每次抽样都能获得一组样本，就可以拟合一条样本回归线，因此，样本 回归线是随抽样波动而变化的，可以有许多条，这就决定了SRF不唯一。
1 n
n
Yi ,
i1
得ˆ0 Y X ˆ1
记x i
,
yi
分别为样本值与其均值的离差，即x i
=Xi
X
,
yi
=Yi
Y
,
离差有如下性质：
⑴ xi 0或 (Xi X ) 0
⑵ xi2
(Xi X )2
X
2 i
1 n
(
Xi )2
X
2 i
n
X
2
⑶ xi yi ( Xi X )(Yi Y ) XiYi n X Y
第4页/共79页
二、总体回归函数
由于变量间关系的随机性，回归分析关心的是根据解释变量的已 知或给定值，考察被解释变量的总体均值，即当解释变量取某个确定值时， 与之统计相关的被解释变量所有可能出现的对应值的平均值。这恰好是条件 期望的概念。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 一元线性回归模型一、预备知识 （一）相关概念对于一个双变量总体),(i i x y ,若由基础理论，变量x 和变量y 之间存在因果关系，或x 的变异可用来解释y 的变异。
为检验两变量间因果关系是否存在、度量自变量x 对因变量y 影响的强弱与显著性以及利用解释变量x 去预测因变量y ，引入一元回归分析这一工具。
将给定i x 条件下i y 的均值i i i x x y E 10)|(ββ+= （3.1） 定义为总体回归函数（Population Regression Function,PRF ）。
定义)|(i i i x y E y -为误差项（error term ）,记为i μ，即)|(i i i i x y E y -=μ，这样i i i i x y E y μ+=)|(，或i i i x y μββ++=10 （3.2） （3.2）式称为总体回归模型或者随机总体回归函数。
其中，x 称为解释变量（explanatory variable ）或自变量（independent variable ）；y 称为被解释变量（explained variable ）或因变量（dependent variable ）；误差项μ解释了因变量的变动中不能完全被自变量所解释的部分。
误差项的构成包括以下四个部分：（1）未纳入模型变量的影响 （2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。
在总体回归模型（3.2）中参数10,ββ是未知的，i μ是不可观察的，统计计量分析的目标之一就是估计模型的未知参数。
给定一组随机样本n i y x i i ,,2,1),,( =，对（3.1）式进行估计，若10,),|(ββi i x y E 的估计量分别记为^1^0^,,ββi y ，则定义3.3式为样本回归函数i i x y ^1^0^ββ+= （n i ,,2,1 =） （3.3）注意，样本回归函数随着样本的不同而不同，也就是说^1^0,ββ是随机变量，它们的随机性是由于i y 的随机性（同一个i x 可能对应不同的i y ）与x 的变异共同引起的。
定义^i i y y -为残差项（residual term ）,记为i e ，即^i i i y y e -=，这样i i i e y y +=^，或i i i e x y ++=^1^0ββ （n i ,,2,1 =） （3.4）（3.4）式称为样本回归模型或者随机样本回归函数。
样本回归模型中残差项i e 可视为总体回归模型中误差项i μ的估计量。
（二）参数估计：普通最小二乘法如何估计总体参数10,ββ的估计量^1^0,ββ，或如何获得样本回归函数呢？在回归分析中，使用最广泛的方法是最小二乘法，一般称为普通最小二乘法（Ordinary Least Squares,OLS ）1。
OLS 求解未知参数10,ββ的估计量^1^0,ββ，使残差平方和最小。
即∑∑∑===--=-=ni i i ni i i ni ix y y y e Minimize 12^1^012^12)()(ββ （3.5）求解（3.5）式可得∑∑==---=ni ini i ix xy y x x121^1)())((β ，x y ^1^0ββ-= （3.6）其中，∑==n i i x n x 11，∑==ni i y n y 11。
（三）古典线性回归模型统计推断除了包括参数估计外还包括假设检验，在根据样本回归函数检验假设时，需要对误差项i μ的生成过程做一些假定。
假定1 回归模型是参数线性的，但可以不是变量线性的。
假定2 解释变量i x 与随机误差项i μ不相关。
即0),cov(=i i x μ。
如果解释变量i x 是非随机的，则该假设自动满足。
假定3 零均值假定。
即0)(=i E μ假定4 同方差假定。
即2)var(σμ=i假定5 无自相关假定。
即两个误差项之间不相关0),cov(=j i μμ j i ≠假定6 回归模型是正确设定的。
假定7 正态性假定。
即i μ～),0(2σN1之所以称为普通最小二乘法，是因为还有一种方法称为广义最小二乘法，普通最小二乘法是广义最小二乘法的特例。
满足以上假定的回归模型称为古典线性回归模型（Classical Line Regression Model,CLRM ）。
（四）高斯-马尔科夫定理如果古典线性回归模型的基本假定成立，则OLS 估计是最优线性无偏估计量（Best Linear Unbiased Estimators,BLUE ）。
（五）预测原理回归分析的目的之一是利用回归模型预测因变量。
比如，金融决策经常涉及一个长期的资源承诺（a long-term commitment of resources ）, 决策的收益将取决于将来发生的事情。
假设双变量总体的回归模型为（3.2），即i i i x y μββ++=10 （3.2） 在一组随机样本n i x y i i ,,2,1),,( =下，利用OLS 求得样本回归函数为（3.3） i i x y ^1^0^ββ+= （n i ,,2,1 =） （3.3） 给定样本外一点f x ，则因变量f y 的点预测为f f x y ^1^0^ββ+= （3.7） 点预测^f y 的标准误为∑=--++=ni if f x xx x ny se 122^^)()(11)(σ （3.8）因变量f y 的置信度为α-1的区间预测为[)()2(^2^f f y se n t y --α, )()2(^2^f f y se n t y -+α] （3.9）二、案例[案例1] 经济形势对人们工作意愿的影响根据劳动经济学理论，经济形势对人们工作意愿的影响存在两个互相独立的效应：受挫工人效应和增加工人效应。
用失业率度量(UNR)经济形势，用劳动力参与率(LFPR)度量人们的工作意愿。
受挫工人假说认为当经济形势恶化时，许多失业工人就业意愿降低，放弃寻找工作并退出劳动力市场，从而劳动力参与率下降；增加工人假说认为当经济形势恶化时，许多尚未进入劳动力市场的后备工人，比如带孩子的母亲，可能会由于养家的人失去工作而决定进入劳动力市场，即使这些工作的报酬很低，只要可以弥补由于养家的人失去工作而造成的损失即可，从而劳动参与率上升。
劳动参与率的增加或减少取决于增加工人效应和受挫工人效应的强弱对比。
如果增加工人效应占主导，则LFPR将升高；相反，如果受挫工人效应占主导，则LFPR将会下降。
因此，劳动参与率是上升还是下降，是一个实证问题。
表3-1给出了美国1980-2002年城市劳动参与率(CLFPR)和城市失业率(CUNR)数据，城市失业率是指城市失业人口占城市劳动力的百分比。
表3-1 1980-2002美国城市劳动力参与率、城市失业率与实际平均每小时国内工资year CLFPR(%) CUNR(%) AHE82($)1980 63.8 7.1 7.781981 63.9 7.6 7.691982 64.0 9.7 7.681983 64.0 9.6 7.791984 64.4 7.5 7.801985 64.8 7.2 7.771986 65.3 7.0 7.811987 65.6 6.2 7.731988 65.9 5.5 7.691989 66.5 5.3 7.641990 66.5 5.6 7.521991 66.2 6.8 7.451992 66.4 7.5 7.411993 66.3 6.9 7.391994 66.6 6.1 7.401995 66.6 5.6 7.401996 66.8 5.4 7.431997 67.1 4.9 7.551998 67.1 4.5 7.751999 2000 67.167.24.24.07.867.892001 66.9 4.8 7.992002 66.6 5.8 8.14注：AHE82代表以1982年价计算的平均每小时工资。
资料来源：参考文献[1]，3-5。
三、实验目的[案例1] 经济形势对人们工作意愿的影响1、用Eviews软件绘制CUNR与CLFPR之间的散点图，观察两变量之间的线性关系；2、根据劳动经济学理论以及散点图分析，为研究经济形势对人们工作意愿的影响，建立一元线性回归模型；3、根据劳动经济学理论，对回归系数的符号进行预期并加以解释；4、利用表3-1提供的数据，利用OLS法对问题2中建立的回归方程进行估计；5、在Word 文件中报告回归结果并对回归结果进行解释；6、显示因变量的实际值、拟合值，残差表（残差图）；7、绘制回归残差的直方图，并对残差进行正态性检验；8、计算CUNR 的估计系数置信度为0.95的置信区间，该区间包括零吗？ 9、利用1980-1999年的数据为样本，再次估计问题2中建立的回归模型，并利用估计的结果，给出2000-2002年clfpr 的点预测和区间预测（置信度为0.95）。
四、实验步骤[案例1] 经济形势对人们工作意愿的影响1、（1）建立工作文件 workfile clfpr-cunr a 1980 2002 （2）录入数据 data cunr clfpr（3） 绘制散点图 打开包含序列cunr 和clfpr 组对象，点击View/Graph ，在出现的Graph Options 窗口的Specifi 选项中选择Scatter ，在Fit Lines 中选择Regression Line ，点击确定。
图3-1 城市劳动参与率与城市失业率的散点图从图3-1可以观察到城市劳动参与率与城市失业率存在较明显的负相关关系。
另外，也可通过计算两变量之间的简单相关系数，判断两变量之间线性关系的方向和程度。
在命令窗口键入cor cunr clfpr ，在随后出现的相关系数矩阵中显示cunr 与 clfpr 之间的相关系数为-0.843967。
尽管用简单相关系数可以很方便地判断两变量之间线性相关的方向和程度，但散点图依然不可替代。
有时自变量与因变量之间并非线性关系，但通过一定的变量变换可转化为线性关系，而散点图可以为选择何种变换提供直观的帮助。
2、根据劳动经济学理论以及散点图分析，为研究经济形势对人们工作意愿的影响，建立一元线性回归模型如下：t t t cunr clfpr μββ++=10这里，人们的工作意愿是我们的研究对象，经济形势是影响因素。
故clfpr是因变量或被解释变量，cunr 是自变量或解释变量。
3、从理论上分析，回归系数1β表示cunr 对clfpr 的边际影响，其符号取决于增加工人效应和受挫工人效应的强弱对比。