第二章 回归模型及其应用
回归模型的工作原理及应用
回归模型的工作原理及应用一、回归模型的定义和背景回归模型是一种常见的统计分析方法，旨在通过建立一个数学模型，来探索自变量和因变量之间的关系，并预测未来的因变量值。
回归模型可应用于各种领域，如经济学、金融学、医学以及市场研究等。
二、回归模型的基本原理回归模型基于最小二乘法，通过最小化预测值与真实值之间的平方差，来确定自变量与因变量之间的关系。
以下是回归模型的工作原理及应用的基本步骤：1.收集数据：首先，我们需要收集关于自变量和因变量的数据。
这可以通过实验、调查或观察等方式获得。
2.选择特征：在建立回归模型之前，需要选择用于预测的自变量。
这些自变量应具有相关性，并且能够对因变量产生影响。
3.建立模型：在选择自变量后，我们使用这些自变量来建立回归模型。
回归模型可以是线性的，也可以是非线性的，取决于数据的分布和关系。
4.模型训练：模型训练是指通过使用已有数据，对回归模型的参数进行估计。
这可以通过最小化残差平方和来实现。
5.模型评估：在完成模型训练后，我们需要评估模型的性能。
这可以使用各种指标来衡量，如均方误差（MSE）、决定系数（R²）等。
三、回归模型的类型和应用案例回归模型可以分为线性回归、多项式回归、岭回归等不同类型。
以下是回归模型的一些常见应用案例：1.股票市场预测：回归模型可以用于分析历史股票数据并预测未来股价的走势。
通过考虑相关因素，如市场指数、公司盈利等，可以建立一个能够预测股价波动的回归模型。
2.销售预测：回归模型可以用于预测产品销售量与各种因素之间的关系。
例如，通过考虑广告支出、价格、竞争对手活动等因素，可以建立一个能够预测产品销售量的回归模型。
3.房价预测：回归模型可以用于预测房价与各种因素之间的关系。
例如，通过考虑房屋面积、地理位置、房龄等因素，可以建立一个能够预测房价的回归模型。
4.医学研究：回归模型可以用于医学研究中的预测和建模。
例如，通过考虑患者的年龄、性别、疾病历史等因素，可以建立一个能够预测疾病发展和治疗结果的回归模型。
庞浩计量经济学第二章简单线性回归模型
最小二乘法的应用
在统计学和计量经济学中，最 小二乘法广泛应用于估计线性 回归模型，以探索解释变量与 被解释变量之间的关系。
通过最小二乘法，可以估计出 解释变量的系数，从而了解各 解释变量对被解释变量的影响 程度。
最小二乘法还可以用于时间序 列分析、预测和数据拟合等场 景。
最小二乘法的局限性
最小二乘法假设误差项是独立同分布 的，且服从正态分布，这在实际应用 中可能不成立。
最小二乘法无法处理多重共线性问题， 当解释变量之间存在高度相关关系时， 最小二乘法的估计结果可能不准确。
最小二乘法对异常值比较敏感，异常 值的存在可能导致参数估计的不稳定。
04
模型的评估与选择
R-squared
总结词
衡量模型拟合优度的指标
详细描述
R-squared，也称为确定系数，用于衡量模型对数据的拟合程度。它的值在0到1之间，越接近1表示模型拟合越 好。R-squared的计算公式为(SSreg/SStot)=(y-ybar)2 / (y-ybar)2 + (y-ybar)2，其中SSreg是回归平方和， SStot是总平方和，y是因变量，ybar是因变量的均值。
数据来源
本案例的数据来源于某大型电商 平台的销售数据，包括商品的销 售量、价格、评价等。
数据处理
对原始数据进行清洗和预处理， 包括处理缺失值、异常值和重复 值，对分类变量进行编码，对连 续变量进行必要的缩放和转换。
模型建立与评估
模型建立
基于处理后的数据，使用简单线性回 归模型进行建模，以商品销售量作为 因变量，价格和评价作为自变量。
线性回归模型是一种数学模型， 用于描述因变量与一个或多个 自变量之间的线性关系。它通 常表示为：Y = β0 + β1X1 + β2X2 + ... + ε
计量经济学第二篇一元线性回归模型
第二章 一元线性回归模型2.1 一元线性回归模型的基本假定有一元线性回归模型（统计模型）如下， y t = β0 + β1 x t + u t上式表示变量y t 和x t 之间的真实关系。
其中y t 称被解释变量（因变量），x t 称解释变量（自变量），u t 称随机误差项，β0称常数项，β1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t ) = β0 + β1 x t ,（2）随机部分，u t 。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，居民收入与支出的关系；商品价格与供给量的关系；企业产量与库存的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自同一收入水平的家庭，受其他条件的影响，如家庭子女的多少、消费习惯等等，其出也不尽相同。
所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
“线性”一词在这里有两重含义。
它一方面指被解释变量Y 与解释变量X 之间为线性关系，即另一方面也指被解释变量与参数0β、1β之间的线性关系，即。
1ty x β∂=∂，221ty β∂=∂0 ，1ty β∂=∂，2200ty β∂=∂2.1.2 随机误差项的性质随机误差项u t 中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
随机误差项u t 正是计量模型与其它模型的区别所在，也是其优势所在，今后咱们的很多内容，都是围绕随机误差项u t 进行了。
回归模型的随机误差项中一般包括如下几项内容： （1）非重要解释变量的省略，（2）数学模型形式欠妥， （3）测量误差等，（4）随机误差（自然灾害、经济危机、人的偶然行为等）。
2.1.3 一元线性回归模型的基本假定通常线性回归函数E(y t ) = β0 + β1 x t 是观察不到的，利用样本得到的只是对E(y t ) =β0 + β1 x t 的估计，即对β0和β1的估计。
第二章 简单线性回归模型
Y 的条件均值
E (Y X i )
55
75
95
115
135
155
175
195
215
235
之间的对应关系是： 家庭可支配收入 X 与平均消费支出 E ( Y X i ) 之间的对应关系是：
E ( Y X i ) = 15 + 2 X 3
i
的条件期望表示为解释变量的某种函数称为总体函数。 这种把总体应变量 Y 的条件期望表示为解释变量的某种函数称为总体函数。简记 PRF。 为 PRF。
（三）回归与相关的联系与区别
两者的区别在于： 用途不同—— ——相关分析是用相关系数去度量变量之间线性 （1）用途不同——相关分析是用相关系数去度量变量之间线性 关联的程度，而回归分析却要根据解释变量的确定值， 关联的程度，而回归分析却要根据解释变量的确定值，去估计和预测 被解释变量的平均值； 被解释变量的平均值； 变量性质不同—— ——相关分析中把相互联系的变量都作为随 （2）变量性质不同——相关分析中把相互联系的变量都作为随 机变量， 机变量， 而在回归分析中， 而在回归分析中， 假定解释变量在重复抽样中具有固定数值， 假定解释变量在重复抽样中具有固定数值， 是非随机的，被解释变量才是随机变量。 是非随机的，被解释变量才是随机变量。 对变量的因果关系处理不同—— ——回归分析是在变量因果关 （3）对变量的因果关系处理不同——回归分析是在变量因果关 系确定的基础上研究解释变量对被解释变量的具体影响，对变量的处 系确定的基础上研究解释变量对被解释变量的具体影响， 理是不对称的， 而在相关分析中， 把相互联系的变量都作为随机变量， 理是不对称的， 而在相关分析中， 把相互联系的变量都作为随机变量， 是对称的。 是对称的。
计量经济学第二章经典线性回归模型
Yˆ
Xβ
1．β 的均值
β ( X X )1 X Y
( X X )1 X ( Xβ u)
( X X )1 X Xβ ( X X )1 X u
β ( X X ) 1 X u
27
E(β) β ( X X )1 X E(u) （由假设3）
β
(由假设1)
即
E
β
β
0 1
...
β K
Yi = α+ β +Xiui , i = 1, 2, ...,n (2.4) 即模型对X和Y的n对观测值（i=1,2,…,n）成立。
(2.3)式一般用于观测值为时间序列的情形，在横截 面数据的情形，通常采用(2.4) 式。
5
二、 多元线性回归模型
在许多实际问题中，我们所研究的因变量的变动 可能不仅与一个解释变量有关。因此，有必要考虑线 性模型的更一般形式，即多元线性回归模型：
...... ......
u1un
u2un
.................................
unu1 unu2 ...... un2
显然， E(uu) 2In 仅当
E(ui uj)=0 , i≠j E(ut2) = σ2, t=1,2,…,n 这两个条件成立时才成立，因此， 此条件相当前面条件 (2), (3)两条，即各期扰动项互不相关，并具有常数方差。 14
P
食品价格平减指数 总消费支出价格平减指数
100，（1972
100）
7
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10
亿美元（1个billion），食品消费支出增加1.12亿 元（0.112个 billion）。
第二章简单线性回归模型
取偏导数并令其为0，可得正规方程
( ei2 ) ˆ1
2
(Yi ˆ1 ˆ2 Xi ) 0
( ei2 ) ˆ2
2
(Yi ˆ1 ˆ2 Xi ) Xi 0
即
或整理得
Yi nˆ1 ˆ2 Xi
XiYi ˆ1
Xi ˆ2
X
2 i
ei 0 ei Xi 0
用克莱姆法则求解得以观测值表现的OLS估计量：
（说明：正态性假定并不影响对参数的点估计，所以有时不列
入基本假定，但这对确定所估计参数的分布性质是需要的。且
根据中心极限定理，当样本容量趋于无穷大时，u
的分布会趋
i
近于正态分布。所以正态性假定有合理性）
5
在对 u i的基本假定下 Y 的分布性质
由于
Yi 1 2 X i ui
其中的 1, 2和 X i是非随机的， u i 是随机变量，因此
在给定X的条件下，u i的条件
方差为某个常数 2
Y
E(Y Xi )
Var(ui X i ) E[ui E(ui X i )]2 2
Xi X
3
假定3：无自相关假定:
随机扰动项 u i的逐次值互不相关
Cov(ui ,u j ) E[ui E(ui )][u j E(u j )]
E(uiu j ) 0
但与扰动项u是不相关的。(从变量X角度看是外生的) 注意: 解释变量非随机在自然科学的实验研究中相对 容易满足，经济领域中变量的观测是被动不可控的， X非随机的假定并不一定都满足。
2
2.对随机扰动项u的假定
假定1：零均值假定:
u 在给定X的条件下， i 的条件期望为零
E(ui Xi ) 0
假定2：同方差假定:
第二章 一元线性回归模型
∂Q ˆ ˆ = −2∑ (Yi − β 0 − β1 X i ) = 0 ∂β ˆ0 ˆ ˆ ∂Q = −2∑ (Y − β − β X )X = 0 i 0 1 i i ˆ ∂β1
化简得： 化简得：
ˆ ˆ ∑ (Yi − β 0 − β1 X i ) = 0 ˆ ˆ ∑ (Yi − β 0 − β1 X i )X i = 0
2.总体回归方程（线）或回归函数 总体回归方程（ 总体回归方程 即对（ ）式两端取数学期望： 即对（2.8）式两端取数学期望：
E y i）= β 0 + β 1 x i （
（2.9）
（2.9）为总体回归方程。由于随机项的影响，所 ）为总体回归方程。由于随机项的影响， 有的点（ ）一般不在一条直线上； 有的点（x,y）一般不在一条直线上；但所有的点 （x,Ey）在一条直线上。总体回归线描述了 与y ）在一条直线上。总体回归线描述了x与 之间近似的线性关系。 之间近似的线性关系。
Yi = β X i + ui
需要估计， 这个模型只有一个参数 需要估计，其最 小二乘估计量的表达式为： 小二乘估计量的表达式为：
∑XY ˆ β= ∑X
i i 2 i
例2.2.1：在上述家庭可支配收入-消费支出例中，对 ：在上述家庭可支配收入-消费支出例中， 于所抽出的一组样本数据， 于所抽出的一组样本数据，参数估计的计算可通过下面 的表2.2.1进行。 进行。 的表 进行
二、一元线性回归模型 上述模型中， 为线性的， 上述模型中， 若f(Xi)为线性的，这时的模型 为线性的 一元线性回归模型： 即为 一元线性回归模型：
yi = β 0 + β1 xi + ui 其中：yi为被解释变量，xi为解释变量，ui为随机误 差项，β 0、β1为回归系数。
第二章回归模型(1-4)讲述
b)当剔除掉某一数据以后，把剩下的观测 数据重新计算和检验，直至所有观测值 离差的绝对值小于Kσ为止。
c)注意条件
➢当n<10时，使用该准则较勉强；
➢当n≈185时，肖维涅准则与3σ准则 相当；
➢当n<185时，肖维涅准则较3σ准则 窄
➢当n>185时，肖维涅准则较3σ准则 宽。
§2-3 模型形式的确定
i 1
i
剩余平方和
n
Q
(y
i 1
i
y )2 i
0
回归平方和
n
U (yi y)2
i 1
× ×
××
×× ×
×
××
×
×
××
×
× ×××× ×
×
由散点图可知：yi
y
(y i
y i
)
(y i
y)
则总离差平方和
n
2
n
2
G (y y)
i 1
i
[( y
i 1
i
y) i
(y i
y)]
n
2
n
n
(y
i 1
i
y) i
第二章 回归模型
§2-1 回归分析的意义 一、概念：回归分析是处理变量之间相关 关系的一种数理统计方法，在生产和科学 实验中，某一客观现象的统一体中，其变 量往往客观上存在一定的关系，为了了解 事物的本质，往往需要找出描述这些变量 之间依存关系的数学表达式，这就是需要 采用回归分析进行处理。
例如：煤的灰分与密度之间就存 在着某种不确定的关系，其关系近似 成正比关系，根据实验数据可采用回 归分析求出其关系表达式。
1．从建模和求解方便来看，总希望 模型的形式简单一点，所含的变量 和参数不要太多；但从模型的使用 角度看，则要计算结果准确，反映 真实，所以从这一点看又得要把模 型选配的复杂些。
第2章 简单回归模型
将总体矩条件应用于样本 • 从总体中随机抽取一个样本容量为n的随机 样本，用{(xi,yi): i=1, „,n} ，i表示单 个样本（observation）的编号，n是样本总 量。xi,yi表示第i个样本的相应的变量。 • 每一观测样本i均应满足： yi = b0 + b1xi + ui • 将前面所假定的总体矩条件(3)(4)应用于样 本中，这种方法称为矩估计法（method of moments）.
一个重要问题
如果我们忽略包含于误差项u中的其他因素，能否 通过简单回归模型，得到x对于y的其他因素不变 情况下的影响（ceteris paribus effect of x on y）呢？ 不能。 需要对u和x的关系作出假定，或者是说，假定x与 y的关系符合一定的条件，才能通过上述模型估计 x对于y的其他因素不变情况下的影响(ceteris paribus effect of x on y)。
选择参数值b0, b1, 使得样本的矩条件成立
• 与总体中的矩条件(3)(4)相对应，在样本中相 应的矩条件(sample counterparts)为：
(3' ) ( 4' ) n
1
y
n i 1 n i 1 i
i
ˆ b ˆ x 0 b 0 1 i
i
n
1
x y
ˆ b ˆ x 0 b 0 1 i
普通最小二乘法的推导
(a ) (b) (c) (d )
x y y bˆ x bˆ x 0
n i 1 n i i 1 1 i
x ( y
i 1 n i
i
ˆ (x x) 0 y) b 1 i
第2章一元线性回归模型
布图上的点接近于一条曲线时，称为非线性相关。简单相关按
符号又可分为 正相关 （见图2.3.4 ）、负相关 （见图2.3.8 ）和零 相关 （见图2.3.6 ）。两个变量趋于在同一个方向变化时，即同
增或同减，称为变量之间存在正相关；当两个变量趋于在相反
方向变化时，即当一个变量增加，另一个变量减少时，称为变 量之间存在负相关；当两个变量的变化相互没有关系时，称为
4、普通最小二乘法
为什么要使用OLS？ （1）OLS的应用相对简便； （2）以最小化残差平方和为目标在理论很合理； （3）OLS估计量有很多有用的性质。 1）估计的回归线通过Y和X的均值。下列等式总是
ˆ ˆX 严格成立的：设下，可以证明，OLS是 “最优”的估计方法。
2.2.2 最小二乘估计量的性质
一个用于考察总体的估计量，可从如下几个方面考察其
优劣性： （1）线性。即它是否是另一个随机变量的线性函数；
（2）无偏性。即它的均值或期望是否等于总体的真实值；
（3）有效性。即它是否在所有的线性无偏估计量中具有 最小方差； （4）渐近无偏性。 即样本容量趋于无穷大时，它的均值 序列趋于总体的真值； （5）一致性。即样本容量趋于无穷大时，它是否依概率 收敛于总体的真值；
1．总变差的分解
ˆ b ˆX ˆ b Yt的估计值位于估计的回归线 Y t 0 1 t 上，Y围绕其均值的变异 (Y Y )可被分解为两部分：
ˆ Y ) (1) (Y t
ˆ) (2) (Yt Y t
样本回归函数：
3．相关系数检验
（1）变量相关的定义和分类
相关：指两个或两个以上变量间相互关系的程度或强度。
2 2 ˆ e ( Y Y ) i i OLS 最小化 i i 1 i 1
计量经济学 第二章 一元线性回归模型
计量经济学第二章一元线性回归模型第二章一元线性回归模型第一节一元线性回归模型及其古典假定第二节参数估计第三节最小二乘估计量的统计特性第四节统计显著性检验第五节预测与控制第一节回归模型的一般描述（1）确定性关系或函数关系：变量之间有唯一确定性的函数关系。
其一般表现形式为：一、回归模型的一般形式变量间的关系经济变量之间的关系，大体可分为两类：（2.1)（2）统计关系或相关关系：变量之间为非确定性依赖关系。
其一般表现形式为：(2.2)例如：函数关系：圆面积S =统计依赖关系/统计相关关系：若x和y之间确有因果关系，则称(2.2)为总体回归模型，x(一个或几个）为自变量（或解释变量或外生变量），y为因变量（或被解释变量或内生变量），u为随机项，是没有包含在模型中的自变量和其他一些随机因素对y的总影响。
一般说来，随机项来自以下几个方面：1、变量的省略。
由于人们认识的局限不能穷尽所有的影响因素或由于受时间、费用、数据质量等制约而没有引入模型之中的对被解释变量有一定影响的自变量。
2、统计误差。
数据搜集中由于计量、计算、记录等导致的登记误差；或由样本信息推断总体信息时产生的代表性误差。
3、模型的设定误差。
如在模型构造时，非线性关系用线性模型描述了；复杂关系用简单模型描述了；此非线性关系用彼非线性模型描述了等等。
4、随机误差。
被解释变量还受一些不可控制的众多的、细小的偶然因素的影响。
若相互依赖的变量间没有因果关系，则称其有相关关系。
对变量间统计关系的分析主要是通过相关分析、方差分析或回归分析(regression analysis)来完成的。
他们各有特点、职责和分析范围。
相关分析和方差分析本身虽然可以独立的进行某些方面的数量分析，但在大多数情况下，则是和回归分析结合在一起，进行综合分析，作为回归分析方法的补充。
回归分析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。
第2章 线性回归模型
项总是非负的，于是
ˆ )(Y Xβ ˆ ) Q(β ˆ) Q(β) (Y Xβ)(Y Xβ) (Y Xβ
ˆ β)XX(β ˆ β) 0 且等号成立当且仅当 (β
下面我们考虑一个多元线性回归模型的特例 ——一元线性回归模型
假设影响被解释变量Y的因素只有一个，记为X。 已知得到Y和X的一组观测值（ Yi , X i ） （ i 1,2,, n ），于是有 Yi X i i （ i 1,2,, n ） 这时，正则方程（2.12）式变为
n X i
X X
i 2 i
Yi X Y i i
当 X i（ i 1,2,, n）不全相等时,
2 ( X X ) 0 , i
这里 X ( X i ) / n 。于是正则方程左边的系数行列 式＝n( X i X ) 2 0 。经过初等计算可以得到 和 的最小二乘估计分别为
1、零均值假定 假定随机干扰项 ε 期望向量或均值向量为零，即
1 E 1 0 2 E 2 0 E (ε) E 0 E 0 n 1 X 2n
X 31 X 32 X 3n
X k1 X k2 X kn ( nk )
这里的 E (Y | X) 表示对于不同的 X 2i , X 3i ,, X ki （ i 1,2,, n ），被解释变量 Yi 的均值向量；X是 由解释变量 X 2i , X 3i ,, X ki 的数据构成的矩阵，其 中截距项可视为解释变量总是取值为1。有时也称 为数据矩阵或设计矩阵。
高级计量经济学 第二章 多元线性回归模型
E[e1e1 X] E[e1e2 X] ... E[e1en X] E[e2e1 X] E[e2e2 X] ... E[e2en X]
...
E[ene1 X] E[ene2 X] ... E[enen X]
利用方差分解公式可以得到： V a r [ e ] E [ V a r [ e X ] ] V a r [ E [ e X ] ]2 I
( X ' X )1 X '[ 2I ]X ( X ' X )1 2 ( X ' X )1
19
对多元回归方程估计结果的解释
多元回归方程估计结果可以表达为
y ˆˆ1 x 1ˆ2 x 2 .. .ˆK x K
由方程可知：
y ˆ ˆ 1 x 1 ˆ 2 x 2 . .ˆ .K x K
E ˆ S 2SY iˆ0ˆ1X 1 iˆ2X 2 i 0
0
E ˆ S 2S Y iˆ0ˆ1 X 1 iˆ2 X 2 iX 1 i 0
1
E ˆ S 2S Y iˆ0ˆ1 X 1 iˆ2 X 2 iX 2 i 0
ˆˆ1 0
N X1i
ˆ2 X2i
X1i X12i X1iX2i
XX 1iX 2i2i1 XY 1iiYi X2 2i X2iYi
思考：如果X1=2X2会出现什么情况？
最小二乘法估计
X' Xˆ X'Y
如果 X'X存在逆矩阵(这是满秩假定所要求的)，
那么其解为： ˆ(X'X)1X'Y
最小二乘法估计
（多元回归模型）
第二章回归分析中的几个基本概念
第二章回归分析中的几个基本概念1. 回归模型（Regression Model）：回归模型是回归分析的基础，用来描述两个或多个变量之间的关系。
回归模型通常包括一个或多个自变量和一个或多个因变量。
常用的回归模型有线性回归模型和非线性回归模型。
线性回归模型是最简单的回归模型，其中自变量和因变量之间的关系可以用一条直线来表示。
线性回归模型的表达式为：Y=β0+β1*X1+β2*X2+...+βn*Xn+ε其中，Y表示因变量，X1、X2、…、Xn表示自变量，β0、β1、β2、…、βn表示回归系数，ε表示误差项。
2. 回归系数（Regression Coefficients）：回归系数是回归模型中自变量的系数，用来描述自变量对因变量的影响程度。
回归系数可以通过最小二乘法估计得到，最小二乘法试图找到一组系数，使得模型的预测值和实际观测值的误差平方和最小。
回归系数的符号表示了自变量与因变量之间的方向关系。
如果回归系数为正，表示自变量的增加会使因变量增加，即存在正向关系；如果回归系数为负，表示自变量的增加会使因变量减少，即存在负向关系。
3. 拟合优度（Goodness-of-fit）：拟合优度是用来评估回归模型对样本数据的拟合程度。
通常使用R方（R-squared）来度量拟合优度。
R 方的取值范围在0到1之间，越接近1表示模型对数据的拟合程度越好。
R方的解释是，回归模型中自变量的变异能够解释因变量的变异的比例。
例如，如果R方为0.8，表示模型中自变量解释了因变量80%的变异，剩下的20%可能由其他未考虑的因素引起。
4. 显著性检验（Significance Test）：显著性检验用于判断回归模型中自变量的系数是否显著不为零，即自变量是否对因变量有显著影响。
常用的方法是计算t值和p值进行检验。
t值是回归系数除以其标准误得到的统计量。
p值是t值对应的双侧检验的概率。
如果p值小于给定的显著性水平（通常是0.05），则可以拒绝原假设，即认为回归系数显著不为零，即自变量对因变量有显著影响。
数学Lecture02回归模型及其应用
x
一元线性回归模型及其应用
一、一元线性回归模型
一元线性回归模型是用于描述两个变量之间的线性 关系的计量模型，它是多元线性回归模型和非线性 回归模型的基础，在金融实证分析中有较广泛的运 用
一元线性回归模型可表达为 yi a xi i (t 1, 2,L ,T ) （2.1） y 为被解释变量或因变量；x为解释变量或自
R Dt = 1 +t
一元线性回归模型及其应用
上述方程的回归结果如表所示。通过对表前两行输者 收益和赢者收益的比较可知，12个月对于输者变成赢 者并不是充分长的时间，在2年或3年后，输者成为了 赢者。同时在样本中剔除1月份的收益使得随后输者资 产过度业绩的程度显著降低了，表现为项的显著性有 所降低。因此，仅有部分过度反应的现象发生在1月份。
(3)解释变量与随机误差项不相关，即E(xi , µj ) = 0， ij，i、j = 1, 2, …, T
(4)随机误差项（random error term）服从均值为零，
同方差的正态分布，即µi～N(0,)
(5)一般假定解释变量具有非随机特征，这个假定说明 被解释变量的概率分布具有均值
一元线性回归模型及其应用
一元线性回归模型及其应用
表2-1： 英国股票市场上有过度反映效应吗？
A组:所有月份
n=12
n=24
输者的收益
0.0033
0.0011
赢者的收益
0.0036
-0.0003
隐含的年收益差
-0.37%
1.68%
回归方程系数 ˆ1
-0.00031 (0.29)
0.0014** (2.01)
回归方程系数 ˆ2
知，s2 是残差方差估计值，该值越大，残差就越离
回归模型发展及应用
回归模型发展及应用回归模型是统计学中一种常用的预测分析方法，它通过建立一个数学函数来描述自变量与因变量之间的关系，进而根据已知的自变量的取值预测因变量。
回归模型的发展经历了多个阶段，应用也非常广泛。
回归模型的发展可以追溯到19世纪末，当时统计学家Francis Galton提出了“回归到平均水平”的概念。
他的研究表明，子女的身高倾向于回归到父母平均身高，而不会完全遵循父母的身高。
这一思想为后来的回归模型奠定了基础。
在20世纪初，统计学家Karl Pearson和Ronald Fisher等人通过一系列研究，发展了最小二乘法（OLS）来估计回归模型的参数。
最小二乘法是一种通过最小化观测值与模型预测值之间的残差平方和来确定最佳拟合直线的方法。
这一方法极大地推动了回归模型的研究和应用。
随着计算机的发展，回归模型在实践中的应用不断扩大。
从线性回归模型到非线性回归模型，从单变量回归到多变量回归，回归模型的形式不断丰富和改进。
比如，多元线性回归模型可以同时考虑多个自变量对因变量的影响，非线性回归模型可以处理因变量与自变量之间存在非线性关系的情况。
回归模型的应用涵盖了各个领域。
在经济学中，回归模型被广泛应用于经济数据的预测和政策评估。
例如，通过建立宏观经济变量与股市收益率的回归模型，可以预测股市的表现。
在医学研究中，回归模型可以用于研究不同因素对疾病发展的影响，比如研究吸烟与肺癌之间的关系。
在市场营销中，回归模型可以用于预测销售额和顾客购买行为，从而指导市场策略的制定和推广。
此外，回归模型也被广泛用于预测分析和决策支持系统中。
通过使用历史数据构建回归模型，可以进行未来趋势的预测，以指导决策和规划。
在金融领域，回归模型可以用于预测股票价格和回报率，从而帮助投资者制定投资策略。
在道路交通规划中，回归模型可以用于预测交通流量和拥堵状况，从而指导交通规划和交通管理。
总结而言，回归模型的发展经历了多个阶段，从最小二乘法到多元回归和非线性回归，形式不断丰富和改进。
第二章回归模型
的部分（即由解释变量引起的变化），系 统外的影响（即回归模型无法说明的部分 ）只有100(１－R2)％。
二、模型的显著性检验F检验
1. F检验的步骤
假设： 检验统计量： 拒绝域：
2. F检验与R2检验的关系 公式：P49 关系： ①为R2的显著性检验； ②R2值较大时，F检验均能通过； ③实际应用中不必过分苛求R2值的大小
第二节 回归模型的参数估计
一、最小二乘估计（OLS）
原理：根据现有的统计资料（样本）， 选择一条直线，使其估计误差（残差）
的平方和达到最小“拟合总误差达 到最小”；
公式： e2 (，得到 的估计值称为“最小二乘估计” （OLS 估计）。
View\Actual,Fitted,Residual\Table.
二、最小二乘估计的性质
1. 参数估计量的评价标准 无偏性 有效性
2、高斯—马尔可夫定理
三、系数的估计误差与置信区间 1. 系数的估计误差 2. 系数的置信区间
第三节 回归模型的统计检验
一、模型的拟合优度检验R2检验
1.总平方和的分解
2.定义：(P46)
3.检验: R2１时，模型对样本的近似 程度越高；
第二章 回归模型
第一节 古典回归模型 一、回归分析 1. 总体回归函数 2. 样本回归函数 3. 回归分析的主要内容：
(1)根据样本观察值确定样本回归方程； (2)检验样本回归方程对总体回归方程的近似程度； (3)利用样本回归方程分析总体的平均变化规律。
二、回归模型的基本假定
（一）模型的随机设定 （二）模型的基本假定 1. 零均值假定 2. 同方差假定 3. 非自相关假定 4. 解释变量为非随机变量假定 5. 解释变量与随机误差项不相关假定 6. 无多重共线性假定
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 回归模型及其应用[学习目标]熟悉一元回归和多元回归模型及其运用； 掌握线性回归结果的t 检验和F 检验； 熟悉模型的稳定性检验； 熟悉虚拟变量的运用。
近年来，国际国内金融计量方法有了飞速的发展，新的计量模型和理论层出不穷，然而作为计量经济学的经典回归理论，在经济计量中仍有广泛的运用。
它主要被用来描述和估计出某一选定变量与其他一组变量之间的理论关系，并在金融投资领域得到广泛应用，如对经典投资理论CAPM 模型,APT 模型，IPO 折价等进行实证研究，所以说我们在更深入地学习金融计量学之前，先必须要对经典回归模型进行全面牢固的掌握。
本章先介绍一元回归和多元回顾模型的估计和检验，然后再介绍如何使用虚拟变量以及如何检验模型的稳定性。
第一节 一元线性回归模型及其应用一元线性回归模型是用于描述两个变量之间的线性关系的计量模型，它是多元线性回归模型和非线性回归模型的基础，在金融实证分析中有较广泛的运用，因此牢固掌握一元回归模型有助于进一步学习多元线性回归模型和非线性回归模型。
一、一元线性回归模型一元线性回归模型可表达为i i i y a x βμ=++(1,2,,)t T = （2.1）y 为被解释变量或因变量；x 为解释变量或自变量；i u 为误差项或扰动项，该项表示y变化中未被x 所解释的部分；T 为样本个数。
为了使参数的估计量具有比较好的性质，通常我们需要对于模型（2.1）提出若干假定。
如果实际模型满足这些假定，在估计模型的参数值时，普通最小二乘法就是一种比较适用的估计方法。
古典线性回归模型包含一系列基本假设，这些假设包括：(1)随机误差项具有零均值和同方差性，即E (µi ) = 0，Var(µi ) = 2σ(2)随机误差项之间不相关，即E (µi , µj ) = 0，∀i ≠j ，i 、j = 1, 2, …, T （3）解释变量x 与随机误差项不相关，即E (x i , µj ) = 0，∀i ≠j ，i 、j = 1, 2, …, T （4）随机误差项（random error term ）服从均值为零，同方差的正态分布，即µi ～N (0,2σ) （5）一般假定解释变量x 具有非随机特征，这个假定说明被解释变量y 的概率分布具有均值：()()i i i i i E y x E a x u a x ββ=++=+以上假设称为线性回归模型的经典假设或者高斯假设，满足该假设的线性回归模型，也称为经典线性回归模型。
在实际建模过程中，除了随机干扰项的正态假设之外，对模型是否满足其它假设都需要进行检验。
在以上的假定中，假设（1）意味着Y 的观测值有可能分布在直线的两旁。
而()i i E Y a X β=+ （2.2） 因此，点（,i i X Y ）的分布趋势大致上同直线Y a X β=+一致，比如说当0β>时，若i X 较大，则i Y 也较大。
因此，我们把a X β+这一确定性部分称为Y 的趋势部分。
用经济时间序列数据建立模型时，关于误差项同方差并不一定合理。
以t 表示时间，建立如下模型：i i i Y a X βμ=++ （2.3） 像这样的模型，误差项的方差很多情况下与时间t 相关。
关于假设（2），在模型（2.1）中，这意味着误差项t u 是一个不相关的序列，即：()0i j E u u =（i j ≠） （2.4）在经济时间序列的场合，这是一个很严格的假定，在大多数的场合，误差项总存在着或多或少的自相关性。
对于存在自相关的时间序列，我们可以用广义差分法或者迭代法处理。
由于Y 与u 线性相关，因此Y 本身也是随机变量。
对于X 的任何值，Y 将服从正态分布，i Y 的统计分布完全能够用它的均值和方差来描述，也就是：()()i i i E Y E a X u β=++ (2.5)由于a 和β是常数，并且i X 是随机的，因此上式可以变为：()()i i i E Y a X E u β=++ （2.6）但是，我们假设i u 的期望值为0。
因此(2.6)又可以变成：()i i E Y a X β=+ （2.7）由于i u 的期望值为0，所以i Y 的方差，等于2i u 的期望值，即存在：2222(0)//()i i iu n u n E u σ-===∑∑ (2.8) 因此，i Y 服从于正态分布2(,)i N a x βσ+。
这可以用图2-1进行说明。
对于X 的每一个值，都存在一个i Y 的期望值，而i Y 服从正态分布，则我们可以估计i Y 的概率，由此得到概率模型。
图2-1：普通最小二乘回归模型二、最小二乘法（OLS ）最小二乘法的基本原则是：最优拟合直线应该使各点到直线的距离绝对值之和最小。
为了数学表达方便，剔除正负号的影响，上述原则可变为距离的平方和最小。
假定根据这一原理估计得到的a 、β分别为ˆa 、ˆβ，则直线可表达为ˆˆi i y a x β=+。
直线上的i y 值记为ˆi y ，称为拟合值（fitted value ）。
如图2-2（a ）所示：实际值与拟合值的差记为ˆi μ，称为残差（residual ），可以看作是随机误差项i μ的估计值。
根据前面的定义，最小二乘法就是使得直线与各散点的距离的平方和最小，实际上是使残差平方和（residual sum squares,简称RSS ）21ˆTii u=∑最小化，即最小化RSS =21ˆ()Tiii y y=-=∑21ˆˆ()Ti ii y a x β=--∑ （2.9）根据最小化的一阶条件，将上式分别对ˆa 、ˆβ求偏导，并令其为零，即可得到如下结果：22ˆi i ix y TxyxTxβ-=-∑∑ (2.10)ˆˆay x β=- (2.11)O i x x O X(a) （b ）图2-2： OLS 的数据拟合在普通最小二乘法中，能够最好地拟合数据的那条直线是通过最小化拟合预测值和真实值之间误差项的平方和而绘制出来的。
这可以通过图2-2(b)来说明。
对简单线性回归模型Y X αβμ=++，根据一组观测值（i X ，i Y ），12,...,i T =，对参数α，β及误差项μ的方差进行估计，最简单常用的方法是最小二乘估计。
最小二乘法估计的思想是要求样本回归直线尽可能的拟合实际观测值，即回归直线上的点ˆi Y 与真实观测点i Y 的“总体误差”尽可能的小。
假设参数的值为α、β ，则 ()i i iU Y X αβ=-+表示了观测点（i X ，i Y ）同回归直线的一种偏差。
最小二乘法要求对于参数α，β而言，其估计值ˆα，ˆβ，应该满足： 22ˆ,11ˆˆ[()]min [()]TTi i i i i i Q Y X Y X αβαβαβ===-+=-+∑∑ （2.12） 即，在所有可能的直线Y X αβ=+ 中，ˆˆY X αβ=+是同各观测值点的纵向偏差平方和最小的直线。
为了求解（2.12）中的最小值问题，我们记21(,)[()]Ti i i V Y X αβαβ==-+∑ （2.13）根据微积分的知识，当V 对α，β 的偏导数为零时，V 达到最小值，即以下两式成立：1ˆˆ2[()]0Ti ii Y X αβ=--+=∑ （2.14） 1ˆˆ2[()]0Ti i ii Y X X αβ=--+=∑ （2.15） 接下来我们分别用X Y 和表示X Y 和两个样本的均值，从而解得：1122211()()ˆ()TTiii i i i TTiii i Y Y XX X Y TXYXX XTX β====---=--∑∑∑∑＝（2.16）同时，我们有ˆˆa y x β=- （2.17）从而我们得到了α，β的最小二乘估计量ˆα，ˆβ。
这里我们需要交代一个重要的概念，即“估计量”和“估计值”的区别。
根据观测样本点（i X ，i Y ），12,...,i T =，代入（2.16）计算出来的结果是一个“估计值”或者称为“点估计”，是参数的一个具体数值；当我们仅仅把（2.16）看成是ˆβ的表达式，这时候ˆα，ˆβ是i X ，i Y 的函数，而（i X ，i Y ）是一组随机观测值，所以ˆα，ˆβ也具有随机性，此时我们称之为“估计量”。
计量经济学中另外一种重要的估计方法是极大似然法。
最小二乘法的思想是，随机抽取n 组样本观测值之后，最合理的参数估计量应该使得模型能够最好地拟合样本数据；而极大似然法的思想是，当随机抽取n 组样本观测值之后，最合理的参数估计量应该使得从模型中抽取该n 组样本观测值的概率最大。
极大似然法更本质地揭示了通过样本估计总体参数的内在原理。
计量经济学的发展，更多的是以极大似然法为基础的。
三、最小二乘估计量的性质最小二乘估法是十八世纪末由数学家高斯提出来的。
最小二乘法在许多学科领域内得到应用，特别是在处理实验数据的时候。
当估计出模型参数之后，我们需要考虑参数估计值的精确度，即参数是否能够代表总体参数的真实值。
一般的，由于抽样波动的存在和所选择的估计方法不同，都会使得估计的参数与总体参数的真值存在差距，因此我们需要考察参数估计量的性质，以衡量估计量的“好坏”。
在一定的假设条件下，最小二乘估计有许多良好的性质，下面我们以一元回归模型01Y X ααμ=++为例讲述最小二乘法的性质。
（1）线性无偏性：0ˆα，1ˆα是参数0α，1α的线性无偏估计。
线性即估计量是另一随机变量的线性函数，无偏性即估计量的均值或者期望等于总体参数的真实值，要证明无偏性，必须具有E (µi ) = 0这一假设前提。
下面，我们先来证明1ˆα的线性和无偏性，由（2.16），并注意到11()()()TTiii i i i Y Y XX X X Y ==--=-∑∑因此，12111ˆ[]()TTi i i i Ti i ii X XY Y XX αω===-==-∑∑∑ （2.18）即1ˆα是Y 的观测值的线性组合，即1ˆα具有线性性，其中的组合系数 21()i i Tii X XXX ω=-=-∑ （2.19）具有性质1110, ()1TTTii i i i i i i X X X ωωω====-==∑∑∑ （2.20）因此10111011111ˆ()()[()]()T Ti i i i i i i TT Ti i i i i i i i E E Y E X X E αωωααμαωαωωμα=======++=++=∑∑∑∑∑ （2.21）这里用到了（2.20）式和误差项均值为零的假设。
同理，利用0α的线性表达式，结合上述方法也可以证明出0α的线性无偏性，有兴趣的读者可以自己去证明。
这样我们就证明了0ˆα，1ˆα的线性无偏性。
（2）一致性（consistency ）：0ˆα，1ˆα是参数0α，1α的一致性估计。