第二章-1 回归分析与回归方程
§2.1线性回归模型概述解析
01-2-28
重庆商学院经济系
总体分布
200
150
Y
100 50 50
100
150 X
200
250
300
01-2-28
重庆商学院经济系
8
总体回归曲线 （Popular Regression Curve）
条件分布：以X取定值为条件的Y的条件分布 条件概率：给定X的Y的概率，记为P(Y|X)。 例如，P(Y=55|X=80)=1/5；P（Y=150|X=260）=1/7。 条件期望（conditional Expectation）：给定X的Y的 期望值，记为E(Y|X)。 例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5＋ 70×1/5＋75×1/5＝65 （总体回归曲线的几何意义）：当解释变量给定值时 因变量的条件期望值的轨迹。
重庆商学院经济系 2
01-2-28
§2.1 线性回归模型概述
一、 线性回归模型的特征 二、 线性回归的普遍性 三、 线性回归模型的基本假设
01-2-28
重庆商学院经济系
3
单方程回归模型概述
单方程回归模型分为；线性和非线性 线性模型（按变量划分）；变量以1次的形式出现 线性模型（按参数划分）；参数以1次的形式出现 线性回归模型是线性模型的一种，参数以1次形式出现， 通常可以通过一些变换，将非1次的变量化为1次。 线性回归模型的数学基础；回归分析，企图通过回归 模型的形式揭示变量之间的因果关系 线性回归模型是是一类最为普遍的计量经济模型
展开泰勒级数，得到一个线性近似公式
01-2-28
重庆商学院经济系
22
三、线性回归模型的基本假定
第2章计量经济学回归分析的性质ppt课件
§2.4 数据
一、数据的分类 按照数据与时间的关系，可以分为： ❖ 时间序列数据（time series data） ❖ 横截面数据（cross-section data） ❖ 面板数据（panel data/ pooling data）
实例：我国地区的生产总值
二、数据的来源和质量
❖ 社会科学数据都是非实验所得，存在测量误 差，或出于疏漏或差错 ；
cov(Xt,Yt)
Var(Xt) Var(Yt)
样本相关系数r
rXYˆ
1 T1
(Xt X)(Yt Y)
1 T1
(Xt X)2
1 T1
(Yt Y)2
(Xt X)(Yt Y)
(Xt X)2 (Yt Y)2
性质： （1）r具有对称性 （2）r与原点和尺度都无关
400
200
0 0
X
10
20
30
40
50
完全相关
Y 2
1
X
0
10
20
30
40
50
高度相关
3.0
2.5
Y
2.0
1.5
1.0
0.5
2.0
2.5
3.0
3.5
弱相关
X
4.0
4.5
4
Y 2
0
-2
X -4
-4
-2
0
2
4
零相关
2、按变量个数
200 150 100
50 0 0
Y
X
50
100
150
200
250
非线性相关/负相关
Y 2
1
第二章 经典线性回归模型
它表明，对于n个时期t =1,2,…,n，该模型成立。
6
更一般的形式为：
Yi xi ui
i 1,2,...,n
(2.4)
即模型对X和Y的n对观测值（i=1,2,…,n）成立。 (2.3)式一般用于观测值为时间序列的情形，在横 截面数据的情形，通常采用(2.4) 式。
7
例2.1 城镇居民家庭人均消费方程 根据凯恩斯的绝对收入消费理论，在其它 条件不变的情况下，消费与可支配收入同方向变 动，即消费曲线的斜率为正。根据中国2006年31 个省市的城镇居民家庭平均每人全年可支配收入 income(单位：元)和城镇居民家庭平均每人全年 消费性支出consume的数据(单位：元)，画出散 点图如下：
（6）各解释变量之间不存在严格的线性关系。
上述假设条件可用矩阵表示为以下四个条件：
18
A1. E(u)=0 A2. E (uu) 2 I n
由于
u1 u2 uu u1 u2 ... u n
2
u12 u1u2 ...... u1un 2 u2u1 u2 ...... u2un ... un ................................. 2 unu1 unu2 ...... un
8
15,000 14,000 13,000 12,000
CONSUME
11,000 10,000 9,000 8,000 7,000 6,000 8,000
12,000
16,000 INCOME
20,000
24,000
从图中看出，两变量之间呈线性关系，可建立城镇居 民家庭人均消费方程如下：
C o n su m e * In c o m e u
计量经济学课件4
方法G有i*良好的统计性质。
2.3 一元线性回归模型的参数估计 2.3.1普通最小二乘法
由（2.3.2）、（2.3.3）式得：
（2.3.4）
（2.3.5）
这样我们就定义了变量x和y之间的一个简单线性回归模型，也称为两变 量或一元线性回归模型。其线性的含义表示无论变量x的取值如何，它 的任何一单位变化都对变量y产生相同的影响。
2.2 一元线性回归模型的基本假设 2.2.1对回归模型设定的假设
假设1：回归模型是正确设定的。 模型的正确设定主要包括两方面的内容：（1）模型选择了正确的变量 ；（2）模型选择了正确的函数形式。 计量经济模型应用于现实经济问题时，因果关系必须有经济理论为其依 据，函数关系也必须要有可靠的依据。 模型选择了正确的变量指既没有遗漏重要的相关变量，也没有多选无关 变量且有经济理论支持该因果关系。当假设1满足时，称模型没有设定 偏误，否则模型存在设定偏误。 假设1‘：线性回归模型 回归模型对变量不一定是线性的，但对参数是线性的。在计量经济学里 说到的线性回归都是指关于参数是线性的。要注意的是回归模型的估计 原理不依赖于y和x的定义，但系数的解释依赖于它们的定义。
xi(yi y ) (xi x )xi
x(y i x(xi
y) x)
(xi x )(yi y ) (xi x )2
2.3 一元线性回归模型的参数估计 2.3.2最小二乘估计量的统计性质
(1)线性性
这里指 ˆ0和 ˆ1分别是 y1, y2 , , yn 的线性函数。
令 ki
(xi x ) ，代入上式得
第二章回归模型
的部分（即由解释变量引起的变化），系 统外的影响（即回归模型无法说明的部分 ）只有100(１－R2)％。
二、模型的显著性检验F检验
1. F检验的步骤
假设： 检验统计量： 拒绝域：
2. F检验与R2检验的关系 公式：P49 关系： ①为R2的显著性检验； ②R2值较大时，F检验均能通过； ③实际应用中不必过分苛求R2值的大小
第二节 回归模型的参数估计
一、最小二乘估计（OLS）
原理：根据现有的统计资料（样本）， 选择一条直线，使其估计误差（残差）
的平方和达到最小“拟合总误差达 到最小”；
公式： e2 (，得到 的估计值称为“最小二乘估计” （OLS 估计）。
View\Actual,Fitted,Residual\Table.
二、最小二乘估计的性质
1. 参数估计量的评价标准 无偏性 有效性
2、高斯—马尔可夫定理
三、系数的估计误差与置信区间 1. 系数的估计误差 2. 系数的置信区间
第三节 回归模型的统计检验
一、模型的拟合优度检验R2检验
1.总平方和的分解
2.定义：(P46)
3.检验: R2１时，模型对样本的近似 程度越高；
第二章 回归模型
第一节 古典回归模型 一、回归分析 1. 总体回归函数 2. 样本回归函数 3. 回归分析的主要内容：
(1)根据样本观察值确定样本回归方程； (2)检验样本回归方程对总体回归方程的近似程度； (3)利用样本回归方程分析总体的平均变化规律。
二、回归模型的基本假定
（一）模型的随机设定 （二）模型的基本假定 1. 零均值假定 2. 同方差假定 3. 非自相关假定 4. 解释变量为非随机变量假定 5. 解释变量与随机误差项不相关假定 6. 无多重共线性假定
最新第二章(简单线性回归模型)2-1答案
2.1回归分析与回归函数一、判断题1. 总体回归直线是解释变量取各给定值时被解释变量条件期望的轨迹。
（T ）2. 线性回归是指解释变量和被解释变量之间呈现线性关系。
（ F ）3. 随机变量的条件期望与非条件期望是一回事。
（F ）4、总体回归函数给出了对应于每一个自变量的因变量的值。
（F ）二、单项选择题1．变量之间的关系可以分为两大类，它们是（ A ）。
A ．函数关系与相关关系B ．线性相关关系和非线性相关关系C ．正相关关系和负相关关系D ．简单相关关系和复杂相关关系2．相关关系是指（ D ）。
A ．变量间的非独立关系B ．变量间的因果关系C ．变量间的函数关系D ．变量间不确定性的依存关系3．进行相关分析时的两个变量（ A ）。
A ．都是随机变量B ．都不是随机变量C ．一个是随机变量，一个不是随机变量D ．随机的或非随机都可以4．回归分析中定义的（ B ）。
A.解释变量和被解释变量都是随机变量B.解释变量为非随机变量，被解释变量为随机变量C.解释变量和被解释变量都为非随机变量D.解释变量为随机变量，被解释变量为非随机变量5．表示x 和y 之间真实线性关系的总体回归模型是（ C ）。
A ．01ˆˆˆt t Y X ββ=+B ．01()t t E Y X ββ=+C ．01t t t Y X u ββ=++D ．01t t Y X ββ=+6.一元线性样本回归直线可以表示为（ C ）A ．i i X Y u i 10++=ββ B. i 10X )(Y E i ββ+=C. i i e X Y ++=∧∧i 10ββ D. i 10X i Y ββ+=∧7．对于i 01i i ˆˆY =X +e ββ+，以ˆσ表示估计标准误差，r 表示相关系数，则有（ D）。
A ．ˆ0r=1σ＝时，B ．ˆ0r=-1σ＝时，C ．ˆ0r=0σ＝时，D ．ˆ0r=1r=-1σ＝时，或8．相关系数r 的取值范围是（ D ）。
第二章 一元线性回归
n ei 0 i 1 n xe 0 i i i 1
经整理后,得正规方程组
n n ˆ ˆ n ( x ) 0 i 1 yi i 1 i 1 n n n ( x ) ˆ ( x 2 ) ˆ xy i 0 i 1 i i i 1 i 1 i 1
y ˆ i 0 1xi ˆi 之间残差的平方和最小。 使观测值 y i 和拟合值 y
ei y i y ˆi
n
称为yi的残差
ˆ , ˆ ) ˆ ˆ x )2 Q( ( y i 0 1i 0 1
i 1
min ( yi 0 1 xi ) 2
i
xi x
2 ( x x ) i i 1 n
yi
2 .3 最小二乘估计的性质
二、无偏性
ˆ ) E ( 1
i 1 n
n
xi x
2 ( x x ) j j 1 n
其中用到
E ( yi )
( x x) 0 (xi x) xi (xi x)2
二、用统计软件计算
1．例2.1 用Excel软件计算
什么是P 值?(P-value)
• P 值即显著性概率值 ，Significence Probability Value
•
是当原假设为真时所得到的样本观察结果或更极端情况 出现的概率。
P值与t值： P t t值 P值
•
它是用此样本拒绝原假设所犯弃真错误的真实概率，被 称为观察到的(或实测的)显著性水平。P值也可以理解为 在零假设正确的情况下，利用观测数据得到与零假设相 一致的结果的概率。
2 .1 一元线性回归模型
计量经济学(2012B)(第二章多元线性回归)详解
2 2i
n
n
2 i
i ( yi ˆ1x1i ˆ2 x2i )
i 1
i 1
n
i yi
n
(
y
ˆ x
ˆ x
) y
i1
i
1 1i
2 2i
i
i 1
n
y 2
(ˆ
n
x
y
ˆ
n
x
y )
i1
i
1 i1 1i i
2 i1 2 i i
TSS ESS
2.5 单个回归参数的置信区间 与显著性检验
一、置信区间
H (4)
的拒绝域为：
0
F F (2, n 3)
(5) 推断：若
F F (2, n 3)
，则拒绝 H ， 0
认为回归参数整体显著；
H 若 F F (2, n 3)
，则接受
，
0
认为回归参数整体上不显著。
回归结果的综合表示
yˆi 0.0905 0.426x1i 0.0084x2i
Sˆj : 或 t:
模型的估计效果. (5) 拟合优度与F 检验中的 F 统计量的关系是什么?这两个
量在评价二元线性回归模型的估计效果上有何区别? (6) 试比较一元线性回归与二元线性回归的回归误差,哪
个拟合的效果更好?
应用：
（1）预测当累计饲料投入为 20磅时，鸡的平均
重量是多少？ yˆ 5.2415 f
（磅）
（2）对于二元线性回归方程，求饲料投入的边际生产率？
(0.1527) (0.0439)
(0.5928) (9.6989)
(0.0027) (3.1550)
R2 0.9855, R2 0.9831 ， F 408.9551
第二章双变量回归分析基本概念
第七节 样本回归函数（SRF）
对应(2.3.2)的SRF
Yˆi ˆ1 ˆ2 Xi 其中 Yˆ读为Y-帽，是 E(Y 的Xi估) 计量。
• 注意，一个估计量(estimator)，又称(样本)统计量 (statistic)，是指一个规则或公式或方法。在一项应用中， 由估计量算出的一个具体的数值，称为估计值 (estimate) 。
1-12
第七节 样本回归函数（SRF）
总体是观测不到的，大多数情况下，对应于一个 解释变量X，只能观测到被解释变量Y的一个值。
• 我们只能得到对应于某些固定X 值的Y 值的一个（有限 个）样本。
1-13
第七节 样本回归函数（SRF）
样本回归函数(sample regression function, SRF)
（2.3.1）
PRF的形式是一个经验问题，线性方程是常
用的形式：
E(Y Xi ) f ( Xi ) 1 2 Xi （2.3.2）
• 其中 1 和 2为未知但却固定的参数，称为回归系 数( regression coefficient)。1 和 2 分别称为截距
和斜率系数。方程(2.3.2）本身则称为线性总体回归 函数或简称线性总体回归。
Yi 1 2 X i ui
(2.5.2)
(2.5.2)为PFR的随机设定形式，与（2.3.2）等价。
1-11
第六节 随机扰动项的意义
为什么要引入随机扰动项？
• 理论的含糊性 • 数据的缺失 • 变量的解释力（核心变量与周边变量） • 人类行为的内在随机性 • 糟糕的替代变量（永久消费与当前消费等） • 节省原则 • 错误的函数形式
• 父母身高、子女身高 • 儿女的身高趋向人口总体平均，普遍回归定律(law of
计量经济学 第二章 一元线性回归模型
计量经济学第二章一元线性回归模型第二章一元线性回归模型第一节一元线性回归模型及其古典假定第二节参数估计第三节最小二乘估计量的统计特性第四节统计显著性检验第五节预测与控制第一节回归模型的一般描述（1）确定性关系或函数关系：变量之间有唯一确定性的函数关系。
其一般表现形式为：一、回归模型的一般形式变量间的关系经济变量之间的关系，大体可分为两类：（2.1)（2）统计关系或相关关系：变量之间为非确定性依赖关系。
其一般表现形式为：(2.2)例如：函数关系：圆面积S =统计依赖关系/统计相关关系：若x和y之间确有因果关系，则称(2.2)为总体回归模型，x(一个或几个）为自变量（或解释变量或外生变量），y为因变量（或被解释变量或内生变量），u为随机项，是没有包含在模型中的自变量和其他一些随机因素对y的总影响。
一般说来，随机项来自以下几个方面：1、变量的省略。
由于人们认识的局限不能穷尽所有的影响因素或由于受时间、费用、数据质量等制约而没有引入模型之中的对被解释变量有一定影响的自变量。
2、统计误差。
数据搜集中由于计量、计算、记录等导致的登记误差；或由样本信息推断总体信息时产生的代表性误差。
3、模型的设定误差。
如在模型构造时，非线性关系用线性模型描述了；复杂关系用简单模型描述了；此非线性关系用彼非线性模型描述了等等。
4、随机误差。
被解释变量还受一些不可控制的众多的、细小的偶然因素的影响。
若相互依赖的变量间没有因果关系，则称其有相关关系。
对变量间统计关系的分析主要是通过相关分析、方差分析或回归分析(regression analysis)来完成的。
他们各有特点、职责和分析范围。
相关分析和方差分析本身虽然可以独立的进行某些方面的数量分析，但在大多数情况下，则是和回归分析结合在一起，进行综合分析，作为回归分析方法的补充。
回归分析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。
第二章回归分析
北京3月下旬平均最低温度（Tm）
例
环流指标A( 3月16~20日500Pha候平均
图上沿130°E，30~40°N 的高度差)
海洋与气象学院大气科学专业
北京Tm与A资料表
样本 序
1
2
3
4
5
6
7
8
9 10
Y(Tm) 0.9 1.2 2.2 2.4 -0.5 2.5 -1.1 0.0 6.2 2.7
X(A) 32.0 25.0 20.0 26.0 27.0 24.0 28.0 24.0 15.0 16.0
QLy-yU 5.1 8 - 2 3.8 08 2 7 .2 7 4393
海洋与气象学院大气科学专业
则F统计量值
F U1 3.0 887 42.0 4063 Qn-2 2.7 234 /138
取信度α=0.05,查F分布表, Fα=4.41 结果:回归方程显著
海洋与气象学院大气科学专业
小结
相关与回归分析的概念
i 1
i1 n
( yi - y)2
i1
n
将
( xi - x )( yi - y)
b i1 n
代入上式
(xi - x)2
i1
海洋与气象学院大气科学专业
n
( xi - x)( yi - y)
2
得
U
i 1
Lyy n
n
r2
(xi - x)2
(
yi
-
y)2
i1
i 1
意义：反映了预报因子x与预报量y的的线性关系程度。
★ 二、简单线性回归
1、 一元线性回归模型 2、回归系数的最小二乘法估计 3、回归方程的方差分析 4、相关系数与线性回归 5、回归方程的显著性检验(F检验)
第二章 一元线性回归模型
__
__
2
/n
★样本相关系数r是总体相关系数 的一致估计
相关系数有以下特点：
• • • • 相关系数的取值在-1与1之间。 （2）当r=0时，线性无关。 （3）若r＞0 ，正相关，若r＜0 ，负相关。 （4）当0＜|r|＜1时，存在一定的线性相关 关系， 越接近于1，相关程度越高。 • （5）当|r|=1时，表明x与y完全线性相关 （线性函数），若r=1，称x与y完全正相关； 若r=-1，称x与y完全负相关。 • 多个变量之间的线性相关程度，可用复相 关系数和偏相关系数去度量。
●假定解释变量X在重复抽样中取固定值。 但与扰动项u是不相关的。(从变量X角度看是外生的)
注意: 解释变量非随机在自然科学的实验研究中相对
Yi 1 2 X i ui
●假定解释变量X是非随机的，或者虽然X是随机的，
容易满足，经济领域中变量的观测是被动不可控的， X非随机的假定并不一定都满足。
E( y xi ) 0 1xi
11
• 可以看出,虽然每个家庭的消费支出存在差 异,但平均来说，家庭消费支出是随家庭可 支配收入的递增而递增的。当x取各种值时, y的条件均值的轨迹接近一条直线,该直线称 为y对x的回归直线。（回归曲线）。 • 把y的条件均值表示为x的某种函数，可写 为：
E( y xi ) 0 1xi
Var ( y xi ) 2
Cov( yi , y j ) 0
y | xi ~ N (0 1xi , )
2
22
第三节 参数估计
• 一、样本回归方程
• 对于
yi 0 1 xi ui
• 在满足古典假定下，两边求条件均值，得到总体 回归函数：
回归分析概述——计量经济学
•
重于泰山，轻于鸿毛。10:25:5710:25:5 710:25 Tuesday , November 10, 2020
•
安全在于心细，事故出在麻痹。20.11. 1020.1 1.1010:25:5710 :25:57 November 10, 2020
•
加强自身建设，增强个人的休养。202 0年11 月10日 上午10 时25分2 0.11.10 20.11.1 0
•
追求至善凭技术开拓市场，凭管理增 创效益 ，凭服 务树立 形象。2 020年1 1月10 日星期 二上午1 0时25 分57秒1 0:25:57 20.11.1 0
•
严格把控质量关，让生产更加有保障 。2020 年11月 上午10 时25分2 0.11.10 10:25N ovember 10, 2020
935 1012 1210 1408 1650 1848 2101 2354 2860 968 1045 1243 1474 1672 1881 2189 2486 2871
1078 1254 1496 1683 1925 2233 2552 1122 1298 1496 1716 1969 2244 2585 1155 1331 1562 1749 2013 2299 2640 1188 1364 1573 1771 2035 2310 1210 1408 1606 1804 2101
相应的函数：
E(Y | X i ) f ( X i )
称为（双变量）总体回归函数（population regression function, PRF）。
• 含义：
第二章 一元线性回归分析基础
加，消费增加，但消费的增长低于收入的增长，即消
费对收入的弹性小于1。它的数学表述为
Y X
0
Y X
1,
Y X
Y X
其中Y为消费额，X为收入。
该线性方程描述了消费与收入之间的确定关系，即给定 一个收入值，可以根据方程得到一个唯一确定的消费值。 但实际上消费与收入间的关系不是准确实现的。
原因：入随机误差项，将变量之间的关系用一个线性 随机方程来描述，用随机数学的方法来估计方程中的 参数，这就是线性回归模型的特征，也就是线性计量 经济学模型的特征。
二、一元线性回归模型
单方程线性回归模型的一般形式为
Yi 1 2 X2i 3 X3i k Xki ui ,i 1,2, ,n 其中Y为被解释变量，X 2 ,X 3 , ,X n 为解释变量。
化。
如果误差项的方差不同，那么与其对应的观测值Yi的可 靠程度也不相同。这会使参数的检验和利用模型进行预 测复杂化。而满足同方差假设，将使检验和预测简化。
假设3 表示不同的误差项之间互相独立，同时，不同的 被解释变量在统计上也是互相独立的。即
Cov(Yi, Yj)= E(Yi－E(Yi)) (Yj－E(Yj))= E(uiuj)=0， i≠j 假假设设4，自通动常满X足i为，确即定性变量，即非随机变量，此时，该
也可以用显函数形式表示为 Y f ( X1,X 2 , ,X n )
其中最简单的形式为一元线性函数关系。
例如 当某种商品单价P固定不变，其销售收入y与销售 的商品数量x之间的关系为一元线性关系，即y = Px
如果用x，y构成的直角坐标图来表示，上式所表示的 函数关系为一条经过坐标原点的直线，所有可能的点 都在这条直线上。
Cov(ui, Xi)= E(ui－E(ui)) (Xi－E(Xi))=0，i=1,2, ……,n 假设5 随机误差项服从零均值，同方差的正态分布。即
第二章(简单线性回归模型)2-1答案
2.1回归分析与回归函数一、判断题1. 总体回归直线是解释变量取各给定值时被解释变量条件期望的轨迹。
（T ）2. 线性回归是指解释变量和被解释变量之间呈现线性关系。
（ F ）3. 随机变量的条件期望与非条件期望是一回事。
（F ）4、总体回归函数给出了对应于每一个自变量的因变量的值。
（F ）二、单项选择题1．变量之间的关系可以分为两大类，它们是（ A ）。
A ．函数关系与相关关系B ．线性相关关系和非线性相关关系C ．正相关关系和负相关关系D ．简单相关关系和复杂相关关系2．相关关系是指（ D ）。
A ．变量间的非独立关系B ．变量间的因果关系C ．变量间的函数关系D ．变量间不确定性的依存关系3．进行相关分析时的两个变量（ A ）。
A ．都是随机变量B ．都不是随机变量C ．一个是随机变量，一个不是随机变量D ．随机的或非随机都可以4．回归分析中定义的（ B ）。
A.解释变量和被解释变量都是随机变量B.解释变量为非随机变量，被解释变量为随机变量C.解释变量和被解释变量都为非随机变量D.解释变量为随机变量，被解释变量为非随机变量5．表示x 和y 之间真实线性关系的总体回归模型是（ C ）。
A ．01ˆˆˆt t Y X ββ=+B ．01()t t E Y X ββ=+C ．01t t t Y X u ββ=++D ．01t t Y X ββ=+6.一元线性样本回归直线可以表示为（ C ）A ．i i X Y u i 10++=ββ B. i 10X )(Y E i ββ+=C. i i e X Y ++=∧∧i 10ββ D. i 10X i Y ββ+=∧7．对于i 01i i ˆˆY =X +e ββ+，以ˆσ表示估计标准误差，r 表示相关系数，则有（ D）。
A ．ˆ0r=1σ＝时，B ．ˆ0r=-1σ＝时，C ．ˆ0r=0σ＝时，D ．ˆ0r=1r=-1σ＝时，或8．相关系数r 的取值范围是（ D ）。
第二章 回归分析的基本思想
第二章回归分析的基本思想第一节回归分析的含义回归分析的基本思想根据经济理论建立计量经济学模型时，计量经济学家会大量地用到回归分析（Regression Analysis）技术，这一节我们将根据最简单的线性回归模型--双变量模型介绍回归分析的基本思想。
回归分析的含义回归分析是研究一个变量与另一个（或一些）变量依赖关系的计算方法和理论。
其中，前一个变量称为被解释变量（Explained Variable）或因变量（Dependent Variable），后一个变量称为解释变量（Explanatory Variable）或自变量（Independent Variable）。
在本书中，为统一符号，统一用y表示因变量，x代表自变量，如果有多个自变量，则用适当的下标表示各个不同的自变量，如有n个自变量，则用x1，x2，…，xn表示。
例如，我们可能对某种商品的需求量与该商品的价格、消费者的收入以及其他竞争性商品的价格之间的关系感兴趣；可能对失业率变动与产出增长之间的关系感兴趣；可能对股票价格指数与利率、GDP增长率等因素之间的关系感兴趣；可能对职工工资与受教育年限之间的关系感兴趣；也可能对购买书报支出金额与收入之间的关系感兴趣。
在这些例子中，有的有理论基础，如需求定理就提供了这样的一个理论基础，即某种产品的需求量依赖于该产品的价格、消费者的收入以及竞争性产品的价格等因素；而奥肯定律则表明失业率的降低依赖于实际产出的增长。
一、回归分析与因果关系要特别注意的是，变量之间的因果关系是回归分析的前提，在被解释变量与解释变量之间存在因果关系的基础上，才能进行回归分析，否则，回归分析没有任何意义。
例如，某段时间内，河水与股市都上涨，显然，如果进行回归分析，则也能建立起回归模型，但得到的结果没有什么意义，因为，河水的上涨与股市的上涨之间并没有什么依赖关系。
二、回归分析与相关分析相关分析是讨论变量之间相关程度的一种统计分析方法。
回归方程式
回归方程式
回归方程公式：b=(x1y1+x2y2+...xnyn-nXY)/(x1+x2+...xn-nX)。
1、回归直线方程可以用最小二乘法求回归直线方程中的a,b，从而得到回归直线方程。
线性回归也是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。
按自变量个数可分为一元线性回归分析方程和多元线性回归分析方程。
2、回归方程是对变量之间统计关系进行定量描述的一种数学表达式。
线性回归模型，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。
3、最小二乘法又称最小平方法，是一种数学优化技术。
与最小二乘法不同的是，最大似然法需要已知这个概率分布函数，这在实践中是很困难的。
一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计和最小二乘估计相同。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
11
（三）“线性”一词的含义（有两种解释）
1、模型就变量而言是线性的
例如：
E (YX )X
i
1
2i
2、模型就参数而言是线性的
例如：பைடு நூலகம்E (YX )X 2
i
1
2i
E (YX)X
i
1
2i
E(YX) 1
i
1
2X
注：在计量经济学中，从回归理论的发展、参数的估计方法来说，主要 考虑的是模型就参数而言是线性的情形。
r r 注意：1、变量X、Y都是随机变量，且相互对称，所以
XY
YX
2、相关系数只反映两变量之间线性相关的程度，不能说明其非线性相
关关系。
3、样本相关系数r 是总体相关系数 的估计量，随着取样的不同，两
者之间有误差，其统计显著性有待检验。
4、相关系数虽能度量变量的线性相关程度，但不能确定变量之间的因 果关系，也不能说明它具体接近哪一条直线。
• E (YX i) Y iP （ YX i） 称为 Y的条件均值（条件期望）
例如
E ( Y X i 6 ) 5 0 1 4 1 5 1 4 4 5 1 4 7 5 1 4 8 55
结果列于表2.1.2
10
（二）总体回归函数的概念
“条件期望（均值）”的运动轨迹称为 回归函数。
•Y对X的回归直线： 回归函数形式为直线
12
三、随机扰动项
u •随机扰动项（
i
）：因变量Y i
与总体条件均值（期望）E(Y
Xi )
的偏差（离差）
uYE (YX)
i
i
i
Yi E(YXi)i
•总体回归函数可以表示为：
E (YX i)12X i
Yi 12Xii
条件期望形式 说明
X对Y的条件期望影响
随机设定形式
u 说明 i
除了X对Y的影响以外， 其余未被纳入模型的诸 多因素对Y的综合影响
第 二 章 简单线性回归模型
第一节 回归分析与回归方程
1
一、回归与相关
散点图 30
（一）经济变量之间的相互关系
1、 经济变量之间的相互关系
20
函数关系： Yf(X)
Y
统计（相关）关系 Yf(X)10
2、相关关系的类型
1）从相关关系涉及的变量数量：
简单（一元）相关； 多重（复）相关 0
0
2）从变量相关的表现形式：
百货公司 销售总额
其它百货 公司的广 告费 X2
3710113
2000
3369873
—
…
…
2819941
—
3897689
2500
这些数据是否能揭示出Whitney公司所做的报纸广告带来的真
实收益？
4
2600000
广告费与销售额的散点图
2400000
2200000
Y
2000000
1800000
1600000 0
3
例 以下资料是Whitney公司连续26周销售额和广告成本以及该 城市各主要百货公司的销售总额（含Whitney公司的）和估计的竞 争对手的广告费（美元）
周次
Whitney公司
销售额 广告费
Y
X1
1 2170787 11900
2 1994291 14900
…
…
…
25 1680685 10900
26 2266506 9800
13
总体回归函数中引进随机扰动项的主要原因：
1、作为未知影响因素的代表 2、作为无法取得数据的已知因素的代表 3、作为众多细小影响因素的综合代表 4、模型的设定误差 5、变量的观测误差 6、变量的内在随机性
14
四、样本回归函数（SRF）
（一）样本回归直线（回归曲线）：以样本数据拟合的直线
（曲线），它是总体回归线的近似反映。 仍以家庭可支配收入与消费支出的关系为例，从总体中各抽取
• Y对X的回归曲线： 回归函数形式为曲线
•总体回归函数（PRF）：总体因变量Y的条件期望表示为解释变量X的某种函数
E (YX ) f(X )
i
i
•特别：总体回归函数为线性函数 ，即
E ( YX )X
i
1
2i
其中： 1 、 2 是未知参数（ 2 — 回归系数）
注意：总体回归函数的设定（通过定性分析、散点（布）图）
10000
20000
30000
40000
50000
X1
(YY)X (1X1) 0.00991 （ Y-Y )2 (X1X)2
5
广告费与市场占有率的散点图
0.64
0.62
0.60
W
0.58
0.56
0.54 0
10000
20000
30000
40000
50000
X1
0.88217
6
（三）回归分析 1、“回归”一词的古典意义
英国生物学家F.高尔顿（Francis Galton）在遗传学研究中首先提出的
7
2、“回归”一词的现代意义：
“回归”是关于一个被解释变量（或因变量）对一个或多个解释变量（或
自变量）依存关系的研究。目的：根据已知的或固定的解释变量的值，去估计 或预测被解释变量的总体均值。
例：个人可支配收入和个人消费支出 回归分析就是要根据X和Y的观测数据，确定其变动的具体统计规律性。 即 X Y平均变动轨迹（该函数称为回归函数）
线性相关 ； 非线性相关
3）从变量相关关系变化的方向：
正相关； 负相关
5
10
15
X
变量间变化彼此没有联系时，称为不（零）相关
2
（二）相关系数（复习）
变量X、Y的总体相关系数为 变量X、Y的样本相关系数为
Co(X r,Y)
XY Va(X r)Va(Y r)
r X Y ( X ( X X X ) 2 ) Y ( ( Y Y ) Y ) 2n X 2 n ( X X ) 2 Y n X Y Y 2 ( Y ) 2
8
3、 回归分析与相关分析的联系和区别
联系：都是研究相关关系的方法。 区别： 相关分析：•主要是为刻画变量间的相关程度；
•不考虑变量之间的因果关系，不区分解释变量和因变量，两变量对称. •所涉及的变量都为随机变量。
回归分析：•则要通过建立回归方程，去估计（预测）因变量的平均值； •需要区分变量之间的因果关系； •因变量是随机变量（有一定的概率分布），自变量是非随机变量。
9
二、总体回归函数（PRF）
（一）一个人为的例子：N=100户家庭分为10组 分析：每一收入组的家庭消费支出
•对给定的 X i ，所有可能出现的Y值服从一定的分布，称为X给定时Y的条件分布；
•X取某定值时，Y取各种值的概率，称为 Y的条件概率，记为 P(Y Xi ) 例如：X=60，Y取4个值中任一个值的条件概率各为 P(YXi 6)014 X=90，Y取6个值中任一个值的条件概率各为 P(YXi 9)016