第八章相关与回归分析

一元线性回归分析
一、相关与回归分析的联系 （一）回归的古典意义： 高尔顿遗传学的回归概念 父母身高与子女身高的关系: 无论高个子或低个子的子女 都有向人的平均身高回归的 趋势
一元线性回归分析
（二）回归的现代意义 一个因变量对若干解释变量依存关系的研究 回归的目的（实质）： 由固定的自变量去估计因变量的平均值
单位:元
人均 国民收入
393.8 419.14 460.86 544.11 668.29 737.73 859.97
人均 消费金额
249 267 289 329 406 451 513
年份
1988 1989 1990 1991 1992 1993
人均 国民收入
1068.8 1169.2 1250.7 1429.5 1725.9 2099.5
（三）回归函数
如果把Y 的条件期望E(Y|Xi)表示为X 的某种函数： E(Y|Xi)=f(Xi) , 这个函数称为回归函数。
（四）简单线性回归函数
如果其函数形式是只有一个自变量的线性函数,如 E(Y|Xi)=α +β Xi, 称为简单线性回归函数。
一元线性回归分析
（五）总体回归函数（PRF）
1.概念：将总体因变量Y的条件均值表现为自变量X 的某种函数，这个函数称为总体回归函数（简记为 PRF）。 2.表现形式： （1）条件均值表现形式
-1.0
-0.5
0
+0.5
正相关程度增加
+1.0
r
负相关程度增加
相关程度可分为以下几种情况：
① r 0 . 3，为无线性相关；
②0.3≤
r＜0.5，为低度线性相关； r＜0.8，为显著线性相关；
③0.5≤
④ r ≥0.8，一般称为高度线性相关。
以上说明必须建立在相关系数通过显著性 检验的基础之上。
一元线性回归分析
（八）样本回归函数与总体回归函数的区别
1.总体回归函数虽然未知，但它是确定的； 样本回归线随抽样波动而变化，可以有许多条。 2.样本回归线还不是总体回归线，至多只是未知总体 回归线的近似表现。 3.总体回归函数的参数虽未知，但是确定的常数； 样本回归函数的参数可估计，但是随抽样而变化的 随机变量。 4.总体回归函数中的ui是不可直接观测的； 而样本回归函数中的ei是只要估计出样本回归的参数 就可以计算的数值。
相关分析
一、变量间的相互关系
（一）确定性的函数关系 Y =f(X)
（二）不确定性的统计关系—相关关系
Y = f（X）+ε
（三）没有关系
(ε为随机变量)
35 30 25 20 15 10 5 0 0 10 X 20 30
变量间关系的图形描述： 坐标图(散点图)
Y
相关分析
二、相关关系的类型
（一）从涉及的变量数量看 简单相关 多重相关（复相关） （二）从变量相关关系的表现形式看 线性相关——散布图接近一条直线(左图) 非线性相关——散布图接近一条曲线(右图)
一元线性回归分析
（三）相关分析与回归分析的联系
1.共同的研究对象：都是对变量间相关关系的 分析 2.只有当变量间存在相关关系时，用回归分析 去寻求相关的具体数学形式才有实际意义 3.相关分析只表明变量间相关关系的性质和程 度，要确定变量间相关的具体数学形式依赖 于回归分析 4.相关分析中相关系数的确定建立在回归分析 的基础上
Yi Xi
^ ^
或者
Yi
X i ei
一元线性回归分析
（七）样本回归函数与总体回归函数的联系 1.样本回归函数的函数形式应与设定的总体回归函数的 函数形式一致 。 2.
^
^

^
是对总体回归函数参数的估计。
3. Y i 是对总体条件期望E(Y|Xi)的估计 4.残差 e 在概念上类似总体回归函数中的随机误差u。 5.回归分析的目的： 用样本回归函数去估计总体回归函数。
一元线性回归分析
三、回归系数的估计
（一）回归系数估计的思想： 1.为什么只能对未知参数作估计? 参数是未知的、不可直接观测的、不能精确计算的， 能够得到的只是变量的样本观测值 2.结论:只能通过变量样本观测值选择适当方法去近似 地估计回归系数。
3.前提: u是随机变量其分布性质不确定，必须作某些假 定，其估计才有良好性质，其检验才可进行。 4.原则: 使参数估计值“尽可能地接近”总体参数真实 值
2 2
0.9987
•
人均国民收入与人均消费金额之间的相关系 数为 0.9987
相关系数的显著性检验（实
例）
2. 对前例计算的相关系数进行显著性检(0.05) 1）提出假设：H0： ；H1： 0 2）计算检验的统计量:
t 0.9987 13 2 1 0.9987
2
人均 消费金额
643 690 713 803 947 1148
相关关系的测度
（计算结果）
• 解：根据样本相关系数的计算公式有
r n xy x y n x x n y y
2 2 2 2

13 9156173.99 12827.5 7457 13 16073323.77 12827.5 13 5226399 7457
25 20 15 10 5 0 0 2 4 6 8 10 12
11.2 11 10.8 10.6 10.4 10.2 10 0 2 4 6 8 10
相关分析
（三）从变量相关关系变化的方向看 正相关——变量同方向变化 A 同增同减 (A) 负相关——变量反方向变化 一增一减 (B) B （四）从变量相关的程度看 完全相关 (B) 不完全相关 (A) C 不相关 (C)
总 体
样 本
自变量固定值
什么是回归分析？
（内容）
1. 从一组样本数据出发，确定变量之间的数学 关系式 2. 对这些关系式的可信程度进行各种统计检验， 并从影响某一特定变量的诸多变量中找出哪 些变量的影响显著，哪些不显著 3. 利用所求的关系式，根据一个或几个变量的 取值来预测或控制另一个特定变量的取值， 并给出这种预测或控制的精确程度
相关分析
4.使用相关系数的注意事项
（1）X 和Y 都是相互对称的随机变量，所以
γXY =γYX
（2）相关系数只反映变量间的线性相关程度，不 能说明非线性相关关系。 （3）相关系数不能确定变量的因果关系，也不能 说明相关关系具体接近于哪条直线。
相关分析
（三）相关系数的检验 1.为什么要检验？ 样本相关系数是随抽样而变动的随机变量,相 关系数的统计显著性还有待检验。 2.检验的依据： 如果X和Y都服从正态分布，在总体相关系 数ρ=0的假设下，与样本相关系数 r 有关的 t 统 计量服从自由度为n-2的 t 分布：
总体相关系数反映总体两个变量X和Y的线性相关程度。 2. 特点：对于特定的总体来说，X和Y的数值是既定的 总体相关系数是客观存在的特定数值。
r XY
ቤተ መጻሕፍቲ ባይዱ
相关分析
（二）样本相关系数
1.通过X和Y 的样本观测值去估计样本相关系数变量 X和Y的样本相关系数通常用rXY 表示
rX Y
(X (X
i
__ i
一元线性回归模型
（基本假定）
1. 误差项ε是一个期望值为0的随机变量，即E(ε)=0。 对于一个给定的 x 值，y 的期望值为E ( y ) = 0+ 1x 2. 对于所有的 x 值，ε的方差σ2 都相同 3. 误差项ε是一个服从正态分布的随机变量，且相 互独立。即ε~N( 0 ,σ2 )
– – 独立性意味着对于一个特定的 x 值，它所对应的ε与 其他 x 值所对应的ε不相关 对于一个特定的 x 值，它所对应的 y 值与其他 x 所 对应的 y 值也不相关
（3）当0＜|r|＜1时，表明X与Y存在一定的线性相关 关系:若r ＞0, X与Y 为正相关;若r＜0,表明X与Y 为 负相关。
（4）当|r|=1时，表明X与Y完全线性相关:若r=1，称 X与Y完全正相关；若r=-1，称X与Y完全负相关。
相关关系的测度
（相关系数取值及其意义）
完全负相关 无线性相关 完全正相关
种类
自变量的多少
一元回归 多元回归
变量之间的具体变动形式
线性回归 非线性回归
一元线性回归分析
二、总体回归函数与样本回归函数 （一） Y 的条件分布
Y 在 X 取某固定值条件下的分布。
（二）回归线
对于X 的每一个取值，都有Y 的条件期望与之对应，在坐标 图上Y 的条件期望的点随X 而变化的轨迹所形成的直线或曲 线，称为回归线。
25 20 15 10 5 0 0 25 20 15 10 5 0 0
2
4
6
8
10
12
2
4
6
8
10
12
35 30 25 20 15 10 5 0
0
5
10
15
相关分析
三、简单线性相关系数及检验 （一）总体相关系数
1. 对于所研究的总体，表示两个相互联系变量相关程 度的总体相关系数为：

cov( X , Y ) var( X ) var( Y )
E (Y X i ) X i
（2）个别值表现形式（随机设定形式）
Yi X i u i
（常用）
一元线性回归分析
（六）样本回归函数（SRF）
1.样本回归线 Y的样本观测值的条件均值随自变量X而变动的轨迹， 称为样本回归线。 2.样本回归函数 如果把因变量Y的样本条件均值表示为自变量X的某 种函数，这个函数称为样本回归函数（简记为 SRF）。 3.样本回归函数的表现形式： 线性样本回归函数可表示为 ^ ^ ^