第06章 回归分析(lhy)

Chap 08-5
相关系数

总体相关系数（ population correlation coefficient） ρ 是反映两变量之间线性相关程度的 一种特征值，表现为一个常数。
Cov( X , Y ) Var ( X )Var (Y )

样本相关系数（ sample correlation coefficient） r 是 总体相关系数的一致估计量，是根据样本观测 值计算的，反映样本观测值线性相关程度的指标。
n x i yi xi yi
50
40
30
0.886
20
10
0 0 2 4 6 8 10 12 14
树干的直径, x
r = 0.886 → 表明 x 和 y 具有高度线 性相关关系。
Chap 08-9
相关系数的特点

r的取值在-1与1之间； 当ｒ＝０时，Ｘ与Ｙ的样本观测值之间没有线性关系； 在大多数情况下，０＜｜ｒ｜＜１，即Ｘ与Ｙ的样本 观测值之间存在着一定的线性关系，当ｒ＞０时，Ｘ 与Ｙ为正相关，当ｒ＜０时，Ｘ与Ｙ为负相关。 如果｜ｒ｜＝１，则表明Ｘ与Ｙ完全线性相关，当ｒ ＝１时，称为完全正相关，而ｒ＝－１时，称为完全 负相关。 ｒ是对变量之间线性相关关系的度量。ｒ＝０只是表 明两个变量之间不存在线性关系，但它并不意味着Ｘ 与Ｙ之间不存在其他类型的关系。

Chap 08-4
相关分析与回归分析

相关分析可以不必确定变量中哪个是自变量，哪个是因
变量。

回归分析必须事先确定具有相关关系的变量中哪个为自 变量，哪个为因变量。 相关分析和回归分析有共同的研究对象，常常必须互相 补充。相关分析需要依靠回归分析来表明现象数量相关

的具体形式，而回归分析则需要依靠相关分析来表明现 象数量变化的密切程度。只有当变量之间存在着高度相 关时，进行回归分析才有意义。
577500
218900 339450 951750 793800 454575 433500
3515625
1210000 2402500 5522500 6002500 2030625 2890000
y=2865
x=17150
xy=5085975
x2=30983750
Chap 08-28
回归系数的估计
从变量相关关系的表现形式看：线性相关和非线性相关 从变量相关关系变化的方向看：正相关和负相关 从变量相关的程度看：完全相关（函数关系）、不完全相 关、不相关
Chap 08-3
相关分析与回归分析

相关分析是用一个指标(相关系数r)来表明现象间依存 关系的密切程度。 回归分析是用数学模型近似表达变量间的平均变化关系。
拒绝 H0
tα/2 -2.4469
不能拒绝 H0
0
t 1- α/2 2.4469
拒绝 H0
4.68
Chap 08-14
回归分析 Regression Analysis

回归分析

研究一个变量如何随着其他变量的变化而变化； 用一个称为回归模型的数学方程来描述因变量与自变量 之间的变化关系，再通过控制或给定自变量的数值来估 计或预测因变量可能的数值。

ˆ 的和 ˆ 是随机变量，其具体数值随所抽取的样本 回归函数中 1 2
观测值不同而变动。

总体回归模型中的ui是yi与未知的总体回归线之间的纵向距离，
它是不可直接观测的。而样本回归函数中的ｅi是yi与样本回归
线之间的纵向距离，当根据样本观测值拟合出样本回归线之后， 可以计算出ｅi的具体数值。
Chap 08-10


相关系数的图示
y y y
x
r = -1
y
r = -0.6
y
x
x
r=0
r = +0.3
x
r = +1
x
Chap 08-11
单相关系数的显著性检验

假设 H0: ρ = 0 H1: ρ ≠ 0
检验统计量

(无线性相关关系) (确实存在线性相关关系)

t
r 1 r n2
2
2401
729 1089 3600 441 2025 2601 y2=14111
81
49 36 169 49 121 144 x2=713
Chap 08-8
样本相关系数计算的例子
树的高度, y
70 60
r
[n( x i 2 ) ( x i ) 2 ][n( y i 2 ) ( y i ) 2 ] 8 3142 73 321 [8 713 (73) 2 ][8 14111 (321) 2 ]
n xi yi xi yi ˆ 2 2 2 n xi xi 10 5085975 17150 2865 0.10977 2 10 30983750 17150
样本回归线 （样本回归方程）
ˆ ˆx ˆi y 1 2 i 样本回归函数 ˆ ˆ （样本回归模型） y x e i 1 2 i i
残差
Chap 08-19
样本回归函数和总体回归函数的区别

总体回归线是未知的，只有一条。样本回归线是根据样本数据 拟合的，每抽取一组样本，便可以拟合一条样本回归线。 总体回归模型中的β 1和β 2是未知的参数，表现为常数。而样本
Chap 08-21
最小二乘估计


在根据样本数据确定样本回归方程时，总是希望 y 的 估计值 尽可能地接近其实际观测值，即残差 ei 的总 量越小越好。由于 ei 有正有负，简单的代数和会相互 抵消，因此为了数学上便于处理，我们采用残差平方 和作为衡量总偏差的尺度。 所谓最小二乘法，就是根据这一思路，通过使残差平 方和最小来估计回归系数的方法。
第六章 回归分析 Regression Analysis
变量间的相互关系

确定性的函数关系：当一个或者几个变量取一定的值时， 另一个变量有确定值与之相对应；例如销售收入与销售量 之间的关系、路程与速度之间的关系； 不确定性的相关关系：当一个或几个相互联系的变量取一 定数值时，与之相对应的另一个变量的值虽然不确定，但 它仍按照某种规律在一定的范围内变化；
(自由度为 n – 2 ）
Chap 08-12
单相关系数的显著性检验
是否可以根据5％的显著性水平认为树的高 度与树干的直径之间存在一定程度的线性相 关关系？
H0: ρ = 0 H1: ρ ≠ 0 (无线性相关关系) (确实存在线性相关关系)
=0.05 , df = 8 - 2 = 6
t
r 1 r2 n2
总体回归线与随机误差项
y
xi对应的因变量 的实际观测值yi
E yi β1 β2 xi
ui
斜率 = β2 随机误差项
yi的拟合值
截距 = β1
xi
x
Chap 08-18
样本回归线和样本回归模型
样本回归直线是根据样本数据拟合的，是总体回归 线的一个估计。
估计的 (或拟 合的) y 值 回归截距的估 计值 回归斜率的估计 值 自变量
Chap 08-20
误差项的标准假定

假定1：误差项的期望值等于0，即对所有的i总有E(ui)=0
假定2：误差项的方差为常数，即对所有的i总有 Var(ui)=E(ui2)=
2

假定3：误差项之间不存在序列相关关系，其协方差为零； 假定4：自变量是给定的变量，与随机误差项线性无关；

假定5：随机误差项服从正态分布；
Chap 08-25

最小二乘估计量的解释

ˆ 是当 x 等于 0 时 y 的平均估计值； 1 ˆ 是 x 每变化一个单位，因变量 y 平均 2
变化的量。

Chap 08-26
一元线性回归模型的例子

一家房地产公司的经理想知道该公司住房的售价
和住房面积（单位：平方尺） 之间的关系。

为此他抽取了一个包含10套住房的随机样本。 因变量 (y) = 住房的售价 （单位：$1000） 自变量 (x) = 住房的面积 （单位：平方尺）
Chap 08-24
最小二乘估计量的性质

最小二乘估计量是随着样本的不同而不同的随机变量；

在满足标准假定的情况下，回归参数的最小二乘估计 量是无偏的，即
ˆ ，E ˆ E 1 1 2 2



最小二乘估计量是因变量 Y 的线性组合； 数学上还可以证明，在所有的线性无偏估计中，回归 系数的最小二乘估计量的方差最小，同时随着样本容 量的增大，其方差会不断缩小； 综上所述，在标准的假定条件下，最小二乘估计量是 最佳线性无偏估计量和一致估计量。

0.886 1 0.8862 82
4.68
Chap 08-13
单相关系数的显著性检验
t r 1 r2 n2 0.886 1 0.8862 82 4.68
决策: 拒绝 H0
结论: 足以证明树的高 度与树干的直径 之间存在一定程 度的线性相关关 系。
d.f. = 8-2 = 6 /2=0.025 /2=0.025
2 ˆ Q ei (yi yi ) 2 2 ˆ ˆ (yi (1 2 x i ))
Chap 08-22
最小二乘估计
欲使Q达到最小， ˆ 和 ˆ 的偏导数必须等于 Q对 0。
1
ˆ ˆ x 0 2 yi 1 2 i 正规方程组 即 ˆ ˆ x 0 （标准方程组） 2 xi yi 1 2 i ˆ ˆ x y n 1 2 i i 整理得： 2 ˆ ˆ x x i 2 i xi yi 1