第四章 回归与相关分析_PPT幻灯片

由 y i 于 0 x i i,i~ N ( 0 ,2 )
EE((USS)y)2(n12)SS2x2SSx E(Qe) (n2)2
说明：
1.
σ2的无偏估计为
ˆ 2
Qe n2
2.回归直线 y0x存在与 否，关
键在于H0:β=0是否成立．若H0成立， 则回归直线不存在，否则就存在。
dfy dR f drf
•其次，标准化模型克服了量纲对回归系数的影响．
1-3 参数估计及其统计性质
ˆx
x1 n ni1
xi
ˆy
y1 n ni1
yi
ˆy2
n11lSySyyn11in1(yi
y)2
n11in1
yi2
n
(
i1
yi)2/nSy2
ˆx2
n11SlxSxxn11in1
xi
x
2
n11in1
n
xi2(
中心化回归模型
y~N(y,y2)
x~N(x,x2)
y i y (x i x) i
标准化线性回归模型
yi y y
*xixxy i
其中 0y x,* x y
Y
y0x
( x ,y )
y
β单位
1单位
β0
变化的优点:
x
X
• 首先能表明 y0x 是经过点(x，y) 的；
•进一步表明回归方程是表达y随着x而平均变化的规律；
任务是找出表征这种相关关系密切程度的参数，即 相关系数
相关分析与回归分析概念不同，功能不同， 然而二者之间有着密切的信息关系．
§1 直线回归与相关
1-1回归的概念
设x 为回归变量，y为响应变量或因变量，x每取一
个确定值xi, y有许多观察值与之对应(yi1，yi2，…，yin)，
即y在x＝ xi处为一统计总体，有它的均值 y i 和方差σ2 ，
统计学上采用回归分析 （regression analysis） 研究呈因果关系的相关变量间的关系。表示原因的变 量称为自变量，表示结果的变量称为依变量。
任务是找出这种关系的方程或关系模型，用于预 测、优化和控制
统计学上采用相关分析 ( correlation analysis)研究呈 平行关系的相关变量之间的关系。
(Y Yˆ)
(y y)
y
Yˆ
(Yˆ Y)
( y y) 的分解图
x
yˆ b0 bx y i b 0 b x iˆi y ˆiˆi
n
n
(yib0bxi) (yiy ˆi)0
i1
i1
y
1 n
n i1
yˆi
y
n
n
2
U ( y ˆ i y ) 2 ( y b ( x i x ) ) y b 2 S S x b S P x y S P x 2 y /S S x
SSxS xS P yyS(xS xx)
r(
x
sx
x
)
b0，b均是yi的线性组合：
b S S x x P S yS 1 x S (x i x ) (y i y ) S 1 x S (x i x ) y i
b 0y b xyS xxS (x i x )y i
在 x xi 处，yi~N (0xi,2)
n
n
S x P y (y i y )(x i x ) x iy i ( x i) (y i)n
i 1
i 1
i
i
bS P x y S Sx
yˆ b0 bx
一般直线回归方程
yˆyb(xx) 中心化直线回归方程
ห้องสมุดไป่ตู้
yˆ y b*(xx)
sy
sx
r SPxy 标准化直线回归方程 SSxSSy
bsx(xx) sy sx
少（β＜0）的单位数. Y
Y0X
β单位
1单位
β0
X
设У 与X有线性回归关系，
即 y 0 x
独立观察了n个点（χ i ，Уi ），在χ i 处的观察值 为
yi0 xii (i=1,2, …, n)
一般线性回归模型
其中 yi 0xi
εi是随机误差，相互独立且服从N（0，σ2）
i y i E y x x i y i y i
服从N( y i ，σ2）, y i 叫做y在xi处的条件期望值，表示
为:
y E y xxi i ， i 1,2,,n
y关于x的回归散点图
如果y关于x的回归方程y=f(x)是
β称为回归系数．
y0x
β0称回归截距，
则称其为y关于x的一元线性回归方程，或称为直线 回归方程．
β是x每加一个单位时y平均增加的单位（β＞0）或减
由于正态变量的线性组合仍然服从正态分布，故b0，b服从
正态分布：
b
~
N
,
2
SSx
b0
~
N
0
,
1 n
x2 SSx
2
BL( Least Squares) 最小二乘
BLUE(Best Linear Ubiased Estimator)最佳线性无偏估计
BLUP(Best Linear Ubiased Prediction)最佳线性无偏预测
i 1
n
i 1
SSy (yi y)2
i1
n
n
n
2
Q eˆ i2(y i y ˆi)2y i (y b (x i x ))
in 1
i 1
i 1
(y i y ) b (x i x )2 S S y b 2 S S x 2 b S P x y
i 1
SSyb2SSxSSyU SSy UQe
i1
xi)2/nSx2
另外，可用最小二乘法估计参数β0和β
误差平方和：
n
n
Q e i2 (yi0xi)2
i1
i1
n
Qe (yi b0bix)2min i1
Qe
b0
Qe
b
n
2 (yi
i1
n
2 (yi
i1
b0 b0
bxi) 0 bxi)xi 0
SSxb SPxy b0 y bx
简单地说，最小二乘的 思想就是要使得观测点 和估计点的距离的平方 和达到最小.这里的“二 乘”指的是用平方来度 量观测点与估计点的远 近（在古汉语中“平方” 称为“二乘”），“最 小”指的是参数的估计 值要保证各个观测点与 估计点的距离的平方和 达到最小.
dfy n1
dfR 1
drf n2
U2 ~2(1) Qe 2~2(n2)
1-5 回归直线的有关假设检验
1-5-1回归直线的显著性检验
回归方程的显著性检验：
无效假设HO：=0， 备择假设HA：≠0
F U ~F(1,n2) Q e (n2)
回归方程的统计性质：
在 x xi 处：
yˆi
b0
bxi
~N0
xi,1nxi lxxx2
2
yi
b0
bxi
i
~N0
xi,11nxi
x2
lxx
2
说明在回归分析中，n愈大、SSx愈大（xi愈分散），则 回归精度愈高。
易于进行预报。
1-4 回归平方和与剩余平方和
1、直线回归的变异来源
P（x,y） Yˆ0X