SAS统计之第五章线性回归分析

b（i i 0,1,2,, m）应该使
n
n
Q ( yi yˆi )2 [ yi (b0 b1x1i b2x2i bm xmi )]2 min
i 1
i 1
由求极值的必要条件得：
Q

b0

n
2
i 1
( yi

yˆi )
0


用光照强度来预测净光合强度是合理的。
第四节 预测值的置信区间
由x预测y时，y有一定的误差，其标准误差为：
sy se
1 1 x x 2
n SSx
因此由x预测y时，y 的95%置信区间为：
yˆ t0.05 sy
实例： 由x预测y的预测区间
第一步：计算当x=2500时， y 的点估计值：
误差平方和：
n
n
Q yi yˆi 2 (yi a bxi )2
i 1
i 1
第二节 线性回归方程
n
n
Q yi yˆi 2 (yi a bxi )2
i 1
i 1
分别求Q 对a 和b 的偏导数，令其等于 0：
Q a

2
(y
y
可分解为两个部分：
y y( y yˆ) ( yˆ y)
xx
离均差 随机误差 回归引起的偏差
第三节 回归关系的显著性检验
对于任一个点有：( y y) ( y yˆ) ( yˆ y) 两边平方得：
(y y)2 (y yˆ)2 2(y yˆ)( yˆ y) (yˆ y)2

a

bx)

2(
y

na

b
x)

0
Q b

2 (y

a

bx) x

2(
xy

a
x

b
x2)

0
整理得正规方程组：
na b x y
a x b x2 xy
第二节 线性回归方程
解正规方程组： na b x y (1) a x b x2 xy (2)
U b2 (x x)2 b2SSx bSPxy SPx2y / SSx
误差平方和: SSe SSy SSr
或 Q T U
第三节 回归关系的显著性检验
利用方差分析表
变异来源 自由度 平方和
回归
１
U
误差
n-2
Q
总变异 n-1
T
均方
sU2 se2
Ｆ值
F0.05
sU2 se2
研究光照强度与净光合强度的关系
光照 强度X
300 700 1000 1500 2200 3000 4000 5000 6000 7000
净光合 强度Y
140 260 300 380 410 492 580 690 740 830
一级计算： x 30700 y 4822 x2 143670000 y2 2780764 xy 19492000 n 10
检验结论：若F > F0.05，则存在显著的线性回归关系。
第三节 回归关系的显著性检验
2.t 检验法
H0: ＝0 vs HA：≠0
选择 t 统计量: t b
其中回归系数 b
sb
其标准误:
sb
se SSx
Q n2 SSx
y yˆ 2
n2
x x 2
实例：
第五章 线性回归分析
一、一元线性回归 二、一元线性回归方程 三、回归关系的显著性检验 四、置信区间 五、多元线性回归 六、回归诊断
第一节 一元线性回归
生产实践中，常常能找到一个变量与另外一
个变量之间的关系：小麦的施肥量与产量、 水稻的株高和穗长、冬天的温度与来年病虫 害的发生程度等等。
回归分析就是找出合适的回归方程，从而用
(1)式除以 n 得： a b( x / n) y / n
(3)
于是： a y / n b( x / n) y bx (4)
(3)式各项乘 x：ax b(x)2 / n x y / n (5)
(2)-(5)式得：b[ x2 ( x)2 / n] xy x y / n
t b 0.094868 18.14 sb 0.005229
实例：t 检验
dfe n 2 10 2 8， t0.05 2.306，t0.01 3.355 | t | 18.14 t0.01 3.355
结论：回归关系极显著，可得线性回归方程
yˆ 190.955 0.094868x
三个平方和的计算公式:
总平方和: T SSy (y y)2 y2 ( y)2 / n 回归平方和: U SSr (yˆ y)2
a y bx, yˆ a bx, yˆ y bx bx, yˆ y b(x x), （yˆ y）2 b2 (x x)2,
即：b (x x)2 (x x)( y y)
于是：b (x x)( y y) / (x x)2 SPxy / SSx
线性回归方程便已求出为： yˆ a bx
第三节 回归关系的显著性检验
如果在模型 yi＝ + xi +i 中， ＝ 0，这就意味
x21
x22

x2m

b0

b1

0

1

x31
x23

x3m

B


b2



2

xn1 xn2 xnm
bm
n
解得： B (X ' X )1 X 'Y
第五节 多元线性回归分析
yˆ 190.955 0.094868 2500 428.125
第二步：求y的标准误差：
sy
36.76
1 1 2500 30702
10 49421000
38.67
实例： 由X预测Y的预测区间
第三步：求y的置信区间：
yˆ t0.05 sy 428.125 2.03638.67 338.95 yˆ t0.05 sy 428.125 2.03638.67 517.30
y yˆ y [( y bx) bx] 即 ( y yˆ) ( y y) b(x x)
( y yˆ)( yˆ y) b(x x)[( y y) b(x x)] b[(x x)( y y) b(x x)2 ]
第三节 回归关系的显著性检验
实例：
计算公式： 二级计算：
SSx x2 x2 / n 14367000 307002 /10
49421000
实例：
计算公式： 二级计算：
SPxy

xy
x n
y
19492000 3070 4822 10
4688460
实例：
回归系数 b :
对此统计假设有两种检验方法：
F 检验法 和 t 检验法
注：df1=1，df2=n-2的一尾F值等于df=n-2的两尾t值的平方
第三节 回归关系的显著性检验
1.F检验法
利用下图说明F检验法的基本原理。
当自变量为 x ，对应的
y
因变量的实测值为 y，
yˆ
yy
y yˆ 因变量的预测值为 yˆ 。 yˆ y 于是 y的离均差 y y
这里着重讨论简单而又最一般的线性 回归问题，这是因为许多非线性的情形可 以化为线性回归来做。多元线性回归分析 的原理与一元线性回归分析完全相同，但 在计算上却要复杂得多。
第五节 多元线性回归分析
一、多元线性回归分析概述
多元线性回归模型
y 0 1x1 2x2 mxm
Q
b j
n
2 ( yi
a 1

yˆi )x ji
0
( j 1,2,, m)
第五节 多元线性回归分析
二、参数估计方法——最小二乘准则
采用矩阵形式： Y = XB+E
Y
y1


y
2

X
1 1 1


y
n



1
x11 x12 x1m
一个变量来预测另一个变量。
一元线性回归：最简单的回归关系，即一个
变量y在一个变量x上的回归关系，称x为自变 量，y为因变量（或称响应变量、依赖变量）
第一节 一元线性回归
如果两个变量x，y之间存在线性回归关系，
则有回归模型：
总体：yi ＝ + xi + i 样本：yi ＝ a + b xi + i
式中β 0 β 1 β 2 … β m 为（偏）回归系数
多元线性回归方程
yˆ b0 b1x1 b2x2 bmxm
式中b0 b1 b2 … bm 为（偏）回归系数的估计值
第五节 多元线性回归分析
二、参数估计方法——最小二乘准则
根据最小二乘法原理，i (i 0,1,2,, m) 的估计值Biblioteka Baidu
对数据资料所有点的求和得：
(y y)2 (y yˆ)2 2(y yˆ)( yˆ y) (yˆ y)2
证明：上式右边的中间项为0：
yˆ a bx (y bx) bx y b(x x) 即 (yˆ y) b(x x)
回归截距 a:
b SPxy SS x
4688460 0.094868 4943100
a y bx 482.2 0.0948683070 190.955
实例：P161
1、F检验法
变异来源 自由度 平方和 均方 Ｆ值 F0.05 F0.01
回归 误差
１ 444784 444784 329 5.32 11.26
三、假设检验
1、回归方程的假设检验
原假设 H0 ：β 1＝β 2＝ … ＝β m＝0
F统计量为： F U / m Q /(n m 1)
回归平方和：U ( yˆi y)2 自由度：m
误差平方和： Q ( yi yˆi )2 自由度：n-m-1
第五节 多元线性回归分析
回归方程： yˆ ＝ a + b x
a 称为回归截距 b 称为回归系数 i 称为随机误差
第二节 线性回归方程
回归参数的计算——最小二乘法
期望拟合的线性回归方程与试验资料的误差
最小，拟合的误差也称作离回归平方和或残 差 ，可以利用数学中求极值的方法解出 a 和 b 而使得误差平方和为最小。
第四步：结论 有95％的把握预测当树冠的光照强度为 2500时，净光合作用的强度在338.95到 517.30之间。
第五节 多元线性回归分析
一、多元线性回归分析概述
上面讨论的只是两个变量的回归问题， 其中因变量只与一个自变量相关。但在大 多数的实际问题中，影响因变量的因素不 是一个而是多个，我们称这类多自变量的 回归问题为多元回归分析。
8 10810 1351
总变异
9 455595
F检验结论：回归关系达极显著，可得线性回归方程
yˆ 190.955 0.094868x
用光照强度估测净光合强度是合理的。
实例：P161
2、t 检验
sb
se SSx
0.005229
Q n2 SSx
10810 10 2 49421000
2、回归系数的假设检验
1）t检验 原假设 H0 ：β i＝0
统计量为t：
t bi Sbi
其中： Sbi S y c(i1)(i1) Sy Q n m 1
着不管 xi为什么值， yi 都不发生实质性变化；换言 之，x和 y 之间没有显著的回归关系。
检验线性回归关系是否存在，就是检验建立回归
模型的样本是否来自存在回归关系的总体，即
H0 ： ＝0 vs HA： ≠0
只有在此检验结果为显著时，用 a 估计 ，用 b
估计 ，用 yˆ 估计 y 才是有意义的。
对所有点求和得：
(y

yˆ)( yˆ

y)

b[SPxy

SPxy SS x
SSx ]

0
于是：y 的总平方和便分解为两个部分：
(y y)2 (y yˆ)2 (yˆ y)2
y 的总平方和 误差平方和 回归平方和
T SSy
Q SSe U SSr
第三节 回归关系的显著性检验