最新SAS 统计软件课件 第五章 线性回归分析精品PPT课件

y第一节一元线性回归回归参数的计算最小二乘法期望拟合的线性回归方程与试验资料的误差最小拟合的误差也称作离回归平方和或残差可以利用数学中求极值的方法解出a误差平方和
第五章 线性回归(huíguī)分析
一、一元线性回归 二、一元线性回归方程 三、回归关系的显著性检验 (jiǎnyàn) 四、置信区间 五、多元线性回归 六、回归诊断
10810 10 2 49421000
t b 0.094868 18.14 sb 0.005229
第十六页，共44页。
实例(shílì)：t 检验
dfe n 2 10 2 8， t0.05 2.306，t0.01 3.355 | t | 18.14 t0.01 3.355
线性回归方程便已求出为： yˆ a bx
第六页，共44页。
第三节 回归关系的显著性检验
如果在模型 yi＝ + xi +i 中， ＝ 0，这就意味着
不管 xi为什么值， yi 都不发生实质性变化；换言之，x
和 y 之间没有显著的回归关系。
检验线性回归关系是否存在(cúnzài)，就是检验建立
y1
Y
y
2
y
n
1
1
X 1
1
x11 x12 x1m
b0
0
x21
x22
x2m
b1
1
x31
x23
x3m
B
b2
2
xn1 xn2 xnm
bm
n
解得： B ( X ' X )1 X 'Y
第二十四页，共44页。
第五节 多元线性回归分析
三、假设检验
误差(wùchā)平方和：
n
n
Q yi yˆi 2 (yi a bxi )2
i 1
i 1
第四页，共44页。
第二节 线性回归方程
n
n
Q yi yˆi 2 (yi a bxi )2
i 1
i 1
分别(fēnbié)求Q 对a 和b 的偏导数，令其等于 0：
Q a
2 (y
a
bx)
对数据资料所有(suǒyǒu)点的求和得：
(y y)2 (y yˆ)2 2 (y yˆ)(yˆ y) (yˆ y)2
证明：上式右边的中间项为0：
yˆ a bx ( y bx) bx y b(x x) 即 ( yˆ y) b(x x)
y yˆ y [( y bx) bx] 即 ( y yˆ) ( y y) b(x x)
总变异
9 455595
F检验结论：回归(huíguī)关系达极显著，可得线性回归(huíguī)方
yˆ 190.955 0.094868x
用光照强度估测净光合强度是合理的。
第十五页，共44页。
实例(shílì)：P161
2、t 检验
(jiǎnyàn)
sb
se SSx
0.005229
Q n2 SSx
个变量x上的回归关系，称x为自变量，y为因变量（或 称响应变量、依赖变量）
第二页，共44页。
第一节 一元线性回归
如果两个变量x，y之间存在线性回归关系(guān
xì)，则有回归模型： 总体(zǒngtǐ)：yi ＝ + xi + i
样本：yi ＝ a + b xi + i
回归方程： yˆ ＝ a + b x
第二十六页，共44页。
第五节 多元线性回归(huíguī)分析
2、回归系数的假设检验
2）F检验 原假设 H0 ：βi＝0
统计(tǒngjì)F
Ui
b / c 2 i (i1)(i1)
(3)
于是： a y / n b( x / n) y bx (4)
(3)式各项乘 x：a x b( x)2 / n x y / n (5)
(2)-(5)式得：b[ x2 ( x)2 / n] xy x y / n
即：b (x x)2 (x x)( y y)
于是(yúbshì)：(x x)( y y) / (x x)2 SPxy / SSx
( y yˆ)( yˆ y) b(x x)[( y y) b(x x)] b[(x x)( y y) b(x x)2 ]
第九页，共44页。
第三节 回归关系(guān xì)的显著性检
验
对所有(suǒyǒu)点求和得：
(y
yˆ)( yˆ
y)
b[SPxy
SPxy SS x
SSx ]
2(
y
na
b
x)
0
Q b
2 (y
a
bx) x

2(
xy
a
x
b
x2)
0
整理得正规方程组：
na b x y
a x b x2 xy
第五页，共44页。
第二节 线性回归方程
解正规方程组： na b x y (1) a x b x2 xy (2)
(1)式除以 n 得： a b( x / n) y / n
1、回归方程的假设检验 原假设(jiǎshè) H0 ：β1＝β2＝ … ＝βm＝0
F统计
F U /m
(tǒngjì)量为
Q /(n m 1)
：
回归(huíguī)平U方和：( yˆi y)2
自由
度：m
误差平方和： Q ( yi yˆ自i )由2 度：n-m-1
第二十五页，共44页。
第五节 多元线性回归(huíguī)分析
回归
１
U
误差
n-2
Q
总变异 n-1
T
均方
sU2 se2
Ｆ值
F0.05
sU2 se2
检验结论(jiélùn)：若F > F0.05，则存在显著的线性回归 关系。
第十一页，共44页。
第三节 回归(huíguī)关系的显著性检
验 2.t 检验法
H0: ＝0 vs HA：≠0
选择(xuǎnzé) t 统计t量: b
38.67
第十九页，共44页。
实例： 由X预测(yùcè)Y的预测(yùcè)区 间
第三步：求y的置信区间：
yˆ t0.05 sy 428.125 2.036 38.67 338.95 yˆ t0.05 sy 428.125 2.036 38.67 517.30
第四步：结论 有95％的把握预测当树冠(shùguān)的光照强 度为2500时，净光合作用的强度在338.95到 517.30之间。
第二十一页，共44页。
第五节 多元线性回归分析
一、多元(duō yuán)线性回归分析概述
多元(duō yuán)线性回归模型
y 0 1x1 2 x2 m xm
式中β0 β1 β2 … βm 为（偏）回归系数
多元(duō yuán)线性回归方程
yˆ b0 b1x1 b2 x2 bm xm
回归模型的样本是否来自存在(cúnzài)回归关系的总 体，即
只H有0在：此检＝验0 (jvisǎnHyAàn：)结果≠0为显著时，用 a 估计
，用 b yˆ
对估此计统计假，设用有两估种计检验y (才ji是ǎn有yà意n)义方的法。：
F 检验法 和 t 检验法
注：df1=1，df2=n-2的一尾F值等于df=n-2的两尾t值的平方
1000
300
1500
380
x2 143670000
2200
410
3000
492
y2 2780764
4000
580
5000
690
xy 19492000
6000
740
n 10
7000
830
第十三页，共44页。
实例(shílì)：
回归系数 b :
b SPxy SS x
4688460 0.094868 4943100
第二十页，共44页。
析
一、多元线性回归(huíguī)分析 概述 上面讨论的只是两个变量的回归问题，其
中因变量只与一个自变量相关。但在大多数的 实际问题中，影响因变量的因素不是一个而是 多个，我们称这类多自变量的回归问题为多元 回归分析。
这里着重讨论简单(jiǎndān)而又最一般的 线性回归问题，这是因为许多非线性的情形可 以化为线性回归来做。多元线性回归分析的原 理与一元线性回归分析完全相同，但在计算上 却要复杂得多。
i 1
i 1
由求极值(jí zhí)的必要条件得：
Q
b0
n
2
i 1
( yi
yˆi )
0
Q
b j
n
2 ( yi
a 1
yˆi ) x ji
0
第二十三页，共44页。
( j 1,2,, m)
第五节 多元线性回归(huíguī)分析
二、参数估计方法(fāngfǎ)——最小二乘准则
采用矩阵(jǔ zhèn)形式： Y = XB+E
2、回归系数的假设检验
1）t检验 原假设 H0 ：βi＝0
统计(tǒngjì) 量为t：
t bi Sbi
其中： Sbi S y c(i1)(i1) S y Q n m 1
C(i+1)(i+1)为矩阵(jǔ zhèn)(X’X)-1的 (i+1)(i+1)元素
Q 为误差平方和，自由度：df=n-m-1
离均差
(随jū机n 误ch差à)
xx
回归(huíguī)引起
的偏差
第八页，共44页。
第三节 回归关系的显著性检验
对于(duìyú)任一个(点y 有y：) ( y yˆ) ( yˆ y)
两边(liǎngbiān)平方得： ( y y)2 ( y yˆ)2 2( y yˆ)( yˆ y) ( yˆ y)2
第七页，共44页。
第三节 回归关系的显著性检验
1.F检验法
利用(lìyòng)下图说明F检验法的基本原理。
当自变量为 x，对应的
y
因变量的实测值为 y，
yˆ y
y y
y yˆ 因变量的预测值为 yˆ。
yˆ y
于是 y的离均差 y y
可分解为两个部分：
y y ( y yˆ) ( yˆ y)
a 称为(chēnɡ wéi)回归截距
b 称为(chēnɡ wéi)
回归系数
第三页，共44页。
第二节 线性回归方程
回归参数的计算——最小二乘法 期望拟合的线性回归方程与试验资料的误差最小，
拟合的误差也称作离回归平方和或残差 ，可以利
用(lìyòng)数学中求极值的方法解出 a 和 b 而使得 误差平方和为最小。
回归(huíguī)截距 aa: y bx 482.2 0.094868 3070 190.955
第十四页，共44页。
实例(shílì)：P161
1、F检验法
变异来源 自由度 平方和
均方 Ｆ值 F0.05
F0.01
回归 误差
１ 444784 444784 329 5.32 11.26
8 10810 1351
式中b0 b1 b2 … bm 为（偏）回归系数的估计值
第二十二页，共44页。
第五节 多元线性回归分析
二、参数估计方法(fāngfǎ)——最小二乘准则
根据最小二乘法(chéngfǎi ()i原 0理,1,，2,, m)
的
b（i估i 计0值,1,2,, m）
n
应n 该使
Q ( yi yˆi )2 [ yi (b0 b1x1i b2 x2i bm xmi )]2 min
第一页，共44页。
第一节 一元(yī yuán)线性回归
生产实践中，常常能找到一个变量与另外(lìnɡ wài)一个
变量之间的关系：小麦的施肥量与产量、水稻的株高和 穗长、冬天的温度与来年病虫害的发生程度等等。
回归分析就是找出合适的回归方程，从而用一个变量来
预测另一个变量。
一元线性回归：最简单的回归关系，即一个变量y在一
其中(qízhōng) b
sb
回归系数
Q
y yˆ 2
其sb 标 准误SseS:x
n2 SSx
n2
x x 2
第十二页，共44页。
实例(shílì)：
研究(yánjiū)光照强度与净光合强度的
关光照系 净光合 一级计算：
强度X 强度Y
x 30700
300
140
700
260
y 4822
结论：回归关系(guān xì)极显著，可得线性回归方
yˆ 190.955 0.094868x
用光照强度来预测净光合强度是合理的。
第十七页，共44页。
第四节 预测值的置信区间
由x预测y时，y有一定(yīdìng)的误差，其标准误差为
sy se
1 1 x x 2
n SSx
因此(yīncǐ)由x预测y时，y 的95%置信区间为：
yˆ t0.05 sy
第十八页，共44页。
实例(shílì)： 由x预测y的预测区间
第一步：计算(jì suàn)当x=2500时， y 的点估计
yˆ 190.955 0.094868 2500 428.125
第二步：求y的标准误差：
sy
36.76
1 1 2500 30702
10 49421000
0
于是(yyúshì)： 的总平方和便分解为两个部
分：
(y y)2 (y yˆ)2 (yˆ y)2
y 的总平方和 误差平方和 回归平方和
T SSy
Q SSe U SSr
第十页，共44页。
第三节 回归关系(guān xì)的显著性检验
利用(lìyòng)方差分析表
变异来源 自由度 平方和