回归分析a

Residuals
6
4
2
0
-2
-4
-6 2 4 6 8 Case Number 10 12
回归曲线图： 回归曲线图：
z=b(1)+b(2)*x2; plot(x2,y,‘*’,x2,z, ‘r’)
65
60
55
50
45
40 0.1
0.12
0.14
0.16
0.18
0.2
0.22
0.24
二、多元线性回归 设影响因变量y的主要因素（自变量） 设影响因变量 的主要因素（自变量）有m个，记： 的主要因素 个
[b,bint,r,rint,stats]=regress(y,x,alpha);
某基金会希望估计从事某研究的学者的年薪Y与他们的研 例2 某基金会希望估计从事某研究的学者的年薪 与他们的研 究成果的质量指标X1、从事研究工作的时间X2、能获得资助 究成果的质量指标 从事研究工作的时间 的指标X 之间的关系，为此按一定的实验设计方法调查了24位 的指标 3之间的关系，为此按一定的实验设计方法调查了 位 学者得如下数据，试建立Y与 学者得如下数据，试建立 与X1、 X2、 X3之间的关系的数学 模型，并作有关结论和统计分析。 模型，并作有关结论和统计分析。
序号 成果质量 从事时间(年 从事时间 年) 资助指标 年薪(万元 年薪 万元) 万元 序号 成果质量 从事时间(年 从事时间 年) 资助指标 年薪(万元 年薪 万元) 万元 1 3.5 9 6.1 33.2 13 8.0 23 7.6 43.3 2 5.3 20 6.4 40.3 14 6.5 35 7.0 44.1 3 5.1 18 7.4 38.7 15 6.6 39 5.0 42.5 4 5.8 33 6.7 46.8 16 3.7 21 4.4 33.6 5 4.2 31 7.5 41.4 17 6.2 7 5.5 34.2 6 6.0 13 5.9 37.5 18 7.0 40 7.0 48.0 7 6.8 25 6.0 39.0 19 4.0 35 6.0 38.0 8 5.5 30 4.0 40.7 20 4.5 23 3.5 35.9 9 3.1 5 5.8 30.1 21 5.9 33 4.9 40.4 10 7.2 47 8.3 52.9 22 5.6 27 4.3 36.8 11 4.5 25 5.0 38.2 23 4.8 34 8.0 45.2 12 4.9 11 6.4 31.8 24 3.9 15 5.8 35.1
x1=0.1:0.01:0.18; x2=[x1 0.2 0.21 0.23]’; y=[42.0 41.5 45.0 45.5 45.0 47.5 49.0 55.0 50.0 55.5 55.5 60.5]’; plot(x2,y,’*’)
65
60
55
50
45
40 0.1
0.12
0.14
0.16
Q(β 0 , β1 ) = ∑ ε 2 = ∑ [ yi − (β 0 + β1 xi )]2 达到最小值。 达到最小值。 i
i =1 i =1
n
n
ˆ ˆ 求出 β 0 ,β1的估计值 β 0 , β1 β ˆ ˆ 得到回归直线： 得到回归直线：y = β 0 + β1 x
ˆ ˆ 作区间估计： (2) 对参数 β 0 , β1 作区间估计： 若区间估计值是一个较短的区间， 若区间估计值是一个较短的区间， 说明模型精度较高。 说明模型精度较高。
（2）作散点图 ）
X1=A(1,:); X2=A(2,:); X3=A(3,:); Y=A(4,:);
55 55 55
subplot(1,3,1), plot(X1,Y,‘*’)
50 50 50
subplot(1,3,2), plot(X2,Y,‘*’)
45 45 45
subplot(1,3,3), plot(X3,Y,‘*’)40
x = ( x1 , x2 ,L, xm )
假设它们有如下线性关系式： 假设它们有如下线性关系式：
y = β 0 + β1 x1 + L + β m xm + ε , ε ~ N (0, σ 2 )
求回归系数的基本思路： 求回归系数的基本思路： 次观察得n足观察值 对y与 x1 , x2 ,L, xm 作n次观察得 足观察值，用最 与 次观察得 足观察值， 小二乘法求出回归系数的估计值， 小二乘法求出回归系数的估计值，
(3) 对误差的方差作估计： 对误差的方差作估计：
ˆ 为回归函数值， 为测量值，残差的平方和： 设 yi为回归函数值，yi为测量值，残差的平方和：
ˆ Qe = ∑ ( yi − yi )
i =1 n 2
Qe 残余方差：s = 残余方差： n−2
2
(4) 线性相关性检验： 线性相关性检验： 如果模型可用的话，应该具有较好的线性关系。 如果模型可用的话，应该具有较好的线性关系。 可通过相关系数R的值及 值观察 可通过相关系数 的值及F值观察。 的值及 值观察。 对回归方程Y = β 0 + β1 x 的显著性检验， 的显著性检验， 归结为对假设 H 0 : β1 = 0; H 1 : β1 ≠ 0 进行检验 进行检验.
显著性水平 确省为0.05 0.05） （确省为0.05）
stats包含 个统计量： 包含4个统计量 包含 个统计量： R2，F，p，s2 ， ， R2:决定系数，用法：越接近于 线性相关性越强， 决定系数， 线性相关性越强， 决定系数 用法：越接近于1线性相关性越强 模型越有效。 模型越有效。 F:F值，用法：若F1-α(1,n-2)<F, 认为变量 与x有 认为变量y与 有 值 用法： 显著的线性相关性。 显著的线性相关性。 其中： 可用Matlab命令 命令finv(α,1,n-2)计算 其中：F1-α(1,n-2)可用 可用 命令 计算 p：F(1,n-2)分布大于 值的概率， ： 分布大于F值的概率 分布大于 值的概率， 用法： 模型可用。 用法：p<α模型可用。 模型可用
0.18
0.2
0.22
0.24
（2）作回归分析 ）源自文库
x=[ones(12,1) x2]; [b,bint,r,rint,stats]=regress(y,x); b,bint, stats
运行结果： 运行结果： b =
26.8909 141.7415 stats = 0.9229 119.7470
bint = 22.1824 31.5994 112.8808 170.6022 3.1150
0.0000
结果表明：决定系数R2= 0.9229 接近于1， 结果表明：决定系数 接近于 ， F1-0.05 (1,12-2)= 0.0041< 119.7470 p= 0.0000<0.05 故回归模型 y= 26.8909 + 141.7415 x 成立
Residual Case Order Plot
35
40
40
35
35
30
0
5
10
30
0
50
30
0
5
10
（3）求回归系数 ）
X=[ones(24,1),X1’,X2’,X3’]; [b,bint,r,rint,stats]=regress(Y’,X); b,bint b= 17.4361 1.1194 0.3215 1.3334 bint= 13.2367 0.4449 0.2453 0.7182 21.6354 1.7938 0.3978 1.9486
得回归模型为： 得回归模型为：
ˆ y = 17.4361 + 1.1194 x1 + 0.3215 x2 + 1.3334 x3
（4）残差分析 ）
6
Residual Case Order Plot
rcoplot(r,rint)
Residuals
4
2
0
-2
-4
-6 5 10 15 Case Number 20
回归分析
一、一元线性回归 1.模型 模型 设两个变量x、 ，称由： 设两个变量 、y，称由：
y = β 0 + β1 x + ε ,
ε ~ N ( 0, σ 2 )
其中： 是待定的参数，对于不同的x,y是相互 其中：β0,β1是待定的参数，对于不同的 是相互 独立的随机变量。 独立的随机变量。 (1) 确定β0,β1的方法： 确定 的方法： 个观测值(x ， 由(x,y)的n个观测值 i ,yi )，使 的 个观测值
b=regress(y,x);
其中： 因变量 列向量）， 因变量（ ），x由 与自变量组成 其中：y因变量（列向量）， 由1与自变量组成
[b,bint,r,rint,stats]=regress(y,x,alpha);
回 归 系 数 b 的 置 信 区 间 用 于 检 验 的 统 计 量
残 差
r 的 置 信 区 间
某种合金强度与碳含量有关， 例1 某种合金强度与碳含量有关，研究人员在生产试 验中收集了该合金强度y与碳含量 的数据（见表） 与碳含量x的数据 验中收集了该合金强度 与碳含量 的数据（见表）试 建立y与x的函数关系模型，并检验模型的可信度，检 建立 与 的函数关系模型，并检验模型的可信度， 的函数关系模型 查数据中有无异常点。 查数据中有无异常点。
（3）残差分析 ） 残差图： 残差图： rcoplot(r,rint) 看出：除第 个点外 个点外， 看出：除第8个点外， 其余数据残差离0都较 其余数据残差离 都较 接近，且残差置信区间 接近， 均包含0，说明模型能 均包含 ， 较好的拟合数据。 较好的拟合数据。 个点为异常点。 第8个点为异常点。 个点为异常点
若 H 0 : β1 = 0; 被拒绝，则回归显著，认为y与x存在 被拒绝，则回归显著，认为 与 存在 线性关系，所求的线性回归方程有意义； 线性关系，所求的线性回归方程有意义； 否则回归不显著， 与 的关系不能用一元线性回 否则回归不显著，y与x的关系不能用一元线性回 归模型来描述，所得的回归方程也无意义. 归模型来描述，所得的回归方程也无意义 U F ~F(1,n-2) 成立时， 当H0成立时， = Qe /( n − 2)
x y 0.10 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 0.2 0.21 0.23 42.0 41.5 45.0 45.5 45.0 47.5 49.0 55.0 50.0 55.5 55.5 60.5
1）作出x,y 的散点图， 解 （1）作出 , 的散点图，确定所要采用的回归模型
( yi − y )2 , U =∑ ˆ
i =1
n
( yi − yi )2 ˆ Qe = ∑
i =1
n
F > F1− α (1, n − 2) 拒绝 0,否则就接受 0 拒绝H 否则就接受 否则就接受H
3.一元线性回归的 一元线性回归的Matlab实现 一元线性回归的 实现 命令， 用regress命令，其用法： 命令 其用法：
三个样本点为异常点。 第4,12,19三个样本点为异常点。 三个样本点为异常点
ˆ ˆ ˆ 得到回归直线： y = β 0 + β1 x1 + L + β m xm 得到回归直线：
Matlab实现 实现 命令， 用regress命令，其用法： 命令 其用法：
b=regress(y,x);
其中： 因变量 列向量）， 因变量（ ），x由 与自变量组成 其中：y因变量（列向量）， 由1与自变量组成
解 （1）数据输入 ）
A1=[3.5,5.3,5.1,5.8,4.2,6.0,6.8,5.5,3.1,7.2,4.5,4.9;9,20,18,3 3,31,13,25,30,5,47,25,11;6.1,6.4,7.4,6.7,7.5,5.9,6.0,4.0,5.8, 8.3,5.0,6.4;33.2,40.3,38.7,46.8,41.4,37.5,39.0,40.7,30.1,52. 9,38.2,31.8]; A2=[8.0,6.5,6.6,3.7,6.2,7.0,4.0,4.5,5.9,5.6,4.8,3.9;23,35,39,2 1,7,40,35,23,33,27,34,15;7.6,7.0,5.0,4.4,5.5,7.0,6.0,3.5,4.9,4. 3,8.0,5.8;43.3,44.1,42.5,33.6,34.2,48.0,38.0,35.9,40.4,36.8,4 5.2,35.1]; A=[A1 A2];