一元线性回归,方差分析,显著性分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一元线性回归分析及方差分析与显著性检验
某位移传感器的位移x 与输出电压y 的一组观测值如下：（单位略）
设x 无误差，求y 对x 的线性关系式，并进行方差分析与显著性检验。 （附：F0。10(1，4)=，F0。05(1，4)=，F0。01(1，4)=）
回归分析是研究变量之间相关关系的一种统计推断法。 一． 一元线性回归的数学模型
在一元线性回归中，有两个变量，其中 x 是可观测、可控制的普通变量， 常称它为自变量或控制变量，y 为随机变量，常称其为因变量或响应变量。通 过散点图或计算相关系数判定 y 与 x 之间存在着显著的线性相关关系，即 y 与 x 之间存在如下关系：
(1)
通常认为
且假设 与 x 无关。将观测数据
n)代入(1)再注意样本为简单随机样本得：
(i=1，……，
(2)
称(1)或(2)(又称为数据结构式)所确定的模型为一元(正态)线性回归模 型。
对其进行统计分析称为一元线性回归分析。
模型(2)中 EY=
，若记 y=E(Y),则 y=a+bx,就是所谓的一元线
性回归方程，其图象就是回归直线，b 为回归系数，a 称为回归常数，有时也 通称 a、b 为回归系数。
设得到的回归方程
yˆ b0 bx
残差方程为 vi yt yˆ yt b0 bxt , t 1,2,, N
根据最小二乘原理可求得回归系数 b0 和 b。 对照第五章最小二乘法的矩阵形式，令
y1
Y
y2
yN
1 x1
X
1
x2
1 xN
bˆ
b0 b
则误差方程的矩阵形式为
v1
V
v2
vN
Y Xbˆ V
对照V L AXˆ ，设测得值 yt 的精度相等，则有
bˆ ( X T X )1 X T Y
将测得值分别代入上式，可计算得
N
N
N
N
N
N
N
b
N
xt yt (
t 1
t 1
N
N xt 2 (
xt )(
t 1
N
xt )2
yt )
lxy lxx
,
b0
(
t 1
xt2 )( yt ) (
t 1
t 1
N
N
N xt2 (
xt )(
t 1
xt )2
xt yt )
y
bx
t 1
t 1
t 1
t 1
其中
x
1 N
N t 1
xt
y
1 N
N t 1
yt
lxx
N t 1
( xt
x)2
N t 1
xt 2
1 N
N
(
t 1
xt )2
lxy
N t 1
( xt
x)( yt
y)
N t 1
xt yt
1 N
N
(
t 1
N
xt )(
t 1
yt )
lyy
N t 1
( yt
y)2
N t 1
yt 2
1( N N t1
yt )2
二、回归方程的方差分析及显著性检验 问题：这条回归直线是否符合 y 与 x 之间的客观规律回归直线的预报精度 如何 解决办法： 方差分析法—分解 N 个观测值与其算术平均值之差的平方和；从量值上区 别多个影响因素；用 F 检验法对所求回归方程进行显著性检验。 （一）回归方程的方差分析 总的离差平方和（即 N 个观测值之间的变差）
可以证明： 其中
N
S ( yt y)2 lyy ， S N 1 t 1
S=U+Q
N
U ( yt y)2 blxy ，U 1 t 1
N
Q ( yt yˆt )2 lyy blxy ， Q N 2 t 1
U—回归平方和，反映总变差中由于 x 和 y 的线性关系而引起 y 变化的部分。 Q—残余平方和，反映所有观测点到回归直线的残余误差，即其它因素对 y 变差的影响。 （二）回归方程显著性检验— F 检验法 基本思路：方程是否显著取决于 U 和 Q 的大小，U 越大 Q 越小说明 y 与 x 的 线性关系愈密切。 计算统计量 F
对一元线性回归，应为
F U /U Q / Q
F U /1 Q /(N 2)
查 F 分布表，根据给定的显著性水平 和已知的自由度 1 和 N-2 进行检验： 若， F F0.01(1, N 2), 回归在的水平上高度显著。
F0.05 (1, N 2) F F0.01(1, N 2), 回归在的水平上显著。
F0.10 (1, N 2) F F0.05 (1, N 2), 回归在的水平上显著。
F F0.10 (1, N 2), 回归不显著。
（三）残余方差与残余标准差 残余方差：排除了 x 对 y 的线性影响后，衡量 y 随机波动的特征量。 2 Q N 2
残余标准差：
Q N 2
含义： 越小，回归直线的精度越高。
程序如下：
test=[1 5 10 15 20 25; ]
N=length(test(1,:)); sx=0;sx2=0;sy=0;sy2=0;sxy=0;Lxy=0;Lyy=0;
for i=1:N sx=sx+test(1,i); sx2=sx2+test(1,i)^2; sy=sy+test(2,i); sy2=sy2+test(2,i)^2;
sxy=sxy+test(1,i)*test(2,i); Lxy=Lxy+(test(1,i)-sum(test(1,:))/N)*(test(2,i)-sum(test(2,:)/N)); Lyy=Lyy+(test(2,i)-sum(test(2,:))/N)^2; end r=[N,sx;sx,sx2]\[sy;sxy]; a=r(1);b=r(2); U=b*Lxy; Q=Lyy-U; F=(N-2)*U/Q; x=test(1,:);y=a+b*x;eq=sum(test(2,:))/N; ssd=0;ssr=0; for i=1:N ssd=ssd+(test(2,i)-y(i))^2; ssr=ssr+(y(i)-eq)^2; end sst=ssd+ssr; RR=ssr/sst; str=[blanks(5),'y=','(',num2str(a),')','+','(',num2str(b),')','*x']; disp(' ') disp('回归方程为') disp(str) disp('R^2拟合优度校验') strin=['R^2=',num2str(RR)]; disp(strin) disp('方差检验：') strin=['sgm^2=',num2str(sgm)]; disp(strin) disp('F-分布显著性校验') stri=['F计算值',num2str(F),blanks(4),'自由度f1=1,f2=',num2str(N-2)]; disp(stri) disp('注：请对照F-分布表找到所需置信水平下的F临界值Fa，若F>Fa，则通过检验。') yy=a+b*test(1,:); plot(test(1,:),test(2,:),'r.'),hold on plot(test(1,:),yy,'b-'),hold off title(str)
某位移传感器的位移x 与输出电压y 的一组观测值如下：（单位略）
设x 无误差，求y 对x 的线性关系式，并进行方差分析与显著性检验。 （附：F0。10(1，4)=，F0。05(1，4)=，F0。01(1，4)=）
回归分析是研究变量之间相关关系的一种统计推断法。 一． 一元线性回归的数学模型
在一元线性回归中，有两个变量，其中 x 是可观测、可控制的普通变量， 常称它为自变量或控制变量，y 为随机变量，常称其为因变量或响应变量。通 过散点图或计算相关系数判定 y 与 x 之间存在着显著的线性相关关系，即 y 与 x 之间存在如下关系：
(1)
通常认为
且假设 与 x 无关。将观测数据
n)代入(1)再注意样本为简单随机样本得：
(i=1，……，
(2)
称(1)或(2)(又称为数据结构式)所确定的模型为一元(正态)线性回归模 型。
对其进行统计分析称为一元线性回归分析。
模型(2)中 EY=
，若记 y=E(Y),则 y=a+bx,就是所谓的一元线
性回归方程，其图象就是回归直线，b 为回归系数，a 称为回归常数，有时也 通称 a、b 为回归系数。
设得到的回归方程
yˆ b0 bx
残差方程为 vi yt yˆ yt b0 bxt , t 1,2,, N
根据最小二乘原理可求得回归系数 b0 和 b。 对照第五章最小二乘法的矩阵形式，令
y1
Y
y2
yN
1 x1
X
1
x2
1 xN
bˆ
b0 b
则误差方程的矩阵形式为
v1
V
v2
vN
Y Xbˆ V
对照V L AXˆ ，设测得值 yt 的精度相等，则有
bˆ ( X T X )1 X T Y
将测得值分别代入上式，可计算得
N
N
N
N
N
N
N
b
N
xt yt (
t 1
t 1
N
N xt 2 (
xt )(
t 1
N
xt )2
yt )
lxy lxx
,
b0
(
t 1
xt2 )( yt ) (
t 1
t 1
N
N
N xt2 (
xt )(
t 1
xt )2
xt yt )
y
bx
t 1
t 1
t 1
t 1
其中
x
1 N
N t 1
xt
y
1 N
N t 1
yt
lxx
N t 1
( xt
x)2
N t 1
xt 2
1 N
N
(
t 1
xt )2
lxy
N t 1
( xt
x)( yt
y)
N t 1
xt yt
1 N
N
(
t 1
N
xt )(
t 1
yt )
lyy
N t 1
( yt
y)2
N t 1
yt 2
1( N N t1
yt )2
二、回归方程的方差分析及显著性检验 问题：这条回归直线是否符合 y 与 x 之间的客观规律回归直线的预报精度 如何 解决办法： 方差分析法—分解 N 个观测值与其算术平均值之差的平方和；从量值上区 别多个影响因素；用 F 检验法对所求回归方程进行显著性检验。 （一）回归方程的方差分析 总的离差平方和（即 N 个观测值之间的变差）
可以证明： 其中
N
S ( yt y)2 lyy ， S N 1 t 1
S=U+Q
N
U ( yt y)2 blxy ，U 1 t 1
N
Q ( yt yˆt )2 lyy blxy ， Q N 2 t 1
U—回归平方和，反映总变差中由于 x 和 y 的线性关系而引起 y 变化的部分。 Q—残余平方和，反映所有观测点到回归直线的残余误差，即其它因素对 y 变差的影响。 （二）回归方程显著性检验— F 检验法 基本思路：方程是否显著取决于 U 和 Q 的大小，U 越大 Q 越小说明 y 与 x 的 线性关系愈密切。 计算统计量 F
对一元线性回归，应为
F U /U Q / Q
F U /1 Q /(N 2)
查 F 分布表，根据给定的显著性水平 和已知的自由度 1 和 N-2 进行检验： 若， F F0.01(1, N 2), 回归在的水平上高度显著。
F0.05 (1, N 2) F F0.01(1, N 2), 回归在的水平上显著。
F0.10 (1, N 2) F F0.05 (1, N 2), 回归在的水平上显著。
F F0.10 (1, N 2), 回归不显著。
（三）残余方差与残余标准差 残余方差：排除了 x 对 y 的线性影响后，衡量 y 随机波动的特征量。 2 Q N 2
残余标准差：
Q N 2
含义： 越小，回归直线的精度越高。
程序如下：
test=[1 5 10 15 20 25; ]
N=length(test(1,:)); sx=0;sx2=0;sy=0;sy2=0;sxy=0;Lxy=0;Lyy=0;
for i=1:N sx=sx+test(1,i); sx2=sx2+test(1,i)^2; sy=sy+test(2,i); sy2=sy2+test(2,i)^2;
sxy=sxy+test(1,i)*test(2,i); Lxy=Lxy+(test(1,i)-sum(test(1,:))/N)*(test(2,i)-sum(test(2,:)/N)); Lyy=Lyy+(test(2,i)-sum(test(2,:))/N)^2; end r=[N,sx;sx,sx2]\[sy;sxy]; a=r(1);b=r(2); U=b*Lxy; Q=Lyy-U; F=(N-2)*U/Q; x=test(1,:);y=a+b*x;eq=sum(test(2,:))/N; ssd=0;ssr=0; for i=1:N ssd=ssd+(test(2,i)-y(i))^2; ssr=ssr+(y(i)-eq)^2; end sst=ssd+ssr; RR=ssr/sst; str=[blanks(5),'y=','(',num2str(a),')','+','(',num2str(b),')','*x']; disp(' ') disp('回归方程为') disp(str) disp('R^2拟合优度校验') strin=['R^2=',num2str(RR)]; disp(strin) disp('方差检验：') strin=['sgm^2=',num2str(sgm)]; disp(strin) disp('F-分布显著性校验') stri=['F计算值',num2str(F),blanks(4),'自由度f1=1,f2=',num2str(N-2)]; disp(stri) disp('注：请对照F-分布表找到所需置信水平下的F临界值Fa，若F>Fa，则通过检验。') yy=a+b*test(1,:); plot(test(1,:),test(2,:),'r.'),hold on plot(test(1,:),yy,'b-'),hold off title(str)