一元线性回归-方差分析-显著性分析

一元线性回归分析及方差分析与显著性检验

某位移传感器的位移x 与输出电压y 的一组观测值如下：（单位略）

设x 无误差，求y 对x 的线性关系式，并进行方差分析与显著性检验。 （附：F 0。10(1，4)=4.54，F 0。05(1，4)=7.71，F 0。01(1，4)=21.2）

回归分析是研究变量之间相关关系的一种统计推断法。

一． 一元线性回归的数学模型

在一元线性回归中，有两个变量，其中 x 是可观测、可控制的普通变量，常称它为自变量或控制变量，y 为随机变量，常称其为因变量或响应变量。通过散点图或计算相关系数判定y 与x 之间存在着显著的线性相关关系，即y 与x 之间存在如下关系：

y =a +b ∗x +ε (1)

通常认为ε~N (0,δ2)且假设δ2与x 无关。将观测数据(x i ,y i ) (i=1，……，n)代入(1)再注意样本为简单随机样本得：

{y i =a +b ∗x i +εi

ε1⋯εn 独立同分布N (0,σ2)

(2) 称(1)或(2)(又称为数据结构式)所确定的模型为一元(正态)线性回归模型。 对其进行统计分析称为一元线性回归分析。

模型(2)中 EY= a +b ∗x ，若记 y=E(Y),则 y=a+bx,就是所谓的一元线性回归方程，其图象就是回归直线，b 为回归系数，a 称为回归常数，有时也通称 a 、b 为回归系数。

设得到的回归方程

根据最小二乘原理可求得回归系数b 0和b 。 对照第五章最小二乘法的矩阵形式，令

⎪⎪⎪⎪⎪⎭

⎫ ⎝⎛=⎪

⎪⎭

⎫

⎝⎛=⎪⎪⎪⎪⎪⎭

⎫

⎝⎛=⎪⎪⎪

⎪⎪⎭⎫ ⎝⎛=v v v V b b b x x x X y y y Y 2102121ˆ111

则误差方程的矩阵形式为

对照X A L V -=，设测得值

Y X X X b T T 1)(-=

将测得值分别代入上式，可计算得

,)()

)((2

2

1

1

1

xx

xy N

t N t t t t t t t t l l x x N y x y x N b =

--=

∑∑∑∑∑===x b y x x N y x x y x b N N

t t t t t t t t t t t -=--=

∑∑∑∑∑∑====2

21

111

2

0)()

)(())((

其中

2

2

2

1

1112

11

2

12

1

1)(1)()

)((1)()()(1)(1∑∑∑∑∑∑∑∑∑∑∑∑=========-=-=-=--=-=-==

=

N

t N N

t t yy N

t t N

t t N

t t t t N

t t xy N

t t N

t t N

t t xx N t t

t t

y y y y l y x N y x y y x x l x N x x x l y

N

y x

N x

二、回归方程的方差分析及显著性检验

问题：这条回归直线是否符合y 与x 之间的客观规律回归直线的预报精度如何？

解决办法：

方差分析法—分解N 个观测值与其算术平均值之差的平方和；从量值上区别多个影响因素；用F 检验法对所求回归方程进行显著性检验。 （一）回归方程的方差分析

总的离差平方和（即N 个观测值之间的变差）

∑=-=yy t l y y S 2)(可以证明：

S=U+Q

其中

∑=-=xy t bl y y U 2)(xy yy t t bl l y

y Q -=-=∑2)ˆ(，Q U —回归平方和，反映总变差中由于x 和y 的线性关系而引起 y 变化的部分。

Q —残余平方和，反映所有观测点到回归直线的残余误差，即其它因素对y 变差的影响。

（二）回归方程显著性检验— F 检验法

基本思路：方程是否显著取决于U 和Q 的大小，U 越大Q 越小说明y 与x 的线性关系愈密切。 计算统计量F

Q

U

Q F ν/=

对一元线性回归，应为

)

2/(-=

N Q F

查F 分布表，根据给定的显著性水平α和已知的自由度1和N-2进行检验： 若，0.01的水平上高度显著。

0.05的水平上显著。 0.1的水平上显著。

（三）残余方差与残余标准差

残余方差：排除了x 对y 的线性影响后，衡量y 随机波动的特征量。

22-=

N σ

残余标准差：

含义：

σ

越小，回归直线的精度越高。

程序如下：

test=[1 5 10 15 20 25;

0.1051 0.5262 1.0521 1.5775 2.1031 2.6287] N=length(test(1,:));

sx=0;sx2=0;sy=0;sy2=0;sxy=0;Lxy=0;Lyy=0; for i=1:N

sx=sx+test(1,i); sx2=sx2+test(1,i)^2;