一元线性回归分析

一元线性回归分析

一、一元线性回归定义

二、a，b的估计

四、线性假设的显著性检验

三、

误差方差的估计

五、b的置信区间

七、

Y的观察值的点预测和预测区间六、回归函数值的点估计和置信区间

相关性关系：

变量之间的关系并不确定

表现：涉及的变量时随机变量

如：身高与体重，不存在这样的函数可以由身高计算出体重，但从统计意义上来说，身高者，体也重。

再如：父亲的身高与儿子的身高之间也有一定联系，通常父亲高，儿子也高。

回归分析——研究相关性关系的最基本，应用最广泛的方法。

(x, Y)

采集样本信息( x i, y i)回归分析

散点图

回归方程

回归方程参数估计、显著性检验对现实进行预测与控制基本思想

一元回归分析:只有一个自变量的回归分析多元回归分析:多于一个自变量的回归分析

（一）一元线性回归

,Y a bx ε=++基本假设2(,)

Y N a bx σ+ 其中a ，b ，是不依赖于x 的

20(,)

N εσ 2σb 称为回归系数，-------一元线性回归模型

Y 分成了两部分：线性部分和随机误差a+b x 是Y 关于x 的回归函数

1122,(,),(,),...,(,)n n x x Y x Y x Y 对的一组不全相同的值得到样本,1,2,...,,i i i Y a bx i n ε=++=一元线性回归模型：()2

~0,1,2,...,.i N i n εσ=正态假设：，相互独立，截距斜率，反映了当x 改

变1个单位，那末y

改变b 个单位

一元线性回归要解决的问题：

(1),a b 的估计；

2(2)σ的估计；

(3)线性假设的显著性检验；

(4)b 回归系数的置信区间；

(5)()x a bx μ=+回归函数的点估计和置信区间；

(6)Y 的观察值的点预测和区间预测。

),(,),,(),,(2211n n y x y x y x 设是),(y x 的一组观测值,对每个样本观测值(,)

i i x y 其回归值

()i i

E y a bx =+考虑离差

()i i i i y E y y a bx -=--（二）a,b的估计——最小二乘估计

所谓最小二乘法,就是寻找参数,a b 的估计值 b ，使得离差平方和达到极小值,即选择使得 ,a b ,a (,)min (,)

Q a b Q a b 满足上式的 b ,a

称为回归参数二乘估计。,a b 的最小

（三）误差方差的估计

误差方差2σ估计的意义:

(a) 误差方差2σ的大小对模型的好坏有很大的影响。

(b) 自变量对因变量影响的大小是同误差对因变量的影响

相比较的。

(c) 如果自变量对因变量的影响不能显著的超过误差对因

变量的影响，就很难从这样的模型中提炼出有效的、有足够精度的信息。

（1）影响Y取值的，除了x，还有其他不可忽略的因素；（2）E(Y)与x的关系不是线性关系，而是其他关系；（3）Y与x不存在关系。

（四）线性假设的显著性检验

01:0,:0,

H b H b =≠即要检验假设采用最小二乘法估计参数a 和b ，并不需要事先知道Y 与x 之间一定具有相关关系，即使是平面图上一堆完全杂乱无章的散点，也可以用公式求出回归方程。因此μ(x)是否为x 的线性函数，一要根据专业知识和实践来判断，二要根据实际观察得到的数据用假设检验方法来判断。

若原假设被拒绝，说明回归效果是显著的，否则，若接受原假设，说明Y与x不是线性关系，回归方程无意义。回归效果不显著的原因可能有以下几种：

对给定的显著性水平

在一元线性回归场合，三种检验方法是等价的：在相同的显著性水平下，要么都拒绝原假设，要么都接受原假设，不会产生矛盾。

F检验可以很容易推广到多元回归分析场合，而其他二个则否，所以，F检验是最常用的关于回归方程显著性检验的检验方法。

（4）判定系数R2(coefficient of determination)＊定义：回归平方和占总离差平方和的比例

＊R2 的意义：* 取值范围在[ 0 , 1 ] 之间

*R2 →1，说明回归方程拟合的越好；

*R2→0，说明回归方程拟合的越差

*判定系数等于相关系数的平方，即R2＝(r)2

(六)回归函数

56 54 52 50 48 46 44 42 40 38 （1）合金钢的强度y与钢材中碳的含量x的散点图0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19