线性回归

∑ (x
σ2 2
i
2011-8-18
6
4.2
对σ2的估计 2 记 Q = ∑ εi
则 所以 : σˆ =
一元线性回归
=
∑
ˆ (yi − yi)2 =
2
∑
ˆ ˆ ( y i − ( a + b x i ))
2
2
E (Q ) = ( n − 2 ) σ
2
即
E(
Q ) =σ n − 2
Q 是 ቤተ መጻሕፍቲ ባይዱ n − 2
ˆ ˆ a, b, R 2 , F , P 的值可以使用 的值可以使用polyfit()或regress()命令计 或 命令计
具体说明。 算，用法参看MATLAB具体说明。 用法参看 具体说明
2011-8-18
9
4.2
一元线性回归
利用回归模型进行预测 当回归模型和系数通过检验后，可由给定的 当回归模型和系数通过检验后，可由给定的x0值代入回归 方程得到Y的点预测值 的点预测值y 方程得到 的点预测值 0：
一元线性回归
利用回归模型进行控制 观察值y在某个区间 取值时， 的取值范围， 观察值 在某个区间(y1,y2)取值时，应如何控制 的取值范围， 在某个区间 取值时 应如何控制x的取值范围 使得响应的观察值落入指定区间的概率至少为1-a.解方程： 解方程： 使得响应的观察值落入指定区间的概率至少为 解方程
2011-8-18 4
4.2
一元线性回归
回归系数的最小二乘估计 已知(x1, y1),(x2 ,y2),...,(xn, yn)，代入回归模型得到： 已知 ，代入回归模型得到：
y i = a + bxi + ε i , ε i ~ N (0, σ 2 ), i = 1,2,..., n
采用最小二乘法（即使观测值与回归值的离差平方和最小）： 采用最小二乘法（即使观测值与回归值的离差平方和最小）：
2011-8-18 7
4.2
一元线性回归
R=
样本相关系数及其显著性检验
样本相关系数 R
∑ (x ∑ (x
i
i
− x )( y i − y )
2
− x)
∑(y
i
− y)
2
=
L xy L xx L yy
显然：样本相关系数R的符号决定于 xy，因此与相关系数b的 显然：样本相关系数 的符号决定于L 因此与相关系数 的 的符号决定于 符号一致。说明： 符号一致。说明： (1)当R=0时， Lxy =0，因此 的变化与X无关 当 时 ，因此b=0，说明 的变化与 无关，此时 ，说明Y的变化与 无关， Y与X毫无线性相关关系； 毫无线性相关关系； 与 毫无线性相关关系 (2)当R=±1时， 所有的样本点都在回归直线上，此时称 与X 当 ± 时 所有的样本点都在回归直线上，此时称Y与 完全线性相关，R=1，完全正相关，R=-1，完全负相关； 完全线性相关， ，完全正相关， ，完全负相关； (3)当0<|R|<1时， 说明 与Y存在一定的线性相关关系， 存在一定的线性相关关系， 当 时 说明X与 存在一定的线性相关关系 0<R<1，正相关； -1 <R<0，负相关；R的绝对值越大，相关 的绝对值越大， ，正相关； ，负相关； 的绝对值越大 关系越显著。 关系越显著。
2011-8-18 8
4.2
一元线性回归
显著性检验：原假设 显著性检验：原假设H0：b=0 ( yi − y ) 2 R2 ∑ ˆ 统计量 F = ( n − 2) = ( n − 2) ~ F (1, n − 2) 2 2 ˆ 1− R ∑ ( yi − yi ) 给定显著性水平a，查表得 的临界值 若 的临界值F 给定显著性水平 ，查表得F的临界值 a,若F*>Fa （F*为F的观 为 的观 测值），则拒绝假设即认为X与 之间相关关系显著 ），则拒绝假设即认为 之间相关关系显著； 测值），则拒绝假设即认为 与Y之间相关关系显著；否则认 不存在线性相关关系； 来比较， 为Y与X不存在线性相关关系；也可使用 与 不存在线性相关关系 也可使用P=P{F>F*} 来比较， 则拒绝假设即认为X与 之间相关关系显 若P<a（即F*> Fa）,则拒绝假设即认为 与Y之间相关关系显 （ 则拒绝假设即认为 著；一般使用时，P接近于 。 一般使用时， 接近于0。 接近于
Y = a + bX + ε ε ~ N (0, σ 2 )
其中a,b称为一元线性回归的回归系数； 表示回归值与测量 其中 称为一元线性回归的回归系数；ε表示回归值与测量 称为一元线性回归的回归系数 值之间的误差。 值之间的误差。 针对该模型，需要解决以下问题： 针对该模型，需要解决以下问题： (1)如何估计参数 以及 2； 如何估计参数a,b以及 如何估计参数 以及σ (2)模型的假设是否正确？ 模型的假设是否正确？ 模型的假设是否正确 (3)如何应用所求的回归方程对试验指标进行预测。 如何应用所求的回归方程对试验指标进行预测。 如何应用所求的回归方程对试验指标进行预测
y1 = y1 − σU α / 2 = a + bx1 − σU α / 2 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ y 2 = y 2 + σU α / 2 = a + bx 2 + σU α / 2
解得x 即可以得到x的控制区间的两个端点值 的控制区间的两个端点值。 解得 1,x2，即可以得到 的控制区间的两个端点值。 y2
2011-8-18
3
4.2
一元线性回归
一元线性回归模型 给定一组数据点(x1, y1),(x2 ,y2),...,(xn, yn)，如果通过散 给定一组数据点 ，如果通过散 点图可以观察出变量间大致存在线性函数关系 可以观察出变量间大致存在线性函数关系， 点图可以观察出变量间大致存在线性函数关系，则可以建立 如下模型： 如下模型：
y1
2011-8-18
ˆ y2 ˆ y1
x1 x2
11
4.2
一元线性回归
异常数据的剔除 当用regress()命令得到回归模型的系数估计值和残差及 命令得到回归模型的系数估计值和残差及 当用 残差置信区间时，由于残差符合均值为零的正态分布， 残差置信区间时，由于残差符合均值为零的正态分布，所以残 差置信区间应该通过零点。 画出残差图， 差置信区间应该通过零点。用rcoplot(r,rint)画出残差图，由 画出残差图 图可容易看出异常数据点，剔除这些异常点， 图可容易看出异常数据点，剔除这些异常点，重新进行回归分 可使模型预测更精确。 析，可使模型预测更精确。
第四部分 回归分析
回归分析的概念 一元线性回归 多元线性回归 多项式回归 非线性回归 逐步回归
2011-8-18 1
4.1
回归分析的概念
在工农业生产和科学研究中， 在工农业生产和科学研究中，常常需要研究变量之间的 关系。变量之间的关系可以分为两类：确定性关系、 关系。变量之间的关系可以分为两类：确定性关系、非确定 性关系。确定性关系就是指存在某种函数关系。然而， 性关系。确定性关系就是指存在某种函数关系。然而，更常 见的变量之间的关系存在着某种不确定性。例如： 见的变量之间的关系存在着某种不确定性。例如：商品的销 售量与当地人口有关，人口越多，销售量越大， 售量与当地人口有关，人口越多，销售量越大，但它们之间 并没有确定性的数值关系，同样的人口， 并没有确定性的数值关系，同样的人口，可能有不同的销售 这种既有关联，又不存在确定性数值关系的相互关系， 量。这种既有关联，又不存在确定性数值关系的相互关系， 就称为相关关系 相关关系。 就称为相关关系。 回归分析就是研究变量之间相关关系的一种数理统计分 析方法。在回归分析中，主要研究以下几个问题： 析方法。在回归分析中，主要研究以下几个问题：
2011-8-18
12
4.2
一元线性回归
例4.1人口预测 人口预测 1949年—1994年我国人口数据资料如下： 年我国人口数据资料如下： 年 年我国人口数据资料如下 年份xi 49 54 59 64 69 74 79 84 89 年份 94 人数y 人数 i 5.4 6.0 6.7 7.0 8.1 9.1 9.8 10.3 11.3 11.8 建模分析我国人口增长的规律, 预报1999、2005年我国人 建模分析我国人口增长的规律 预报 、 年我国人 口数。 口数。 建模分析步骤： 建模分析步骤： (1) 在坐标系上作观测数据的散点图。 在坐标系上作观测数据的散点图。 (2) 根据散点分布的几何特征提出模型 (3) 利用数据估计模型的参数 (4) 计算拟合效果 (1)散点图 散点图
2011-8-18
2
4.1
回归分析的概念
(1)拟合：建立变量之间有效的经验函数关系； 拟合： 拟合 建立变量之间有效的经验函数关系； 变量选择： (2)变量选择：在一批变量中确定哪些变量对因变量有显著 变量选择 影响，哪些没有实质影响； 影响，哪些没有实质影响； (3)估计与检验：估计回归模型中的未知参数，并且对模型 估计与检验： 估计与检验 估计回归模型中的未知参数， 提出的各种假设进行推断； 提出的各种假设进行推断； (4)预测：给定某个自变量，预测因变量的值或范围。 预测： 预测 给定某个自变量，预测因变量的值或范围。 根据自变量个数和经验函数形式的不同， 根据自变量个数和经验函数形式的不同，回归分析可以 分为许多类别。 分为许多类别。
x2 σ2 ˆ ]σ 2 ), b ~ N (b, ) 2 2 ∑ ( xi − x ) ∑ ( xi − x ) (x − x)2 ]σ 2 ) ( xi − x ) 2 ∑ x − x)
1 ˆ = a + b x ~ N ( a + bx , [ + ˆ ˆ y n ( 4) ˆ ˆ E ( a − a ) (b − b ) = −