第六章 一元线性回归
一元线性回归
12．9 一元线性回归以前我们所研究的函数关系是完全确定的，但在实际问题中，常常会遇到两个变量之间具有密切关系却又不能用一个确定的数学式子表达，这种非确定性的关系称为相关关系。
通过大量的试验和观察，用统计的方法找到试验结果的统计规律，这种方法称为回归分析。
一元回归分析是研究两个变量之间的相关关系的方法。
如果两个变量之间的关系是线性的，这就是一元线性回归问题。
一元线性回归问题主要分以下三个方面：（1）通过对大量试验数据的分析、处理，得到两个变量之间的经验公式即一元线性回归方程。
（2）对经验公式的可信程度进行检验，判断经验公式是否可信。
（3）利用已建立的经验公式，进行预测和控制。
12．9．1 一元线性回归方程 1．散点图与回归直线在一元线性回归分析里，主要是考察随机变量y 与普通变量x 之间的关系。
通过试验，可得到x 、y 的若干对实测数据，将这些数据在坐标系中描绘出来，所得到的图叫做散点图。
例1 在硝酸钠（NaNO 3）的溶解度试验中，测得在不同温度x （℃）下，溶解于100解 将每对观察值（x i ，y i ）在直角坐标系中描出，得散点图如图12.11所示。
从图12.11可看出，这些点虽不在一条直线上，但都在一条直线附近。
于是，很自然会想到用一条直线来近似地表示x 与y 之间的关系，这条直线的方程就叫做y 对x 的一元线性回归方程。
设这条直线的方程为yˆ=a+bx 其中a 、b 叫做回归系数（y ˆ表示直线上y 的值与实际值y i 不同）。
图12.11下面是怎样确定a 和b ，使直线总的看来最靠近这几个点。
2．最小二乘法与回归方程在一次试验中，取得n 对数据（x i ，y i ），其中y i 是随机变量y 对应于x i 的观察值。
我们所要求的直线应该是使所有︱y i －yˆ︱之和最小的一条直线，其中i y ˆ=a+bx i 。
由于绝对值在处理上比较麻烦，所以用平方和来代替，即要求a 、b 的值使Q=21)ˆ(i ni iyy-∑=最小。
一元线性回归方程
北京市城市居民家庭生活抽样调查表1 14 12 10 8 6 4 2 0 1976 1978 1980 1982 1984 1986 1988
Y: 人 均 收 入
x:年份
北京市城市居民家庭生活抽样调查图表 2 10 8 6 4 2 0 0 2 4 6 8
Y:人均食品支出
10 12 14 16 18
Fα (1,n-2),得否定域为F >Fα (1,n-2);
4.代入样本信息,F落入否定域则否定原假设, 线性关系显著;落入接受域则接受原假设, 线性关系不显著.
相关系数检验法: 相关系数检验法:
1.提出原假设:H0:b=0; lxy 2.选择统计量 R = lxxl yy 3.对给定的显著性水平α,查临界值rα (n-2), 得否定域为R >rα (n-2); 4.代入样本信息,R落入否定域则否定原假设,线性关 系显著;落入接受域则接受原假设,线性关系不显著.
第二节
一元线性回归方程
一 回归直线方程
两个变量之间的线性关系，其回归模型为： 两个变量之间的线性关系，其回归模型为：
yi = a + bxi + εi
ε 称为 y称为因变量，x称为自变量，
随机扰动，a,b称为待估计的回归参 数，下标i表示第i个观测值。
对于回归模型，我们假设：
εi ~ N( 0,σ ),i = 1,2,⋯,n E( εiε j ) = 0,i ≠ j
pt
qt
概率 0.25 0.50 0.25 0.25 0.50 0.25 … 0.25 0.50 0.25
qt = 11 − 4 pt+ εt
其中
这时， 这时，方程的形式为
εt
为随机变量. 为随机变量
一元线性回归
《土地利用规划学》一元线性回归分析学院：资源与环境学院班级：2013009姓名：x学号：201300926指导老师：x目录一、根据数据绘制散点图： (1)二、用最小二乘法确定回归直线方程的参数： (1)1）最小二乘法原理 (1)2）求回归直线方程的步骤 (3)三、回归模型的检验： (4)1）拟合优度检验（R2）： (4)2）相关系数显著性检验： (5)3）回归方程的显著性检验（F 检验） (6)四、用excel进行回归分析 (7)五、总结 (15)一、根据数据绘制散点图：◎由上述数据，以销售额为y 轴（因变量），广告支出为X 轴（自变量）在EXCEL 可以绘制散点图如下图：◎从散点图的形态来看，广告支出与销售额之间似乎存在正的线性相关关系。
大致分布在某条直线附近。
所以假设回归方程为：x y βα+=二、用最小二乘法确定回归直线方程的参数： 1）最小二乘法原理年份 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 广告支出（万元）x 4.00 7.00 9.00 12.00 14.00 17.00 20.00 22.00 25.00 27.00销售额y7.00 12.00 17.00 20.00 23.00 26.00 29.00 32.00 35.00 40.00最小二乘法原理可以从一组测定的数据中寻求变量之间的依赖关系，这种函数关系称为经验公式。
考虑函数y=ax+b ，其中a,b 为待定常数。
如果Pi(xi,yi)（i=1,2,...,n ）在一条直线上，则可以认为变量之间的关系为y=ax+b 。
但一般说来, 这些点不可能在同一直线上. 记Ei=yi-(axi+b)，它反映了用直线y=ax+b 来描述x=xi ，y=yi 时，计算值y 与实际值yi 的偏差。
当然，要求偏差越小越好，但由于Ei 可正可负，所以不能认为当∑Ei=0时，函数y=ax+b 就好好地反应了变量之间的关系，因为可能每个偏差的绝对值都很大。
统计学06第六章相关与回归分析
-5.3339 -21.2729 -20.0669
0.02111209 -58.5559
0.0675121 -201.421
2019/11/7
第六章 相关与回归分析
20
2.2 相关系数的特征及判别标准
解法 1
n x y
Lxx
L yy
Lxy
2
xx
2
y y
xx
3559.59
22
2.2 相关系数的特征及判别标准
解法 2
n x y x2 y2 x y
10 6470 5.813 4814300 3.446609 3559.59
r
10 3559.59 6471 5.813
10 4814300 64702 10 3.446609 5.8132
第六章 相关与回归分析
第二节 简单线性相关分析
2.1 相关系数的计算公式 2.2 相关系数的特征及判别标准 2.3 相关系数的检验
2.1 相关系数的计算公式
相关系r数与计ρ算公式： X 、Y 的协方差
相总关样 系体数本：相关 系V数Caor是 vXX一，Va个 YrY统
计量。可以证明，样本相
y y
10 6470 5.813 628210 0.0675121 -201.421
r
201 .421
628210 0 .0675121
0 .978051034 0.9781
2019/11/7
第六章 相关与回归分析
21
2.2 相关系数的特征及判别标准
x
280 320 390 530 650 670 790 880 910 1050
一元线性回归
由此可推测：当火灾发生地离最近的消 防 站 为 10km 时 ， 火 灾 损 失 大 致 在
ˆ y 10.279 49.19 59.369（千元） 当火 ；
灾发生地离最近的消防站为 2km 时，火灾损 失大致在 20.117（千元）
三、0，1的性质
1, 线性
1
(x x ) y
为 y 关于 x 的一元线性经验回归方程 （简称为回归直
ˆ 线方程） 0 为截距， 1 为经验回归直线的斜率。 ， ˆ
引进矩阵的形式：
y1 1 x1 1 0 y2 1 x2 2 设 y ， X ， ， 1 y 1 x n n n
变量之间具有密切关联 而又不能由一个或某一些变 量唯一确定另外一个变量的 关系称为变量之间的相关关 系.
y
y f ( x)
y
Y f (X )
0
(a) 函数关系
x
0
(b) 统计关系
x
种类
正相关 负相关
一元相关 多元相关
线性相关 曲线相关
y
y
y
y
正相关
x
负相关
x
曲线相关
x
不相关
x
例 2 城镇居民的收入与消费支出之间有很大的关 联，居民的收入提高了，消费也随之潇洒，但居民的 收入不能完全确定消费，人们的消费支出受到不同年 龄段的消费习惯的影响，也受到不同消费理念的影响。 因此居民的收入 x 与消费支出 y 就呈现出某种不确定 性。 我们将上海市城镇居民可支配收入与支出的数据 （1985 年~2002 年）用散点图表示，可以发现居民的 收入 x 与消费支出 y 基本上呈现线性关系，但并不完 全在一条直线上。 附数据与图形。
6.1第六章回归分析
变量之间的联系
确定型的关系：指某一个或某几个现象的变动必然会 引起另一个现象确定的变动，他们之间的关系可以使 用数学函数式确切地表达出来，即y=f(x)。当知道x的 数值时，就可以计算出确切的y值来。如圆的周长与 半径的关系：周长=2πr。 非确定关系：例如，在发育阶段，随年龄的增长，人 的身高会增加。但不能根据年龄找到确定的身高，即 不能得出11岁儿童身高一定就是1米40公分。年龄与 身高的关系不能用一般的函数关系来表达。研究变量 之间既存在又不确定的相互关系及其密切程度的分析 称为相关分析。
（3）方差齐性检验
方差齐性是指残差的分布是常数，与预测变量或 因变量无关。即残差应随机的分布在一条穿过0点 的水平直线的两侧。在实际应用中，一般是绘制 因变量预测值与学生残差（或标准化残差）的散 点图。在线性回归Plots对话框中的源变量表中,选 择SRESID或ZRESID（学生氏残差或标准化残差） 做Y轴；选择ZPRED（标准化预测值）做X轴就 可以在执行后的输出信息中显示检验方差齐性的 散点图。
要认真检查数据的合理性。
2、选择自变量和因变量
3、选择回归分析方法
Enter选项，强行进入 法，即所选择的自变量 全部进人回归模型，该
选项是默认方式。
Remove选项，消去法， 建立的回归方程时，根
据设定的条件剔除部分
自变量。
选择回归分析方法
Forward选项，向前选择 法，根据在option对话框中 所设定的判据，从无自变 量开始。在拟合过程中， 对被选择的自变量进行方 差分析，每次加入一个F值 最大的变量，直至所有符 合判据的变量都进入模型 为止。第一个引入归模型 的变量应该与因变量间相 关系数绝对值最大。
得到它们的均方。
一元线性回归模型及参数估计
但是，随机误差项的方差的估计量是不同的。
解或然方程
sm2
L*
= n
2sm2
+1
2sm4
S(Yi
bˆ0
bˆ1Xi)2
=0
即可得到sm2的最大或然估计量为：
sˆm2
1 =nS(Yi
bˆ0
bˆ1Xi)2
s P (Y i)=
1 e2s 1m 2(Y ibˆ0bˆ1X i)2 2
i= 1,2,… ,n
因为Yi 是相互独立的，所以 Y 的所有样本观测值的联合概率， 也即或然函数(likelihood function)为：
L(bˆ0,bˆ1,sm2) = P(Y1,Y2,,Yn)
=
1
e 1 2sm2
S(Yi
，当
Q对
b$ 、 0
b$ 的一阶偏导数为 1
0 时， Q 达到最小。即
Q
bˆ 0 Q
bˆ1
=0 =0
(
( bˆ
bˆ
0
0 +
+ bˆ1 X bˆ1 X i
i
Yi ) Yi ) X
= i
0 =
0
SYi SYi X i
= nbˆ0 + bˆ1SX i
=
bˆ0 SX i
+
bˆ1S
X
2 i
解得：
bˆ0 = Y bˆ1X
bˆ1
=
nSYi Xi SYiSXi nSXi2 (SXi )2
由于
bˆ 0
、bˆ 的估计结果是从最小二乘原理得到的，故称为 1
一元线性回归分析
(n
2)
S2 ˆ0
2 ˆ0
:
2(n 2)
S 2 ˆ1
S2
n
（Xt X )2
t 1
(n
2)
S2 ˆ1
2 ˆ1
:
2(n 2)
所以根据t分布的定义，有
ˆ0 0 ~ t(n 2), ˆ1 1 ~ t(n 2)
Sˆ0
Sˆ1
进而得出了0的置信水平为1-区间估计为
et Yt Yˆt称为残差，与总体的误差项ut对应，n为样 本的容量。
样本回归函数与总体回归函数区别
1、总体回归线是未知的，只有一条。样本回归线是根据样本数 据拟合的，每抽取一组样本，便可以拟合一条样本回归线。
2、总体回归函数中的β0和β1是未知的参数，表现为常数。而样
本回归函数中的 ˆ0和是ˆ1 随机变量，其具体数值随所抽取
S 44.0632
Sef S
1 1 n
( X f X )2
n
45.543
( Xt X )2
t 1
所求置信区间为：(188.6565 97.6806)
回归分析的SPSS实现
“Analyze->Regression->Linear”
0
n
2 t1 Xt (Yt ˆ0 ˆ1 Xt ) 0
nˆ0
n
ˆ1
t 1
Xt
n
Yt
t 1
n
n
n
ˆ0
t 1
Xt
ˆ1
t 1
X
2 t
一元回归线性模型
一元回归线性模型
一元线性回归模型，又称为简单线性回归模型，是机器学习中常
用的回归模型，它是利用一个自变量X来预测因变量Y的结果。
一元
线性回归模型将样本数据映射为一条直线，如y=ax+b，其中a是斜率，b是截距，也就是说，一元线性回归模型中的参数是斜率和截距，而拟
合的直线就是根据样本数据估计出来的最佳拟合直线。
目标函数是求解参数 a 和 b，使得误差平方和最小，具体来说，
目标函数的表达式为：J（a,b）=Σi(yi-f(xi))^2,其中f（x）=ax+b，yi为观测值，xi为观测值对应的自变量。
对于一元线性回归模型，求解参数 a 和 b 的最优方法要么是直
接用梯度下降法求解，要么是用最小二乘法求解。
梯度下降法求解时，需构造损失函数，使用梯度下降法迭代更新参数，直到获得最优结果；而最小二乘法求解时，通过求解参数关于损失函数的导数，便可解出
模型参数，从而得到最优结果。
一元线性回归模型在实际应用中有很多优点，其中最重要的就是
它易于拟合和解释，它求解简单，可以很大程度上减少了计算复杂度，而且可以很好地预测因变量的值，也可以用来检验变量之间的关系。
一元线性回归
第六讲 一元线性回归在客观世界中, 普遍存在着变量之间的关系.数学的一个重要作用就是从数量上来揭示、表达和分析这些关系。
而变量之间关系, 一般可分为确定的和非确定的两类. 确定性关系可用函数关系表示, 而非确定性关系则不然.例如, 人的身高和体重的关系、人的血压和年龄的关系、某产品的广告投入与销售额间的关系等, 它们之间是有关联的，但是它们之间的关系又不能用普通函数来表示。
我们称这类非确定性关系为相关关系。
具有相关关系的变量虽然不具有确定的函数关系，但是可以借助函数关系来表示它们之间的统计规律，这种近似地表示它们之间的相关关系的函数被称为回归函数。
回归分析是研究两个或两个以上变量相关关系的一种重要的统计方法。
在实际中最简单的情形是由两个变量组成的关系。
考虑用下列模型表示)(x f Y =. 但是，由于两个变量之间不存在确定的函数关系，因此必须把随机波动考虑进去，故引入模型如下ε+=)(x f Y其中Y 是随机变量，x 是普通变量，ε是随机变量（称为随机误差）。
回归分析就是根据已得的试验结果以及以往的经验来建立统计模型，并研究变量间的相关关系，建立起变量之间关系的近似表达式，即经验公式，并由此对相应的变量进行预测和控制等。
本节主要介绍一元线性回归模型估计、检验以及相应的预测和控制等问题。
一、引例为了研究某一化学反应过程中温度x 对产品得率Y 的影响. 测得数据如下:89857874706661545145%/190180170160150140130120110100/i i y C x 温度温度试研究这些数据所蕴藏的规律性.二、一元线性回归模型一般地,当随机变量Y 与普通变量x 之间有线性关系时, 可设εββ++=x Y 10, （1）),,0(~2σεN 其中10,ββ为待定系数。
设),(,),,(),,(2211n n Y x Y x Y x 是取自总体),(Y x 的一组样本,而),(,),,(),,(2211n n y x y x y x 是该样本的观察值,在样本和它的观察值中的n x x x ,,,21 是取定的不完全相同的数值，而样本中的n Y Y Y ,,,21 在试验前为随机变量，在试验或观测后是具体的数值，一次抽样的结果可以取得n 对数据),(,),,(),,(2211n n y x y x y x ，则有i i i x y εββ++=10, n i ,,2,1 = (2)其中n εεε,,,21 相互独立。
一元线性回归
一元线性回归
一、回归分析的基本思想 二、一元线性回归的数学模型 三、可化为一元线性回归的问题 四、小结
一、回归分析的基本思想
确定性关系 变量之间的关系 相 关 关 系
S πr 2
身高和体重
确定性关系 相关关系
相关关系的特征是:变量之间的关系很难用一 种精确的方法表示出来.
确定性关系和相关关系的联系
n
xi x
2 ( x x ) j j 1 n
var( y ) i
2
2
2 ( x x ) j j 1 n
1 xi x ˆ 0 y 1 x ( x ) yi n lxx
1 xi x ˆ Var ( 0 ) x lxx n
由于存在测量误差等原因,确定性关系在实际 问题中往往通过相关关系表示出来;另一方面,当对 事物内部规律了解得更加深刻时,相关关系也有可 能转化为确定性关系. 回归分析——处理变量之间的相关关系的一 种数学方法,它是最常用的数理统计方法.
回 归 分 析
线性回归分析
非线性回归分析
一元线性回归分析
多元线性回归分析 β1 = Nhomakorabea(x
i=1 n
n
i
x )( yi y ) ,
2 ( x x ) i i=1
β0 = y β1 x,
1 n 1 n 其中 x xi , y yi . n i 1 n i 1
记
l xx = ( xi x )2 ,
i=1
n
l yy = ( yi y )2 ,
2 x x x 2 2 i ˆ ˆ ˆ cov(y , 1 ) x cov(1 , 1 ) x nlxx l xx l xx
一元线性回归
⼀元线性回归1、概念⼀元线性回归是最简单的⼀种模型，但应⽤⼴泛，⽐如简单地预测商品价格、成本评估等，都可以⽤⼀元线性模型，本节主要讲解scikit-learn⼀元线性回归的使⽤以及作图说明。
y=f(x)叫做⼀元函数，回归的意思就是根据已知数据复原某些值，线性回归(regression)就是⽤线性的模型做回归复原。
那么⼀元线性回归就是：已知⼀批(x,y)值来复原另外未知的值。
⽐如：告诉你(1,1),(2,2),(3,3)，那么问你(4,?)是多少，很容易复原出来(4,4)，这就是⼀元线性回归问题的求解。
当然实际给你的数据可能不是严格线性，但依然让我们⽤⼀元线性回归来计算，那么就是找到⼀个最能代表已知数据的⼀元线性函数来做复原和求解。
2、scikit-learn的⼀元线性回归1import numpy as np2from sklearn.linear_model import LinearRegression3 x = [[1],[2],[3],[4],[5],[6]]4 y = [[1],[2.1],[2.9],[4.2],[5.1],[5.8]]5print x6print(y)7 model = LinearRegression()8 model.fit(x, y) #训练模型9 predicted = model.predict([13])[0]#预测输出10print predictedView Code结果：1 [[1], [2], [3], [4], [5], [6]]2 [[1], [2.1], [2.9], [4.2], [5.1], [5.8]]3 [ 12.82666667]这⾥⾯的model是⼀个estimator，它通过fit()⽅法来算出模型参数，并通过predict()⽅法来预测，LinearRegression的fit()⽅法就是学习这个⼀元线性回归模型：y = a + bx原数据的图像：1import matplotlib.pyplot as plt2from matplotlib.font_manager import FontProperties3 font = FontProperties()4 plt.figure()5 plt.title('this is title')6 plt.xlabel('x label')7 plt.ylabel('y label')8 plt.axis([0, 25, 0, 25])9 plt.grid(True)10 x = [[1],[2],[3],[4],[5],[6]]11 y = [[1],[2.1],[2.9],[4.2],[5.1],[5.8]]12 plt.plot(x, y, 'k.')13 plt.show()View Code结果：合在⼀起：1import numpy as np2from sklearn.linear_model import LinearRegression3import matplotlib.pyplot as plt4from matplotlib.font_manager import FontProperties56 x = [[1],[2],[3],[4],[5],[6]]7 y = [[1],[2.1],[2.9],[4.2],[5.1],[5.8]]8 model = LinearRegression()9 model.fit(x, y)10 x2 = [[0], [2.5], [5.3], [9.1]]11 y2 = model.predict(x2)1213 plt.figure()14 plt.title('linear sample')15 plt.xlabel('x')16 plt.ylabel('y')17 plt.axis([0, 10, 0, 10])18 plt.grid(True)19 plt.plot(x, y, 'k.')20 plt.plot(x2, y2, 'g-')21 plt.show()View Code其他相关⽤法⽅差计算:⽅差⽤来衡量样本的分散程度，⽅差公式是⽤numpy库已有的⽅法：1 np.var([1, 2, 3, 4, 5, 6], ddof=1)1 3.5得出⽅差是3.5。
一元线性回归方程
2.F检：是对全部回归系数进行一次性显著性检验
（方程显著性检验）
其 表 达 式 为 ：F
Hale Waihona Puke S余S回 / m/（n m 1）
回归模型显著性检验步骤为：
(1) 根据α以及分子(m)和分母(n-m-1)的自由度，查
F分布表得临界值Fc ；
(2)作出判断
①当F>Fc(α,m,n-m-1),
则回归模型具有显著水平，x和y之间的变化是符
年 份
人均收入（元） 人均消费(元）
1980
480
420
1984
640
580
1981
510
450
1985
780
620
1982
545
490
1986
760
680
1983
590
530
在表中，x—人平均收入，y—人平均消费支出。
从表中可知，x和y呈现线性规律，设回归线性方程为：
ŷi=a+bx
(1)
由（1）可得到x和y之间的定量关系表示为：
其中：x xi —自变量的平均值； n
y yi —因变量的平均值。 n
（8）
五、可靠性检验
为了避免误差过大，确定a和b之后，在允许误差
的情况，进行可靠性检验。
1.R检验
检验x 与y之间的线性相关的程度。
其数学表达式为： R
n xy- x y
n x2 ( x)2 n y2 ( y)2
三、回归参数估计
由一组观察值 画出散点图,如右图所
示,这样的直线可画出很多条,而回归直 线只有一条，因为只有回归直线最接近 实际观察值。要拟合一条最理想的回归 直线，就要确定a和b。确定a和b的 方法有多种，其中应用最多的是最小二 乘法。
一元线性回归模型及其假设条件
§4.2 一元线性回归模型及其假设条件1．理论模型y=a+bx+εX 是解释变量，又称为自变量，它是确定性变量，是可以控制的。
是已知的。
Y 是被解释变量，又称因变量，它是一个随机性变量。
是已知的。
A,b 是待定的参数。
是未知的。
2．实际中应用的模型x b a yˆˆˆ+= ，bˆ，x 是已知的，y ˆ是未知的。
回归预测方程：x b a y += a ,b 称为回归系数。
若已知自变量x 的值，则通过预测方程可以预测出因变量y 的值，并给出预测值的置信区间。
3．假设条件满足条件：（1）E （ε）=0；（2）D （εi ）=σ2；（3）Cov (εi ,εj )=0,i ≠j ; (4) Cov (εi ,εj )=0 。
条件（1）表示平均干扰为0；条件（2）表示随机干扰项等方差；条件（3）表示随机干扰项不存在序列相关；条件（4）表示干扰项与解释变量无关。
在假定条件（4）成立的情况下，随机变量y ～N （a+bx ，σ2）。
一般情况下，ε～N （0，σ2）。
4．需要得到的结果a ˆ，b ˆ，σ2§4.3 模型参数的估计1．估计原理回归系数的精确求估方法有最小二乘法、最大似然法等多种，我们这里介绍最小二乘法。
估计误差或残差：y y e i i i -=，x b a y i +=，e e y y ii i i x b a ++=+= （5.3—1）误差e i 的大小，是衡量a 、b 好坏的重要标志，换句话讲，模型拟合是否成功，就看残差是否达到要求。
可以看出，同一组数据，对于不同的a 、b 有不同的e i ，所以，我们的问题是如何选取a 、b 使所有的e i 都尽可能地小，通常用总误差来衡量。
衡量总误差的准则有：最大绝对误差最小、绝对误差的总和最小、误差的平方和最小等。
我们的准则取：误差的平方和最小。
最小二乘法：令 ()()∑∑---∑======n i ni n i i x b a y y y e i i i i Q 112212 （5.3—2）使Q 达到最小以估计出a 、b的方法称为最小二乘法。
一元回归分析
~ N (0, )
2
设 ( x1 , y1 ), ( x2 , y 2 ), , ( xn , y n ) 是 ( x, y ) 的一组
观测值,则
yi 0 1 xi i i 1,2,, n
i 1,2,, n
假设 观测值 ( x1 , y1 ), ( x2 , y 2 ), , ( xn , y n ) 相互独立
ˆ, ˆ 称为回归参数 , 的最小 0 1 0 1
n
Q( 0 , 1 ) ( yi 0 值总是存在的
ˆ , ˆ 应满足 因此 0 1
Q 0
即
0
ˆ , ˆ ( 0 1)
Q 1
0
ˆ , ˆ ( 0 1)
y1 , y2 ,, yn 相互独立 1 , 2 ,, n 相互独立
假设 x1 , x2 ,, xn 是确定性的变量,其值是可以精确 测量和控制的.
1.最小二乘估计
设 ( x1 , y1 ), ( x2 , y 2 ), , ( xn , y n )是( x, y )的一组
观测值,对每个样本观测值 ( xi , yi )考虑 y i与其回归值
E ( y i ) 0 1 xi
的离差
yi E ( yi ) yi 0 1 xi
综合考虑每个离差值,定义离差平方和
Q ( 0 , 1 ) y i E ( y i ) ( y i 0 1 xi )
若记 Lxx
n
(x x ) x
2 i 1 i i 1 n 2
n
n
2
i
nx
n i
2
Lxy ( xi x )( yi y )
第六章回归分析
回归系数的显著性检验
回归系数的显著性检验
1. 提出假设
– H0： i = 0 (自变量 xi 与 因变量 y 没有线性关系) – H1： i 0 (自变量 xi 与 因变量 y有线性关系)
2. 计算检验的统计量 t
3. 确定显著性水平，并进行决策
▪ tt2，拒绝H0； t<t2，接受H0
异方差性
多元回归 中的问题
• 方差不齐性：随机误差项的方差不齐性 • 异方差性带来的问题： • 参数估计值不是有效的
– 参数的显著性检验失效 – 回归方程的应用效果极不理想 • 诊断：残差图分析法 • 处理方法：加权最小二乘法
误差等分散性假设： 特定X水平的误差，除了应呈随机
化的常态分布，其变异量也应相等，称为误差等分散性。
一元线性回归模型的假定
Yˆ1
f ( y) uY (x1)
E( ) 0
2 2 2
y ( x1)
y ( x2 )
y ( xi )
y
x0 x x1 x x2 x x3
Yˆ a bX
x
一元线性回归分析
共线性分析表
共线性问题
残差值统计量，包括预测值、残差值、 标准化预测值、标准化残差。观察是
否在三个标准差以内
满足残 差为正 态分布 的假设
Y值为预测值 的累积比率， X轴为观测值 的累积比率， 散点图最好呈 直线分布而满 残差为正态分
布的假设
Y轴为标准化残差，用于观测残差是否随因变量而变化， 如果随之发生变化，表明方差不齐性
2. 检验方法是将回归离差平方和(SSR)同剩余离差平方和 (SSE)加以比较，应用 F 检验来分析二者之间的差别是 否显著 – 如果是显著的，因变量与自变量之间存在线性关系 – 如果不显著，因变量与自变量之间不存在线性关系
一元线性回归模型案例分析
一元线性回归模型案例分析一、研究的目的要求居民消费在社会经济的持续发展中有着重要的作用。
居民合理的消费模式和居民适度的消费规模有利于经济持续健康的增长，而且这也是人民生活水平的具体体现。
改革开放以来随着中国经济的快速发展，人民生活水平不断提高，居民的消费水平也不断增长。
但是在看到这个整体趋势的同时，还应看到全国各地区经济发展速度不同，居民消费水平也有明显差异。
例如，2002年全国城市居民家庭平均每人每年消费支出为6029.88元, 最低的黑龙江省仅为人均4462.08元，最高的上海市达人均10464元，上海是黑龙江的2.35倍。
为了研究全国居民消费水平及其变动的原因，需要作具体的分析。
影响各地区居民消费支出有明显差异的因素可能很多，例如，居民的收入水平、就业状况、零售物价指数、利率、居民财产、购物环境等等都可能对居民消费有影响。
为了分析什么是影响各地区居民消费支出有明显差异的最主要因素，并分析影响因素与消费水平的数量关系，可以建立相应的计量经济模型去研究。
二、模型设定我们研究的对象是各地区居民消费的差异。
居民消费可分为城市居民消费和农村居民消费，由于各地区的城市与农村人口比例及经济结构有较大差异，最具有直接对比可比性的是城市居民消费。
而且，由于各地区人口和经济总量不同，只能用“城市居民每人每年的平均消费支出”来比较，而这正是可从统计年鉴中获得数据的变量。
所以模型的被解释变量Y 选定为“城市居民每人每年的平均消费支出”。
因为研究的目的是各地区城市居民消费的差异，并不是城市居民消费在不同时间的变动，所以应选择同一时期各地区城市居民的消费支出来建立模型。
因此建立的是2002年截面数据模型。
影响各地区城市居民人均消费支出有明显差异的因素有多种，但从理论和经验分析，最主要的影响因素应是居民收入，其他因素虽然对居民消费也有影响，但有的不易取得数据，如“居民财产”和“购物环境”；有的与居民收入可能高度相关，如“就业状况”、“居民财产”；还有的因素在运用截面数据时在地区间的差异并不大，如“零售物价指数”、“利率”。
一元线性回归模型
一元线性回归模型1．一元线性回归模型有一元线性回归模型（统计模型）如下，y t = 0 + 1 x t + u t上式表示变量y t 和x t之间的真实关系。
其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项， 0称常数项， 1称回归系数（通常未知）。
上模型可以分为两部分。
（1）回归函数部分，E(y t) = 0 + 1 x t,（2）随机部分，u t。
图2.1 真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。
但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。
随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。
回归模型存在两个特点。
（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。
（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。
通常线性回归函数E(y t) = 0 + 1 x t是观察不到的，利用样本得到的只是对E(y t) = 0 + 1 x t 的估计，即对 0和 1的估计。
在对回归函数进行估计之前应该对随机误差项u t做出如下假定。
(1) u t 是一个随机变量，u t 的取值服从概率分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
统计分析 软件应用
1.
回归系数的检验
(样本统计量 的分布)
是根据最小二乘法求出的样本统计量，它有自 己的分布 2. 的分布具有如下性质 分布形式：正态分布 数学期望：
标准差：
由于未知，需用其估计量sy来代替得到 准差 的估计的标
4 - 31
统计分析 软件应用
回归系数的检验
(检验步骤)
ˆ ˆ ˆ y b 0 + b1 x
y
ˆ yy
4 - 20
x
统计分析 软件应用
离差平方和的分解
(三个平方和的关系)
ˆ ˆ y yi y + yi y
2 2 i 1 i 1 n n 2
y
i 1
n
i
{
回归平方和 (SSR)
总平方和 (SST)
3. 因变量与自变量之间的关系用一条线性方 程来表示
4-6
统计分析 软件应用
回归模型
(regression model)
1. 回答“变量之间是什么样的关系？” 2. 方程中运用
1 个数字的因变量(响应变量)
被预测的变量
用于预测的变量
1 个或多个数字的或分类的自变量 (解释变量)
3. 主要用于预测和估计
独立性意味着对于一个特定的 x 值，它所对应的ε与 其他 x 值所对应的ε不相关 对于一个特定的 x 值，它所对应的 y 值与其他 x 所 对应的 y 值也不相关
4-9
统计分析 软件应用
回归方程
(regression equation)
1. 描述 y 的平均值或期望值如何依赖于 x 的方程 称为回归方程 2. 一元线性回归方程的形式如下 E( y ) = b0+ b1 x
4 - 15
统计分析 软件应用
估计方程的求法
(例题分析)
14 12 10
不良贷款对贷款余额回归方程的图示
不良贷款
8 6 4 2 0 -2 0 100 200 300 400
4 - 16
贷款余额
不良贷款对贷款余额的回归直线
统计分析 软件应用
用Excel进行回归分析
第1步：选择“工具”下拉菜单 第2步：选择“数据分析”选项 第3步：在分析工具中选择“回归”，然后选择“确 定” 第4步：当对话框出现时
4-4
统计分析 软件应用
回归模型的类型
回归模型
一元回归
线性回归
4-5
多元回归
线性回归 非线性回归
非线性回归
统计分析 软件应用
一元线性回归
1. 涉及一个自变量的回归 2. 因变量y与自变量x之间为线性关系
被预测或被解释的变量称为因变量 (dependent variable)，用y表示 用来预测或用来解释因变量的一个或多个变 量称为自变量(independent variable)，用x 表示
4 - 24
统计分析 软件应用
显著性检验
4 - 25
统计分析 软件应用
线性关系的检验
1. 检验自变量与因变量之间的线性关系是否 显著 2. 将回归均方(MSR)同残差均方(MSE)加以 比较，应用F检验来分析二者之间的差别是 否显著
4 - 26
回归均方：回归平方和SSR除以相应的自由 度(自变量的个数p) 残差均方：残差平方和SSE除以相应的自由 度(n-p-1)
4 - 11
统计分析 软件应用
参数的最小二乘估计
1. 使因变量的观察值与估计值之间的离差平方和 ˆ ˆ 达到最小来求得 b 0和 b 1 的方法。即
ˆ ˆ ˆ i ) 2 ( yi b 0 b1 xi ) 2 最小 ( yi y
i 1 i 1
n
n
2. 用最小二乘法拟合的直线来代表x与y之间的 关系与实际数据的误差比其他任何直线都小
统计分析 软件应用
线性关系的检验
(检验的步骤)
H0：b1=0 线性关系不显著
1. 提出假设
2. 计算检验统计量F
3. 确定显著性水平，并根据分子自由度1和分 母自由度n-2找出临界值F 4. 作出决策：若F>F ,拒绝H0；若F<F ,不拒绝 H0 4 - 27
统计分析 软件应用
线性关系的检验
{
残差平方和 (SSE)
SST = SSR + SSE
4 - 21
{
统计分析 软件应用
离差平方和的分解
(三个平方和的意义)
反映因变量的 n 个观察值与其均值的总离差
1. 总平方和(SST)
2. 回归平方和(SSR)
反映自变量 x 的变化对因变量 y 取值变化的影 响，或者说，是由于 x 与 y 之间的线性关系引 起的 y 的取值变化，也称为可解释的平方和
(方差分析表)
Excel 输出的方差分析表
4 - 29
统计分析 软件应用
回归系数的检验
1. 检验 x 与 y 之间是否具有线性关系，或 者说，检验自变量 x 对因变量 y系数 b 1 3. 在一元线性回归中，等价于线性关系的 显著性检验
4 - 30
4 - 12
统计分析 软件应用 y
最小二乘估计
(图示)
(xn , yn)
ˆ ˆ ˆ y b 0 + b1 x
(x2 , y2) (x1 , y1)
｝
(xi , yi)
ei = yi-yi ＾
4 - 13
x
统计分析 软件应用
最小二乘法
ˆ ˆ ( b 0和 b 1的计算公式)
4 - 10
方程的图示是一条直线，也称为直线回归方程
b0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期
望值
b1是直线的斜率，称为回归系数，表示当 x 每变动
一个单位时，y 的平均变动值
统计分析 软件应用
估计的回归方程
(estimated regression equation)
统计分析 软件应用
第六章 一元线性回归
§一元线性回归 §利用回归方程进行估计和预测 §残差分析
南京农业大学
4-1
李刚华
统计分析 软件应用
学习目标
1. 相关系数的分析方法
2. 一元线性回归的基本原理和参数的最小 二乘估计 3. 回归直线的拟合优度 4. 回归方程的显著性检验 5. 利用回归方程进行估计和预测 6. 用 Excel 进行回归
ˆ和 ˆ 根据最小二乘法的要求，可得求解b 0 b 1的公 式如下
4 - 14
统计分析 软件应用
估计方程的求法
(例题分析)
【例】求不良贷款对贷款余额的回归方程
回归方程为：y = -0.8295 + 0.037895 x
ˆ 回归系数 b 1=0.037895 表示，贷款余额每增 加1亿元，不良贷款平均增加0.037895亿元
4-7
统计分析 软件应用
一元线性回归模型
1. 描述因变量 y 如何依赖于自变量 x 和误差项 的 方程称为回归模型 2. 一元线性回归模型可表示为 y = b0 + b1 x +
y 是 x 的线性函数(部分)加上误差项 线性部分反映了由于 x 的变化而引起的 y 的变化 误差项 是随机变量
(例题分析)
H0： b1=0 不良贷款与贷款余额之间的线性关 系不显著
1. 提出假设
2. 计算检验统计量F
3. 确定显著性水平=0.05，并根据分子自由度1 和分母自由度25-2找出临界值F =4.28 4. 作出决策：若F>F ,拒绝H0，线性关系显著
4 - 28
统计分析 软件应用
线性关系的检验
反映除 x 以外的其他因素对 y 取值的影响，也 称为不可解释的平方和或剩余平方和
3. 残差平方和(SSE)
4 - 22
统计分析 软件应用
判定系数r2
(coefficient of determination)
1. 回归平方和占总离差平方和的比例
2. 反映回归直线的拟合程度 3. 取值范围在 [ 0 , 1 ] 之间 4. R2 1，说明回归方程拟合的越好；R20 ，说明回归方程拟合的越差 5. 判定系数等于相关系数的平方，即R2＝(r)2
1. 总体回归参数 b 0 b1 和 是未知的，必需利用样本数 据去估计 ˆ ˆ 2. 用样本统计量 b 0 和 b 1代替回归方程中的未知参 数 b 0和 b1 ，就得到了估计的回归方程 3. 一元线性回归中估计的回归方程为
ˆ ˆ ˆ y b 0 + b1 x
b 是直线 b 其中：ˆ 0是估计的回归直线在 y 轴上的截距， ˆ1 ˆ 的斜率，它表示对于一个给定的 x 的值，y 是 y 的估计 值，也表示 x 每变动一个单位时， y 的平均变动值
在“Y值输入区域”方框内键入Y的数据区域 在“X值输入区域”方框内键入X的数据区域 在“置信度”选项中给出所需的数值
在“输出选项”中选择输出区域 在“残差”分析选项中选择所需的选项 4 - 17 用Excel进行回归分析
统计分析 软件应用
回归直线的拟合优度
4 - 18
统计分析 软件应用
变差
1. 因变量 y 的取值是不同的，y 取值的这种 波动称为变差。变差来源于两个方面
3. t=7.533515>t2=2.201，拒绝H0 ，表明不良贷款 与贷款余额之间有线性关系
4 - 33
统计分析 软件应用
回归系数的检验
(例题分析)
P 值的应用