统计学课件 (11)第11章 一元线性回归

bˆ 0 bˆ 1
n
n
(yi y ˆi)2 (yi bˆ0bˆ1xi)2最小
i1
i1
2. 用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小
11 - 40
统计学
最小二乘估计 (图示)
y (xn , yn)
(x2 , y2)
(x1 , y1)
11 - 41
｝
t r
n2 1r2
~t(n2)
11 - 24
统计学
相关系数的显著性检验 (例题分析)
对不良贷款与贷款余额之间的相关系数进行显著性检(0.05)
1.
提出假设：H0： ；H1： 0
2.
计算检验的统计量
252
t0.8436
7.5344
10.8432 6
3. 根据显著性水平＝0.05，查t分布表得t(n-2)=2.0687 ▪ 由于t=7.5344>t(25-2)=2.0687，拒绝H0，不良贷款与贷款余额之间存在着显著的正线性相关 关系
11 - 25
统计学
各相关系数检验的统计量
相关系数的显著性检验 (例题分析)
11 - 26
统计学
一.
一元线性回归模型
二.
参数的最小二乘估计
三.
回归直线的拟合优度
四.
显著性检验
§11.2 一元线性回归
11 - 27
统计学
什么是回归分析？ (Regression)
1.
从一组样本数据出发，确定变量之间的数学关系式——估计回归方程
统计学课件 (11)第11章 一元线性回 归
统计学
第11章 一元线性回归
§11.1 变量间关系的度量 §11.2 一元线性回归 §11.3 利用回归方程进行估计和预测 §11.4 残差分析
11 - 2
统计学
学习目标
1.
相关系数的分析方法
2.
一元线性回归的基本原理和参数的最小二乘估计
3.
回归直线的拟合优度
负线性相关
非线性相关
不相关
统计学
散点图 (例题分析)
【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设
、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大
比例的提高，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用 银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25 家分行2002年的有关业务数据
14
12
10
8
6
4
2
0 0
10
20
30
累计应收贷款
不良贷款与累计应收贷款的散点图
14 12 10
8 6 4 2 0
0
50
100
150
200
固定资产投资额
不良贷款与固定资产投资额的散点图
统计学
相关关系的描述与测度 (相关系数)
11 - 16
统计学
相关系数 (correlation coefficient)
2.
对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变
量的影响显著，哪些不显著——回归方程的检验：拟合优度检验；线性显著性检验；回归系数
显著性检验
3.
利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出
这种预测或控制的精确程度——预测
11 - 28
ei = yi-yi＾
(xi , yi)
yˆ bˆ0 +bˆ1x
x
统计学
bˆ 0
最小二乘法
bˆ( 和 的计算公式) 1
根据最小二乘法，可得求解 和 的公式如下
bˆ 0 bˆ 1
Q
b0
Q
b1
b0bˆ0 b1bˆ1
n
2 (yi bˆ0 bˆ1xi)2 0
i1
n
2 xi(yi bˆ0 bˆ1xi)2 0
yˆ bˆ0 +bˆ1x
b b 其中： 是估ˆ 计的回归直线在 y 轴上的截距， 是直线的斜率，它表示对于一个ˆ给定的 x 的值，
是 y 的估计值0，也表示 x 每变动一个单位时， y 的平均变动值
1
yˆ
11 - 38
统计学
参数的最小二乘估计
11 - 39
统计学
最小二乘估计
1. 使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即
独立性意味着对于一个特定的 x 值，它所对应的ε与其他 x 值所对应的ε不相关——序列相
关性
对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关——多重共线性
11 - 35
统计学
一元线性回归模型 (基本假定)
y
x=x1时y的分布
x=x2时y的分布
x=x3时y的分布
b0
x1
于0，而样本容量n很大时，才能认为r是接近于正态分布的随机变量
11 - 23
统计学
相关系数的显著性检验 (检验的步骤)
1.
检验两个变量之间是否存在线性相关关系
2.
采用R.A.Fisher提出的 t 检验
3.
检验的步骤为
提出假设：H0： ；H1： 0
计算检验的统计量：
确定显著性水平，并作出决策 • 若t>t，拒绝H0 • 若t<t，不拒绝H0
？
回归一词是
怎么来的?
统计学
回归分析与相关分析的区别
1.
相关分析中，变量 x 变量 y 处于平等的地位；回归分析中，变量 y 称为因变量，处在被解释的地
位，x 称为自变量，用于预测因变量的变化
2.
相关分析中所涉及的变量 x 和 y 都是随机变量；回归分析中，因变量 y 是随机变量，自变量 x 可
以是随机变量，也可以是非随机的确定变量
1.
是对变量之间关系密切程度的度量
2.
对两个变量之间线性相关程度的度量称为简单相关系数（皮尔逊相关系数）
3.
若相关系数是根据总体全部数据计算的，称为总体相关系数，记为
4.
若是根据样本数据计算的，则称为样本相关系数，记为 r
11 - 17
统计学
相关系数 (计算公式)
样本相关系数的计算公式
(xx)(yy) rxy (xx)2 (yy)2
或化简为
rxynx2n xx2 y nx yy2y2
11 - 18
统计学
相关系数 (取值及其意义)
1.
r 的取值范围是 [-1,1]
2.
|r|=1，为完全相关
r =1，为完全正相关
r =-1，为完全负正相关
3.
r = 0，不存在线性相关关系
4.
-1r<0，为负相关
5.
0<r1，为正相关
6.
|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切
11 - 19
统计学
相关系数 (取值及其意义)
完全负相关
无线性相关
完全正相关
-1.0
-0.5
负相关程度增加
0
+0.5
r
正相关程度增加
+1.0
11 - 20
统计学
相关系数 (例题分析)
用Excel计算相关系数
11 - 21
统计学
相关系数的显著性检验
11 - 22
统计学
相关系数的显著性检验 ( r 的抽样分布)
11 - 37
统计学
估计的回归方程 (estimated regression equation)
b b 1. 总体回归参数 和 是未知的，必需利用样本数据去估计
0
1
bˆ bˆ 2. 用样本统计量 和 代替回归方程中的未知参数 和 ，就得到了估计的回归方程
0
1
b 0 b1
3. 一元线性回归中估计的回归方程为
相关关系 (correlation)
1.
变量间关系不能用函数关系精确表达
2.
一个变量的取值不能由另一个变量唯一确定
3.
当变量 x 取某个值时，变量 y 的取值可能有几个
4.
各观测点分布在直线周围
y
x
11 - 8
统计学
相关关系 (几个例子)
相关关系的例子 ▪ 父亲身高(x)与子女身高(y)之间的关系 ▪ 收入水平(y)与受教育程度(x)之间的关系 ▪ 粮食亩产量(y)与施肥量(x1) 、降雨量(x2) 、温度(x3)之间的关系 ▪ 商品的消费量(y)与居民收入(x)之间的关系 ▪ 商品销售额(y)与广告费支出(x)之间的关系
4.
回归方程的显著性检验
5.
利用回归方程进行估计和预测
6.
用 Excel 进行回归
11 - 3
统计学
§11.1 变量间关系的度量
一.
变量间的关系
二.
相关关系的描述与测度
三.
相关系数的显著性检验
11 - 4
统计学
变量间的关系 函数关系和相关关系
11 - 5
统计学
函数关系
1.
是一一对应的确定关系
2.
11 - 34
统计学
一元线性回归模型 (基本假定)
1.
误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的 x 值，y 的期望值为E ( y ) =b
0+ b 1 x
2.
对于所有的 x 值，ε的方差σ2 都相同——异方差性
3.
误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N( 0 ,σ2 )
i1
n
n n
n xiyi xi yi
bˆ1
i1
i1 i1
n
n
xi2
函数关系的例子
▪ 某种商品的销售额(y)与销售量(x)之间的关系可表示为 y = px (p 为单价)
▪ 圆的面积(S)与半径之间的关系可表示为S=r2
▪ 企业的原材料消耗额(y)与产量(x1) 、单位产量消耗(x2) 、原材料价格(x3)之间的关系可表示为y = x1 x2 x3
11 - 7
统计学
1.
是涉及一个自变量的回归
2.
表示因变量y与自变量x之间为线性关系
被预测或被解释的变量称为因变量(dependent variable)，用y表示
用来预测或用来解释因变量的一个或多个变量称为自变量(independent variable)，用x表
示
3.
因变量与自变量之间的关系用线性方程来表示
11 - 32
11 - 13
统计学
散点图 (例题分析)
11 - 14
统计学
散点图 (例题分析)
不良贷款
14
12
10
8
6
4
2
0
0
100
200
300
400
贷款余额 不良贷款与贷款余额的散点图
14 12
不良贷款
10 8 6 4
2
0 0
11 - 15
10
20
30
40
贷款项目个数
不良贷款与贷款项目个数的散点图
不良贷款
不 良 贷款
1.
r 的抽样分布随总体相关系数和样本容量的大小而变化
当样本数据来自正态总体时，随着n的增大，r 的抽样分布趋于正态分布，尤其是在
总体相关系数很小或接近0时，趋于正态分布的趋势非常明显。而当远离0时，除
非n非常大，否则r的抽样分布呈现一定的偏态。
2.
当为较大的正值时，r 呈现左Байду номын сангаас分布；当为较大的负值时，r 呈现右偏分布。只有当接近
3.
相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量 x 对变量 y
的影响大小，还可以由回归方程进行预测和控制
11 - 29
统计学
回归模型的类型
回归模型
一元回归
多元回归
线性回归 非线性回归 线性回归 非线性回归
11 - 30
统计学
一元线性回归模型
11 - 31
统计学
一元线性回归
例，设有两个变量 x 和 y ，变量 y 随变量 x 一起变化，
并完全依赖于 x ，当变量 x 取某个数值时， y 依确定的
关系取相应的值，则称 y 是 x 的函数，记为 y = f (x)，
其中 x 称为自变量，y 称为因变量
y
3.
各观测点落在一条线上
x
11 - 6
统计学
函数关系 (几个例子)
11 - 36
x=x1时的E(y) x2
x=x2时的E(y) x3
x=x3时的E(y)
b0+ b1x x
统计学
回归方程 (regression equation)
1.
描述 y 的平均值或期望值如何依赖于 x 的方程称为回归方程
2.
一元线性回归方程的形式如下
3.
E( y ) = b0+ b1 x
▪ 方程的图示是一条直线，也称为直线回归方程 ▪ b0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期望值 ▪ b1是直线的斜率，称为回归系数，表示当 x 每变动一个单位时，y 的平均变动值
2.
一元线性回归模型可表示为
y = b + b1 x +
y 是 x 的线性函数(部分)加上误差项
线性部分反映了由于 x 的变化而引起的 y 的变化
误差项 是随机变量
反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响
是不能由 x 和 y 之间的线性关系所解释的变异性
b0 和 b1 称为模型的参数
11 - 9
统计学
相关关系 (类型)
相关关系
线性相关 非线性相关 完全相关 不相关
正相关 负相关
11 - 10
正相关 负相关
统计学
相关关系的描述与测度 (散点图)
11 - 11
统计学
完全正线性相关
正线性相关
11 - 12
散点图 (scatter diagram)
完全负线性相关
统计学
回归模型 (regression model)
1.
用来回答“变量之间是什么样的关系？”
2.
方程中运用
1 个数字的因变量(响应变量)
被预测的变量
1 个或多个数字的或分类的自变量 (解释变量)
用于预测的变量
3.
主要用于预测和估计
11 - 33
统计学
一元线性回归模型
1.
描述因变量 y 如何依赖于自变量 x 和误差项 的方程称为回归模型