第九章 线性回归分析与方差分析 概率论与数理统计课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2020/7/4
若假设Y=a+bx+ 符合实际，则b不应为零 因为如果b=0，则Y=a+ 意味着Y与x无关
所以Y=a+bx是否合理，归结为对假设： H0: b=0 H1:b0
进行检验
下面介绍检验假设H0的二种常用方法.
2020/7/4
1．t检验法
若H0成立，即b=0，由定理7.1知，
bˆ
~ N(0,1)
取检验统计量
R
n
(xi x)(Yi Y)
i1
n
n
(xi x)2
(Yi Y)2
i1
aˆ ybˆx
其中
x1 n
ni1
xi,y1nin1
yi
2020/7/4
用最小二乘法求出的估计 aˆ 、bˆ 分别称为a、b的最
小二乘估计 此时，拟合直线为 y ˆa ˆb ˆxyb ˆ(xx)
下面再用矩法求 2的估计
由于2DE2由矩估计法，可用
E
2
估计
1 n
n
i1
2 i
而i yi abxi ，a、b分别由 aˆ、bˆ 代入
2020/7/4
画出散点图如图9-1所示.从图中可以看出， 随着广告投入费x的增加，销售额Y基本上也呈上 升趋势，图中的点大致分布在一条向右上方延伸 的直线附近.但各点不完全在一条直线上，这是由 于Y还受到其他一些随机因素的影响.
这样，Y可以看成是由两部分叠加而成，一部
分是x的线性函数a+bx，另一部分是随机因素引起的
2020/7/4
例2 在例1中可分别求出a、b、 2 的估计值为：
bˆ 0.323
aˆ4.37 ˆ2 4.064
故经验回归直线为：
Y=4.37+0.323x
2020/7/4
三、线性回归的显著性检验
在实际问题中，事先我们并不能断定Y与x确有线
性关系，Y=a+bx+ 只是一种假设.
当然，这个假设不是没有根据的，我们可以通过 专业知识和散点图来作出粗略判断. 但在求出经验回归方程后，还需对这种线性回归 方程同实际观测数据拟合的效果进行检验. 下面说明这一检验的方法.
厂家 1 广告费 6 销售额 31
23 456789 10 21 40 62 62 90 100 120 58 124 220 299 190 320 406 380
广告费与销售额之间不可能存在一个明确的
函数关系，事实上，即使不同的厂家投入了相同 的广告费，其销售额也不会是完全相同的。影响 销售额的因素是多种多样的，除了广告投入的影 响，还与厂家产品的特色、定价、销售渠道、售 后服务以及其他一些偶然因素有关。
n
(xi x)2
i1
n ˆ2 ~2(n2) 2 且 bˆ 与 ˆ 2 独立
2020/7/4
bˆ
因而 T
n
(xi x)2
i 1
n ˆ 2 / n 2 2
~ t(n 2)
故 P |T|t(n2) 为显著性水平
2
即得H0的拒绝域为
|T |t (n2)
2
2020/7/4
2．相关系数检验法
（1）利用样本对未知参数a、b、 2 进行估计；
（2）对回归模型作显著性检验； （3）当x=x0时对Y的取值作预测，即对Y作区间 估计.
2020/7/4
二、 参数a、b、 2 的估计
现在我们用最小二乘法来估计模型（1）中的
未知参数a,b.
n
n
记 QQ (a,b) i2 (yiabi)x2
i 1
第九章 线性回归分析与方差分析
第一节 一元线性回归分析 第二节 可线性化的非线性回归 第三节 多元线性回归简介 第四节 方差分析
2020/7/4
一、 一元线性回归模型
假定我们要考虑自变量x与因变量Y之间的相关关系 假设x为可以控制或可以精确观察的变量，即x为普 通的变量。由于自变量x给定后，因变量Y并不能确 定，从而Y是一个与x有关的随机变量 我们对于可控制变量x取定一组不完全相同的值 x1，…，xn，作n次独立试验，得到n对观测结果：
i 1
称Q(a, b)为偏差平方和
最小二乘法就是选择a，b的估计 aˆ , bˆ，使得
Q(a, b)为最小（图9-2）
2020/7/4
2020/7/4
ຫໍສະໝຸດ Baidu
图9-2
为了求Q（a, b）的最小值，分别求Q关于a， b的偏导数，并令它们等于零：
aQ(a,b)
n i1
(yi
abxi)(2) 0
bQ(a,b)
n i1
(yi
abxi)(2xi )
0
经整理后得到
na
n
xi b
n
bi
i1
i1
n i1
xi
a n i1
xi2 b
n i1
xi yi
式（2）称为正规方程组.
2020/7/4
（2）
由正 规方程组解得
n
(xi x)( yi y)
bˆ i1 n (xi x)2 i 1
误差 ，即 y
Y=a+bx+
500
* *L
400 300
*
*
*
*
200
100
o
* **
20
40
60
80
100 120
这就是所谓的 一元线性回归模型
x
图9-1
2020/7/4
一般地，假设x与Y之间的相关关系可表示为
Yab x (1)
其中：a, b为未知常数
为随机误差且~N(0,2) 2 未知，
x与Y的这种关系称为一元线性回归模型
故 2可用 ˆ2 1nin1(yi aˆbˆxi)2 作估计
2020/7/4
对于估计量 aˆ、bˆ、ˆ 2 的分布，有：
定理1
（1）
n
2 x12
aˆ
~
N
a,
n
i 1
n (xi x)2
i 1
（2）
bˆ
~
N
b,
n
2
(xi x)2
i1
（3）
n
2
ˆ2
~2(n2)
（4） ˆ 2 分别与 aˆ、bˆ独立。
（x1,y1） ，（x2,y2），…，（xn, yn）
其中yi是x=xi时随机变量Y的观测结果.将n对观测 结果（xi，yi）（i=1,…,n）在直角坐标系中进行描 点，这种描点图称为散点图.散点图可以帮助我们 精略地看出Y与x之间的某种关系.
2020/7/4
例1 对某广告公司为了研究某一类产品的广告费x用 与其销售额Y之间的关系，对多个厂家进行调查 ，获得如下数据
y=a+bx称为回归直线 b称为回归系数
此时 Y~N(ab,x2)
对于（x, Y）的样本（x1，y1），…，（xn，yn）有：
yi abxi i i1,,n i ~N(0,2) 1,,n相互独立
2020/7/4
如果由样本得到式（1）中，a, b的估计值 aˆ , bˆ ，
则称 yˆ aˆ bˆx为拟合直线或经验回归直线，它 可作为回归直线的估计 一元线性回归主要解决下列一些问题：
若假设Y=a+bx+ 符合实际，则b不应为零 因为如果b=0，则Y=a+ 意味着Y与x无关
所以Y=a+bx是否合理，归结为对假设： H0: b=0 H1:b0
进行检验
下面介绍检验假设H0的二种常用方法.
2020/7/4
1．t检验法
若H0成立，即b=0，由定理7.1知，
bˆ
~ N(0,1)
取检验统计量
R
n
(xi x)(Yi Y)
i1
n
n
(xi x)2
(Yi Y)2
i1
aˆ ybˆx
其中
x1 n
ni1
xi,y1nin1
yi
2020/7/4
用最小二乘法求出的估计 aˆ 、bˆ 分别称为a、b的最
小二乘估计 此时，拟合直线为 y ˆa ˆb ˆxyb ˆ(xx)
下面再用矩法求 2的估计
由于2DE2由矩估计法，可用
E
2
估计
1 n
n
i1
2 i
而i yi abxi ，a、b分别由 aˆ、bˆ 代入
2020/7/4
画出散点图如图9-1所示.从图中可以看出， 随着广告投入费x的增加，销售额Y基本上也呈上 升趋势，图中的点大致分布在一条向右上方延伸 的直线附近.但各点不完全在一条直线上，这是由 于Y还受到其他一些随机因素的影响.
这样，Y可以看成是由两部分叠加而成，一部
分是x的线性函数a+bx，另一部分是随机因素引起的
2020/7/4
例2 在例1中可分别求出a、b、 2 的估计值为：
bˆ 0.323
aˆ4.37 ˆ2 4.064
故经验回归直线为：
Y=4.37+0.323x
2020/7/4
三、线性回归的显著性检验
在实际问题中，事先我们并不能断定Y与x确有线
性关系，Y=a+bx+ 只是一种假设.
当然，这个假设不是没有根据的，我们可以通过 专业知识和散点图来作出粗略判断. 但在求出经验回归方程后，还需对这种线性回归 方程同实际观测数据拟合的效果进行检验. 下面说明这一检验的方法.
厂家 1 广告费 6 销售额 31
23 456789 10 21 40 62 62 90 100 120 58 124 220 299 190 320 406 380
广告费与销售额之间不可能存在一个明确的
函数关系，事实上，即使不同的厂家投入了相同 的广告费，其销售额也不会是完全相同的。影响 销售额的因素是多种多样的，除了广告投入的影 响，还与厂家产品的特色、定价、销售渠道、售 后服务以及其他一些偶然因素有关。
n
(xi x)2
i1
n ˆ2 ~2(n2) 2 且 bˆ 与 ˆ 2 独立
2020/7/4
bˆ
因而 T
n
(xi x)2
i 1
n ˆ 2 / n 2 2
~ t(n 2)
故 P |T|t(n2) 为显著性水平
2
即得H0的拒绝域为
|T |t (n2)
2
2020/7/4
2．相关系数检验法
（1）利用样本对未知参数a、b、 2 进行估计；
（2）对回归模型作显著性检验； （3）当x=x0时对Y的取值作预测，即对Y作区间 估计.
2020/7/4
二、 参数a、b、 2 的估计
现在我们用最小二乘法来估计模型（1）中的
未知参数a,b.
n
n
记 QQ (a,b) i2 (yiabi)x2
i 1
第九章 线性回归分析与方差分析
第一节 一元线性回归分析 第二节 可线性化的非线性回归 第三节 多元线性回归简介 第四节 方差分析
2020/7/4
一、 一元线性回归模型
假定我们要考虑自变量x与因变量Y之间的相关关系 假设x为可以控制或可以精确观察的变量，即x为普 通的变量。由于自变量x给定后，因变量Y并不能确 定，从而Y是一个与x有关的随机变量 我们对于可控制变量x取定一组不完全相同的值 x1，…，xn，作n次独立试验，得到n对观测结果：
i 1
称Q(a, b)为偏差平方和
最小二乘法就是选择a，b的估计 aˆ , bˆ，使得
Q(a, b)为最小（图9-2）
2020/7/4
2020/7/4
ຫໍສະໝຸດ Baidu
图9-2
为了求Q（a, b）的最小值，分别求Q关于a， b的偏导数，并令它们等于零：
aQ(a,b)
n i1
(yi
abxi)(2) 0
bQ(a,b)
n i1
(yi
abxi)(2xi )
0
经整理后得到
na
n
xi b
n
bi
i1
i1
n i1
xi
a n i1
xi2 b
n i1
xi yi
式（2）称为正规方程组.
2020/7/4
（2）
由正 规方程组解得
n
(xi x)( yi y)
bˆ i1 n (xi x)2 i 1
误差 ，即 y
Y=a+bx+
500
* *L
400 300
*
*
*
*
200
100
o
* **
20
40
60
80
100 120
这就是所谓的 一元线性回归模型
x
图9-1
2020/7/4
一般地，假设x与Y之间的相关关系可表示为
Yab x (1)
其中：a, b为未知常数
为随机误差且~N(0,2) 2 未知，
x与Y的这种关系称为一元线性回归模型
故 2可用 ˆ2 1nin1(yi aˆbˆxi)2 作估计
2020/7/4
对于估计量 aˆ、bˆ、ˆ 2 的分布，有：
定理1
（1）
n
2 x12
aˆ
~
N
a,
n
i 1
n (xi x)2
i 1
（2）
bˆ
~
N
b,
n
2
(xi x)2
i1
（3）
n
2
ˆ2
~2(n2)
（4） ˆ 2 分别与 aˆ、bˆ独立。
（x1,y1） ，（x2,y2），…，（xn, yn）
其中yi是x=xi时随机变量Y的观测结果.将n对观测 结果（xi，yi）（i=1,…,n）在直角坐标系中进行描 点，这种描点图称为散点图.散点图可以帮助我们 精略地看出Y与x之间的某种关系.
2020/7/4
例1 对某广告公司为了研究某一类产品的广告费x用 与其销售额Y之间的关系，对多个厂家进行调查 ，获得如下数据
y=a+bx称为回归直线 b称为回归系数
此时 Y~N(ab,x2)
对于（x, Y）的样本（x1，y1），…，（xn，yn）有：
yi abxi i i1,,n i ~N(0,2) 1,,n相互独立
2020/7/4
如果由样本得到式（1）中，a, b的估计值 aˆ , bˆ ，
则称 yˆ aˆ bˆx为拟合直线或经验回归直线，它 可作为回归直线的估计 一元线性回归主要解决下列一些问题：