tl第八章 方差分析和回归分析知识课件
合集下载
08-方差分析与回归
统计学原理
观察数据的列平均值，列平均值的差异反映出不同颜色包装的销售 业绩差异。此时，需要判断这种差异与同一颜色包装在不同城市间 的差异相比，是否显著。如果不显著，则这种平均值的差异属于偶 然差异。
市场 北京 上海 广州 武汉 西安 平均 红色 26.5 28.7 25.1 29.1 27.2 27.32 绿色 31.2 28.3 30.8 27.9 29.6 29.56 黄色 27.9 25.1 28.5 24.2 26.5 26.44 蓝色 30.8 29.6 32.4 31.7 32.8 31.46
解释的变异的大小。
SSA R SST
2
统计学原理
方差分析的基本假定
每个总体均服从正态分布 各总体的方差相同 观测值具有独立性
统计学原理
双因素方差分析
观察下列销售数据，欲了解包装方式和销售地区是否对于销售业绩有影响， 涉及到双因素的方差分析。 此时需分别计算SSA、SSB与SSE之间的比值是否超过临界值。 其中SSE的自由度为 （n-r-k）
统计学原理
第三节 线性回归
统计学原理
回归分析的内容
1、通过一组样本数据，确定变量间的函
数关系
2、对函数关系进行统计检验 3、通过回归方程，进行估计或预测，并
对估计结果的可靠性进行判断。
统计学原理
回归模型
因变量：被解释的变量 自变量：用于解释因变量的其他变量。 误差项：因变量中不能被函数关系解释
ü ³ ° °½ ²½¨ ½î ½½A½ ½ ü ³ ° °A ½½1 ½½½½ ú ¨î ½ ½½ B½ ½ ½½2 ½½3 ½½4 ½½5 20 22 24 16 26 ü ³ ° °B 12 10 14 4 22 ü ³ ° °C 20 20 18 8 16 ü ³ ° °D 10 12 18 6 20 ü ³ ° °E 14 6 10 18 10
第八章方差分析与回归分析1精品文档
二：单因素方差分析的统计模型
1.单因素方差分析的数据结构
因素-水平
A1 A2
Aa
试验数据
x11 x12 x 1 j x 1 r x 21 x22 x 2 j x 2 r x a 1 x a 2 x 2 j x a r
和 平均
T1
x1
T2
x2
Ta
xa
T
x
其 中 xij是 因 素 A第 i水 平 下 第 j次 重 复 试 验 结 果 ,
第八章 方差分析与回归分析
方差分析的概念与基本思想 单因素方差分析 回归分析的基本概念 一元线性回归模型的建立与检验
一、方差分析的概念与基本思想
1.问题的提出
例8.1 为了对几个行业的服务质量进行评价，消费者协会在 四个行业分别抽取了不同的企业作为样本。最近一年中消费 者对总共16家企业投诉的次数如下表
SSTi a1jr1(xijx)2i a1jr1xij2a Tr2
a
SSA
i1
jr1(xi x)21 ri a1Ti2T ar2
SSei a1jr 1(xijxi)2i a1jr 1xi2 j 1 ri a1T i2
均值相等 •服务质量没有显著差异
均值不全相等 •服务质量有显著差异
例题8.2 在饲料养鸡增肥研究中，某饲料研究所提出三种配方： A1以鱼粉为添加料， A2以槐树粉为添加料， A3以苜蓿粉添加料。 为比较三种饲料的效果，特选24只相似的雏鸡随机分为三组，每
组用一种饲料喂养，60天后测其体重，获得数据如下表
93 29
鸡重/g-1000
60 1 2 12 9 28 -10 109 90 74 122 1 80 21 22 32 29 48
数学方差分析及回归分析PPT课件
s
(nj 1) ，即 2 n s。
j1
第8页/共87页
由性质2，E
SA
s 1
1
s 1
s
n
j
2 j
j 1
2
,
E
SE n
s
2
当H
0成立时，E
SA
s 1
2；当H1成立时，E
SA
s 1
2
.
由此，对H0 :1 2 s 0, H1 :1,2, ,s不全为零。
在给定水平时，检验拒绝域为 F
且X• j X•k与ˆ 2 SE (n s)相互独立。
故 (X• j X•k ) ( j k ) (X• j X•k ) ( j k )
SE (1 nj 1 nk )
(1 nj 1 nk )
SE
2
(n s) ~ t(n s)
得( j k )的水平 为1 的置信区间
X• j X•k t 2 (n s) SE (1 nj 1 nk )
(4) j的估计ˆj X• j X。
容易证明，以上估计均为相应参数的无偏估计。
当拒绝H0时，进一步比较N ( j , 2 )和N (k , 2 )的差异， 可以作 j k j k ( j k) 的区间估计。
因为E( X• j
X•k )
j
k ,
D(X• j
X•k )
2
1 nj
1 nk
第15页/共87页
（一） 双因素等重复试验的方差分析
因素A有r个水平A1, A2, , Ar， 因素B有s个水平B1, B2, , Bs.
现对因素A，B的水平的每对组合(Ai , Bj )i 1, , r; j 1, , s
第八章方差分析与回归分析pu.ppt
由于同一水平下重复试验的个体差异是随机误差， 所以设：
Xij i ij , j 1, 2,...ni , i 1, 2,...r 方差分析的线性
模型
其中 ij 为试验误差，相互独立且服从正态分布
即
ij ~ N 0, 2
整个试验的均值令Fra bibliotek1 n
r
ni i
i 1
, （其中 n
r
ni
SST
2
~ 2 n 1,
SSA
2
~ 2 r 1,
SSE
2
~ 2 nr
将
SST
2
,
SS A
2
,
SSE
2
的自由度分别记作 dfT , df A , dfE
则 F SSA dfA ~ F r 1, n r
SSE dfE
（记 SSA dfA MSA, SSE dfE MSE ，称作均方和）
则 F SSA dfA ~ F r 1, n r MSA
i1 j 1
纵向个体间的差异称为随机误差（组内差异），由试验造 成；横向个体间的差异称为系统误差（组间差异），由因素的 不同水平造成。
单因素试验的方差分析的数学模型
首先，我们作如下假设：
1. Xi ~ N i , 2 , i 1, 2,...r 具有方差齐性。
2. X1, X 2,...X r 相互独立，从而各子样也相互独立。
i1 j1
组间平方和（系 如果H0 成立，则SSA 较小。 统离差平方和）
反映的是各水平平均值偏离总平均值的偏离程度。
r ni
2
SSE
Xij X i
i1 j1
组内平方和
反映的是重复试验种随机误差的大小。误差平方和
方差分析与回归分析
考虑到这里2分布是近似分布，在诸样本量mi均 不小于5时使用上述检验是适当的。
3 November 2018
华东师范大学
第八章 方差分析与回归分析
第9页
例8.3.2 为研究各产地的绿茶的叶酸含量是否 有显著差异，特选四个产地绿茶，其中A1制 作了7个样品， A2制作了5个样品， A3与A4各 制作了6个样品，共有24个样品，按随机次 序测试其叶酸含量，测试结果如表8.3.3所示。
华东师范大学
第八章 方差分析与回归分析
第8页
由此可见，在比值GMSe/MSe较大时，就意味着 诸样本方差差异较大，从而检验（8.3.1）表示 的一对假设的拒绝域应是 W={ln GMSe/MSe> >d} （8.3.4） （8.3.8）
Bartlett证明了，检验的拒绝域为
W={B> 1- 2 (r-1) }
3 November 2018
华东师范大学
第八章 方差分析与回归分析
第11页
8.3.3 修正的Bartlett检验
针对样本量低于5时不能使用Bartlett检验的缺 点，Box提出修正的Bartlett检验统计量
B f 2 BC f1 ( A BC )
r 1 , 2 (C 1)
（8.3.9）
9.00 1.9149 4.70
在 =0.05时，由附表10查得H0.95(4,9) =6.31， 由于H<6.31，所以应该保留原假设H0，即认 为四个总体方差间无显著差异。
3 November 2018
华东师范大学
第八章 方差分析与回归分析
第7页
8.3.2 Bartlett检验
在单因子方差分析中有r个样本，设第i个样 m Qi 1 本方差为：s2 2 ( y y ) ， i 1,2,, r
第八章 方差分析与回归分析
因素：影响一个试验的指标变化的原因。 水平：因素的不同等级。 单因素试验：在试验中仅考察一个因素的试验。 多因素试验：在试验中考察两个或两个以上的因素的试验. 这类试验 一般可用因素的数目来命名，如二因素试验、三因素试验等.
2. 处理（Treatment）
处理:因素的不同水平的组合称为处理。 在单因素试验中,因素的每一个水平称为一个处理,试验因素有几个 水平,就相应的有几个处理.在多因素试验中,每个因素可设置若干个水平, 各因素不同水平的组合称为处理.处理的数目为各因素水平的乘积.
X a. X ..
T..
Ti . T ..
X ij
j 1 a
r
X i. X ..
Ti . r T .. ar
X
i 1 j 1
r
ij
2. 统计模型
把试验数据 X ij 纳入一定的统计模型是统计分析的前提．所谓统计模型是一 个有关 X ij 形成机理的数学表达式，其中包括与 X ij 有关的参数及其前提、约束条 X 件、随机变量的分布等， ij 必须满足这个统计模型才能进行方差分析．
三、方差分析的基本思想 以例8.1为例来说明方差分析的基本思想。 由例8.1的试验以及对工业生产所具有的常识可以知道，不同类型的 集装箱其试验指标—抗压强度存在差异，并且同一类型的不同集装箱其 抗压强度也会有差异。这两种差异产生的原因，前者主要是由于不同类 型的集装箱由于其生产条件、原材料、技术标准等等人为可控或者可辨 识的因素的不同造成抗压强度的差异，这就是组间误差，可以通过表 8.1中平均抗压强度来估计，后者是除类型外的各种人为不可控的随机 因素作用造成的指标的差异，这就是随机误差，可以通过同一类型的不 同集装箱的抗压强度之间的差异来度量。那么，如何判断不同种类的海 用集装箱的抗压强度是否有差异？若有差异，哪一种抗压强度最高？ R.A.Fisher 创立的方差分析是解决该类问题的有力工具,其直观想法是: 对试验数据所显示的差异进行分解，区分出组间误差和随机误差,利用数 理统计的相关原理建立适当的统计量,将组间误差与随机误差进行比较, 如果组间误差比随机误差大得多,就认为试验数据的差异主要是由
2. 处理（Treatment）
处理:因素的不同水平的组合称为处理。 在单因素试验中,因素的每一个水平称为一个处理,试验因素有几个 水平,就相应的有几个处理.在多因素试验中,每个因素可设置若干个水平, 各因素不同水平的组合称为处理.处理的数目为各因素水平的乘积.
X a. X ..
T..
Ti . T ..
X ij
j 1 a
r
X i. X ..
Ti . r T .. ar
X
i 1 j 1
r
ij
2. 统计模型
把试验数据 X ij 纳入一定的统计模型是统计分析的前提．所谓统计模型是一 个有关 X ij 形成机理的数学表达式，其中包括与 X ij 有关的参数及其前提、约束条 X 件、随机变量的分布等， ij 必须满足这个统计模型才能进行方差分析．
三、方差分析的基本思想 以例8.1为例来说明方差分析的基本思想。 由例8.1的试验以及对工业生产所具有的常识可以知道，不同类型的 集装箱其试验指标—抗压强度存在差异，并且同一类型的不同集装箱其 抗压强度也会有差异。这两种差异产生的原因，前者主要是由于不同类 型的集装箱由于其生产条件、原材料、技术标准等等人为可控或者可辨 识的因素的不同造成抗压强度的差异，这就是组间误差，可以通过表 8.1中平均抗压强度来估计，后者是除类型外的各种人为不可控的随机 因素作用造成的指标的差异，这就是随机误差，可以通过同一类型的不 同集装箱的抗压强度之间的差异来度量。那么，如何判断不同种类的海 用集装箱的抗压强度是否有差异？若有差异，哪一种抗压强度最高？ R.A.Fisher 创立的方差分析是解决该类问题的有力工具,其直观想法是: 对试验数据所显示的差异进行分解，区分出组间误差和随机误差,利用数 理统计的相关原理建立适当的统计量,将组间误差与随机误差进行比较, 如果组间误差比随机误差大得多,就认为试验数据的差异主要是由
第八章方差分析与回归分析8.1-8.5
其中r为水平数，m为重复数，i为水平编号， j 为重复编号。
8 December 2013
华东师范大学
第八章 方差分析与回归分析
第10页
在水平Ai下的试验结果yij与该水平下的指标
均值 i 一般总是有差距的，记 ij = yiji，
ij 称为随机误差。于是有 yij = i +ij
（8.1.2）
8 December 2013
华东师范大学
第八章 方差分析与回归分析
第7页
1) 每一总体均为正态总体，记为 N(i , i 2)，
i＝1, 2,…, r ；
2) 各总体的方差相同:
1 2= 22=…= r2 = 2 ；
3) 从每一总体中抽取的样本是相互独立的，
即所有的试验结果 yij 都相互独立。
i 1 j 1
r
m
表示，其自由度为fT=n1； 仅由随机误差引起的数据间的差异可以用 组内偏差平方和
Se ( yij yi. )
i 1 j 1 r m
2
表示，
也称为误差偏差平方和，其自由度为 fe=nr ；
8 December 2013
华东师范大学
第八章 方差分析与回归分析
8 December 2013
华东师范大学
第八章 方差分析与回归分析
第6页
8.1.2 单因子方差分析的统计模型
在例8.1.1中我们只考察了一个因子，称其 为单因子试验。
通常，在单因子试验中，记因子为 A, 设其 有r个水平，记为A1, A2,…, Ar，在每一水平 下考察的指标可以看成一个总体 ，现有 r 个水平，故有 r 个总体， 假定：
所以yij - yij 仅反映组内数据与组内平均的随机误 差，称为组内偏差；而
《概率论与数理统计》教学课件(共8章)第8章 回归分析与方差分析
由于y是随机变量，对于x的每一确定值，y有它的分布。若y的数学期望存在，则其取值随x的取
值而定，即y的数学期望是x的函数，记为μ(x)。μ(x)称为y关于x的回归函数，简称为y关于x的回归。
根据μ(x)的不同形式，回归分析分为线性回归和非线性回归，其中线性回归又分为一元线性回归和多
元线性回归。
8.1
∧
b−t (n−2)
α
2
∧
σ
Lxx
∧
,b + t (n−2)
α
2
∧
σ
Lxx
.
例如，例1中b的置信度为0.95的置信区间为
0.8706−2.3646 ×
=(0.8346, 0.9066).
0.9408
4060
, 0.8706 + 2.3646 ×
0.9408
4060
8.1
一元线性回归
8. 1. 6
利用回归方程进行预测
8. 1. 4
线性假设的显著性检验
∧
引理 对于一元线性回归，有b~N(b,σ2/Lxx)。
n
n
∧ ∑ (xi −x)(yi −y) ∑ (xi −x)yi
∧
证 因为b=i=1 n
=i=1
，所以b是y1,y2,…,yn的线性组合，而y1,y2,…,yn是独立的正
n
∑ (xi−x)2
∑ (xi −x)2
8. 1. 4
线性假设的显著性检验
n
n
∑ (xi−x)2 D(yi) ∑ (xi −x)2σ2
∧
D(b)=i=1n
= i=1
n
2
2
[ ∑ (xi −x) ]
[ ∑ (xi −x)2 ] 2
值而定，即y的数学期望是x的函数，记为μ(x)。μ(x)称为y关于x的回归函数，简称为y关于x的回归。
根据μ(x)的不同形式，回归分析分为线性回归和非线性回归，其中线性回归又分为一元线性回归和多
元线性回归。
8.1
∧
b−t (n−2)
α
2
∧
σ
Lxx
∧
,b + t (n−2)
α
2
∧
σ
Lxx
.
例如，例1中b的置信度为0.95的置信区间为
0.8706−2.3646 ×
=(0.8346, 0.9066).
0.9408
4060
, 0.8706 + 2.3646 ×
0.9408
4060
8.1
一元线性回归
8. 1. 6
利用回归方程进行预测
8. 1. 4
线性假设的显著性检验
∧
引理 对于一元线性回归，有b~N(b,σ2/Lxx)。
n
n
∧ ∑ (xi −x)(yi −y) ∑ (xi −x)yi
∧
证 因为b=i=1 n
=i=1
，所以b是y1,y2,…,yn的线性组合，而y1,y2,…,yn是独立的正
n
∑ (xi−x)2
∑ (xi −x)2
8. 1. 4
线性假设的显著性检验
n
n
∑ (xi−x)2 D(yi) ∑ (xi −x)2σ2
∧
D(b)=i=1n
= i=1
n
2
2
[ ∑ (xi −x) ]
[ ∑ (xi −x)2 ] 2
方差分析及回归分析
第九章 回归分析教学要求 1．一元线性回归及线性相关显著性的检验法，利用线性回归方程进行预测。
2．可线性化的非线性回归问题及简单的多元线性回归。
⏹本章重点：理解线性模型，回归模型的概念，掌握线性模型中参数估计的最小二乘法估计法。
⏹教学手段：讲练结合 ⏹课时分配：6课时§9.1 一元线性回归回归分析是研究变量之间相关关系的一种统计推断法。
例如，人的血压y 与年龄x 有关，这里x 是一个普通变量，y 是随机变量。
Y 与x 之间的相依关系f(x)受随机误差ε的干扰使之不能完全确定，故可设有：ε+=)(x f y （9.1） 式中f(x)称作回归函数，ε为随机误差或随机干扰，它是一个分布与x 无关的随机变量，我们常假定它是均值为0的正态变量。
为估计未知的回归函数f(x)，我们通过n 次独立观测，得x 与y 的n 对实测数据(x i ,y i )i=1,……,n ，对f(x)作估计。
实际中常遇到的是多个自变量的情形。
例如 在考察某化学反应时，发现反应速度y 与催化剂用量x 1,反应温度x 2,所加压力x 3等等多种因素有关。
这里x 1,x 2,……都是可控制的普通变量，y 是随机变量，y 与诸x i 间的依存关系受随机干扰和随机误差的影响，使之不能完全确定，故可假设有：ε+=),,,(21k x x x f y (9.2) 这里ε是不可观察的随机误差，它是分布与x 1,……,x k 无关的随机变量，一般设其均值为0，这里的多元函数f(x 1,……,x k )称为回归函数，为了估计未知的回归函数，同样可作n 次独立观察，基于观测值去估计f(x 1,……,x k )。
以下的讨论中我们总称自变量x 1,x 2,……,x k 为控制变量，y 为响应变量，不难想象，如对回归函数f(x 1,……,x k )的形式不作任何假设，问题过于一般，将难以处理，所以本章将主要讨论y 和控制变量x 1,x 2,……,x k 呈现线性相关关系的情形，即假定f(x 1,……,x k )=b 0+b 1x 1+……+b k x k 。
第八章 方差分析与回归分析
三、偏差平方和及其分解
为了通过分析对比产生样本 X ij 之间差异性的
原因，从而确定因素A的影响是否显著，引人偏差平
方和
r ni
2
总偏差平方和 ST
X ij X ,
i1 j1
ST 能反映全部试验试验数据之间的差异.
组间(偏差)平方和
SA
r
ni
X i X
若试验中变化的因素多于一个，则称为多因素以 及多因素试验.
单因素试验中，若只有两个水平，就是第七章的 两个总体的比较问题. 超过两个水平时，也就是需要 多个总体进行比较，这时，方差分析是一种有效的方 法.
设单因素A具有r个水平，对每个水平进行重复 试验，列出试验记录表：
试验批号
1
2 j ni 行和 行平均
9
F F ,
可认为没有显著差异.
§8.2 回归分析的概念
一、确定性关系和非确定性关系 1．确定性关系——即函数关系，总可以用形如
y=f(x)之类的函数来描述. 例如：y sin x, s R2.
2．非确定性关系——即两个变量之间存在某种相 互依赖的关系，但又不能用形如 y=f(x) 的函数关系来 确切描述，即不能由一个确定的 x 值，找到唯一确定的 y 值，这种关系称为非确定性关系.
首先一个问题是如何根据已经试验的结果以及以往 的经验来确定回归函数的类型以及求出函数中的未知参 数的估计，得到经验公式.
例1 以家庭为单位，某种商品年需求量与该商品 价格之间的一组调查数据如下表所示：
价格xi (元) 1 2 2 2.3 2.5 2.6 2.8 3 3.3 3.5 需求yi (斤) 5 3.5 3 2.7 2 .4 2.5 2 1.5 1.2 1.2
第八章 方差分析与回归分析
来源 平方和 自由度 均方和 F比
因子
误差 总和
8 May 2013
SA
Se ST
fA=r1
MSA= SA/fA
MSe= Se/fe
F＝ MSA/ MSe
fe=nr
fT=n1
山东财经大学 信科10
第八章 方差分析与回归分析
第19页
对给定的，可作如下判断：
如果 F >F1 (fA ,fe)，认为因子A显著；
第八章 方差分析与回归分析
第2页
§8.1 方差分析
8.1.1 问题的提出
方差分析， 是20世纪20年代由英国统计学 家费希尔首先提出的。最初主要应用于生物和 农业田间试验，以后推广到各个领域应用。它 是直接对多个总体的均值是否相等进行检验， 这样不但可以减少工作量，而且可以增加检验 的稳定性。
8 May 2013
第八章 方差分析与回归分析
第10页
数学模型的等价形式：
yij ai ij , i 1, 2,..., r, j 1, 2,..., m r ai 0 i 1 相互独立，且都服从N(0, 2 ) ij
假设改写为： H0 ：a1 =a2 =…=ar =0
i 1
也称为因子A的偏差平方和，自由度为 fA=r1.
8 May 2013
山东财经大学 信科10
第八章 方差分析与回归分析
第15页
定理8.1.1 在上述符号下，总平方和ST可以 分解为因子平方和SA与误差平方和Se之和， 其自由度也有相应分解公式，具体为：
( y
i 1 j 1
r
m
ij
山东财经大学 信科10
第八章 方差分析与回归分析
因子
误差 总和
8 May 2013
SA
Se ST
fA=r1
MSA= SA/fA
MSe= Se/fe
F＝ MSA/ MSe
fe=nr
fT=n1
山东财经大学 信科10
第八章 方差分析与回归分析
第19页
对给定的，可作如下判断：
如果 F >F1 (fA ,fe)，认为因子A显著；
第八章 方差分析与回归分析
第2页
§8.1 方差分析
8.1.1 问题的提出
方差分析， 是20世纪20年代由英国统计学 家费希尔首先提出的。最初主要应用于生物和 农业田间试验，以后推广到各个领域应用。它 是直接对多个总体的均值是否相等进行检验， 这样不但可以减少工作量，而且可以增加检验 的稳定性。
8 May 2013
第八章 方差分析与回归分析
第10页
数学模型的等价形式：
yij ai ij , i 1, 2,..., r, j 1, 2,..., m r ai 0 i 1 相互独立，且都服从N(0, 2 ) ij
假设改写为： H0 ：a1 =a2 =…=ar =0
i 1
也称为因子A的偏差平方和，自由度为 fA=r1.
8 May 2013
山东财经大学 信科10
第八章 方差分析与回归分析
第15页
定理8.1.1 在上述符号下，总平方和ST可以 分解为因子平方和SA与误差平方和Se之和， 其自由度也有相应分解公式，具体为：
( y
i 1 j 1
r
m
ij
山东财经大学 信科10
第八章 方差分析与回归分析
《第八章方差分析》PPT课件
si2
Ⅰ 122 2500 20.33 3.88
Ⅱ 106 1902 17.67 5.86
k 5 n6
C 6072 6 5 12281.63
Ⅲ 150 3770 25.00 4.00
Ⅳ 137 3165 22.83 7.34
Ⅴ 92 1426 15.33 3.06 T 607 xi2j 12763
第五页，共47页。
因此此时再用t-test法进行检验就不恰当了
如何对 k 3个样本进行假设检验？ 这就是本章所要讨论的方差分析
什么叫方差？
方差是对数据（或称资料）变异的度量
方差的公式：
总一般体总：体 2方 差称xN方2差样，本样：本s方2 差n称x1均x 2 方
x2
n
x
n 1
2
能使变量发生变异的原因很多，这些原因我们都将其称为变
如果这许多样本都只和对照组相比，我们仍然可以使用t-
test或u-test进行，但如果需要样本之间两两相比较的
话，就不能使用t-test或u-test进行了 其理由有以下几个：
第三页，共47页。
1、当有k个样本所属总体的平均值相互两两比较，就需
作
1 k次k比1较 ，即作
2
次1 k假k 设1 检验
2
验结束后每一组内的数据资料相等，这就是组内样 本容量相等的情况
（一）数据结构和数学模型
方差分析是建立在一定的线性数学模型基础上的，所谓线性 模型就是指每一个观测值都可以分割成若干个线性部分， 这是方差分析中平方和、自由度剖分的理论依据
第十三页，共47页。
设从一个 N , 2 中随机抽取一个样本，容量为 ，n这
能充分使用试验中所有的信息量，这是十分可惜的
方差分析及回归分析ppt60页课件
单因素试验的方差分析
设因素有S个水平，在水平Aj (j=1,2,…,s)下，进行nj (nj≥2)次独立试验，结果如下：
水平 观察结果
A1
A2
…
As
X11 X21 …
X11 X21 …
… … …
X11 X21 …
样本总和 样本均值 总体均值
T.1 X.1 μ 1
T.2 X.2 μ 2
… … …
160
180
60
80
100
40
设Y关于x的回归函数为μ(x)。利用样本来估计μ(x)的问题称为求Y关于x的回归问题。 若μ(x)是线性函数μ(x)=a+bx，此时的估计问题称为求一元线性回归问题。 一元线性回归模型： 设Y~N(a+bx, σ2 )其中a,b, σ2是未知参数，记 ε = Y-（a+bx），则 Y= a+bx + ε, ε ~N(0, σ2 ) （1） 称上式为一元线性回归模型。 称a+bx为x的线性函数，而ε ~N(0, σ2 )是随机误差。
SE称为误差平方和， SA表示Aj水平下的样本均值与数据总平均的差异，叫做效应平方和，他是由水平Aj的效应的差异以及随机误差引起的。
（1，8）
则得 ST=SE+SA ，
（1，9）
（1，10）
（三） SE，SA的统计特性 1、SE的统计特性
由于 是总体 的nj-1倍， 所以 由于独立，（1，11）中各式独立，根据 分布的可加性，得
（1，14）
（1，15）
可以证明SE，SA的是相互独立的，且H0当为真时 （四）假设检验问题的拒绝域 由（1，15）式，当H0为真时 所以SA /(s-1)是σ2的无偏估计,而当当H1为真时， 这时 而由于
设因素有S个水平，在水平Aj (j=1,2,…,s)下，进行nj (nj≥2)次独立试验，结果如下：
水平 观察结果
A1
A2
…
As
X11 X21 …
X11 X21 …
… … …
X11 X21 …
样本总和 样本均值 总体均值
T.1 X.1 μ 1
T.2 X.2 μ 2
… … …
160
180
60
80
100
40
设Y关于x的回归函数为μ(x)。利用样本来估计μ(x)的问题称为求Y关于x的回归问题。 若μ(x)是线性函数μ(x)=a+bx，此时的估计问题称为求一元线性回归问题。 一元线性回归模型： 设Y~N(a+bx, σ2 )其中a,b, σ2是未知参数，记 ε = Y-（a+bx），则 Y= a+bx + ε, ε ~N(0, σ2 ) （1） 称上式为一元线性回归模型。 称a+bx为x的线性函数，而ε ~N(0, σ2 )是随机误差。
SE称为误差平方和， SA表示Aj水平下的样本均值与数据总平均的差异，叫做效应平方和，他是由水平Aj的效应的差异以及随机误差引起的。
（1，8）
则得 ST=SE+SA ，
（1，9）
（1，10）
（三） SE，SA的统计特性 1、SE的统计特性
由于 是总体 的nj-1倍， 所以 由于独立，（1，11）中各式独立，根据 分布的可加性，得
（1，14）
（1，15）
可以证明SE，SA的是相互独立的，且H0当为真时 （四）假设检验问题的拒绝域 由（1，15）式，当H0为真时 所以SA /(s-1)是σ2的无偏估计,而当当H1为真时， 这时 而由于
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2020/10/11
区间预测：区间预测就是对给定的 x=x0，
利用区间估计的方法求出 y0 的置信区间.
对给定的 x=x0，由回归方程可计算一个回
归值
yˆ0 aˆbx0
设在 x=x0 的一次观察值为 y0，记 y0 yˆ0
i y i y ˆi(i 1 ,2 , ,n )
其中 yi 为对应 xi 的观察值，为对应 xi 的回归值
著，即诸正态均值间有显著差异；
若FF1(fA, fe)，则说明因子A不显著 ，即保留原假设 H 0
2020/10/11
8.1.2 数据结构式及其参数估计
1、数据结构式
y i j a i i j,i 1 ,2 ,,r ;j 1 ,,m
其中 为总均值，a i 为第 i 个水平的效应，
r
且 a i 0 ， i j 为试验误差，所有 i j 可作为来 i1
如果 | r | 时，则可认为在显著性水平下
，y 与 x 的线性相关关系不显著，即拒绝假设H0 .
2020/10/11
5. 预测与控制 在求出随机变量 y 与变量 x 的一元线性回归 方程，并通过相关性检验后，便能用回归方程进 行预测和控制.
（1）预测
，作yˆ0点为预aˆ测的b：x预0对测给值定，的这yx0种=x方0，法根叫据做回点归预方测程. 求得
2020/10/11
3、平方和分解式
ST SA Se
fT fA fe
其中
yi m 1jm 1yij,yr1 m i r1jm 1yij 1 ri r1yi
注意几个概念
r m
2 称为总平方和，其自由
ST
yij y
i1 j1
度 fT n 1
2020/10/11
r
SA m yi y2 i1
给出散点图并试建 x 与 y 的经验公式.
解：将每对观察值（xi，yi）在直角坐标系中
描出，得散点图. 从图可看出，这些点虽不在一 条直线上，但都在一条直线附近.
2020/10/11
于是，很自然会想到用一条直线来近似地表 示 x 与 y 之间的关系，这条直线的方程就叫做 y 对 x 的一元线性回归方程。设这条直线的方程为
2020/10/11
n
为了求
( yi yi)2
i1
2
的自由度，只要求出的
数学期望就可. 由于
n
n
E (yi yˆi)2E (yi y)2Ebˆ2Lxx
i1
i1
(n1)2b2Lxx2b2Lxx (n2)2
2020/10/11
n
(yi yˆ)2
i1 2
~ 2(n2)
又H
成立条件下
0
n
E (yi y)2 (n2)2 i1
显著不显著需要检验. 若回归方程中 b 0 ，则 回归方程变成 y a, 不再与 x 有关，因此b ˆ 是
否为零是检验的原假设与备择假设，为了寻求 检验的统计量.
2020/10/11
我们把总体平方和分解，令
yˆi aˆ bˆxi
n
n
n
s总 (yiy)2 (yiy ˆi)2 (y ˆiy)2
2020/10/11
教学目的和要求： 熟悉单因子方差分析 理解回归分析的基本思想，掌握一元线性 回归模型 教学重点和难点: 重点：单因子方差分析和一元线性回归分析 难点：方差分析的运用及线性回归模型的建 立和其显著性检验
2020/10/11
2020/10/11
2、基本假设
（1）第 i 个水平下的数据 yi1,yi2, ,yim是来
自 N (0, 2 ) 的一个样本，在上述数据结构式下
yij N(ai,2)
2020/10/11
要检验的假设检验可改写为
H0: a1a2 ar0 H1:a1,a2, ,ar不 全 为 0
2、点估计
总均值 的估计为 ˆ y
水平均值
的估计
i
ˆiyi,i 1 ,2 , ,r
主效应 a i 的估计 a ˆi y i y ,i 1 ,2 , ,r
yˆ abx 其中 a、b 叫做回归系数（表示直线
上 y 的值与实际值 yi 不同） 下面是怎样确定 a 和 b ，使直线总的看来最
靠近这几个点.
2020/10/11
2．最小二乘法
在一次试验中，取得 n 对数据（xi，yi），
其中 yi 是随机变量 y 对应于 xi 的观察值. 我们所
要求的直线应该是使所有| yi yˆ |之和最小的一 条直线，其中yˆi abxi . 由于绝对值在处理上
yr
Ty
2020/10/11
2. 基本假定、平方和分解、方差分析和判断
准则都和前面一样，只是因子A的平方和的计算
r
公式略有不同：记 n m i ，则 i1
SA
r i1
Ti 2 mi
T2 n
2020/10/11
3. 数据结构式及参数估计式基本同前，需要 注意下面两点：
（1）总均值
1 n
r i 1
这里 n=9，（xi，yi）由例1给出，计算出
x 26
y90.1444
9
L xx xi29x21014492624060 i 1 9
Lyy yi29y2 i1
76218.17990.14442 3083.9822
2020/10/11
9
Lxy xiyi 9xy i1 24628.692690.14443534.8
i 1
i 1
i 1
n
( yi yˆi ) 2
i1
n
( yi y)2
i1
2020/10/11
称为剩余平方和 称为回归平方和
再来分析它们的分布
n
(yi y)2
i1
2
~ 2(n1)
n
若能求出 ( y i y i ) 2 i1
2
的自由度，则
n
( yˆ y ) 2
i1
2
的自由度也就知道了.
2020/10/11
8.2.3重复数不等情形下的方差分析
1、获得数据
设因子A有r个水平 A1,, Ar ，并且第r个水
平A
i
下重复进行 m
次试验，可得如下数据
i
2020/10/11
A1
m1
y11,y12, ,y1m 1 T 1
y1
A2
m2
y21,y22, ,y2m 2 T 2
y2
Ar
mrLeabharlann yr1,yr2, ,yrm r T r
i1
i1
n
n
Lyy (yi y)2 yi2ny2
i1
i1
2020/10/11
n
n
Lxy (xix)(yiy) xiyinxy
i1
i1
从而得到一元线性回归方程 yˆ aˆ bˆX ，
其中 aˆ , bˆ 称为参数 a、b 的最小二乘估计，上
述方法叫做最小二乘估计法.
2020/10/11
下面计算例1中 y 对 x 的一元线性回归方程.
误差方差 2 的估计 ˆ2MSeSe/fe
2020/10/11
3、1 的置信区间
i 的 1 的置信区间是 yi ˆt1 /2(fe)/ m
4 单因子试验的统计分析可以知道如下三个结 果 • 因子A是否显著
• 试验误差方差 2 的估计
• 诸水平均值 i 的点估计与区间估计（此项在
因子A不显著时无需进行）
2020/10/11
4. 相关性检验 在使用由试验数据求出回归方程的最小
二乘法之前，并没有判定两个变量之间是否具 有线性的相关关系. 因此，即使在平面上一些并 不呈现线性关系的点之间，也照样可以求出一 条回归直线，这显然毫无意义. 因此，我们要用 假设检验的方法进行相关关系的检验，其方法 如下：
2020/10/11
2020/10/11
一般地（特别当 n 很大时）1, ,n 相互独
立，而且服从同一正态分布 N (0, 2 ).
可以证明，统计量
ˆ 2
Sy2
Q 是 n2
2 的无
偏估计量，其中
n
n
Q i2 (yiy ˆi)2Lyyb ˆLxy
i1
i1
从而可近似地认为
2020/10/11
y0 yˆ0 ~ N(0,1) Sy
mi i
r
（2）主效应约束条件为 m i a i 0 i1
2020/10/11
8.2 线性回归分析 8.2.1 一元情形
以前我们所研究的函数关系是完全确定的， 但在实际问题中，常常会遇到两个变量之间具有 密切关系却又不能用一个确定的数学式子表达， 这种非确定性的关系称为相关关系。通过大量的 试验和观察，用统计的方法找到试验结果的统计 规律，这种方法称为回归分析.
（3）利用已建立的经验公式，进行预测和控制.
2020/10/11
1．散点图与回归直线 在一元线性回归分析里，主要是考察随机变
量 y 与普通变量 x 之间的关系。通过试验，可得
到x、y 的若干对实测数据，将这些数据在坐标
系中描绘出来，所得到的图叫做散点图.
2020/10/11
例1 在硝酸钠（NaNO3）的溶解度试验中 ，测得在不同温度x（℃）下，溶解于100份水中 的硝酸钠份数 y 的数据如下：
n
(yi y)2
i1 2
~ 2(n1)
因而
n
( yˆi y)2
i 1
2
~ 2 (1)
2020/10/11
又写成
S总
2
~
2 (n
1)
S剩
2
~
区间预测：区间预测就是对给定的 x=x0，
利用区间估计的方法求出 y0 的置信区间.
对给定的 x=x0，由回归方程可计算一个回
归值
yˆ0 aˆbx0
设在 x=x0 的一次观察值为 y0，记 y0 yˆ0
i y i y ˆi(i 1 ,2 , ,n )
其中 yi 为对应 xi 的观察值，为对应 xi 的回归值
著，即诸正态均值间有显著差异；
若FF1(fA, fe)，则说明因子A不显著 ，即保留原假设 H 0
2020/10/11
8.1.2 数据结构式及其参数估计
1、数据结构式
y i j a i i j,i 1 ,2 ,,r ;j 1 ,,m
其中 为总均值，a i 为第 i 个水平的效应，
r
且 a i 0 ， i j 为试验误差，所有 i j 可作为来 i1
如果 | r | 时，则可认为在显著性水平下
，y 与 x 的线性相关关系不显著，即拒绝假设H0 .
2020/10/11
5. 预测与控制 在求出随机变量 y 与变量 x 的一元线性回归 方程，并通过相关性检验后，便能用回归方程进 行预测和控制.
（1）预测
，作yˆ0点为预aˆ测的b：x预0对测给值定，的这yx0种=x方0，法根叫据做回点归预方测程. 求得
2020/10/11
3、平方和分解式
ST SA Se
fT fA fe
其中
yi m 1jm 1yij,yr1 m i r1jm 1yij 1 ri r1yi
注意几个概念
r m
2 称为总平方和，其自由
ST
yij y
i1 j1
度 fT n 1
2020/10/11
r
SA m yi y2 i1
给出散点图并试建 x 与 y 的经验公式.
解：将每对观察值（xi，yi）在直角坐标系中
描出，得散点图. 从图可看出，这些点虽不在一 条直线上，但都在一条直线附近.
2020/10/11
于是，很自然会想到用一条直线来近似地表 示 x 与 y 之间的关系，这条直线的方程就叫做 y 对 x 的一元线性回归方程。设这条直线的方程为
2020/10/11
n
为了求
( yi yi)2
i1
2
的自由度，只要求出的
数学期望就可. 由于
n
n
E (yi yˆi)2E (yi y)2Ebˆ2Lxx
i1
i1
(n1)2b2Lxx2b2Lxx (n2)2
2020/10/11
n
(yi yˆ)2
i1 2
~ 2(n2)
又H
成立条件下
0
n
E (yi y)2 (n2)2 i1
显著不显著需要检验. 若回归方程中 b 0 ，则 回归方程变成 y a, 不再与 x 有关，因此b ˆ 是
否为零是检验的原假设与备择假设，为了寻求 检验的统计量.
2020/10/11
我们把总体平方和分解，令
yˆi aˆ bˆxi
n
n
n
s总 (yiy)2 (yiy ˆi)2 (y ˆiy)2
2020/10/11
教学目的和要求： 熟悉单因子方差分析 理解回归分析的基本思想，掌握一元线性 回归模型 教学重点和难点: 重点：单因子方差分析和一元线性回归分析 难点：方差分析的运用及线性回归模型的建 立和其显著性检验
2020/10/11
2020/10/11
2、基本假设
（1）第 i 个水平下的数据 yi1,yi2, ,yim是来
自 N (0, 2 ) 的一个样本，在上述数据结构式下
yij N(ai,2)
2020/10/11
要检验的假设检验可改写为
H0: a1a2 ar0 H1:a1,a2, ,ar不 全 为 0
2、点估计
总均值 的估计为 ˆ y
水平均值
的估计
i
ˆiyi,i 1 ,2 , ,r
主效应 a i 的估计 a ˆi y i y ,i 1 ,2 , ,r
yˆ abx 其中 a、b 叫做回归系数（表示直线
上 y 的值与实际值 yi 不同） 下面是怎样确定 a 和 b ，使直线总的看来最
靠近这几个点.
2020/10/11
2．最小二乘法
在一次试验中，取得 n 对数据（xi，yi），
其中 yi 是随机变量 y 对应于 xi 的观察值. 我们所
要求的直线应该是使所有| yi yˆ |之和最小的一 条直线，其中yˆi abxi . 由于绝对值在处理上
yr
Ty
2020/10/11
2. 基本假定、平方和分解、方差分析和判断
准则都和前面一样，只是因子A的平方和的计算
r
公式略有不同：记 n m i ，则 i1
SA
r i1
Ti 2 mi
T2 n
2020/10/11
3. 数据结构式及参数估计式基本同前，需要 注意下面两点：
（1）总均值
1 n
r i 1
这里 n=9，（xi，yi）由例1给出，计算出
x 26
y90.1444
9
L xx xi29x21014492624060 i 1 9
Lyy yi29y2 i1
76218.17990.14442 3083.9822
2020/10/11
9
Lxy xiyi 9xy i1 24628.692690.14443534.8
i 1
i 1
i 1
n
( yi yˆi ) 2
i1
n
( yi y)2
i1
2020/10/11
称为剩余平方和 称为回归平方和
再来分析它们的分布
n
(yi y)2
i1
2
~ 2(n1)
n
若能求出 ( y i y i ) 2 i1
2
的自由度，则
n
( yˆ y ) 2
i1
2
的自由度也就知道了.
2020/10/11
8.2.3重复数不等情形下的方差分析
1、获得数据
设因子A有r个水平 A1,, Ar ，并且第r个水
平A
i
下重复进行 m
次试验，可得如下数据
i
2020/10/11
A1
m1
y11,y12, ,y1m 1 T 1
y1
A2
m2
y21,y22, ,y2m 2 T 2
y2
Ar
mrLeabharlann yr1,yr2, ,yrm r T r
i1
i1
n
n
Lyy (yi y)2 yi2ny2
i1
i1
2020/10/11
n
n
Lxy (xix)(yiy) xiyinxy
i1
i1
从而得到一元线性回归方程 yˆ aˆ bˆX ，
其中 aˆ , bˆ 称为参数 a、b 的最小二乘估计，上
述方法叫做最小二乘估计法.
2020/10/11
下面计算例1中 y 对 x 的一元线性回归方程.
误差方差 2 的估计 ˆ2MSeSe/fe
2020/10/11
3、1 的置信区间
i 的 1 的置信区间是 yi ˆt1 /2(fe)/ m
4 单因子试验的统计分析可以知道如下三个结 果 • 因子A是否显著
• 试验误差方差 2 的估计
• 诸水平均值 i 的点估计与区间估计（此项在
因子A不显著时无需进行）
2020/10/11
4. 相关性检验 在使用由试验数据求出回归方程的最小
二乘法之前，并没有判定两个变量之间是否具 有线性的相关关系. 因此，即使在平面上一些并 不呈现线性关系的点之间，也照样可以求出一 条回归直线，这显然毫无意义. 因此，我们要用 假设检验的方法进行相关关系的检验，其方法 如下：
2020/10/11
2020/10/11
一般地（特别当 n 很大时）1, ,n 相互独
立，而且服从同一正态分布 N (0, 2 ).
可以证明，统计量
ˆ 2
Sy2
Q 是 n2
2 的无
偏估计量，其中
n
n
Q i2 (yiy ˆi)2Lyyb ˆLxy
i1
i1
从而可近似地认为
2020/10/11
y0 yˆ0 ~ N(0,1) Sy
mi i
r
（2）主效应约束条件为 m i a i 0 i1
2020/10/11
8.2 线性回归分析 8.2.1 一元情形
以前我们所研究的函数关系是完全确定的， 但在实际问题中，常常会遇到两个变量之间具有 密切关系却又不能用一个确定的数学式子表达， 这种非确定性的关系称为相关关系。通过大量的 试验和观察，用统计的方法找到试验结果的统计 规律，这种方法称为回归分析.
（3）利用已建立的经验公式，进行预测和控制.
2020/10/11
1．散点图与回归直线 在一元线性回归分析里，主要是考察随机变
量 y 与普通变量 x 之间的关系。通过试验，可得
到x、y 的若干对实测数据，将这些数据在坐标
系中描绘出来，所得到的图叫做散点图.
2020/10/11
例1 在硝酸钠（NaNO3）的溶解度试验中 ，测得在不同温度x（℃）下，溶解于100份水中 的硝酸钠份数 y 的数据如下：
n
(yi y)2
i1 2
~ 2(n1)
因而
n
( yˆi y)2
i 1
2
~ 2 (1)
2020/10/11
又写成
S总
2
~
2 (n
1)
S剩
2
~