方差分析与协方差分析

协方差分析的模型和假定
模型
方差分析：
回归分析： 协方差分析：
Yij ai ij
Yij
* * ( X ij X i ) ij
Yij ai ( X ij X i ) eij
Yij （X ij X i ) ai eij
等
方差分析分类之一
• 单变量方差分析：一个观察变量 单因方差分析中的控制变量只有一个 多因素方差分析中的控制变量有多个 • 多变量方差分析：多个观察变量
方差分析分类之二
• 一般方差分析：因变量是定量变量，自变量是定类数据 • 协方差分析：将很难控制的因素作为协变量，在排除协变 量影响的条件下，分析控制变量对观察变量的影响，从而 更加准确地对控制变量进行评价。协变量一定要是连续数 值型。
27
目的
– 消除连续变量对Y的影响，使方差分析的检验功效更高，结
果更可靠 • 连续变量可能会增大 Y 的组间差异，导致错误结论 • 连续变量可能会增大 Y 的组内变异，降低检验功效 – 消除分类变量的影响，使回归分析的结果更可靠
28
协方差分析基本思想
20名男性篮球运动员和20名大学生的肺活量（cm3）比较 篮球运动员 肺活量Y 4700 5200 ┇ 4800 大学生 肺活量Y 3450 4100 ┇ 4000
Y2
X2
X
X1
身高
图1 协方差分析示意图
协方差分析步骤
完全随机设计的协方差分析 • 应用条件检验 • 回归分析 • 求调整均数 • 对调整均数作方差分析
协方差分析的假设
• 协方差分析的基本假设与方差分析相同，包括变量的正态 性、观测值独立、方差齐性等，此外还有三个重要的假设： • 因变量与协方差之间线性关系； • 所测量的协变量不应有误差，如果选用的是多项的量表， 应有高的内部一致性信度或重测信度，α 系数最好大于 0.80。这一假设若被违反会造成犯一类错误的概率上升， 降低统计检验力。 • “组内回归系数同质性”（homogeneity of with in rgression），各实验处理组中一举协变量（X）预测因变 量（Y）的回归线的回归系数要相等，即斜率相等，各条 回归线平行。如果斜率不等则不宜直接进行协方差分析。
关联强度 (strength of association)与效应 值 (effect size)的度量
实验处理引致的效应的大小或者数据的变异有多少部分是由 实验处理造成的。
• Eta平方 • 净(偏)Eta平方
• Omega平方
• Cohen's f
（具体内容见附录）
双因素（无交互作用）试验的方差分析表 方差来源 平方和 自由度 因素A 因素B 误差 总和
协方差分析基本思想
20名男性篮球运动员和20名大学生的肺活量（cm3）比较
篮球运动员 身高X 185 175 肺活量Y 4700 5200 大学生 身高X 168 170 肺活量Y 3450 4100
协 变 量
┇
174
┇
4800
┇
169
┇
4000
协方差分析基本思想
• 比较肺活量时，要消除身高的影响。 方法1：抽样时，选身高相近的。 方法2：从统计分析技巧上平衡数据。 校正了身高的影响后（回归分析），再比较两组肺活 量的均数有无差异（方差分析）。
回归平方和，对剩余（残差）平方和作进一步分解后再进行
方差分析，以更好的评价处理的效应。
SS总＝SS回
＋
SS残
SS总＝SS协变量＋SS处理＋SS误差
SS修正＋SS组内残
差
33
肺活量
ˆ y a1 b1 x
'
调 整 均 数
Y1
Y1
Y2
'
ˆ y a2 b2 x
GROUP
2.00 大学生 篮球运动员 1.00
协方差分析基本思想
• 在方差分析中，用来校正因变量的数值型变量称为协变量 （covariable）。 • 含有协变量的方差分析称为协方差分析。 • 协方差分析可提高方差分析的准确度。
观察指标（Y）的总变异：
SS总＝SS协变量＋SS处理＋SS误差
协方差分析的基本思想
• 其实质就是从Y的总离均差平方和中扣除协变量X对Y的
注意
均方和
SS A MS A df A
MS B SS B df B
F值
MS A FA MS E
F 值临介值
F ( a 1 ,
SS A
df A df B df E dfT
SS B
SS E
FB
MS B MS E
a 1 b 1) F ( b 1 , a 1 b 1)
立随机抽样
(4)方差齐性(homogeneity of variance)，也称变异的同
质性，各个水平下的总体具有相同的方差。这是方差分析 一个很重要的前提，因此在进行方差分析之前，应当进行 方差齐性检验。
Bartlett检验法 Levene F 检验
最大方差与最小方差之比<3，初步认为方差齐同。
协方差分析
• 概念：将方差分析和回归分析结合起来的一种统计分析方法 方差分析：一个或几个因子（分类变量）对变量Y（连续变 量）的影响
回归分析：一个或几个变量（连续变量）对变量Y （连续变
量）的影响 当试验指标（Y）的变异既受一个或几个分类变量，也受一 个或几个连续变量的影响，可采用协方差分析
协变量 Co-variable
Yij ai ( X ij X i ) e 37 ij
完全随机设计资料的协方差分析： 各离均差平方和及积和
变异来源 总变异 组间变异 组内变异

N-1 k-1 N-k
2
l XX
X
2
lYY
C1
2 j
l XY
Y
2
C2
2 j
XY C
X Y
j j
3
X
nj
C1
Y
nj
C2
nj
C3
l XX 总－l XX 组间
N ； C2
lYY 总－lYY 组间
N ； C3 (
l XY 总－l XY 组间
N
注： C1 X
Y
2
X Y )
残差平方和的分解
方差分析的前提条件
(1)每个水平下的因变量应当服从正态分布。方差分析对分布 假设有稳健性(robust)，即正态性不满足时，统计结果变化 不大，因此一般并不要求检验总体的正态性。
(2)变异可加性。各因素对离差平方和的影响可以分割成几个
可以加在一起的部分。（多因素）
(3)独立性。观察对象是来自所研究因素的各个水平之下的独
• 非定量方差分析：因变量为定序变量
统计技术分类图
因变量
非定量因变量
定量因变量
一个因变量
多个因变量
非定量方差分析
一个自变量
多个自变量
多变量方差分析
二分变量
多分变量
定类
定类和定距
定距
T检验
单因子方差分析
N因子方差分析
协方差分析
回归分析
方差分析原理
• 目的：通过方差的比较来检验各个水平下的观察值的均值 是否相等 • 观察值差异：观察值存在差异，差异的产生来自两个方面。 系统性差异：由控制变量的不同水平造成的，例如饮料的 不同颜色带来不同的销售量
P值
k 1
k (n 1)
nk 1
总和
SST
确定P 值，做出统计推断
如果均值相等， F=MSA/MSE1
不能拒绝H0 0
拒绝H0

F
F(k-1,n-k) F 分布
事后比较 (posteriori/post hoc comparison)
• F 检验显著说明各组均值并不相同(至少两组不同)，但不 能回答到底哪几组不同。
方差分析和协方差分析
第5组
• 在针对连续变量的统计推断方法中，最常用的有t 检验和 方差分析两种
• 四种不同的颜色包装对饮料销售量的影响（四个水平，分 类变量）
• 两两t 检验？
不能做t 检验
• 如果有K(K≥3)个平均数，若用两两比较的方法来检验，则 需作K(K-1)/2次检验，不但程序繁琐，而且相当于从t 分 布中随机抽取多个t 值，其落在大于临界值的范围内的概
随机性差异：由于抽选样本的随机性而产生的差异，例如，
相同颜色的饮料在不同的商场销售量也不相同。
方差分析的基本思想(单因素)
组间变异 总变异

组内只包含随机误差 组间既包括随机误差，也包括系统误差
组内变异
9
组间变异＞组内变异
B
A
●●●●●●
X
X1
●●●●●●
X2
●●●●●●
X3
●●●●●●
X4
MS E
SS E df E
SST
df E dfT df A f B , SSE SST SS A SSB
各因素离差平方和的自由度为水平数减一，总平方和的自由度为试验总次数减一 。
双因素（有重复）试验方差分析表 方差来源 平方和 自由度 因素A 因素B 均方和
SS A MS A df A
Y=μ +a+e
• 建立假设，确定检验水准
H0 : 1 2 k
H1 : k组总体均数不全相等。
0.05 ;0.01
方差分析表
组间变异体现了因素A的效应，组内变异则被视作误 差。 来源 组间 组内 平方和 自由度
SSA SSE
均方
MS A MS E
F值
MS A MS E
率大大增加，犯Ⅰ类错误的概率大大增加：如6次检验H0
的概率是0.95时的误差为：1-0.956 =0.265。
方差分析概念
• 第一类因素：可以控制的控制因素 • 第二类因素：不能控制的随机因素 • 受前两类因素影响的事物为观察变量 • 方差分析目的：分析控制变量的不同水平是否对观察变量 产生了显著影响，检验各个水平下观察变量的均值是否相
●●●●Baidu Nhomakorabea●
X5
组间变异＜组内变异
B X A
● ● ● ● ● ●
X1
● ● ● ● ●
●
X2
● ● ● ● ● ●
X3
● ● ● ● ● ● ● ● ● ●
X4
● ●
X5
单因素方差分析逻辑与步骤 (One-Way ANOVA)
• 前提假设 • 模型与假设 • 平方和的分解与F 检验 • 多重比较(事后检验) • 关联强度与效应值
• 通过对各组均值之间的配对比较来进一步检验到底哪些均 值之间存在差异。
• 方法众多，不下20种。
均数两两比较方法
LSD法：最灵敏，会犯假阳性错误； Sidak法：比LSD法保守； Bonferroni法：比Sidak法更为保守一些；常用 Scheffe法：多用于进行比较的两组间样本含量不等时； Dunnet法：常用于多个试验组与一个对照组的比较； S-N-K法：寻找同质亚组的方法； Turkey法：最迟钝，要求各组样本含量相同； Duncan法：与Sidak法类似。

总 N-2
残差平方和
MS
F
l l l
2 YY 总 XX
XY 总 总
组内
N-k-1
lYY 组内
方差不齐
若方差齐性的假定不满足，可考虑如下策略： a.检查某些表现“特殊”的观测值，看能否将其剔除， 用剩下的数据进行方差分析。
b.使用无方差齐性假设的多重比较方法。
c.数据变换，用变换(平方根变换、对数变换等)后的数
据进行方差分析。正态性转换。
d. 非参数检验
模型与假设
• 模型表达式（单因素）
总和 这里 df AB
MS A B SS AB df AB
MS E SS E df E
MS A B F ( a 1 b 1 , ab n 1) MS E
SS E
df E dfT
SST
df A df B
方差分析的应用范围：
（一）单因素多个样本均数的比较:
1. 完全随机设计：只安排一种处理因素，不安排任 何配伍因素。 2. 随机化区组设计：只安排一种处理因素，安排一 种配伍因素。 3. 拉丁方设计：只安排一种处理因素，安排两种配 伍因素。
（二）多因素样本均数间的比较：
1.析因设计：安排两种或两种以上处理因素，
分析处理因素间的交互作用
2.裂区设计：安排两种或两种以上处理因素， 分析处理因素间的交互作用 3.交叉设计：安排两种或两种以上处理因素， 分析处理因素间的交互作用 （三）多个样本均数向量间的比较 多元方差分析：结果变量有两个以上，需要综合评价。 （四）回归方程的假设检验
SS B MS B df B
F值
MS A FA MS E
F 值临介值
F ( a 1 , ab n 1) F ( b 1 ,
SS A
df A df B
SS B
MS B FB MS E FA B
ab n 1)
A B SS AB df AB
误差