方差分析的统计检验力和效果大小的常用方法比较_胡竹菁
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2
的含义, 美国著名心理统计学家 J. Cohen 曾指出: “当虚无假设为假时 …, 关于虚无假设的统计检验 [1 ] ” 力是指导致拒绝虚无假设的概率 。 ES ) 的含义, J. Cohen 关于效果大小( effect size, : “当虚无假设为假时 …, 在同一本专著中指出 它总 ES ) 是在一定程度上的虚假。效果大小 ( effect size, 是指某个特定总体中的某种特殊的非零的数值 。这 个数值越大, 就表明由研究者所处理的研究现象所 造成的效果越大 … 效果大小本身可以被视为是一 效果大小的值为零; 当 种参数: 当虚无假设为真时, 虚无假设为假时, 效果大小为某种非零的值。因此, 可以把效果大小视为某种与虚无假设分离程度的指 [1 ] ” 标。 最近几年, 我国心理学界也有越来越多的学者 注意到这一领域研究成果的重要性并加以介绍和评 “效果量的意义及测定方法 ” 述: 如权朝鲁对 作了简
表3 n 10 20 30 40 50 100 分组数为 k = 3 的统计检验力换算表 效果大小 η = 0 . 01 0. 07 0. 10 0. 13 0. 16 0. 19 0. 36
2 2 η = 0 . 06 0. 21 2 η = 0 . 14 0. 51
SPSS 给出的效果大小值是“ η = 0. 51 ” ( 注: 英文 “Partial Eta Squared” ; 中文 版 SPSS 给出的结果标为 ), 与上述 版 SPSS 18. 0 给出的结果标为“偏 eta 方 ” 2 用 η 作为效果大小的指标计算出的结果完全一样 。 J. Cohen 认为, 如前所述, 当用 η 作方差分析效 2 在 η = 0 . 14 时就属于大的效果。 果大小的指标时, 因此, 虽然用 η 作为方差分析效果大小的估计值在 但 0. 51 的效 上述各种计算方法的结果中其值最小 , 果大小还是远远大于 0. 14 , 因此有的统计学家认为 用 η 作为实验处理在总变异中所占比重的估计方 提出另外一个含义 法一般会高估实验处理的效果, 与 η 大致相同的指标 ω 来反映实验处理效果大 小, 其计算公式为: SS 组间 - ( k - 1 ) MS e 2 ω = SS 总体 + MS e 还是以表 1 和表 2 的数据为例, 将已知数据代 入公式后可得: SS 组间 - ( k - 1 ) MS e 2 = ω = SS 总体 + MS e 448 - ( 3 - 1 ) ˑ 28 . 67 = 0 . 43 878 + 28 . 67 虽然 ω = 0 . 43 比 η = 0 . 51 的值更小, 但被认 为能更准确地反映反馈类型对被试自尊水平实验中 的效果。 3 单因素方差分析统计检验力的估计方法 方差分析备择假设的期望分布值通常用希腊字 母 Φ 表示。J. Cohen 指出, 方差分析统计检验力的 计算公式是: n Φ = f槡 其中, 小写英文字母 f 值就是效果大小的指标值。 求方差分析统计检验力的过程一般是, 先求方 差分析效果大小, 而后或者根据效果大小直接查相 应的转换表求统计检验力, 或者根据效果大小值求 Φ 值后再查相应的转换表求统计检验力 。 如前所述, 由于估计效果大小的方法不同, 得出 的效果大小的值也就不一样。由此转换的统计检验 力也会不一样。目前, 根据方差分析效果大小求其 统计检验力的方法主要有以下三种 : 1 ) 当用 η2 来作为方差分析效果大小的指标时 , 2 可以根据 η 值, 各组人数和分组数直接查相应的换
这一公式用粗体小写字母 f 来表示方差分析效 果大小, 以示与 f 区别。式中, 根号内大写字母 F 和 k 指分组数。 小写字母 n 的含义与上一公式相同, 在上述两类估计方法中, 第一类估计方法是以 “实验处理之后各组间平方和在总体平方和中所占 的比重” 的计算方法为基础, 第二类方法则是以 F 检验中备择假设分布的期望 F 值作为理论基础来 评估效果大小的 f 值或期望 f 值。 J. Cohen 指出, 这 两类估计方法的相互关系是 f =
Vol. 31 , No. 3 , 254 - 259 心理学探新 2011 , PSYCHOLOGICAL EXPLORATION
方差分析的统计检验力和效果大小的常用方法比较
胡竹菁 戴海琦
( 江西师范大学 心理学院, 南昌 330022 )
*
摘 和比较。
要:本文对用方差分析统计检验力和效果大小进行估计的几种不同方法作了简要的介绍
256
2
心理学探新
2011 年
自反馈类型的实验处理。 由于用 η 的结果作效果 大小指标的便于理解性, 著名的统计软件 SPSS 就采
2 “一般线性模型 ” 用 η 作为该软件 模块中有关效果 大小的指标。 将表 1 中的数据输入 SPSS 运行后,
Aron 等的《心理统 算表求统计检验力 1 - β 的值, [6 ] 计》 一书使用的就是这种方法 。 以表 1 的数据为 例, 分组数 k = 3 的相应换算表有如表 3 所示。
关键词:方差分析的效果大小; 方差分析的统计检验力 中图分类号:B841. 2 文献标识码:A 文章编号:1003 - 5184 ( 2011 ) 03 - 0254 - 06
1
方差分析的统计检验力和效果大小的含义 关于统计检验力( The power of a statistical test )
此采用下列公式来计算方差分析效果大小 f=
:
( 槡
k -1 F n k
)
对表 1 的数据进行方差分析后可以得到如表 2 所示的方差分析表。
表2 不同反馈类型对被试自尊水平影响的方差分析表 平方和 448 430 878 自由度 2 15 17 均方 224 28. 67 F 7. 814 ** 变异来源 组间 组内 总变异
[9 ]
表1
不同反馈类型条件下被试自尊水平测试得分表 控制组 71. 0 75. 0 73. 0 74. 0 69. 0 82. 0 消极反馈组 59. 0 64. 0 62. 0 69. 0 75. 0 67. 0
积极反馈组 84. 0 74. 0 81. 0 75. 0 84. 0 70. 0
槡
大的效果。当用 f 值( 或期望 f 值) 作指标时, 在f = 0. 10 时属于小的效果, 在 f = 0 . 25 时属于中等效 果, 在 f = 0 . 40 时属于大的效果。 下面, 以一个实例来对上述计算方差分析效果 大小的不同方法作一比较。 例 1 有人研究了个人表现的反馈类型对其自尊 的影响。让 15 名被试参加一项知识测验, 每组各 5 名被试。不管被试在测验中的实际表现如何, 对积 极反馈组, 都告诉他们水平很高; 对消极反馈组, 都 告诉他们表现很差; 对控制组, 不提供任何反馈信 让所有的被试都参加一个自尊测验 , 测验 息。最后, 总分为 100 分, 得到的分数越高, 表明自尊越强。 实 验结果如表 1 所示, 问不同反馈类型的各组被试的 自尊水平是否存在显著差异?
*
η =
槡
SS组间 ( 注: 原书的表达形式为: eta = SS总体
第二类以小写字母 f 值作指标体系评估方差分
槡
SS组间 ) SS总体
析效果大小的方法包含以下两种 : 1 ) 有些学者( 如甘怡群等 ) 认为, 可以用下列公 式来计算方差分析的效果大小 f 值 f =
[4 ]
:
槡
F n
基金项目:江西省高等学校教学改革研究省级立项课题 ( JXJG - 10 - 2 - 27 ) 。
上都是一样的, 都是指在虚无假设 H0 为假 ( 备择假 正确拒绝 H0 的概率。 设 H a 为真) 时, 方差分析效果大小 ( effect size ) 的含义也基本 上与 Z 检验或 t 检验的效果大小的含义相同, 只不 过它反映的是多组实验处理下不同组之间实验效果 差异大小的指标。 由于 J. Cohen 提出的方差分析统计检验力的估 计方法需要先计算其效果大小, 因此, 本文将先介绍 方差分析效果大小的估计方法, 而后再介绍方差分 析统计检验力的估计方法。 2 单因素方差分析效果大小的估计 目前, 学术界对于如何评估方差分析效果大小
:
槡
η 1 - η2
2
2
美国心理统计学家 Runyon 等人编写的《心理 统计》 一书就用 f =
槡 7 . 814 F f = = n 槡 槡6 槡 槡
槡
[10 ]
η 的计算结果作为方差 1 - η2 。
2
( 4) f =
( k - 1) F = · k n
槡
( 3 - 1 ) 7 . 814 · 3 6
分析效果大小的指标
= 槡 0 . 67 ˑ 1 . 30 = 0 . 93 ( 5) f = 1. 02 由上面的计算结果可知, 不同的估计方法得出 的方差分析效果大小的结果是不一样的 , 需要注意 的是, 两类方法之间由于计算方法所依赖的理论基 础不一样, 因此所用指标的量纲是不一样的。 问题 在众多的效果大小指标中, 我们应该选择哪一个 是, 作为对表 1 所述实验数据进行方差分析后的效果大 小更为合适呢? 我们认为, 就理解效果大小这一概 2 , 念的含义上说 上述以 η 作为实验处理后效果大小 的指标较易为人所理解, 因为 η 的含义是 “实验处 理之后 各 组 间 平 方 和 在 总 体 平 方 和 中 所 占 的 比 [1 ] 2 2 重” , η 的指标值大, 反映实验效果大, η 的指标 值小, 则反映实验效果小, 因此这一指标所反映的效 果大小的内涵最容易让人们所理解 。就表 1 的实验 数据而言, 方差分析后用 η 的结果作为效果大小的 指标说明, 在该实验中, 总体变异中约有 51% 是来
2 η =
[1 ]
:
SS 组间 SS 总体
[6 - 8 ]
目前, 西方较多学者采用这种方法来估计方差 分析的效果大小 。
2 我国学者舒华等则认为, 可以使用 η 的平方根即 [ 5 ] eta 作为方差分析效果大小的指标, 其计算公式为 :
力和效果大小进行估计的基本原理和方法作了简要 [3 ] [4 ] [5 ] 介绍 。 甘怡群 、 舒华 等也在各自主编的教科 书中有专门论述统计检验力的章节 。本文拟以单因 对 素和两因素完全随机实验设计的方差分析为例 , 方差分析后的统计检验力进行估计的几种不同方法 作一简要介绍和比较。 在心理统计学中, 方差分析 ( 即 F 检验) 中的虚 其备择假设 无假设一般是 H0 : μ1 = μ0 = … = μ k , H : , , … , 则是指 a μ1 μ2 μ k 不完全相等 方差分析的统 计检验力( power of test, 即 1 - β ) 的含义与平均数 差异显著性检验的统计检验力 1 - β 的含义在实质
[2 ] 要述评 ; 胡 竹 菁 曾 以 平 均 数 差 异 显 著 性 检 验 为 对实验数据进行假设检验后继续对其统计检验 例,
至少存在两类不同的指标体系: 一类以 η 作为指 另一类以粗体小写字母 f 值作指标。 标,
2 J. Cohen 认为, 可以用 η 来作为方差分析效果
大小的指标, 其计算公式为
2 2
J. Cohen 认为, 当用 η 或其平方根 η 作方差分 析效果大小的指标时, η = 0 . 01 来自百度文库属于小的效果,
2 2 在 η = 0 . 06 时属于中等效果, 在 η = 0 . 14 时属于 2
η = 1 - η2
2
槡
0 . 51 = 1 - 0 . 51
槡
0 . 51 = 0 . 49
第 31 卷第 3 期
胡竹菁等
方差分析的统计检验力和效果大小的常用方法比较
255
式中, 根号内大写字母 F 是该次方差分析后得 n 是指各组人数相等时每个组的 到的检验统计量, 人数, 如果各组人数不相等, 则需要计算各组人数的 调和平均数 n H 。 2 ) 美国纽约大学的学者 B. H. Cohen 认为, 用f = F 计算得到的 f 值是效果大小的有偏估计, 因 n
[1 ]
以表 2 的数据为基础可以计算出上述不同估计 方法得到的效果大小的值分别为 : ( 1 ) η2 = ( 2) η = ( 3) SS 组间 448 = = 0 . 51 SS 总体 878 SS 组间 = 槡 0 . 51 = 0 . 714 SS 总体 = 槡 1 . 30 = 1 . 14
的含义, 美国著名心理统计学家 J. Cohen 曾指出: “当虚无假设为假时 …, 关于虚无假设的统计检验 [1 ] ” 力是指导致拒绝虚无假设的概率 。 ES ) 的含义, J. Cohen 关于效果大小( effect size, : “当虚无假设为假时 …, 在同一本专著中指出 它总 ES ) 是在一定程度上的虚假。效果大小 ( effect size, 是指某个特定总体中的某种特殊的非零的数值 。这 个数值越大, 就表明由研究者所处理的研究现象所 造成的效果越大 … 效果大小本身可以被视为是一 效果大小的值为零; 当 种参数: 当虚无假设为真时, 虚无假设为假时, 效果大小为某种非零的值。因此, 可以把效果大小视为某种与虚无假设分离程度的指 [1 ] ” 标。 最近几年, 我国心理学界也有越来越多的学者 注意到这一领域研究成果的重要性并加以介绍和评 “效果量的意义及测定方法 ” 述: 如权朝鲁对 作了简
表3 n 10 20 30 40 50 100 分组数为 k = 3 的统计检验力换算表 效果大小 η = 0 . 01 0. 07 0. 10 0. 13 0. 16 0. 19 0. 36
2 2 η = 0 . 06 0. 21 2 η = 0 . 14 0. 51
SPSS 给出的效果大小值是“ η = 0. 51 ” ( 注: 英文 “Partial Eta Squared” ; 中文 版 SPSS 给出的结果标为 ), 与上述 版 SPSS 18. 0 给出的结果标为“偏 eta 方 ” 2 用 η 作为效果大小的指标计算出的结果完全一样 。 J. Cohen 认为, 如前所述, 当用 η 作方差分析效 2 在 η = 0 . 14 时就属于大的效果。 果大小的指标时, 因此, 虽然用 η 作为方差分析效果大小的估计值在 但 0. 51 的效 上述各种计算方法的结果中其值最小 , 果大小还是远远大于 0. 14 , 因此有的统计学家认为 用 η 作为实验处理在总变异中所占比重的估计方 提出另外一个含义 法一般会高估实验处理的效果, 与 η 大致相同的指标 ω 来反映实验处理效果大 小, 其计算公式为: SS 组间 - ( k - 1 ) MS e 2 ω = SS 总体 + MS e 还是以表 1 和表 2 的数据为例, 将已知数据代 入公式后可得: SS 组间 - ( k - 1 ) MS e 2 = ω = SS 总体 + MS e 448 - ( 3 - 1 ) ˑ 28 . 67 = 0 . 43 878 + 28 . 67 虽然 ω = 0 . 43 比 η = 0 . 51 的值更小, 但被认 为能更准确地反映反馈类型对被试自尊水平实验中 的效果。 3 单因素方差分析统计检验力的估计方法 方差分析备择假设的期望分布值通常用希腊字 母 Φ 表示。J. Cohen 指出, 方差分析统计检验力的 计算公式是: n Φ = f槡 其中, 小写英文字母 f 值就是效果大小的指标值。 求方差分析统计检验力的过程一般是, 先求方 差分析效果大小, 而后或者根据效果大小直接查相 应的转换表求统计检验力, 或者根据效果大小值求 Φ 值后再查相应的转换表求统计检验力 。 如前所述, 由于估计效果大小的方法不同, 得出 的效果大小的值也就不一样。由此转换的统计检验 力也会不一样。目前, 根据方差分析效果大小求其 统计检验力的方法主要有以下三种 : 1 ) 当用 η2 来作为方差分析效果大小的指标时 , 2 可以根据 η 值, 各组人数和分组数直接查相应的换
这一公式用粗体小写字母 f 来表示方差分析效 果大小, 以示与 f 区别。式中, 根号内大写字母 F 和 k 指分组数。 小写字母 n 的含义与上一公式相同, 在上述两类估计方法中, 第一类估计方法是以 “实验处理之后各组间平方和在总体平方和中所占 的比重” 的计算方法为基础, 第二类方法则是以 F 检验中备择假设分布的期望 F 值作为理论基础来 评估效果大小的 f 值或期望 f 值。 J. Cohen 指出, 这 两类估计方法的相互关系是 f =
Vol. 31 , No. 3 , 254 - 259 心理学探新 2011 , PSYCHOLOGICAL EXPLORATION
方差分析的统计检验力和效果大小的常用方法比较
胡竹菁 戴海琦
( 江西师范大学 心理学院, 南昌 330022 )
*
摘 和比较。
要:本文对用方差分析统计检验力和效果大小进行估计的几种不同方法作了简要的介绍
256
2
心理学探新
2011 年
自反馈类型的实验处理。 由于用 η 的结果作效果 大小指标的便于理解性, 著名的统计软件 SPSS 就采
2 “一般线性模型 ” 用 η 作为该软件 模块中有关效果 大小的指标。 将表 1 中的数据输入 SPSS 运行后,
Aron 等的《心理统 算表求统计检验力 1 - β 的值, [6 ] 计》 一书使用的就是这种方法 。 以表 1 的数据为 例, 分组数 k = 3 的相应换算表有如表 3 所示。
关键词:方差分析的效果大小; 方差分析的统计检验力 中图分类号:B841. 2 文献标识码:A 文章编号:1003 - 5184 ( 2011 ) 03 - 0254 - 06
1
方差分析的统计检验力和效果大小的含义 关于统计检验力( The power of a statistical test )
此采用下列公式来计算方差分析效果大小 f=
:
( 槡
k -1 F n k
)
对表 1 的数据进行方差分析后可以得到如表 2 所示的方差分析表。
表2 不同反馈类型对被试自尊水平影响的方差分析表 平方和 448 430 878 自由度 2 15 17 均方 224 28. 67 F 7. 814 ** 变异来源 组间 组内 总变异
[9 ]
表1
不同反馈类型条件下被试自尊水平测试得分表 控制组 71. 0 75. 0 73. 0 74. 0 69. 0 82. 0 消极反馈组 59. 0 64. 0 62. 0 69. 0 75. 0 67. 0
积极反馈组 84. 0 74. 0 81. 0 75. 0 84. 0 70. 0
槡
大的效果。当用 f 值( 或期望 f 值) 作指标时, 在f = 0. 10 时属于小的效果, 在 f = 0 . 25 时属于中等效 果, 在 f = 0 . 40 时属于大的效果。 下面, 以一个实例来对上述计算方差分析效果 大小的不同方法作一比较。 例 1 有人研究了个人表现的反馈类型对其自尊 的影响。让 15 名被试参加一项知识测验, 每组各 5 名被试。不管被试在测验中的实际表现如何, 对积 极反馈组, 都告诉他们水平很高; 对消极反馈组, 都 告诉他们表现很差; 对控制组, 不提供任何反馈信 让所有的被试都参加一个自尊测验 , 测验 息。最后, 总分为 100 分, 得到的分数越高, 表明自尊越强。 实 验结果如表 1 所示, 问不同反馈类型的各组被试的 自尊水平是否存在显著差异?
*
η =
槡
SS组间 ( 注: 原书的表达形式为: eta = SS总体
第二类以小写字母 f 值作指标体系评估方差分
槡
SS组间 ) SS总体
析效果大小的方法包含以下两种 : 1 ) 有些学者( 如甘怡群等 ) 认为, 可以用下列公 式来计算方差分析的效果大小 f 值 f =
[4 ]
:
槡
F n
基金项目:江西省高等学校教学改革研究省级立项课题 ( JXJG - 10 - 2 - 27 ) 。
上都是一样的, 都是指在虚无假设 H0 为假 ( 备择假 正确拒绝 H0 的概率。 设 H a 为真) 时, 方差分析效果大小 ( effect size ) 的含义也基本 上与 Z 检验或 t 检验的效果大小的含义相同, 只不 过它反映的是多组实验处理下不同组之间实验效果 差异大小的指标。 由于 J. Cohen 提出的方差分析统计检验力的估 计方法需要先计算其效果大小, 因此, 本文将先介绍 方差分析效果大小的估计方法, 而后再介绍方差分 析统计检验力的估计方法。 2 单因素方差分析效果大小的估计 目前, 学术界对于如何评估方差分析效果大小
:
槡
η 1 - η2
2
2
美国心理统计学家 Runyon 等人编写的《心理 统计》 一书就用 f =
槡 7 . 814 F f = = n 槡 槡6 槡 槡
槡
[10 ]
η 的计算结果作为方差 1 - η2 。
2
( 4) f =
( k - 1) F = · k n
槡
( 3 - 1 ) 7 . 814 · 3 6
分析效果大小的指标
= 槡 0 . 67 ˑ 1 . 30 = 0 . 93 ( 5) f = 1. 02 由上面的计算结果可知, 不同的估计方法得出 的方差分析效果大小的结果是不一样的 , 需要注意 的是, 两类方法之间由于计算方法所依赖的理论基 础不一样, 因此所用指标的量纲是不一样的。 问题 在众多的效果大小指标中, 我们应该选择哪一个 是, 作为对表 1 所述实验数据进行方差分析后的效果大 小更为合适呢? 我们认为, 就理解效果大小这一概 2 , 念的含义上说 上述以 η 作为实验处理后效果大小 的指标较易为人所理解, 因为 η 的含义是 “实验处 理之后 各 组 间 平 方 和 在 总 体 平 方 和 中 所 占 的 比 [1 ] 2 2 重” , η 的指标值大, 反映实验效果大, η 的指标 值小, 则反映实验效果小, 因此这一指标所反映的效 果大小的内涵最容易让人们所理解 。就表 1 的实验 数据而言, 方差分析后用 η 的结果作为效果大小的 指标说明, 在该实验中, 总体变异中约有 51% 是来
2 η =
[1 ]
:
SS 组间 SS 总体
[6 - 8 ]
目前, 西方较多学者采用这种方法来估计方差 分析的效果大小 。
2 我国学者舒华等则认为, 可以使用 η 的平方根即 [ 5 ] eta 作为方差分析效果大小的指标, 其计算公式为 :
力和效果大小进行估计的基本原理和方法作了简要 [3 ] [4 ] [5 ] 介绍 。 甘怡群 、 舒华 等也在各自主编的教科 书中有专门论述统计检验力的章节 。本文拟以单因 对 素和两因素完全随机实验设计的方差分析为例 , 方差分析后的统计检验力进行估计的几种不同方法 作一简要介绍和比较。 在心理统计学中, 方差分析 ( 即 F 检验) 中的虚 其备择假设 无假设一般是 H0 : μ1 = μ0 = … = μ k , H : , , … , 则是指 a μ1 μ2 μ k 不完全相等 方差分析的统 计检验力( power of test, 即 1 - β ) 的含义与平均数 差异显著性检验的统计检验力 1 - β 的含义在实质
[2 ] 要述评 ; 胡 竹 菁 曾 以 平 均 数 差 异 显 著 性 检 验 为 对实验数据进行假设检验后继续对其统计检验 例,
至少存在两类不同的指标体系: 一类以 η 作为指 另一类以粗体小写字母 f 值作指标。 标,
2 J. Cohen 认为, 可以用 η 来作为方差分析效果
大小的指标, 其计算公式为
2 2
J. Cohen 认为, 当用 η 或其平方根 η 作方差分 析效果大小的指标时, η = 0 . 01 来自百度文库属于小的效果,
2 2 在 η = 0 . 06 时属于中等效果, 在 η = 0 . 14 时属于 2
η = 1 - η2
2
槡
0 . 51 = 1 - 0 . 51
槡
0 . 51 = 0 . 49
第 31 卷第 3 期
胡竹菁等
方差分析的统计检验力和效果大小的常用方法比较
255
式中, 根号内大写字母 F 是该次方差分析后得 n 是指各组人数相等时每个组的 到的检验统计量, 人数, 如果各组人数不相等, 则需要计算各组人数的 调和平均数 n H 。 2 ) 美国纽约大学的学者 B. H. Cohen 认为, 用f = F 计算得到的 f 值是效果大小的有偏估计, 因 n
[1 ]
以表 2 的数据为基础可以计算出上述不同估计 方法得到的效果大小的值分别为 : ( 1 ) η2 = ( 2) η = ( 3) SS 组间 448 = = 0 . 51 SS 总体 878 SS 组间 = 槡 0 . 51 = 0 . 714 SS 总体 = 槡 1 . 30 = 1 . 14