元分析

举例1：编码过程
❖ 本研究采用两种方式进行编码一致性检验。 ❖ 第一种方式是由同一编码者在不同时段针对所有编码文
献进行重新编码。 ❖ 第二种方式是由两个独立编码者进行编码, 具体操作步
骤如下：(1)两位编码者讨论并确定编码框架; (2)由第 二位编码者从满足编码标准的文献中随机选取 20 篇文 献进行独立编码。 ❖ 对以上每种编码方式的最终结果进行比较, 发现除个别 数据有偏差外, 其他没有差异。这说明本研究的编码具 有较高的一致性。
16
个体情绪智力与工作场所绩效关系的元分析 （张辉华、王辉，2011），载《心理学报》
举例1：研究问题与假设
❖ 研究问题 ❖ 运用元分析方法对个体情绪智力与工作场所绩效的关系问题进行了探讨 ❖ 研究假设 ❖ H1：整体上个体情绪智力对工作场所绩效存在显著的正向影响 ❖ H2：运用不同的情绪智力测量工具, 情绪智力对绩效的影响存在显著差异 ❖ H3：情绪智力对自我绩效的影响大于对他人绩效的影响 ❖ H4：情绪智力与绩效的关系在不同的数据特点上存在显著差异 ❖ H5：个体情绪智力对工作场所绩效的预测受到文化因素的影响, 中国文化
软件展示
举例1：
举例1：效应值分布和同质性检验
横轴是转化过的Fisher’s Z 效应值, 纵轴是 Fisher’s Z 效应值的标准差。 大部分研究呈现在漏斗图的顶部, 而且聚集于平均效应值的附近。很少有研 究出现在漏斗图的底部。这表明本元分析存在出版偏差的可能性很小。
举例1：效应值分布和同质性检验
背景下的预测力 更强 ❖ H6：相对于员工, 管理者的情绪智力对绩效的预测效果更好
举例1：文献搜索
❖ 来源：数据库，专业网站，书籍，研究报告 ❖ 文献搜集步骤： ❖ 中文文献三步：首先, 搜索题名、关键词、摘要和主题词中包含“情绪智力”或“情商”
的文献, 同时筛选出实证研究的文献。其次, 查找探讨了情绪智力/情商与业绩/绩效 关系的文献, 并且是以工作人员为被试进行的研究。第三, 针对只有标题/摘要的文献 , 通过馆际互借和文献传递的方式获得全文。 ❖ 英文文献分全文和非全文两类。全文 文 献 搜 集 分 三 步 完 成 。 先 搜 集 题 名 中 包 含“emotional intelligence”或“emotional competence 或emotional competency”的所有文献, 并结合多年文献积累(包括在关键词、摘要和主题词中 包含检索词的文献, 以及手工搜索到的文献), 建立起“探讨情绪智力相关主题的全文 文献数据库”。其次, 在搜集的全文文献中, 筛选出实证研究文献。第三步, 从实证研 究文献中, 查找以工作人员为被试, 并探讨了情绪智力/情绪胜任力与绩效/业绩关系 的文献。对于无法获得全文的文献, 先通过题名、摘要或其它信息, 了解其是否满足 元分析的标准, 如果满足则进入文献清单。对满足元分析标准的文献清单, 采用两种 处理方式, 一是通过馆际互借和文献传递的方式获得全文, 二是通过 email 委托国外 同事, 以及与原文作者联系的方式获取。 ❖ 另外, 为确保没有遗漏, 还对经常发表情绪智力文章的杂志及作者进行了专项搜索。
14
元分析的基本过程
四、纳入研究的质量评价
内部效度： ❖其研究方法是否合理， ❖统计分析是否正确， ❖结论是否可靠， ❖研究结果是否支持作者的结论等。
15
元分析的基本过程
五、正确进行数据提取 六、资料的统计学处理 七、结果的敏感性分析 八、元分析结果的分析和讨论 九、根据统计结果作出正确、全面的结论
❖ (2)情绪智力必须是个体层次的, 其测量必须采用完整工具, 不包括替代性的测量, 或者单一维度测量, 以及延伸到其 他的许多结构(如社会促进、人际智力等)的测量。
❖ (3)绩效衡量标准包括主观和客观两大类, 既可以是自我的, 也可以是他人的。另外, 绩效有可能是个体层次, 也有可能 是团队层次, 还有可能是组织层次, 其前提要与研究被试 的个体情绪智力对应。
元分析的适用条件
❖对象为实证研究结果； ❖已经存在为数不少的实证研究； ❖需要的统计量出现在研究报告中； ❖统计量以相似的或者相同的形式呈现； ❖研究结果存在一定的分歧或者争议。
元分析的基本过程
一、提出问题，制定计划
❖有意义 ❖一般来自于当前存在争论的研究问题 ❖目前或近期没有发表的系统性综述 ❖目前有一定数量的可供使用的原始文献
举例1：文献搜集结果汇报
❖ 文献搜索的时间跨度是 1990 年 1 月到 2009 年12 月。 最终获得满足元分析标准的研究有 75 项。
❖ 主要包括学术期刊论文34 篇、会议论文2 篇、博士论文24 篇和硕士论文15 篇。
❖ 在所收集的文献中, 馆际互借和文献传递获得 4 篇, 委托 同事的方式获得 4 篇, 纸质专著中获得 1 篇, 互联网搜索 和网页定位获得 1 篇, 其它均通过数据库下载获得。
Q 统计显示各效应值是异质的, 表明不适合采用固定模型分析方法。 I-squared 的值为 88, 表明 88%的观察变异是由于效应值的真实差异造成 的, 而只有 12％的观察变异是由于随机误差导致。 Tau-squared 的值是 0.044, 这说明研究间变异有 4.4%可用于计算权重。 当效应值是异质时, 通常有两种处理方式。第一是删除极端效应值, 直至 达到同质再进行固定模型分析; 第二是采用考虑了研究内和研究间变异的 随机模型分析(Lipsey & Wilson, 2008)。 本研究在整体效应和调节效应检验时都采用随机模型分析方法。
❖ (4)研究情境必须发生在工作场所, 绩效必须是与工作相关 事件的结果, 不包括模拟情境下的业绩, 如博士或硕士生 的咨询业绩, MBA 学员完成课程作业情境下的业绩。
❖ (5)研究方法必须是报告两个变量的相关, 不包括运用结构 方程模型、回归分析或其它统计方法报告的数据。
举例1：编码过程
❖ 效应值的产生以独立样本为单位, 每个独立样本编码一次。如果某文献包含 多个独立样本, 对应的也进行多次编码。对于按照性别分别报告结果的独 立样本, 也被编码为两个。但是, 对于采用不同情绪智力测量工具进行研 究的独立样本, 为避免从同一样本产生太多效应值而使元分析结果产生偏 差, 只被编码一次, 而效应值取它们的平均。
❖ 由于在情绪智力和绩效变量相关结果报告上, 不同研究报告方式存在差异, 因此, 在进行编码时需做相应处理。归纳起来, 主要存在以下 5 种结果报 告方式：
❖ (1)既报告了整体情绪智力与整体绩效的相关, 也报告了情绪智力各维度与 绩效各维度之间的相关。
❖ (2)只报告了整体情绪智力与整体绩效的相关。 ❖ (3)只报告了情绪智力各维度与绩效各维度之间的相关。 ❖ (4)报告了整体情绪智力和绩效各维度的相关。 ❖ (5)报告了情绪智力各维度和整体绩效的相关。针对以上情况, 在处理时先
出版偏差的方法。 ❖ 元分析使用 r 作为效应值, r 是文献中的单个相关系数或是经过处理的平均相关
系数。在计算过程中, 先把每个 r 值转换为对应的 Fisher Z 分数, 然后把它 转换回相关以呈现结果。此计算方式与通常的取平均不同, 它通过在方程插入权 重的方法进行统计。效应值 Z 及其方差被用于产生联合效应值和置信区间。 ❖ 运用 CMA 2.0 软件进行统计可以得到固定模型和随机模型分析结果。固定模 型和随机模型的主要不同在于计算权重时使用的成分不同。固定模型使用研究内 的变异计算权重, 随机模型使用研究内和研究间变异计算权重。究竟选择固定模 型分析还是随机模型分析方法, 取决于同质性检验结果。 ❖ 当检验出的效应值是异质时, 适合采用随机模型分析方法。因为随机模型除考虑 研究间变异之外, 还允许估计效应分布的平均值, 这可以防止低估小样本研究的 权重, 或者高估大样本的权重, 它能产生更大的置信区间, 从而导致更为保守的 结论。
LOGO
元分析方法及应用
白光林 2015.12
书名 实用数据再分析法 作者 马克.W.利普西（美国）等 译者 刘军，吴春莺 出版社 重庆大学出版社 出版时间
2008-1-1
内容提要
1 元分析简介 2 举例1 3 举例2
4
❖元分析的含义 ❖元分析的优势与不足 ❖元分析的适用条件 ❖元分析的基本过程
❖ 75 项研究共产生了 87 个独立样本的效应值, 共包括 12882 名被试, 各独立样本的被试规模在 12-640 之间, 满Leabharlann Baidu元分析标准的最早研究出现在 2000 年。
举例1：编码标准
❖ (1)研究被试必须是成人的工作人员, 不包括社区居民, 也不 包括大学生样本以及没有工作经验的硕博士生样本。
❖ 以上编码过程主要适合于整体层面情绪智力与绩效关系的元分析。 ❖ 由于本研究还从调节变量角度进行元分析, 而每个调节分析中涉及的
变量又不同, 因此每个调节变量假设都需进行重新编码。编码的主要 不同在于, 整体分析中报告了多个相关的独立样本, 到调节分析编码 时, 这些相关都可成为独立样本的效应值。由于有些样本报告了不止 一个相关, 在调节分析中它们可分类到不同组, 并成为独立样本, 因 此, 在调节分析结果中总样本数会出现超出整体独立样本数的情况。
Meta分析是一种数据再分析 的方法。它是对关于同一个问题 的多项独立的定量研究结果进行 再分析，进而得出更具有普适性 的结论。
元分析的优势与不足
传统文献 综述的不足
定性分析为主， 难以得出定量结论
未考虑研究质量、 样本大小等因素的影响
文献数量多， 难以得出一般结论
不同作者 得出不同结论
文献使用 情况不明
举例1：统计分析
❖ 统计软件 CMA 2.0(comprehensive meta analysis 2.0)。主要优势： ❖ (1)数据能够直接导入, 所有的编码表信息都可直接进入CMA 2.0; ❖ (2)容易计算, 只需要简单输入原始相关和样本量, 此程序就能够计算相关的标
准误, Fisher Z 分数, 置信水平, 并能得到最终的分析结果; ❖ (3)输出功能强大, 它能解释多个步骤的元分析统计过程, 而且能提供多种监测
12
元分析的基本过程
二、检索相关文献
❖ 确定检索主题词 ❖ 确定检索数据库 ❖ 确定检索年限 ❖ 非发表文献的搜集方法
会议 网站 同行了解 准备与作者联系的相关文件
13
元分析的基本过程
三、对文献进行编码，并根据纳入标准，选出 符合要求的纳入文献
❖ 确定纳入标准和排除标准 ❖ 根据纳入标准和排除标准筛选收集的原始文献 ❖ 确定原始文献质量的评价标准 ❖ 两个人分别完成筛选和质量评价
元分析的含义
资料综合 data synthesis
资料汇总 data pooling
总观评述 overview
再分析
整
汇
合
分 元分析
总 分
析 Meta
析
analysis
集成分析 二次分析
定量综合 quantitative synthesis
定量评论 quantitative review
元分析的含义
看是否有整体层面的报告, 如果有则取整体相关; 如果没有则用维度层面 的结果取平均后得到整体相关。
举例1：编码过程
❖ 另外, 不同研究在选取绩效标准时各不相同, 如有些研究既包括任务 绩效, 也包括背景绩效。针对以上情形, 在编码时从下位概念到上位 概念, 通过逐层取平均, 最终得到编码的效应值。同理, 如果在数据 来源上既有自评, 也有他评, 还有混合数据来源时, 也采用以上类似 的方法处理。
固定效应模型和随机效应模型
❖ 固定效应模型 ❖ 这种模型假定在一项研究中观察到的某个效应值是
对对应总体效应的估计，其随机误差仅来源于与该 研究中的对象层次抽样误差有关的随机因素。 ❖ 随机效应模型 ❖ 假定对象层次抽样误差以外的变动量是随机的，也 就是说它实质上源于诸项研究之间的随机差异，差 异的来源无法确定。 ❖ 所以每个观测到的效应值都不同于总体均值，二者 只差等于对象层次上的抽样误差加上一个代表变动 量的其他来源的值。
结论具有主观性
提高统计 分析功效
元分析的优势
揭示分析 同类研究分歧
有助于 新研究问题 和新实验
定量估计， 全面总结
研究发表偏倚 （publication bias）
等不可避免的问题
不受数量限制 来处理大量文献
节省研究费用
元分析的不足
❖比较专业，需要相当数量的专业技术； ❖苹果和橙子的问题； ❖出版偏差； ❖资料的非独立性问题； ❖研究结果的质量优劣问题。