03-测量效度与系统误差控制

高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测内容的效度验证方法
关于测量工具的表面效度
• 严格来说，表面效度并不符合效度的定义，因为他反映的 不是实际要测量的目标是什么，或对目标测量的程度如何， 而反映的是，测量工具从表面上看测量了什么。 • 表面效度关心的是测量的友好性和与公众的和谐关系。
其他评估方法
• 实验介入分析法
– 通过实验的方法考察某些重要变量的介入是否对被试测量分
数产生显著影响。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
其他评估方法
• 结构方程建模分析法
– 除了鉴别测量的潜在结构之外，对这些潜在特质结构本身之
间的关系以及它们之间的影响路径进行考察，同样是非常重
的加工过程提供了更丰富的证据。
– 认知加工模型让我们了解完成某种认知任务的智能过程、这
个过程的组织方式、涉及的知识内容、这些知识在记忆中的
表征形式及其提取模式，这些研究无疑会让我们对人类心理 特质结构的认知更加深入。
高等教育出版社
心理测量学
对分课堂讨论
1、探索性因素分析和验证性因素分析的异同 2、如何用spss做探索性因素分析
– 基于所测心理结构的效度验证的一个重要证据来源。
– 这个方法的实质是，测验总分本身是用于评价所测心理结构
的效度最好的效标。 – 相关分析法：求取每个项目与测验总分之间的相关系数，如
果项目—测验相关显著，表明该项目与总测验的结构是一致
的。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
高等教育出版社
心理测量学
测量工具效度验证的方法
基于效标关联性的效度验证方法
效标：它是独立于测量工具并可以从实践中获得的被试
的行为特征表现，用于验证测量工具的有效性。
根据测量工具与效标两者结果获得的时间间隔的不同，
基于效标关联性的效度证据采集可以有同时性设计与预 测性设计两种方法。
高等教育出版社
• 评估方法
高等教育出版社
心理测量学
测量工具效度验证的方法
基于效标关联性的效度验证方法
基于效标关联性的效度验证方法的影响因素
• 群体的一致性或同质性程度：应该尽量扩大被试群体的异 质性，避免低估测验的真实效度。 • 测验长度：一般来说，测验长度越长，测试结果越稳定， 效度系数会倾向于越高。 • 效标污染
影响测量工具有效性的因素
测量的心理特质本身的特点
• 有些心理特质至今研究不够深入，概念界定还不清晰。
• 有些心理特质本身不太稳定。
测量工具的建构过程
r
2 xy
Y
X 不同的变量
SEest S y 1 r
2 xy
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
含义：对测量工具测量了心理学中某种特质或特质结构
的程度进行验证的方法。 主要应用：各种心理测验，如智力测验、人格测验、焦 虑测验、成就动机测验等。
– 因素分析方法是基于所测心理结构的效度验证方法中几乎最
为常用的一种方法，他很适合用于鉴别测量工具所测的心理
特质结构。实际上，因素分析方法是一种分析观察数据之间 相关矩阵的统计分析技术。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
其他评估方法
• 聚合与区分效度验证分析法
心理测量学
测量工具效度验证的方法
基于所测内容的效度验证方法
含义
• 就是要对测量工具本身的具体内容进行系统性的查验，以 确定这些内容是不是测量目标特质或行为领域的一个有代 表性的样本。
主要应用
• 学业成就测验、职业资格测验，还如人员选拔与安置中的 工作样本测验。
高等教育出版社
欺负研究 言语欺负 身体欺负 关系欺负
3、如何用结构方程软件做验证性因素分析
4、从第17届全国心理学学术大会的摘要集中，找 出《心理测量》口头报告、张贴报告，并总结作者 是如何在摘要中报告信度、效度等测量学指标的
高等教育出版社
心理测量学
第三章 测量效度与系统误差控制
3
测量的系统误差控制
高等教育出版社
心理测量学
测量的系统误差控制
高等教育出版社
心理测量学
测量工具效度验证的方法
基于效标关联性的效度验证方法
估计标准误
• 指的是测量工具实际测量的结果与预先设定的测量目标之 间相互偏离的程度，而效度验证的过程就是要考察这种偏 离程度的大小。 • 从实际应用范围及计算过程的便利性角度看，估计标准误 的实际应用更多的是基于效标关联性的效度验证方法中。
心理测量学
测量工具效度验证的方法
基于所测内容的效度验证方法
评估方法
• 确定测量目标的全域范围及各部分内容权重。 • 确定一批有经验的领域专家，在深入培训的基础上，要求 他们按照已确定的测量全域范围及各部分内容权重，初步 分析测试题目的代表性，并对题目测量的被试作答的内部 心理过程进行初步分析。 • 进行实测，根据测试数据分析和被试作答过程分析，全面 验证测量工具的效度。
量表 工作压力
业绩 心理问题
医闹
本我 自我 超我
创收
晋升 领导
快乐 现实 良心
心理测量学
测量工具效度验证的方法
基于效标关联性的效度验证方法
效度证据采集的预测性设计方法
• 含义：验证现有测量评价结果与将来才可能获取的效标评 价结果之间的关联程度。 • 主要应用：人员选拔、安置类型的测量工具
第三章 测量效度与系统误差控制
高等教育出版社
心理测量学
第三章 测量效度与系统误差控制
1
测量效度概述
2
测量工具效度验证的方法
3
测量的系统误差控制
高等教育出版社
心理测量学
第三章 测量效度与系统误差控制
1
测量效度概述
高等教育出版社
心理测量学
测量效度概述
什么是效度
测量工具测量了他所希望测量的心理特质或行为特征的 效果和程度。 效度总是与一定的测量目标相联系的。 我们称为某测量工具进行效度验证的过程为效度证据的 获取过程，简称为效度验证。
要的。 – 分析潜在特质结构之间的关系及其与效标变量之间的路径， 有利于我们更深入理解所测特质的作用机制。这种分析过程 可以用结构方程建模的方式进行。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
其他评估方法
• 寻求当代认知心理学证据的分析方法
– 基于信息加工理论的研究方法为我们深入理解人类问题解决
评估方法
• 测验内部一致性分析法
– 对照组比较法：按照被试的测验总分，选出一个高分组被试
和一个低分组被试，然后，比较高分组被试与低分组被试在
各个项目上的作答表现，如果高分组被试的通过比例显著大 于低分组被试的通过比例，表明该项目与总测验的结构是一 致的。
高等教育出版社
心理测量学
测量工具效度验证的方法
高等教育出版社
心理测量学
测量工具效度验证的方法
基于效标关联性的效度验证方法
效度证据采集的预测性设计方法
• 首先，获取被试在当前测量工具上的评价结果，如测验分 数、等级评定；
• 然后，间隔一定的时间，采集被试在预测目标（效标）上 的评价结果；
• 最后，分析以上这两个评价结果之间的关联性程度，这种 关联性程度的分析方法常用的有以下几种：
– 为了验证测量工具所测的心理结构，我们不仅必须提供关于
它与另外一个理论上应该存在高相关的测量工具之间存在高
相关的实际证据，同时，也需要提供关于它与另外的无关变 量之间不存在显著相关的证据。 – 多特质—多方法矩阵分析法
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
高等教育出版社
心理测量学
测量效度概述
测量学定义： S2X=S2T+S2E S2T=S2V+S2I S2X= S2V+S2I+ S2E
rXX=S2T/S2X
r2xy= S2V/ S2X
高等教育出版社
心理测量学
测量效度概述
效度与信度的关系
信度研究的是测量结果的稳定性问题，效度研究的是测 量结果的准确性问题。 测量的信度只受到随机误差或非系统测量误差的影响， 而测量效度会同时受到随机误差和系统测量误差的影响。 一个测量工具可能是非常稳定（信度高），但却是无效 的，因为他与测量的目标之间产生了系统性的偏差；当 然，一个完全不稳定的测量工具也不可能是有效的。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于效标关联性的效度验证方法
效度证据采集的同时性设计方法
• 含义：对同时获得的测量工具评价结果与效标评价结果之 间的关联性程度进行分析。
• 主要应用
– 经常用于评价测量工具诊断被试当前心理特质状态的效果。 – 在许多情形下，效度证据采集的同时性设计方法会替代预测 性设计方法。
• 与现有研究结论一致性的分析法
– 通过分析新开发测量工具测试结果是否与已有研究结论相一
致。
– 在许多传统智力测验中，成长发展性变化证据是测验效度的
一个重要证据。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
评估方法
• 与其他测量工具的相关分析法
– 求取新开发测量工具与另一个已经被公认为有效的测量工具
高等教育出版社
心理测量学ቤተ መጻሕፍቲ ባይዱ
测量工具效度验证的方法
内容效度 评估方法：专家评判法（双向细目表）、统计分析法（再 测法）、经验推测法（试测发展变化）。 内容效度比CVR=(ne-N/2)/(N/2);ne表示认为项目很好地 表示了测量内容范畴的评判者人数。 内容效度的特性：注意区分内容效度和表面效度
– 相关分析 – 区分能力分析 – 命中率分析
高等教育出版社
心理测量学
10 9 8 7
工
1 1 2 1 2 1 2 4 1 3 2 1 1
6 5
1
作
4
3 2 1 0
成
绩
2 1 3 4 1 4 6 5 2 1 2 1 0 1 2 3 4 5 6 7 8 9 10
测 验 成 绩
高等教育出版社
2 6 2 9 2
基于所测心理结构的效度验证方法
评估方法
• 测验内部一致性分析法
– 很明显，测验内部一致性证据保证的是测验结构的同质性或
单一性。
– 测验内部一致性证据的作用是有限的，因为他毕竟无法证明
该测验究竟测量了什么结构。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
评估方法
高等教育出版社
心理测量学
第三章 测量效度与系统误差控制
2
测量工具效度验证的方法
高等教育出版社
心理测量学
测量工具效度验证的方法
根据测量目标的不同，对测量工具进行效度验证的 方法主要有三种：
基于所测内容的效度验证方法。
基于所测心理结构的效度验证方法。
基于效标关联性的效度验证方法。
高等教育出版社
之间的相关关系，是证明新开发测量工具测量了相同内容结
构的一个有效证据。 – 求取新开发测量工具与另一个测量工具之间的相关关系，有 时候也被用于证明该测量工具没有受到其他无关心理因素的 影响。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
其他评估方法
• 因素分析法（因素分析法的基本原理及因素旋转）
5 5 3 4 2 3 1
心理测量学
命中率法(如何分析上页表格)
效标成绩 失败（-） 测验预测 成功（+） A（失误） 成功（+） B（命中）
失败（-）
C（命中）
D（失误）
高等教育出版社
心理测量学
命中率法习题
假设用某种测验选拔员工100人，经过一段时间的 工作检验，得到以下四组数据： 正确接受为42人，正确拒绝为34人，错误接受为 10人，错误拒绝为14人。请算出该次选拔的总命 中率。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
评估方法
• 专家判断分析法
– 主要依靠专家的主观专业经验。 – 尽量减少专家主观随意性的影响。 – 德尔菲法。
高等教育出版社
心理测量学
测量工具效度验证的方法
基于所测心理结构的效度验证方法
评估方法
• 测验内部一致性分析法
高等教育出版社
心理测量学
测量工具效度验证的方法
基于效标关联性的效度验证方法
估计标准误
SEest S y 1 r
• xy 是表现为相关系数的效度系数；
2 xy
r
S y 是效标评定分数的标准差。
高等教育出版社
心理测量学
测量标准误与估计标准误
r
2 XT
T X 同一种心理变量
SE S X 1 rXX