第五章 效度

2）内部一致性法

目的

推断测验是否测量单一特质

方法（如K－R20、K－R21公式，以及系数等）

题目与总分的相关 分测验与总分的相关
3）分析被试答题过程

目的

核实测验是否真正测到了所欲测量的心理结构

方法

比如进行数学推理测验时，通过被试边想边说 了解测题是否测量到了所预期的推理过程
相关高

3）因素分析

意义

找出变量间内在本质联系的一种多元统计方法。 用反映变量本质联系的少数几个共同因素来说明先前需 要用较多变量才能说明的特性，每个测验在共同因素上 的负荷量，即每个测验与共同因素的相关，称作测验的 因素效度。

基本原理

总变异=共同因素变异+特殊因素变异+误差
Cronbach对Loger-Thorndike 智力测验的因素分析结果 因 素 负 荷 分测验 A B 共同度(h²) 0.461 0.587 0.557 1.图形分类 0.383 0.705 0.644 2.数字序列 0.463 0.688 0.687 3.图形分析 4.句子填充 0.816 -0.050 0.668 0.843 0.097 0.720 5.词语分析 0.620 0.257 0.450 6.算术推理 0.870 -0.047 0.759 7.词 汇 3.091 1.394 4.485 特征值 44 20 64 非语词 总方差%


补充： 信度与效度的关系 信度是测验和自己/严格平行的测验的相 关程度 效度是测验和某个效标测验之间的相关， 此效标不必是平行测验

各种效度策略的恰当使用：
内容效度最适于测量具体属性的测验
效标关联效度最适合于用来预期结果的
测验

构想效度最适于测量抽象构想的测验

研究者会尽量收集多种类型的效度证据。 每一种效度都提供了与测验有关的重要 信息。效度包含了对预定解释合理性的 总体评价。
一、影响测量效度的因素 测验的构成 测验的实施过程 接受测验的被试 所选效标的性质 测量的信度

测验长度与效度的关系公式：
r ( Kx ) y
Krxy K (1 rxx Krxx )
二、提高测量效度的方法 精心编制量表，避免出现系统误差； 妥善组织测验，控制随机误差； 创设标准情境，让被试正常发挥； 选择恰当的效标测量，正确使用公式
第五章 测量效度
——你的测验准吗？
第一节 效度概述
一、效度的含义 效度——是指一个测验或量表实际能测 量出其所要测的心理特质的程度。 相对性 综合反映随机误差和系统误差 要从多方面收集证据
CTT理论假设：
SX2=SV2+SI2+SE2
效度的数学定义：
S r S
2 xy
2 v 2 x
2．测验间方法——测验间的相互比 较

含义

同时考虑几个测验间的关联，考察是否测同一结构。 相容效度 区分效度

百度文库
常用方法

因素分析
1）相容效度

concurrent validity
含义

测相同结构的各种测验间应有较高的相关。 求一个新编测验与另一已知效度较高的同类测验间的相 关。
解释被试的 测验表现
测验成绩 的假设
关于情绪稳定性的假设





测验分数和心理学家的评价有某种程度 的相关 精神病人和正常人的测验分数是有区别 的； 测验分数和同伴的评价有一定的关系； 测验分数与IQ没有什么关系； 测验分数和性别没有关系；
关于智力的假设
智力随年龄而增长；

智力与学业成绩有密切关系；
语词

经因素分析发现，该测验主要反映了两个因素A和B，测验1与因 素A的相关值0.461，称作测验1在因素A上的因素负荷，因素负荷 指某一测验与某一因素的相关。因素负荷越大，测验与因素的相
关越高。

共同度代表每一测验的变异中能被各因素解释的部分，其数值为 每行因素负荷的平方和。如测验1的共同度等于测验1在两个公共
工 作 成 绩
8
7
6 5 4 3 2 1 0
1 2 1 3 5 1 4 6 5 2 1 2 1
1 2 3 4
2 6 2 9 2
5 5 3 4 2 3 1
6
合格标准 工 作 失 败
测验分数
5
7
8
9
10
高
正确接受
错误拒绝
（22）
（38）
1 5 5 3 4 2 3 1 1 2 1 2 1 2 4 1 3 2 1 1 错误接受

观念效标和效标测量

同一个观念效标可有多个效标测量
①效标测量必须真实地反映观念效标的重要侧面；
②效标测量必须稳定可靠；
③效标测量必须客观，避免偏见； ④在保证有效性的前提下，效标测量必须尽可能简 单、省时、花费少。
“大学学习成功”？
实证效度的估计方法：


相关法 区分法 命中率
命中率：用某智力测验对1万名儿童进 行鉴定的结果 测验鉴定 为弱智 真正弱智 真正正常 合计 240 70 310 测验确定 为正常 60 9630 9690 合计 300 9700 10000

如，斯坦福－比奈量表和韦氏量表是公认的效度较高的智
力量表，后人编制的智力测验常计算与这些量表的测验分 数的相关，以提供相容效度的证据。
2）区分效度

含义

某一特定测验的分数与已知测量不同结构的 测验分数无关
说明新测验相对独立于某些无关因素，但并 不保证它一定有效 说明新测验的效度可疑

相关低


因素A和B上因素负荷的平方和，这意味着测验1的变异量能被A和
B共同解释的部分是55.7%。
3、考查实证效度

测验效标，提供与结构效度有关的信息 根据效标分类，考察其得分的差异；
如，两组被试，神经症被试和正常人
情绪顺应测验 根据得分分类，考察实际表现的差异 如，手指灵巧度测验 需要精细动作的职业的成功
举例：心理测量标准测验双向细目表
第一章 第二章 第三章 第四章 合计 识记 了解 应用 分析 8 2 10 6 2 3 6 2 4 2 9 12 6 5 25 28 14 综合 评价 合计 10 28 22 40 100
10 7 5 22
6 6
双向细目表（two-way checklist）是一个测量的内容维度和
被估计的行为是检验测验效度的标准，简称为 效标 实证效度更重视与测验独立的效标行为
一个测验是否有效，以实践效果为检验标准



预测效度和同时效度
1．同时效度（用于诊断现状）
同时效度的效标资料是与测验分数同时搜集的。例如大学入学考 试可以用中学成绩作效标。
2．预测效度（预测某个体将来的行为）
预测效度的效标资料需要过一段时间才可搜集到。此种效度对人 员的选拔和安置工作非常重要。常用的效标是专业训练的成绩、实 际工作的表现等。

效标——衡量一个测验是否有效的外在标 准，它是独立于测验并可以从实践中直接 获得的我们所感兴趣的行为。

思考1：创造力测验可以选取哪些效标？

思考2：EQ测验可以选取哪些效标？
EQ包括抑制冲动、延迟满足的克制力，包含了 如何调适自己的情绪，如何设身处地地为别人着想、 感受别人的感受的能力，以及如何建立良好的人际 关系、培养自动自发的心灵动力。 对于工作成就而言，EQ的影响是IQ的两倍，而 且职位愈高，EQ对工作表现的影响就愈大。



效标关联效度，评价该测验预测行为和 事件的能力，当测验分数与独立的行为、 态度或事件相关，我们就说测验分数具 有效标关联效度。 它提供了测验与一些独立于心理测验的 行为或事件的相关。 思考：此处“独立的”如何理解？


心理学家常使用一个求职测验（预测源） 来建立预测效度，公司基于其他标准雇 用员工，经过一段时间如3-6个月，让管 理者评价新雇用的员工的工作情况（效 标），将测验分数与等级评定分数求相 关，即为预测效度。 存在问题：全距限制 被试团体的异质性水平
职业兴趣测验和销售金额资料表
1 测验 30 分数X 销售 数Y 2 34 3 32 3 4 47 4 被试 5 6 20 0.7 24 1 7 27 2.2 8 25 3.5 9 22 2.8 10 16 1.2
2.5 3.8
10
9
1 1 2 1 2 1 2 4 1 3 2 1 1
工 作 成 功
二、效度与信度的关系

信度高是效度高的必要而非充分条件
测验的效度受信度的制约
信度和效度的关系： （1）高效度，高信度（2）高信度，低效度 （3）低信度，低效度

第二节 效度的估计

内容效度 实证效度 结构效度 整合效度 立论效度
一、内容效度
含义 一个测验实际测到的内容与所要测量的 内容或行为领域之间的吻合程度，即评估测 题是否充分代表了所要测量的内容范围。 适用于成就测验、选拔和分类的职业测验； 避免与表面效度混淆
（7）
工 作 成 功
工 作 成 绩
1
2 1 3 5 1 4 6 正确拒绝 5 2 （33）1 2 1
低
2 6 2 9 2
合格标准
工 作 失 败
高
低
临界分数
三、结构效度/构想效度

含义 一个测验实际测到所要测量的理论 结构和特质的程度，或者测验分数能够 说明心理学理论的某种结构或特质的程 度。
构想或结构是指心理学理论所涉及的抽 象、假设性的概念或特质

客观效标，主观效标，各自优缺点 效标污染 选择一个合适的效标很困难。 思考：选择什么效标来代表在大学的成 功？

《心理旋转测验的效标关联效度》 心理旋转是一种想象自我或客体旋转 的空间表征动力转换能力，以心理表象 为基础。心理旋转与顺逆时针地转无关， 心理学家把这种物体映像旋转的现象叫 做心理旋转。


结构效度是测验测量一个理论构想的程度。（APA定义）
建立测验的构想效度是一个逐步收集证据的过程，不 仅要找到一个测验是否与其他测验相关的证据，还提 到以测验内部结构为基础的证据。

构想效度包括收集信度和多种效度的证据，与内容效 标效度都有重叠。
确定步骤（构想说明）：
提出理论
提出假设
检验假设 逻辑和实证 检验方法
4、多种特质-多种方法矩阵法

信度 会聚效度 区别效度


会聚效度表明那些在理论上应该与测验 分数相关的构想真的与之相关。测验与 其他测量相同或相似构想的测验之间存 在高相关。 区别效度表明那些在理论上不应该与测 验分数相关的构想与之不相关。测验和 不相关的构想缺乏相关。
第三节 提高测量效度的方法
Ⅰ 答案：
内容效度 效标关联效度 表面效度 预测效度 效度 会聚效度 信度 同时效度 区别效度
Ⅱ
A.测验提供了一个测量领域的代表 性行为样本。
Ⅲ
区别效度 表面效度 内容效度 效度
B.测验分数与独立行为、态度或事 件相关。
C.测验问题看起来像在测量测验假 设要测量的东西。 D.测验证明了测验与未来行为或结 果的相关。
智商是相对稳定的；
智力受遗传的影响
结构效度的估计方法：

测验内方法
测验间方法
实证效度法
多种特质-多种方法矩阵法
1．测验内方法——对测验本身的分析

研究测验内部构造分析测验的结构效度。 具体方法

内容效度法 同质性信度法 分析被试的答题过程
1）内容效度法

内容效度可以作为检验测验结构效度的一 个方面。
行为技能所构成的表格，它能帮助成就测量工具的编制者决定应 该选择哪些方面的题目以及各类型题目应占的比例。
表面效度
何为表面效度？ 表面效度有时可以取得被试的合作 职业兴趣测验、成就测验的题目应有较高 的表面效度； 人格测验不希望有较高的表面效度。

二、实证效度

含义 又称为效标关联效度、准则关联效度， 指一个测验对处于特定情境中的个体的行 为进行估计的有效性。

韦氏智力测验

言语：常识、理解、算术、相似性、词汇、 记忆广度

操作：译码、填图、积木图案、图片排列、 图形拼凑
卡特尔16PF

16个特质，187个题目 乐群性，聪慧性，稳定性，持续性，兴奋性， 有恒性，敢为性，敏感性，怀疑性，幻想性， 世故性，忧虑性，实验性，独立性，自律性， 紧张性 分测验间关系的分析：特质间相互独立 分测验内项目关系的分析：项目相互联系


如何确定内容效度？ ◆ 专家判断法：“逻辑效度” “双向细目表” ◆ 统计分析法：复本信度（等值性系数） ◆ 再测法

为什么编制问卷时需要双向细目表？
原因一：它是设计试卷的蓝图，使命题者明确测验的目标， 把握试题的比例与分量，提高命题的效率和质量。 原因二：它对于审查试题的效度也有重要的指导意义，包括 两个维度（双向）的表格，反映测验内容、测验目标。