心理测量—效度

合集下载
相关主题
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

(2)统计法
计算一组被试在取自同一范围的两次测 验成绩的相关(复本信度)。
如果相关较高,可以作为评估内容效度 的一个证据;如果相关较低,则说明两 个测验中至少有一个缺乏内容效度。
(3)再测法
步骤:
先将测验施测于某个团体,该团体对测验所 包括的内容仅具有最少量的知识,因而得分 很低。
然后,让这个团体参与有关材料的教学与训 练计划,结束后将测验再施测一次。
M3 攻击性 0.14 0.82 0.16 0.13 0.61 0.23 0.30 智力 0.21 0.01 0.72 0.06 0.19 0.52 0.49 0.36
相同特质不同测量方法之间的相关(会聚效度) 相同方法测量不同特质的相关(区分效度) 不同方法测量不同特质之间的相关
(3)因素分析
因素分析将为数众多的观测变量缩减为少数不 可测的潜变量(因素),即用最少的因素概括 和解释最大量的观测数据。
测量同一特质的不同方法之间的相关系数,可 视为会聚效度的指标,测量不同特质的同一方 法间的相关系数,可视为区分效度的指标。
方 法
特质
诚实
M1
攻击 性
智力 诚实
M2
攻击 性
智力
M3
诚实
攻击 性
智力
诚实
M1 攻击性 0.43 智力 0.36 0.32 诚实 0.62 0.03 0.20
M2 攻击性 0.22 0.70 0.13 0.40 智力 0.10 0.13 0.64 0.22 0.30 诚实 0.59 0.11 0.02 0.60 0.20 0.21
第四章 效度
一、什么是效度(validity)
(一)效度的一般含义 效度也叫有效性或正确性,指测验能有效地
测量到它所要测量的心理特质的程度,既测 验目的的达成程度。
(二)真分数模型中的效度定义
效度是潜在真分数的变异在实测分数总变 异中所占的比例。
rxy
sv2
s
2 x
(三)理解效度时要注意的问题
常用的效标
学业成就 等级评定 临床诊断 特殊训练的成绩 实际的工作表现 对团体的区分 其它现成的测验 ……
3.效标关联效度的类型
(1)同时效度(concurrent validity):指 测验结果与同时获得的效标资料的一致性 程度。
(2)预测效度(predictive validity):指测 验结果与另一个尚未得到的效标分数的一 致性。
但表面效度过高时,被试容易识别测验的目的, 从而做出掩饰反应,产生虚假分数。
4.内容效度的应用与评价
适用:学绩测验、职业测验等 不适用:能力倾向测验、人格测验等 缺点:
缺乏理想的数量指标,妨碍了信息交流和各测 验间的相互比较。
不同专家对测验的内容效度判断可能不一致。
(二)效标关联效度(实证效度)
(2)测验间方法
测验间方法是通过考察几个测验之间的 相互关联,考察这些测验是否是在测量 同一心理结构来分析测验的构想效度。
主要方法和指标:
①相容效度 即计算受测者在新测验上的分数与另一
个效度已知的同类测验上的分数之间的 相关。 注意:一个新测验与已有的测验相关很 高,但没有其他的优点,则没有必要编 制这个新测验。
二、效度与信度的关系
(一)高信度是高效度的必要而非充分条 件
(二)测验的效度受信度制约 。
三、效度的类型与估计方法
(一)内容效度(content validity) 1.什么是内容效度 内容效度指的是测验题目对有关内容或行
为范围取样的适当性。 估计测验的内容效度的前提:测验要有明
确的内容范围。
一个构想可以提出多方面的假设,并使用多方面 的证据去证明它,因此对构想效度的评价不依赖 单一的指标(构想效度的“雨伞效应”)。
2.确定构想效度的步骤
建立关于某一构想的理论框架。 依据理论构想推导出关于构想的各种假
设,并依此编制测验。 对测验结果进行实证和逻辑分析,验证
假设。
例如:确定智力测验的构想效度
构想效度(construct validity)就是测验 能说明心理学上的理论构想或特质的程 度,即用测验结果与理论构想的符合程 度来评估测验的效度。
构想效度的特点:
构想效度的大小完全取决于事先假定的心理特质 理论。
由于构想效度是根据理论推导而构想出来的,无 法直接证明,只能够根据理论构想建立假设并用 事实验证假设以获得关于这个构想的证据。当证 据与构想不符合时不能确定是否测验的效度低。
估计标准误(Sest)是预测误差分数分布的 标准差。
Sest Sy 1 rx2y
rxy:测验的效度系数 Sy:效标成绩的标准差
所以,估计的效标分数的置信区间为:
Y ZeSset Y Y ZeSest
Y:真正的效标分数
Y
:预测的效标分数
Sest:估计的标准误 Ze:对应于某个统计显著性水平的标准状态分
④制定评定量表,对测验作出评定。 评定内容包括:
测验内容所测的的技能、题目对所定义 内容范围的覆盖率。
各种题目数量和分数的比例。 题目形式对内容的适当性等。
专家对每个项目的评价可分为:重要的、有用 但非重要的、不需要的。
如果一个项目有50%以上的专家评价为“重要 的”,那么该项目所测量的知识技能是重要的。 项目被评定为“重要的”人数越多,则内容效 度越高( Lawshe,1975)。
②会聚效度与区分效度
为了证实结构效度,必须表明一个测验 不仅与理论上应该相关的变量有高相关, 而且与理论上应该区别的那些变量有低 相关,前者称为会聚效度(聚合效度, 求同效度),后者称为区分效度(求异 效度)。
检验会聚效度和区分效度的多特质-多方法研 究
用多种方法测量多种特质,计算出不同测量结 果之间的相关,生成相关系数矩阵。
个系数称为效度系数。 效度系数的平方称为决定系数,表示两变
量中共同变异的比例,即一个变量的变异 由另一个变量决定的比例。
(2)分组检验法
根据被试在效标上的表现分为成功(合 格)-不成功(不合格)两类。如两组的 测验分数有显著差异,则认为测验的效 度较高。
5.估计效标效度时应注意的问题
(1)效标选择的问题 直接效标与间接效标 中介效标与最终效标 (2)防止效标污染 效标污染:在以个体判断作为效标来检
验测验分数时,由于评定者已经事先知 道了测验分数,从而使他们的判断受到 影响。
(三)构想效度(结构效度)
1.什么是构想和构想效度 构想是指用来解释人类行为的理论框架或
心理特质,它是心理学中抽象的假设性的 概念、特质或变量。 构想的两个基本属性:
构想是对某些规律性进行的抽象概括。 构想与具体的可观察的实体或事件存在相关。
四、效度系数的作用与要求
(一)作用 1.决定系数 效度系数的平方称为决定系数,它表明由
测验正确预测或解释的效标方差的比例。 测验的决定系数越大,预测效度越好。
2.预测效标分数
当已知一测验的效标效度时,可以根据 测验成绩预测效标分数。
预测公式为:
Z y rxyZ x
Zy:效标成绩的标准分数估计值 rxy:效度系数 Zx:测验分数的标准分
布下的临界值
例:已知一创造性思维测验的均分为100,标准差为15,一立 体几何测验的均分为70,标准差为10。两测验间的相关为 0.60。一学生在创造性思维测验中得分为115。估计该学生在 立体几何测验中的得分范围( α=0.05)。
∵Zx=1,rxy=0.60
∴Zy=0.60, Y=76
Sest 10 1 0.62 8
同时效度表明检测现有的某种心理特质 的有效性。
要回答“他具有这种能力吗?他心理健康 吗?”这样的问题。
预测效度则表明测验对某种行为预测的 有效性。
要回答“他会有这种能力吗?他会出现心理 健康问题吗?”这样的问题。
4.评估效标关联效度的方法
(1)相关系数法 将测验分数与效标分数计算相关系数,这
年龄差异只是效度的一个必要条件而不是充分条件。
教育与训练效应
有效的教育与训练会提高被试的某种特质水平,这 种变化应在测验分数中体现出来。
4.对构想效度的评价
贡献
把着眼点放在提出假设、检验假设上,因此 使心理测验不再只是做决定的辅助工具,同 时还成为发展心理学理论的重要工具。
缺点
有些构想概念模糊,缺乏统一的定义。 确定效度时没有明确的操作步骤与程序。 没有单一的数量指标来描述有效的程度。
1.什么是效标与效标关联效度 效标是指独立于测验结果,反映测验目
的的行为参照,是用来衡量测验有效性 的一个参照标准。 效标关联效度(criterion-related validity) 是指一个测验的结果与另一个可以作为 标准的衡量结果(即效标)的一致性程 度。
2.一个好的效标的条件
(1)有效性 (2)可靠性 (3)客观性 (4)实用性 (5)无污染
例:某数学课程的双向细目表
整数的加法 整数的乘法 整数的除法 因子与倍数 分数的四则运算
合计
识记 3 3 6 2 7 21
理解 10 8 12 5 8 43
应用 2 5 9 15 5 36
合计 15 16 27 22 20 100
③确定每个题目所测的内容与技能,并与 测验编制者所列的双向细目表对照。
提出理论 提出假设 检验假设
智力是一个人 理解和应付周 围世界的总的 能力。
提出关于智 力的各个假 设,编制多 项分测验。
利用因素分析、 实证等方法验 证假设。
3.构想效度的评估方法
(1)测验内方法 测验内方法主要是通过研究测验内部构
造来分析测验的构想效度。 主要指标:
测验的内容效度 被试对题目反应的过程 测验的同质性
3.内容效度的特点
(1)内容效度的特定性 测验的内容效度与测验的编制者所定义的
内容范围有关。
Байду номын сангаас
(2)内容效度常与表面效度混淆
表面效度(Face validity)是在受测者、没 有受过训练的观察者看来这个测验是否有效。
注意:
表面效度会影响被试的测验动机,适当的表面 效度会让被试觉得测验是有意义的,也会更加 配合测验实施。
录取率=(A+B)/ (A+B+C+D)
成功率:录取且成功者的比率。
成功率=A/(A+B)
在基础率一定的情况下,成功率受测验 效度和录取率的影响。
1939年泰勒(H.C.Taylor)与罗塞尔 (J.T.Russell)编制了“泰罗预期表”。这 个预期表阐明了测验效度、录取率和成功 率之间的关系,可供选拔人员进行决策时 参考。
观测变量与因素间的相关,即变量在因素上的 贡献量(负荷)称为因素效度。因素效度越大, 说明变量在该因素(心理特质)上越有效。
因素分析是一种确定心理特质的方法,因而特 别适合于构想效度。
(4)发展变化 年龄产生的发展变化
年龄差异是效度分析的一种主要效标,但不适用于 没有表现出明确的与年龄变化一致的机能。
如果后测成绩有较大提高,说明测验确实测 量了所教授的内容,测验的内容效度较好。
(4)经验法
检查项目分数和测验总分随年级升高的变化情 况,一般而言,应保留从低年级到高年级学生 通过的百分比增加最大的那些项目。
分析学生所使用的各种解答方法以及测验中常 见的错误。
计算测验分数与阅读理解分数的相关,检查阅 读指导语的能力对测验成绩可能产生的无关影 响。
1.效度是一个相对的概念 任何一种测量工具只是相对一定的目的来
说才是有效的,因此不能笼统地说某个测 验有效或无效。 效度往往只有程度上的不同,而不是全或 无的区别。
2.效度是测量的随机误差和系统误差的综 合反映。
3.判断一个测量是否有效要从多方面收集 证据。
收集大量资料和证据来检测测验效度的 工作过程叫做效度验证。
所以,该学生在立体几何测验中的得分范围为:
76 1.968
3.人员选拔决策
不入选-入选
Y

D错误

拒绝


C正确 拒绝
A正确 接受
成 功 - 不 成 B错误 功 接受
X 测验分数
人员选拔决策中的几个概念:
基础率:在总体中自然存在着的合格人 员的比例。
基础率=(A+D)/(A+B+C+D)
录取率:指采用测验作为筛选工具时所 录取人员的比例。
2.内容效度的估计方法
(1)专家判断 专家判断是一种确定内容效度的典型程
序,它要求一组独立的专家判断测验对 所研究领域的取样是否具有代表性,通 过这些评定的资料来确定一个测验的内 容效度。
专家判断的程序:
①定义好内容主体,描绘出有关知识与技 能的轮廓。
②划分细纲目,并根据重要性规定好各纲 目的比例。
相关文档
最新文档