第五章效度

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
内容效度、构想效度、预测效度、同时效度 ? French、Michbel 内容效度、构想效度、效标效度
二、内容效度
(一)内容效度及基本保证条件 1、定义 内容效度(content validity) 是指测验项目所涉及
的内容对欲测内容范围的代表性程度。或者说所 测内容对要测内容范围行为取样的代表性,又称 推理效度、逻辑效度。 2、内容效度的基本保证条件 要获得较高的内容效度,必须具备两个基本条件: 1)欲测的内容范围必须定义清楚,界限分明。
(2)二列相关系数 适用条件:测验分数和效标分数都是连续变量,其中一个变
量被人为分为两类
(3)四分相关系数 适用条件:当测验分数和效标分数都是连续变量,且每一个
变量的变化都被人为地分为两类
(4)φ相关系数 适用条件:当测验分数与效标分数都是真正的二分变量
(5)列联相关系数 适用条件:当测验分数与效标分数其中一个变量不止分为两
? 表面效度指被试或其他未受过专门训练的 人员对测量有效性程度的估计
? 表面效度不能算是一种效度,它不反映测 验实际测量的内容,但可取得被试的合作。
? 成就测验需较高的表面效度,而人格测验 则需较低的表面效度。
(五)内容效度的优缺点
? 优点:对测验内容的详细描述是编制任何测验都 应借鉴的
? 缺点:
四、效标关联效度
(一)定义、种类、运用 1、定义 是指测验对个体的效标行为表现进行估计的有效程度。 又称实证效度、经验效度、准则关联效度 2、分类(收集效标的时间)
? 同时效度:效标资料与测验资料同时获得,如机械能力倾向测验。 ? 预测效度:效标资料后于测验资料获得,如MBA考试。
3、应用(二者本质区别)
2. 尽量不让评定者知道以前的测验结果,防止评 定时产生主观倾向。
4、常用的效标 ? 学业成就:学习成绩、学历、奖励 ? 工作成就:实际工作表现 ? 等级评定:以效标行为的主观评定作为效标测量 ? 团体对照:选择效标行为表现有差异的团体 ? 先前有效的测验
(三)效标关联效度的基本步骤
? 确定效标关联效度的基本步骤: (1)明确观念效标 (2)确定效标测量 (3)考查测验分数与效标测量之间的关系
(四)构想效度的优缺点
? 优点:使研究者把测验的目标放在提出假设、验 证假设上,重视其理论研究工具的作用,而不仅 仅是辅助决策的作用,从而为测验提供了更广阔 的发展前景。
? 缺点:有些构想概念模糊,没有获得一致的定义, 无法明确其操作步骤和唯一、客观的指标来确定 效度。
内容效度和构想效度的区别和联系
4、复本法
从同一个教学内容总体中抽取两套独立的平 行测验,用这两个测验来测同一组被试, 计算出他们的相关,把这个相关作为内容 效度的数量估计。
(三)内容效度的应用 ? 最适合于成就测验,知识和技能的掌握程
度 ? 也适合于某些选拔和分类的人事测验
(四)表面效度(surface validity)
? 提出关于智力的若干 方面,编制多项分测 验
? 利用因素分析法验证 此测验测量了言语理 解、知觉组织和记忆, 注意集中三类因素
(三)搜集结构效度资料的方法
1、测验内法 这种方法主要是通过研究测验内部构造来分析测验的构想效
度 1)确定测验的内容效度 如语文能力测验 2)分析被试答题时的反应过程 如数学推理测验 3)考查测验的同质性
? 构想效度是指测验对理论构想或特质的测 量程度,又称结构效度、构念效度。
“是否测到要测的东西”
2、应用:智力、人格测验等
(二)确定结构效度的步骤
1、界定理论构想(建立 关于某一构想的理论框 架)
2、依据理论框架推导出 各种关于构想的各种假 设
3、用实证和逻辑分析的 方法来验证假设
? 智力是一个人去理解 和应付他周围世界的 总的才能
? 常用方法:
1、相关法
测验分数与效标分数之间的相关系数
(1)
(2)
选择团体
获得测验分数
(3) 获得效标分数
(4)求相关系数
根据分数性质不同采用不同相关计算法 (1)积差相关系数 (2)二列相关系数 (3)四分相关系数 (4)φ相关系数 (5)列联相关系数
(1)积差相关系数 适用条件:测验分数和效标分数是连续变量
第五章 效度
学习目标
1、掌握效度的概念及其与信度的关系 2、了解效度的种类,掌握各种效度的估计方法 3、了解提高测量效度的方法
? 效度的概述
? 效度的定义 ? 信度和效度的关系
? 界定效度的方式
? 内容效度 ? 构想效度 ? 效标关联效度
? 影响效度的因素
一、效度的概述
(一)效度的定义 ? 效度是指测量结果的有效程度,也就是一个测验对它所
区别: 1、内容效度通常是通过考察测验的取样计划和观察这个创
意是否提供了内容范围的一个有代表性的样本来决定; 构想效度通过显示测验分数与其他可观察测量间的关系, 和构想本身与那些可观察测量间的相似来证实。 例如:设计用于测量“学校儿童攻击性”的测验的构想效度 1)鉴别出与攻击性有关的行为构想 2)鉴别出其他构想,并判定他们是否与攻击性存在相关。 3)鉴别出每个构想相联系的行为,而且判定它们与被测构 想之间的关系。
1)缺乏可靠的数量指标,不便于测验间的比较;
2)大多数心理学家认为,内容效度只是在决定测量 效度上是有用的,而不是决定以测验分数为基础 的决策效度。
三、构想效度(construct validity)
(一)定义、应用 1、定义 构想或结构是指心理学理论所涉及的抽象而属假设
性的概念或特质。 构想的两个基本属性: 1)它们本质上是对某些规律性进行的抽象概括 2)它们与具体的可观察的实体或事件存在相关
要测量的特质测量到了什么程度。 ? 效度系数是指描述某种测量结果有效性程度的数量指标,
以相关系数rxy2或Val 来表示。
? 效度的两个基本问题是: 1. 测验测量到了它要测量的东西吗?(测量效度) 2. 测验对它所测量的东西测量到了什么程度,它是否可以
用于制定精确的决策?(用于决策的效度) 3. 测量效度和决策效度之间的差异
的主要原因在于效标污染 4)实用性(可得性)
? 效标污染(criterion contamination)
是指评定者知道被试测验的分数,而使其效 标分数受到影响的情况。如入学考试分数 与教师主观评定。
? 当效标测量是评定等级时,如何防止效标 污染?
1. 评定者应综合评定,而不只是依据某个测验, 评定细节或规则细化,才能尽可能客观。
2)测验项目应是所界定内容范围的代表性取
样。
选出的项目能包含所测的内容范围的主要方 面,并使各部分项目所占比例适当。
(二)内容效度的评估方法
1、专家判断法 由专家对测验项目与所欲测验的内容范围的吻合程
度进行系统的比较判断,具体步骤如下: 1)定义好内容总体,并描绘出有关知识与技能的轮
廓; 2)划分细纲目,并根据重要性规划好各个纲目的加
(三)效度与信度的关系
1. 高信度是高效度的必要而非充分条件
Sv2
SI2 SE2 高信度 高效度
Sv2
SI2
SE2 高信度 低效度
Sv2
SI2
SE2
低信度 低效度
2、测验的效度受它的信度制约 效度的最大值不会超过信度的平方根 效度不可能超,《心理测验和诊断技术的 专业建议》,1954
权比例,作出尽可能详细的描述; 3)确定没道题所测的知识与技能,将自己的分类与
测验编制者的纲目作比较; 3)制定评定量表以评定测验的整个效度及其他特点。
2、经验法
如果总分和题目的通过率随着年级而增高, 则说明测验对于教学有内容效度。
3、再测法 学习前施测 学习知识 学习后再测
如果后测成绩显著优于前测成绩,则说 明次测验对于这部分知识学习而言具有高 的内容效度。
? 内容范围/领域(content domain )
一个内容范围代表了总的系列行为,这些行为可以 用于测量将要被 测个体的一个具体属性或特征 (Guion, 1977)。
? 一个内容范围是有界限的, 在这些界限内的大量 可能的测验项目可以有效地用于测量一个人在内 容领域中所处的位置。对要测量的内容领域的详 细描述,使得每个人可以判定每个测验项目是否 存在于范围界限中。
(三)搜集结构效度资料的方法
2、测验间法 ? 这种方法主要通过同时考察几个测验间的
相互关联,看这些测验是否在测量同一构 想。 1)相容效度(congruent validity) 考察新编测验与某个已知的效度较高的同类 测验间的相关,若二者相关较高,则说明 测验有较高的效度,这种方法就叫相容效 度法。
2、内容效度通常是由那些对非常具体的领域 的测验决定的,如:课堂测验、学绩测验。
构想效度一般是由设计用于测量抽象属性的 测验决定的。如:攻击、诚实。
联系:
1、两者都代表了判定测量效度的方法——判 定一个测验是否测量了它声称要测量的东 西。
2、一个内容范围代表了一组相似测验项目, 从理论上可能抽取所有项目,但实践上, 也是内容范围上所处的位置或分数的抽象 物,与构想的概念非常相似。
类时
2、组的分类
根据被试的效标行为表现,将他们分为不同 的组别(团体),如果这些组在测验分数 上有显著性差异,则说明该测验的效度高。
3、预期表
预期表法是将预测源分数和效标分数制成双 维图表,并将每个变量按水平分成若干档 次,这个经验型的预期表可以不用计算相 关系数或其他统计数据,而只要有频数和 百分比。
决策和预测
? 假定你是一个人事经理,正在试图从下表所显示的五个申 请工作的机械工中挑选最好的三个,你会怎样选择?
五个申请者的机械理解分数
申请者
A B C
机械理解测验上的分数 (100=满分) 98
82
81
申请者
D E
机械理解测验上的分数 (100=满分) 43
29
(二)效标与效标测量 1、效标 是衡量测验有效性的参照标准,它是独立于测验之外,体现
? 同时效度:诊断现状(其系数通常是在预先选择的样本上获得) ? 预测效度:预测未来结果(其系数是在必须制定为其决策的人群
的随机样本上获得)
? 同时效度比预测效度更具有实践性,更容 易获得,但理论上预测方法比同时效度法 更受欢迎。
? 同时效度也能预测(或估计个体行为)
在被测群体的选择上比一般的随机样本更有 显著选择性,这对测验分数和效标分数之 间的相关有潜在的影响。
(三)搜集结构效度资料的方法
3、效标关联法 ? 测验分数是否能把不同团体的人区分开来 ? 根据效标把被试分为两类,考察其测验得
分的差异 ? 根据测验得分把人分成高分组和低分组,
考察这两组人在所测特质方面是否有差异
(三)搜集结构效度资料的方法
4、实验操作法 ? 适用于易受某些条件影响的测验,如焦虑
测验目的的行为变量。通常指我们所要预测的行为。 常见的效标:学业成绩、等级评定、临床诊断、实际工作表
现等 2、观念效标和效标测量 ? 观念效标:效标的实质概念内容,如学习或工作成功、技
术水平。 ? 效标测量:效标的具体化,可操作的测量指标。 ? 同一观念效标可有多个效标测量指标
3、选择效标测量必须满足以下要求: 1)有效性(关联性) 2)可靠性 3)客观性(抗偏性):产生效标测量中偏差
测量效度对于保证决策效度并不总是必要或充分的
? 效度是一个相对概念,这种相对性表现在 以下两个方面:
1. 效度是相对于一定的测量目的而言的
2. 效度只有程度上的差异,而不是“全”或 “无”的差异
(二)用方差术语谈效度
? 在测量理论中,效度被定义为在测量中与 测量目的无关的真实变异与总变异的比率。 rXy=Sv2/SX2
(三)搜集结构效度资料的方法
2)会聚(congvergent) 效度和区分 (discriminant) 效度
? 会聚效度:如果两个测验是测量同一特质的,即 使使用不同的方法进行测量,它们之间的相关也 应该是高的,又称求同效度、收敛效度。
? 区分效度:如果两测验测量的是不同的特质,即 使使用不同的方法进行测量,它们之间的相关也 应该是低的,又称求异效度、判别效度。
施测
实验处理 比较差异
再测
比较实验处理前后测验得分的差异
(三)搜集结构效度资料的方法
5、因素分析法 ? 从一组变量或测验的数据中,找出其中潜
含着的起决定作用的共同因素,每个测验 在共同因素上的负荷量(即测验与个因素 的相关)就是测验的因素效度,测验分数 总变异中来自有关因素的比例就是该测验 的结构效度的指标
相关文档
最新文档