(优选)心理测量学测验的效度
心理测量—效度
相同特质不同测量方法之间的相关(会聚效度) 相同方法测量不同特质的相关(区分效度) 不同方法测量不同特质之间的相关
(3)因素分析
因素分析将为数众多的观测变量缩减为少数不 可测的潜变量(因素),即用最少的因素概括 和解释最大量的观测数据。
年龄差异只是效度的一个必要条件而不是充分条件。
教育与训练效应
有效的教育与训练会提高被试的某种特质水平,这 种变化应在测验分数中体现出来。
4.对构想效度的评价
贡献
把着眼点放在提出假设、检验假设上,因此 使心理测验不再只是做决定的辅助工具,同 时还成为发展心理学理论的重要工具。
缺点
有些构想概念模糊,缺乏统一的定义。 确定效度时没有明确的操作步骤与程序。 没有单一的数量指标来描述有效的程度。
如果后测成绩有较大提高,说明测验确实测 量了所教授的内容,测验的内容效度较好。
(4)经验法
检查项目分数和测验总分随年级升高的变化情 况,一般而言,应保留从低年级到高年级学生 通过的百分比增加最大的那些项目。
分析学生所使用的各种解答方法以及测验中常 见的错误。
计算测验分数与阅读理解分数的相关,检查阅 读指导语的能力对测验成绩可能产生的无关影 响。
3.内容效度的特点
(1)内容效度的特定性 测验的内容效度与测验的编制者所定义的
内容范围有关。
(2)内容效度常与表面效度混淆
表面效度(Face validity)是在受测者、没 有受过训练的观察者看来这个测验是否有效。
注意:
表面效度会影响被试的测验动机,适当的表面 效度会让被试觉得测验是有意义的,也会更加 配合测验实施。
心理学考研专业课心理测量知识点:效度
心理学考研专业课心理测量知识点:效度1、效度是指:测验能测量到所要测量的对象的程度。
这一定义包含着两层含义:测验测量什么?测验对测量目标的测量精确度和真实性是多少?2、效度的公式为:rxy = SV2/SX2它是与测量目标有关的真实分数方差与总方差的比率。
其中rxy是常用的效度表示法;SV2是“有关的真实方差”,也就是由测验所要测量的心理变量引起的方差,也叫有效方差;SX2是总方差。
3、信度和效度的差别是:两者所涉及的误差不同:信度仅考虑偶然的随机误差占测验总变异的比例,效度则还包括与测验无关的但稳定的测量误差。
(1)信度是效度的必要而非充分条件。
(2)效度是受信度制约的。
4、效度的性质:效度的真实含义是指测验结果的效度,也就是测验结果的准确程度。
(1)效度具有相对性。
(2)效度具有连续性。
测验的有效性只有程度上的差别。
(3)效度也不是直接就可以测量到的,它是从已有的证据推理而来的。
5、效度的种类:内容效度、构思效度和效标关联效度。
6、效标关联效度是指:测验总分数与外在标20、准(效标)之间的相关程度,反映的是用测验预测个体在某种情境下行为的表现如何的有效性程度。
由于外在标准成了考察测验有效性的参照标准,因此简称为效标。
7、阿斯丁把效标分为两个层次:一是理论描述水平的“观念效标”,二是操作定义水平的“效标测量”。
(1)观念效标是效标的理论定义,效标测量是效标的操作定义,效标测量必须能真正反映观念效标。
(2)效标测量的一个重要特征是客观性。
为此因做到:1避免偏见影响效标测量,特别是以等级评定为效标4测量时,评分者的主观偏见会有很大影响。
2防止效标污染,即指个人的效标因评定者知道个体的测验分数(也叫预测源分数)而受到影响。
8、常用的效标:学业成就、临床诊断、实际工作表现、特殊训练成绩、效标团体比较、先前有效的测验、等级评定。
9、同时效度:它的效标资料是和测验分数差不多同时搜集的。
一般情况下,它可以代替预测效度。
心理测量学知识--效度
智力结构。
• 测验的内部一致性指标可以推断测验是测量单一 还是多种特质:分半信度、a系数等。
•
分析被试者对题目的反应特点也可以作为构思效
度的证据:
24
2013-7-9
二、构想效度
第二单元 效度评估的方法
测验间的相互比较
通过分析几个测验间的相互关系,找出共同之处,进 而推断这些测验的特质是什么,确定构思效度如何。 • 相容效度是构思效度的一个证据:一个旧测验是 有效度证据的,一个新测验是没有效度证明的, 两者测同一种特质。计算两种测验之间的相关。 相关高,新测验所测特质与旧测验一致性就高, 这一相关为相容效度。 • 相容效度高,证明新测验构思效度高。
(logical validity)。
2013-7-9
17
一、内容效度
第二单元 效度评估的方法
专家判断法 • 专家评定前的准备: 1、定义好测验内容的总体范围,描述有关的知识与技 能及所用材料的来源; 2、编制双向细目表,确定内容和技能各自所占的比例, 每个题目测什么内容和技能; 3、制定评定量表来测量测验的整个效度; 最后,由每位评判者在评定量表上作出判断,获得测
第一单元 效度的概念
学了,就知道了!
1、什么是效度?
效度是指所测量的与所要测量的心理特点之间符合的程度,或者简 单地说是指一个心理测验的准确性。
2、信度与效度的关系?
信度受随机误差影响,效度受随机误差和系统误差影响。可信的测
验未必有效,有效的测验比可信。信度是效度的必要条件。
3、效度的性质?
相对性、连续性
(一)效度具有相对性
任何测验的效度都是对一定的目标来说的。测 验只有用于与测验目标一致的目的和场合才会 有效。… 测验不是万能的,只对特定心理属性有效。…
心理测量学中的信度和效度分析
心理测量学中的信度和效度分析心理测量学是研究心理测量方法与技术的学科,旨在通过反映被测者的心理特征和过程,揭示其心理素质、智力水平等信息。
而在心理测量过程中,信度和效度分析是两个重要的概念。
一、信度分析信度是指测量工具在测量同一心理特征或过程时的稳定性和一致性。
换句话说,信度反映了测量工具在同一被测者群体中的结果是否稳定,并且是否能复现。
具体来说,信度分析主要从可靠性和稳定性两个方面来考量。
1.可靠性可靠性是指测量工具的结果是否稳定且一致。
在心理测量学中,一种常用的方式是通过内部一致性来评估可靠性,最常见的统计方法是Cronbach's α系数。
Cronbach's α系数介于0和1之间,数值越大代表内部一致性越高,通常要求α系数达到0.7以上为可靠。
2.稳定性稳定性是指测量工具在不同时间或在不同条件下所得到的结果是否一致。
为了评估测量工具的稳定性,常用的方法是再测法和半分法。
再测法是指在不同时间或条件下对同一样本重复测量,然后通过计算相关系数来评估稳定性。
而半分法则是将测量工具的题目分成两部分,分别进行测量并计算两部分得分的相关系数。
二、效度分析效度是指测量工具是否能够准确地测量所要测量的心理特征或过程。
也就是说,效度是评估测量工具是否真的测量到了我们想要测量的东西。
效度分析主要从描述效度、判别效度和预测效度三个方面来考量。
1.描述效度描述效度是指测量工具是否能够全面、准确地描述被测者的心理特征或过程。
具体来说,可以通过专家评定法和内容效度等方法来评估描述效度。
专家评定法是通过请相关领域的专家对测量工具进行评定,包括评估题目的合理性、适用性等方面。
而内容效度是指测量工具的题目是否充分、恰当地涵盖了被测者的心理特征或过程。
2.判别效度判别效度是指测量工具能否区分不同的心理特征或过程。
为了评估判别效度,常用的方法是构太效度。
构太效度是通过与已知测量工具或理论进行比较,来确定测量工具是否能够与其他相关测量工具或理论得到一致或相似的结果。
心理测量学第四节 测量的效度
❖ Rxy2代表效度系数的平方,即决定系数;Sy 为效标成绩的标准差。
❖ 真正效标分数落在预测效标分数的不同水 平的Sest范围内。
习题
❖ 21、如果某测验的效度是0.70,则在测验中 无法作出正确预测的比例是( )。 (A)0.30 (B)0.51 (C)0.49 (D)0.70
效标测量的判断标准
❖ 有效性 ❖ 可靠性 ❖ 客观性 ❖ 实用性
实证效度的检验方法
❖ 相关法 ❖ 区分法 ❖ 命中率法
相关法
❖ 计算测验分数与效标测量的相关。根 据变量的性质不同,可分别采用不同 的积差相关,等级相关法,二列相关法 等。
区分法体。
2008年5月(二级)
❖ 58、效度系数的实际意义常常以决定系数来 表示,如测验的效度是0.80,则测验可以 正确预测或解释的效标的方差可占效标总方 差的( ).
❖ (A)36% (B)46% ❖ (C)56% (D)64%-
二.预测效标分数
❖ 建立测验分数预测效标成绩的回归方程
· Y a byx X
❖ 最常采用的t检验。
命中率法
❖ 预测源与效标关系可能四种情况:
效标测 量 预测源
成功
成功 失败
A(命中) B(失误)
失败 C(失误) D(命中)
命中率法两种指标
❖ 总命中率
Pct
命中 命中 失误
A
AD BC
D
正确 总数
❖ 正命中率
pcp
成功人数 选择人数 *100%
A A B
内容效度确定的方法
❖ 专家判断法(逻辑效度) ❖ 经验判断法 ❖ 统计分析法
心理测量学6 第六节 测验的效度
四、内容效度的应用和评价 内容效度适合于测验所要测量的内容总体能够明确界 定的情况。因此尤其适合对教育测验的效度的考察。 内容效度对各种用于人员选拔和安置的职业测验也是 适用的。职业测验关心的是受测者是否具有从事某项 职业的知识、技能等,那么要明确某项职业所需的全 部知识和技能,再对这些知识和技能进行取样,取出 一个有代表性的样本。 内容效度对能力倾向测验和人格测验不是很合适,因 为它们要测量的往往是较抽象的特质,其范围难以明 确界定,没有明确的内容范围,就无法考证测验项目 是否具有代表性。 缺点:缺乏理想的数量指标,因而妨碍了信息交流和 各测验的相互比较。 back
测验对表面效度的考虑: 表面效度不是效度的客观指标,不能保证测验 的正确性,但能对受测者的动机产生影响,因 而也会影响到测验的效度。 如:“我偷过东西。” 编制测验时应根据编制测验的要求提高或降低 表面效度,如人格测验,表面效度应该低,使 受测者看不出来,从而让受测者作出真实的反 应,能力测验应该提高表面效度,以激发受测 者的答题动机。 back
欲建立具有构想效度的测验,必须先从某一构 想的理论出发,导出各项关于心理特质或行为 的基本假设,根据这些基本假设设计和编制测 验,然后审查测验结果是否符合提出的基本假 设。 如,从一般的智力理论,可提出四项主要的假 设:(1)智力随年龄的增长而增长;(2)智 商是相对稳定的;( 3 )智力与学业成就有密 切关系;(4)智力受遗传和环境的影响。 构想效度的证据是一个在研究中不断累积的过 程
(四)实验操作法 通过控制某些实验条件,观察其对测验 分数的影响,也可以获得构想效度的证 据。
如,举行两场考试,使受测者相信一场考试关系重大, 另一场考试无关紧要,在考试前进行焦虑测验,看受
心理测量学习题)
心理测量学习题)一、单选题1.计算两种测验之间得分的相关,其中一种测验是待研究效度的,另一种是已有效度证据的成熟的测验,但两者测量的是同一种心理特质,假如相关高,说明新测验所测量的特质确实是老测验所反映的特质或行为。
这种方法叫()。
A.区分效度B.逻辑效度C.相容效度D.构想效度2.在心理测验中,效度是指一个心理测验的()。
A.稳定性B.准确性C.可信度D.区分性3.效度系数的实际意义常常以决定系数来表示,如测验的效度是0.80,则测验可以正确预测或解释的效标的方差可占效标总方差的()。
A.36%B.46%C.56%D.64% 4.如果研究表明,高考分数与大学学习成绩有高度的正相关,这表明,对于大学学习而言,高考分数有较高的()。
A.表面效度B.区分度C.构想效度D.预测效度5.如果一个测验在测验使用者、测验人员是受试者看来是有效的,那么,此测验具有较高的()。
B.内容效度C.构想效度D.效标关联效度6.一所全国重点高中某年级有500名最有才华的学生,当他们毕业时,有研究发现他们的高考成绩与在校时各门功课总平均成绩的相关只0.15,解释这个相关的最好理由是()。
A.预测源的全距限制(这个样本的高考分数都很高)B.预测源的信度低(高考是不可靠的,削弱了相关)C.抽样误差变异(实际得到的相关低只是一种偶然性)D.平时考试的信度低7.从信度和效度的关系看,信度高是效度高的()。
A.充分条件B.必要条件C.既非充分与非必要条件D.充要条件8.在心理测验中,效度是指所测验的与所要测量的心理物质之间符合的程度,或者简单地说是指一个心理测验的()。
A.稳定性B.准确性C.可信度D.区分性二、多选题1.为了使内容效度的确定过程更为客观,弥补不同专家对同一测验的判断可能不一致,可采用的步骤是()。
A.定义好测验内容的总体范围B.编制双向细目表C.制定评定量表来测量测验的整个效度D.进行统计分析2.美国心理学会在1974年发行的《教育与心理测量之标准》一书中将效度分为哪几个大类()。
心理测量学第五章-效度
♪ 例如,在人格测验上有这样一些题目:“当事情不顺 我意时,我时常动怒。”“我总避免批评别人的言 行。”
(3)计算测验的同质性信度来检验结构效度:其一,求 取每个题目与测验总分之间的相关系数;其二,根据 测验总分将被试分为高分组和低分组,再比较这两组 被试在每个题目上的通过率。证明题目与总测验是测 量的同意结构。
(三)内容效度的适用范围及评价
♪ 内容效度主要用于学绩测验和职业测验(基于工作任务分 析),也就是测量知识或技能掌握程度的测验。
♪ 人格测验、能力倾向测验、智力测验不适合采用内容效度, 这类测验很难预先确定测试的内容范围。
♪ 内容效度不但是评价学绩测验的最适合的方法,而且编制 任何测验都要加以考虑的方面。
较高,而另一组被公认为是性格内向的人则在这 个维度上得分较低。 (2)根据测验得分把人分成高分组和低分组,考察这 两组人在所测特质方面是否确有差异。 ♪ 此处参照实证效度的区分法
4.多种特质——多种方法矩阵法
♪ 坎贝尔和费司克(1959) ♪ 实质上是相容效度法和区分效度法的综合运用 ♪ 原理是若用多种极不相同的方法测量同一种特质相
(三)搜集结构效度资料的方法
♪ 1.测验内部寻找证据法 ♪ 2.测验之间寻找证据法 ♪ 3.考察测验的实证效度法 ♪ 4.多种特质——多种方法矩阵 ♪ 5.因素分析法 ♪ 6.其他方法
1、测验内部寻找证据法
(1)确定内容效度作为结构效度的证据
♪ 例如,编制语文能力测验时,编制者将总体内容描述 为对词汇下定义、对语言做类比推理、以及在句子中 正确运用文字的能力,这在实际上就是给“语文能力” 的构想下了定义。
能力
积极的行为指标
1.同情心及敏感性 形成使病人安全的气氛;
心理测量—效度
提出理论 提出假设 检验假设
智力是一个人 理解和应付周 围世界的总的 能力。
提出关于智 力的各个假 设,编制多 项分测验。
利用因素分析、 实证等方法验 证假设。
3.构想效度的评估方法
(1)测验内方法 测验内方法主要是通过研究测验内部构
造来分析测验的构想效度。 主要指标:
测验的内容效度 被试对题目反应的过程 测验的同质性
常用的效标
学业成就 等级评定 临床诊断 特殊训练的成绩 实际的工作表现 对团体的区分 其它现成的测验 ……
3.效标关联效度的类型
(1)同时效度(concurrent validity):指 测验结果与同时获得的效标资料的一致性 程度。
(2)预测效度(predictive validity):指测 验结果与另一个尚未得到的效标分数的一 致性。
测量同一特质的不同方法之间的相关系数,可 视为会聚效度的指标,测量不同特质的同一方 法间的相关系数,可视为区分效度的指标。
方 法
特质
诚实
M1
攻击 性
智力 诚实
M2
攻击 性
智力
M3
诚实
攻击 性
智力
诚实
M1 攻击性 0.43 智力 0.36 0.32 诚实 0.62 0.03 0.20
M2 攻击性 0.22 0.70 0.13 0.40 智力 0.10 0.13 0.64 0.22 0.30 诚实 0.59 0.11 0.02 0.60 0.20 0.21
验测验分数时,由于评定者已经事先知 道了测验分数,从而使他们的判断受到 影响。
(三)构想效度(结构效度)
1.什么是构想和构想效度 构想是指用来解释人类行为的理论框架或
心理特质,它是心理学中抽象的假设性的 概念、特质或变量。 构想的两个基本属性:
心理咨询师培训之心理测量第四节 测验的效度
测验的效度
第一单元 效度的概念
第二单元 效度评估的方法
第三单元 效度的功能 第四单元 影响测验效度的因素
第一单元
一、效度的定义
效度的概念
效度是指所测量的与所要测量的心理特点之间的符合程度, 或者简单的说是指一个心理测验的准确性。
效度是科学测量工具最重要的条件,没有效度资料的测验 是不能选用的。 测量的效度除受随机误差影响外,还受系统误差的影响。
一个好的效标应具备的条件
第一,校标必须能最有效地反映测验的目标,及
校标测量本身必须有效。
第二,校标必须具有较高的信度,稳定可靠,不
随时间等因素而变化。
第三,校标可以客观地加以测量,可用数据或等
级来表示。
第四,效标测量的方法简单,省时省力,经济实
用。
(二)校标效度的评估方法
1、相关法
二、预测校标分数
常用的预测回归方程:
Y =a+byxX
Y 是预测的校标分数,a是纵轴的截距,用来纠正平均数的差异;byx是 斜率,亦即Y向X回归的系数;X为测验分数。我们知道了一个人的测验 分数,将其代入回归方程式,就可以对他的校标分数进行估计。
为了得到这个回归方程,必须先确定a和byx这两个
第四单元
影响效度的因素
一、测验本身的因素
测验取材的代表性、测验长度、试题类型、难度、
区分度以及编排方式等。
一、内容效度
(一)什么是内容效度? 内容效度是指测验题目对有关内容或行为取样的 适用性,即该测验是否是所欲测量的行为领域的 代表性取样。 一个测验要有较高的内容效度必须具备两个条件:
1. 要对所测量的心理特征有一个明确的概念,并
心理测量学(4)
(二) 构想效度(Construct Validity) 二 构想效度( 1.什么是构想效度 什么是构想效度 是指测验能够测量到理论上的构思或特质 是指测验能够测量到理论上的构思或特质 的程度, 的程度,即测验的结果是否能证实或解释 某一心理理论的假设、术语或构思, 心理理论的假设 某一心理理论的假设、术语或构思,解释 的程度如何。 的程度如何。
-4S
-3S -2S -1S sest 1S 68.26% 95.44 % 99.73% 99.99%
2s 3S
4S
(二) 预测效标分数 在测验工作中, 在测验工作中,人们感兴趣的是从测验分数预 测效标成绩,因此最常用的是Y 的回归方程。 测效标成绩,因此最常用的是Y对X的回归方程。 当预测分数和准则分数之间呈线性关系时,可以 当预测分数和准则分数之间呈线性关系时, 用最小二乘原理对他们之间的关系进行估计, 用最小二乘原理对他们之间的关系进行估计,这 条回归线在准则分数的预测中可以表示为: 条回归线在准则分数的预测中可以表示为: =bX+a 注: :预测的准则分数
命中率法: (3) 命中率法: 命中率法是当测验用来做取舍的依据时, 命中率法是当测验用来做取舍的依据时, 用其正确决定的比例作为效度指标的一种方法。 用其正确决定的比例作为效度指标的一种方法。
三 效度的功能
(一)预测误差 (二)预测效标分数 (三)预测效率指数
(一)预测误差
1.效度预测误差的表达方式: 1.效度预测误差的表达方式:效度系数 效度预测误差的表达方式 效度系数是以测量分数和效标分数之间的相 效度系数是以测量分数和效标分数之间的相 关系数来表示的。 关系数来表示的。这就意味着效度系数 相关系数) (相关系数)的平方表示由测验分数所能 说明的效标的方差的比例, 说明的效标的方差的比例,即效标分数中 由测验分数造成的变异程度。 由测验分数造成的变异程度。 如测验分数与效标分数的相关是 =0.80,则 =0.64,即效标测验的中有 rxy=0.80,则r2xy=0.64,即效标测验的中有 64%的方差可以由测验分数解释,36%无法作 的方差可以由测验分数解释,36% 64%的方差可以由测验分数解释,36%无法作 出正确预测。 出正确预测。
[其它考试]心理测量学知识--效度
根据效标资料与测验分数是否同时获得,又可分为同时 效度和预测效度。……
两者区别:不是来源于时间,而是测验目的。同时效度 与用来诊断现状的测验有关,后者与预测将来结果的测 验有关。
2022/10/18
30
第二单元 效度评估的方法
好的效标必须具备的条件:
➢ 效标必须能够最有效地反映测验的目标,即效标测量本 身必须有效;
• 相容效度高,证明新测验构思效度高。
2022/10/18
25
二、构想效度
第二单元 效度评估的方法
区分效度是构思效度的又一个证据
一个有效的测验不但要与其他测量同一特质 的测验有高相关,也要与测量不同构思的测 验不相关。这种相关就是区分效度系数,越 低,区分度越大。
• 但是区分度大,不能证明测量的就是要测量的结 构。但是区分度低就有问题。
2022/10/18
14
第二单元 效度评估的方法
如何编制有较高内容效度的心理测验? ➢ 首先要对要对所欲测量的心理特性有个明确的概念,并
确定哪些行为与之有关。….. ➢ 测验题目应是所界定的内容范围的代表性取样。…… 必须对内容范围进行系统分析; 把整个范围区分细目,对每个细目进行加权; 根据权数从每个细目中做随机取样。
2022/10/18
8
二、效度与信度的关系
第一单元 效度的概念
效度是针对测验结果的。 信度是效度的必要条件而非充分条件。 效度是受信度制约的。
2022/10/18
9
信度和效度的关系可以用射击靶环来形象地说明。 图1:弹着点十分分散,既不稳定也不准确,可视信度和效
度均不高; 图2:弹着点虽然集中,弹偏离靶心,准确性差,可视信度
第一单元 效度的概念
心理测量信度与效度分析
心理测量信度与效度分析在心理学领域,心理测量是一项至关重要的工具,它帮助我们了解个体的心理特征、能力水平和行为倾向。
而信度和效度则是评估心理测量工具质量的两个关键指标。
信度,简单来说,就是测量结果的稳定性和一致性。
想象一下,你用一把尺子去测量一个物体的长度,如果每次测量得到的结果都差不多,那这把尺子就具有较高的信度;反之,如果每次测量的结果差异很大,那这把尺子的信度就很低。
在心理测量中也是如此,如果一个心理测试在不同时间、不同场合对同一个人进行测量,得到的结果都比较接近,那么我们就可以说这个测试具有较高的信度。
信度主要包括重测信度、复本信度、内部一致性信度等几种类型。
重测信度是指在不同时间对同一批被试进行重复测量,然后计算两次测量结果之间的相关程度。
比如,我们对一群学生进行一次智力测验,一个月后再次对他们进行同样的测验,比较两次测验的分数。
如果两次分数的相关性较高,说明这个智力测验的重测信度较好。
复本信度则是使用两个内容相似但形式不同的测验版本对同一批被试进行测量,然后计算两个版本测验结果的相关程度。
内部一致性信度通常通过计算一个测验中各个项目之间的相关程度来评估,比如常用的克伦巴赫α系数。
那么,为什么信度在心理测量中如此重要呢?首先,高信度的测量工具能够为我们提供可靠的信息。
如果一个测试的结果今天这样,明天那样,我们就无法根据它做出准确的判断和决策。
其次,信度是效度的必要而非充分条件。
也就是说,一个测量工具要有效,首先必须要有信度,但有信度不一定有效。
接下来,我们谈谈效度。
效度指的是测量工具能够准确测量出所要测量的心理特质或行为特征的程度。
比如说,一个旨在测量焦虑水平的测试,如果它确实能够准确反映出被试的焦虑程度,而不是其他无关的心理状态,那么它就具有较高的效度。
效度主要有内容效度、构想效度和效标效度三种类型。
内容效度关注的是测量内容是否涵盖了所要测量的领域。
例如,一个数学考试要测量学生的数学知识水平,那么考试题目就应该全面覆盖数学的各个重要知识点。
心理测量学 第五章 测验效度
(四)系统比较
评价内容效度最常用的方法是由 有关专家对测验题目与测验所涉及的 内容总体的符合性进行判断,即定性 的方法,而不是定量的方法。将测验 所涉及的内容总体进行细分,由专家 们对各个部分进行系统比较,可以大 大地提高这种定性判断的准确性。
第三节
效标关联效度
一、效标和效标关联效度 二、效标关联效度的计算 三、影响效标关联效度的因素
例1 为了考察高等教育自学考试数学试卷 的效度,有关单位在自学高考的高等数学考 试之后,请30名考生参加了某重点大学的高 等数学结业考试。这些考生在两次考试上的 成绩如下表。 计算自学高考数学试卷成绩与普通大学数学 考试成绩之间的相关系数:见附件1
例2 某工厂考虑采用一项考试作为 招收工人的依据。为了检验这项考试 的效度,对20名新工人施测考试之 后,让他们工作了一年,并根据其工 作各方面表现进行综合评定。这20 名工人的考试成绩和工作评定成绩如 表。见附件2
正确录取人数 A Ppc 录取总人数 A B
5.预测误差 效度系数反映了预测的的误差范围,预测误 差的大小称为估计的标准误,即
2 SE S Y 1 rXY
标准误差是误差分数( E Yˆ Y )的分布的标 准差,真正的效标分数Y有95%的可能在估 ˆ 计的效标 Y 增减1.96个标准误的范围之内, 即
ˆ ˆ Y 1.96SE Y Y 1.96SE
2 YX 2 Y
rXY
S
2 YX
S
2 Y
=效度系数 =由测验所决定的效标分数方差 =效标分数方差
对于例1,我们可以认为,由于
r
2 XY
=
(0.882)2=0.78,所以,数学成绩的方 差的78%可以用测验分数来解释。
6心理测量 第六章 经典测验理论——效度
确定构念效度的基本步骤 : • 从某一理论出发或者提出关于某一心理特质 的构念和假设。 • 设计和编制测验并进行施测 • 测验的结果采用相关或因素分析等方法进行 分析,验证测验结果与理论假设的相符程度, 即测验在多大程度上正确地验证了编制测验 的理论构想。
二、效度的类型
• 构念效度常用方法: 1、因素效度: • 建立构念效度最为常用的方法 • (1)通过对变量(测验的所有项目,或者分测验) 进行因素分析,找到影响变量的共同因素,每个变 量在共同因素上的负荷量(即每个变量与共同因素 的相关),称做测验的因素效度
二、效度的类型
内容效度 内容效度指测验题目对所要测量的内 容范围的代表性程度。实际上是说题目 取样的代表性问题。
二、效度的类型
• 判断内容效度的方法: 一、专家评判法:请有关专家对测验题目与原 定内容的吻合程度作出判断。看题目是否代 表了规定的内容。 主要依据专家的逻辑分析,所以内容效度 有时也叫逻辑效度。
二、统计方法 • 1、题目样本和总体的相关 • 2、重测法 • 3、复本信度 • 4、内容效度比
• 编制任何测验都要考虑内容效度 • 内容效度主要应用于学绩测验和成就测验 • 职业心理测验中,如果工作表现是能够明 确界定的 ,则考察测验的内容效度也是 适合的。 • 智力和人格测验而言,考察其内容效度不 适当。
一、什么是效度?
• 效度(validity)就是指测量的有效性 测验对所要测量的特质准确测量的程度 两层含义: • 说测验能不能测到它要测的东西 • 测验对它的测量对象测量到什么程度
一、什么是效度?
• 公式:rxy=Sv2/ Sx2 • 从公式看效度也是一个理想的概念 • 实际中我们是通过寻求测验工具之外的 一些证据间接来证明或检验一个测验的 有效性
心理测量 第5章 测量效度
21 同异性相处时感到害羞不自在 22 感到受骗,中了圈套或有人想抓住您 23 无缘无故地突然感到害怕 24 自己不能控制地大发脾气 25 怕单独出门 26 经常责怪自己 27 腰痛 28 感到难以完成任务 29 感到孤独 30 感到苦闷
31 过分担忧 32 对事物不感兴趣 33 感到害怕 34 您的感情容易受到伤害 35 旁人能知道您的私下想法 36 感到别人不理解您、不同情您 37 感到人们对您不友好,不喜欢您 38 做事必须做得很慢以保证做得正确 39 心跳得很厉害 40 恶心或胃部不舒服
比例,作出尽可能详细的描述 ➢ 确定每道题所测的知识与技能,将自己的分类与测
验编制者的纲目作比较 ➢ 制定评定量表,从各方面对测验作出评定
复本法
克伦巴赫认为,内容效度可由一组被试在 取自同样内容范围的两个测验复本上得分的相 关来做数量上的估计。如果相关低则说明两个 测验中至少有一个缺乏内容效度,但无法确定 究竟哪一个缺乏内容效度。当相关高时,一般 推论测验具有内容效度,但也可能出现两个测 验有相同偏差的情况。
内容效度的应用
作为一种方法,内容效度较为适合于评价教育 成就测验和职业选拔测验。在这种测验中,测 验内容是知识、技能和实际工作的代表性样本。 内容效度不仅是评价教育成就测验和职业选拔 测验的较好方法,而且也是编制任何测验都应 加以考虑的基本方面。内容效度对标准参照测 验更为重要,因为在标准参照测验中我们主要 关心的是被试对一定范围内的知识、技能掌握 得如何。
这说明,对于一个具体的测量目标来说, 有表面效度的题目不见得真正有效,没有表面 效度的题目也可能有效,因此,表面效度不是 确定内容效度的客观指标。尽管如此,表面效 度对被试的动机、态度和行为会产生影响,从 而影响到测验的效度,因此在编制测验题目时, 对表面效度要适当控制。
心理测量信度与效度分析
心理测量信度与效度分析在心理学领域,心理测量是评估个体心理特征和行为的重要工具。
而信度和效度则是衡量心理测量工具质量的关键指标。
理解信度和效度对于正确使用和解释心理测量结果至关重要。
信度,简单来说,就是测量的稳定性和一致性。
想象一下,你用一把尺子去测量一个物体的长度,每次测量得到的结果都应该差不多,这就是信度的体现。
如果今天测量是 10 厘米,明天测量变成了 15 厘米,那这把尺子的信度就很差。
信度可以分为重测信度、复本信度、内部一致性信度等。
重测信度是指在不同时间对同一组被试进行相同测量,然后比较两次测量结果的一致性。
比如说,我们给一群学生在本学期初进行了一次数学能力测试,在学期末又进行了一次相同的测试,如果两次测试的成绩相关性很高,就说明这个测试具有较好的重测信度。
复本信度则是使用两个内容和形式相似但不完全相同的测量工具对同一组被试进行测量。
就像我们有两份相似的数学试卷,给同一批学生做,如果他们在两份试卷上的得分相关性高,那么复本信度就不错。
内部一致性信度常用于衡量一个量表内部各个项目之间的一致性。
比如一个关于焦虑的量表,如果其中的各个项目都能有效地反映焦虑这一概念,彼此之间高度相关,那么这个量表的内部一致性信度就比较高。
那么,信度高的测量工具有什么意义呢?首先,它能让我们更有信心地依赖测量结果。
如果一个测试的信度低,我们就无法确定测量结果是真实反映了被试的特征,还是仅仅由于测量的误差导致的。
其次,高信度有助于提高测量的准确性和可靠性,为进一步的研究和应用提供坚实的基础。
然而,仅仅有信度是不够的,效度同样重要。
效度是指测量工具能够准确测量出它所要测量的东西的程度。
比如,一个号称能测量智力的测试,如果实际上测的是知识储备,那就缺乏效度。
效度可以分为内容效度、效标关联效度和构想效度。
内容效度关注的是测量工具的内容是否涵盖了所要测量的概念的各个方面。
比如一份语文考试,如果能够全面考查学生的听、说、读、写能力,就具有较高的内容效度。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2)经验推测法
检查不同年级被试总分与每题分数变化情况 若随年级增高总分和每题通过率也升高,可 推论该测验基本测量了教学内容和目标。
检查不同年龄儿童测验分数的变化情况 是否随年龄增长而增加。
3)统计分析法
信度指标
复本信度 r高:内容效度高(也可能两个都低) r低:至少一个缺乏内容效度
最高作为测验表面效度可高些 其他测验则希望表面效度低些
3、评估方法
1)专家判断法(逻辑分析法)
含义
专家按测题和假设内容范围作出的符合度判断。
作法与程序
确定总体范围; 编制双向细目表; 选择测验项目; 制定评定量表。
局限
不同专家对内容范围会有不同的理解。 不同专家对同一测验内容效度的判断可能不
(二)信度与效度的关系
S
2 X
SV2
S
2 I
S
2 E
ST2
信度高,给 S²V 增加提供可能
能否提高效度,再看S²I大小 信度高不一定效度高
效度要高,S²V须占较大比重,S²T↑
效度高,信度必高
(二)信度与效度的关系
信度是效度的必要条件 非充分条件
S
2 X
SV2
S
2 I
S
2 E
(三)效度的特点
速度
推理
记忆
1.一般知识 5.加法 11.视知觉 15.数字游戏 19.词汇识别
段落理解 6.编码 2.句子填空 7.计数 3.词汇分类 8.点子 4.词义解释 9.直-曲
12.体积 13. 面积 14.打旗
16.问题推理 20.数字识别 17.系列填空 21.图形识别 18.演绎推理 22.实物-数
再测信度 首测---训练---再测---成绩提高
(二)构想效度
(construct validity)
定义 确定步骤 估计方法
(二)构想效度
1、定义
构想(结构)
解释行为的理论框架或心理特质的抽象概念。
结构效度
测验在多大程度上测量了所要测的理论构想。
应用
智力测验和人格测验
2、确定步骤
效度是一个相对的概念。 效度是两种误差的综合反映。 效度的确定要从多方面搜集证据。
二、效度评估的方法
根据人们对测验目的解释的不同: 内容效度 结构效度 效标效度
考研题
(一)内容效度
(content validity)
概念 评估方法 特性
(一)内容效度
1、概念
定义:测验对于应测内容的代表性程度。 内容高的条件:
否大方? 做游戏时,与人交往时,能与人合得来吗?
卡特尔16PF
16个特质,187个题目 乐群性,聪慧性,稳定性,持续性,兴奋性,
有恒性,敢为性,敏感性,怀疑性,幻想性, 世故性,忧虑性,实验性,独立性,自律性, 紧张性 分测验间关系的分析:特质间相互独立 分测验内项目关系的分析:项目相互联系
提出理论 提出假设 检验假设
解释被试的 测验表现
测验成绩 的假设
逻辑和实证 检验方法
关于情绪稳定性的假设
测验分数和心理学家的评价有某种程度的相关; 精神病人和正常人的测验分数是有区别的; 测验分数和同伴的评价有一定的关系; 测验分数与IQ没有什么关系; 测验分数和性别没有关系。
关于智力的假设
①相容效度
concurrent validity 含义
测相同结构的各种测验间应有较高的相关。 求一个新编测验与另一已知结构测验间的相关。
②区分效度
含义
某一特定测验的分数与已知测量不同结构的 测验分数无关。
相关高
说明新测验的效度有问题。
③因素效度
含义
通过对一组测验进行因素分析,找到影响测验分 数的共同因素,每个测验在共同因素上的负荷量 即每个测验与共同因素的相关,称作测验的因素 效度。
②内部一致性法
目的
推断测验是否测量单一特质
方法
极端组比较法(extreme-group method) 二列相关法:求题目与总分的相关 分测验与总分的相关
2)测验间的相互比较——测验间方法
含义
同时考虑几个测验间的关联,考察是否测同一结构。
常用方法
相容效度 区分效度 因素效度
基本原理 总变异=共同因素+特殊因素+误差
(美)霍尔津格(Holzinger)和斯温 福德(Swineford)的因素分析
取样:芝加哥校区
被试:145名7~8年级学生 内容:实施24个心理测验 结果:
4个基本因素 图--词测验和数--图测验的功能不明显。
24个心理测验的因素归类
词语
①内容效度法
确定取样内容范围后,利用这些资料 定义测验欲测的结构性质
韦氏智力测验 言语:常识、理解、算术、相似性、词汇、 记忆广度 操作:译码、填图、积木图案、图片排列、 图形拼凑
独生子女合群性测验
内容范围的描述
见到老师、小朋友是否主动打招呼? 愿意自己独自玩,还是与其他孩子一起玩? 语言较多还是较少,见生人时是否害羞?是
内容范围明确 取样有代表性
应用:
成就测验 职业选择测验
2、特性
特定性:测验编制者与使用者的关系 避免与表面效度( face validity )混淆
❖ 一个测验看上去适合欲测目的的程度,而非实 际适合欲测目的的程度。 ❖ 测验在使用者或被试主观上感觉有效的程度。 ❖ 编制测验应适当考虑表面效度。
智力随年龄而增长; 智力与学业成绩有密切关系; 智商是相对稳定的; 智力受遗传的影响。
3、估计方法
测验内方法 测验间方法 效标效度 实验法或观察法的证实
3、估计方法
1)对测验本身的分析——测验内方法
研究测验内部构造分析测验的结构效度。 具体方法
内容效度法 内部一致性法 分析解题的心理过程
(优选)心理测量学测验的效 度
一 、效度的概念
效度的定义 效度的特点
一、效度的概念
(一)效度的定义
信度S²X= S²T + S²E
随机 误差
有效方差 S²V
系统误差 S²I
效度 S²X= S²V + S²I + S²E
效度定义
效度
与测验目的有关的 有效SV2和实得SX2
的比值
效度
SV2
S
2 X
10.算术
问题
23.图-词
24. 数-图
3)效标效度的研究证明
测验效标
效标效度资料:提供与结构效度有关的信息。
4)实验法和观察法的证实
考察实验变量对X的影响
比较实验处理:前后分数的差异