第五章 效度 作业

合集下载

第五章效度

第五章效度
内容效度、构想效度、预测效度、同时效度 ? French、Michbel 内容效度、构想效度、效标效度
二、内容效度
(一)内容效度及基本保证条件 1、定义 内容效度(content validity) 是指测验项目所涉及
的内容对欲测内容范围的代表性程度。或者说所 测内容对要测内容范围行为取样的代表性,又称 推理效度、逻辑效度。 2、内容效度的基本保证条件 要获得较高的内容效度,必须具备两个基本条件: 1)欲测的内容范围必须定义清楚,界限分明。
(2)二列相关系数 适用条件:测验分数和效标分数都是连续变量,其中一个变
量被人为分为两类
(3)四分相关系数 适用条件:当测验分数和效标分数都是连续变量,且每一个
变量的变化都被人为地分为两类
(4)φ相关系数 适用条件:当测验分数与效标分数都是真正的二分变量
(5)列联相关系数 适用条件:当测验分数与效标分数其中一个变量不止分为两
? 表面效度指被试或其他未受过专门训练的 人员对测量有效性程度的估计
? 表面效度不能算是一种效度,它不反映测 验实际测量的内容,但可取得被试的合作。
? 成就测验需较高的表面效度,而人格测验 则需较低的表面效度。
(五)内容效度的优缺点
? 优点:对测验内容的详细描述是编制任何测验都 应借鉴的
? 缺点:
四、效标关联效度
(一)定义、种类、运用 1、定义 是指测验对个体的效标行为表现进行估计的有效程度。 又称实证效度、经验效度、准则关联效度 2、分类(收集效标的时间)
? 同时效度:效标资料与测验资料同时获得,如机械能力倾向测验。 ? 预测效度:效标资料后于测验资料获得,如MBA考试。
3、应用(二者本质区别)
2. 尽量不让评定者知道以前的测验结果,防止评 定时产生主观倾向。

第五章效度

第五章效度

3、效标和效标测量:
效标,即衡量测验有效性的参照标准,指的是 可以直接而且独立测量的我们感兴趣的行为。
效标可以分为两个层次,其一是理论水平的观 念效标,其二是操作定义水平的效标测量。
4、常用的效标
(1)学业成就; (2)实际工作表现 (3)特殊训练成绩 (4)精神病诊断 (5)等级评定 (6)效标团体的比较 (7)先前有效的测验
(二)构想效度(construct Validity)
1954年提出,有人翻译为构思效度,也有叫结 构效度。它是指测验能够测量到理论上的构想 和特质的程度,即测验的结果是否能证实或解 释某一理论的假设、术语或构想,解释的程度 如何。
(三)效标效度
1、定义:又称实证效度,反映的是测验预测个 体在某种情境下行为表现的有效性程度。
空间想象能力 67 1 2 4 6 4 6 1 2 2 3 1 35 23
测验成绩
00403106308
一年后几何测 65 7 6 5 4 6 7 3 6 5 4 6 70 62
验成绩
02588282088
1 110011010011 1
5、效标效度的表示方法 (1)相关法:
(2)命中率法
是当测验用来做取舍的依据时,用其正确决定 的比例作为效度指标的一种方法。命中率的计 算有两种方法,一是计算总命中率,另一种是 计算正命中率。
(3)命中率法
效标成绩 测验预测
成功(+)
失败(-) A(失误)
成功(+) B(命中)
失败(-) C(命中) D(失误)
总命中率:PCT

命中 命中 失误 100%

A
CB BC
100% D
正命中率 : PCP

心理测量学 第五章 效度(用)

心理测量学 第五章  效度(用)

b YX r XY
sY sX
0
0 . 923

a=57.5-0.923×69.4=-6.56 Yˆ =-6.56+0.923X
如果我们已知一组人的测验得分,我们可以 根据上式得到他们的效标成绩平均值的预测 值: X=76时, Yˆ =-6.56+0.923×76=63.6 X=55时, Yˆ =-6.56+0.923×88=74.7 预测值不是一个确定值,只是一个估计值, 可以被理解为所有获得某一测验分数者的平 均效标分数值。就是说,所有在测验上得76 分的人的效标分数的平均分为63.6,在例1 中,测验中实际得76分的人的效标平均分为 59.5,测验得88分的人的效标平均分为79.5。
三、影响效标关联效度的因素
(一)样本 这种影响来自两个方面:一是样本的含量,二是样 本的代表性。 (二)基础率 基础率是经选择的总体中具有某种与测验目的有关 的特质的人数比例。极高与极低的基础率,运用测 验都是得不偿失的。 (三)录取率 录取率是根据测验选拔出的人数与全体受测者的比 例。录取率越低,选拔的有效性越高。录取率越高, 错误选择的可能性越大。
2. 方差比例。根据效度定义,效度是有效 分数方差在所得分数方差中所占比例。这只 是一种理论概念,在实际的效度系数的计算 中,效度分数的平方可以解释为在效标分数 的方差中可以用测验分数来解释的百分比,
r XY
2

S YX SY
2
2

r XY =效度系数
S YX
2
SY
2
=由测验所决定的效标分数方差 =效标分数方差
例1 为了考察高等教育自学考试数学试卷的 效度,有关单位在自学高考的高等数学考试 之后,请30名考生参加了某重点大学的高等 数学结业考试。这些考生在两次考试上的成 绩如下表。 计算自学高考数学试卷成绩与普通大学数学 考试成绩之间的相关系数:见附件1

Chapter5效度

Chapter5效度

策 N 正确 错误
拒绝 拒绝
2020/8/13
决策的可能结果 32
泰勒-罗赛尔预期表
2020/8/13
33
2020/8/13
34
增益效度
增益效度(incremental validity):由于 应用测验而在决策中提高的效度。
2020/8/13
35
例子:
• 假设你是一家公司的人事部经理。有100 个人申请某一职位。根据以往公司招聘 员工的资料,你了解到申请该职位的平 均成功率为60%。现在你手头上有个针 对该职位的测验,效度为0.7,而因额度 限制,你只能招收30人。
• 或测验使用者的预定目的与实测结果相 吻合的程度。
–这个测验测什么? –测得有多准?
2020/8/13
5
效度的性质
• 效度是针对测验结果的 • 效度是针对某种特定的测验目的的
–尺子可以用来度量长度,但不能用来度量重 量,即便每次度量的结果都完全一样。
–16PF是用来测人格的,如果那来测智力的话, 就缺乏效度 。
• 3.命中率:当使用测验进行决策时,决策的正命中
率和总命中率可以作为效度的指标。
2020/8/13
26
总命中率=命中人数/总人数
正2020命/8/13中率=被录取的成功者/录取人数
27
2.2.5 效标关联效度的实际应用问题
• 1. 统计的显著性
样本量对相关系数显 著性的影响
2020/8/13
相关显著性与样本量之间 的关系(p < .05 水平)
2020/8/13
41
内部一致性方法
• 人格测验常用
–题目分数与总分相关 –分测验与总分相关
注:这种考察方法一般只能根据结果推论出测验是测单

第5章效度_PPT幻灯片

第5章效度_PPT幻灯片

3、经验推测法
这种效度是通过实践来检验效度。如儿 童发展量表是否有效,需要经过实践调查。
(三)内容效度的特性 表面效度(重点):是由外行对测
验作表面上的检查确定的,它不反映 测验实际测量的东西,只是指测验表 面上看来好像是测量所要测的东西。
编制测验时,表面效度需要考虑。
最高行为测验,如智力测验、成 就测验,需要较高的表面效度。
第三节 影响效度的因素
一、测验本身的因素 二、测验实施中的干扰因素 (一)主试的影响因素 (二)被试的影响因素 三、样本团体的性质 (一)样本团体的异质性 (三)干涉变量 四、效标的性质
一、测验本身的因素
如词汇和句型不能过于太难,如低年级 小学生,要用拼音和图形来注解。测验取 材、测验长度、试题类型、难度、区分度 及编排方式等都会影响效度。
• 1、如果某测验的效度系数是0.70,则在测 验中无法作出正确预测的比例是( )。
• (A)0.30 • (B)0.51 • (C)0.49 • (D)0.70
• 2、一个测验所测量的与所要测量的心理特 点之间符合的程度,指的就是测验的( )。
(A)信度 (B)难度 (C)区分度 (D)效度
• 3、好的效标应具备的条件包括( )。 • (A)效标测量本身必须有效 • (B)效标必须具有较高的信度 • (C)效标可以客观地加以测量 • (D)效标测量的方法经济实用
典型行为测验却要求较低的表面效 度,如大多数人格测验,如UPI中的25 题“想轻生”。
二、构想效度
(一)什么是构想效度 定义:是指测验能够测量到理论上的构
想或特质的程度,即测验的结果是否能 证实或解释某一理论的假设、术语或构 想,解释的程度如何。
建立构想效度的三步

第五章 效度

第五章 效度


观念效标和效标测量

同一个观念效标可有多个效标测量
①效标测量必须真实地反映观念效标的重要侧面;
②效标测量必须稳定可靠;
③效标测量必须客观,避免偏见; ④在保证有效性的前提下,效标测量必须尽可能简 单、省时、花费少。
“大学学习成功”?
实证效度的估计方法:


相关法 区分法 命中率
命中率:用某智力测验对1万名儿童进 行鉴定的结果 测验鉴定 为弱智 真正弱智 真正正常 合计 240 70 310 测验确定 为正常 60 9630 9690 合计 300 9700 10000


如何确定内容效度? ◆ 专家判断法:“逻辑效度” “双向细目表” ◆ 统计分析法:复本信度(等值性系数) ◆ 再测法

为什么编制问卷时需要双向细目表?
原因一:它是设计试卷的蓝图,使命题者明确测验的目标, 把握试题的比例与分量,提高命题的效率和质量。 原因二:它对于审查试题的效度也有重要的指导意义,包括 两个维度(双向)的表格,反映测验内容、测验目标。
第五章 测量效度
——你的测验准吗?
第一节 效度概述
一、效度的含义 效度——是指一个测验或量表实际能测 量出其所要测的心理特质的程度。 相对性 综合反映随机误差和系统误差 要从多方面收集证据
CTT理论假设:
SX2=SV2+SI2+SE2
效度的数学定义:
S r S
2 xy
2 v 2 x


补充: 信度与效度的关系 信度是测验和自己/严格平行的测验的相 关程度 效度是测验和某个效标测验之间的相关, 此效标不必是平行测验

各种效度策略的恰当使用:
内容效度最适于测量具体属性的测验

第五章测量效度

第五章测量效度

第五章测量效度第五章效度一、多项选择题1、效度与信度的关系()A、信度高是效度高的充分非必要条件B、测验的效度受它的信度制约C、信度高是效度高的必要非充分条件D、测验的效度不受它的信度制约2、内容效度主要应用于()A、智力测验B、职业测验C、人格测验D、成就测验3、结构效度主要应用于()A、智力测验B、职业测验C、人格测验D、成就测验4、内容效度的确定方法有()A、逻辑分析法B、复本分析法C、再测法D、经验推测法5、结构效度的估计方法有()A、测验内部寻找证据法B、测验之间寻找证据法C、实证效度法D、MTMM法E、因素分析法F、相关法G、经验推测法6、效标特点有()A、多样性B、复杂性C、特殊性D、时间性一、填空题1、效度的种类主要有、、。

2、多种特质—多种方法矩阵法是和方法的综合运用。

3、实证效度可以被分为和。

4、一般来说,如果效标测量要想较好地体现观念效标,效标测量本身就必须是、和,而且必须和。

5、在考虑效标与分数的相关时,有一个因素是必须忠实的,即测验分数与效标之间是否符合的问题。

三、名词解释1、效度2、效标3、表面效度4、效标污染四、判断题1、一般来说,最佳行为测验往往表面效度高,其他测验则希望表面效度低。

2、结构效度的大小首先取决于实现嘉定的心理特质理论。

3、信度不高的测验也可以有很高的效度。

4、在评价一个测验的效度时,可以不考虑测验使用的功利率。

5、增加测验的长度可以提高测量效度。

五、简答题1、简述什么是效度。

2、影响测量效度的因素有哪些?3、怎样提高测量效度?参考答案:一、1、BC 2、BD 3、AC 4、ABCD 5、ABCDE 6、ABCD二、1、内容效度、结构效度、实证效度2、相容效度区分效度3、同时效度预测效度4、有效可靠客观实用5、线性关系三、1、效度是指一个测验或量表实际能测出其所要测的心理特质的程度。

2、效标就是衡量一个测验是否有效的外在标准,它是独立于测验并可以从实践中直接获得我们所感兴趣的行为。

第五章 效度

第五章  效度

ˆ 这里, Y 为预测的效标分数;
S X 和 SY 分别为效标分数与测验分数的标准差.
X为测验得分。
效标关联效度的关键是选择好效标。一个好的效标必 须具备以下几个条件:(1)可靠性,即效标测验必须具有 较高的信度,如果效标测验不稳定,就不能与本测验有恒 定的关系.相关系数也就不能科学地解释同时或预测效度; (2)有效性,即效标测验本身必须是有效的,如果效标测 验本身缺乏有效性,则无法准确确定本测验的同时效度或 预测效度;〔3)客观性,即效标测验必须尽量客观 标准化.力求排除主观偏见,特别是防止效标污染的影响; (4)实用性.即效标应尽量使其用法简单、省时、花费少、 讲究经济实用。
三、效标关联效度
效标关联效度是指测验分数与作为效标的另一独立测验结果之间 的一致性程度。一般是用本测验与效标测验去测同一组被试得到的 两组分数的相关系数表示。 所谓效标,是检验测验效度的参照标准。效标实际上是本测验 所想测量或要预测的特性或功能,这些特性和功能通常以另一独 立测验的结果来表示。因此,效标是估计效标关联效度的主要根 据,所以效标必须确实能反映某个方面的特性和功能,才能成为估 计测验效度的依据。在运用效标进行测验时.还要避免效标污染。 所谓效标污染,是指由于主试知道某个人(或某个集体)的原来测验 成绩,存有成见,凭印象给分.影响了在效标测验中对某个人(或 某个集体)的成绩评定。
第一节 效度的估算
效度的估算与效度的类型相关,对于测验效度 的类型,不同学者有不同的分类方法。美国心理 学会1974年发行的《教育和心理测验的标准》一 书,正式采用将效度分为内容效度、构想效度和 效标关联效度三大类的方法。目前在教育与心理 测量中,应用最广泛的就是这种效度分类方法。
一、内容效度
内容效度是指测验内容与预定要测的内容之间 的一致性程度。也可以说是指测验内容对所要测 验的全部内容的取样代表性程度。取样代表性是指 测验题目能最大限度地代表预测的内容范围。因 此,一个测验要具有较高的内容效度必须具备两个 条件,其一是测验内容范围明确,其二是取样具有 代表性。

第五章 测量效度_PPT幻灯片

第五章 测量效度_PPT幻灯片

第五章 测量效度
第二节 效度的估计
二、实证效度 (一)实证效度的含义、种类及作用 2 实证效度的种类和作用 预测效度表达的是测验与将来进行的效标之间的
效度关系。 预测效度用于预测某个个体将来的行为。
第五章 测量效度
第二节 效度的估计
二、实证效度 (一)实证效度的含义、种类及作用
2 实证效度的种类和作用 “某人具有这种能力吗?” “某人会有这种能
反映。 3 判断一个测量是否有效要从多方面收集证

第五章 测量效度
第一节 效度概述
(二) 效度的数学定义及其基本原理
回顾前面介绍的CTT的内容: 一组测验分数的总变异(S2X)包括三部分: 真实的(稳定的)、与测量目的有关的变
异(S2V) 真实的、但出自无关来源的变异(S2I) 随机误差的变异(S2E)
第二节 效度的估计
一、内容效度 (二)内容效度的确定方法 2 内容效度的统计分析方法: Cronbach提出,两测验的相关法 3再测法:
处理后的重测法
第五章 测量效度
第二节 效度的估计
二、实证效度 (一)实证效度的含义、种类及作用 1 含义:实证效度是指一个测验对处于特定情境
中的个体的行为进行估计的有效性。即以实践的 效果来作为检验标准,所以也叫效标关联效度。
联效度,是指一个测验实际测到的内容与所要测 量的内容之间的吻合程度,也即测验项目在多大 程度上表示了所要测定的特征范畴。
如,如果要从一批待业人员中挑选机床工,所用 的测验项目就应该能表明机床操作能力的范畴。
第五章 测量效度
第二节 效度的估计
一、内容效度
(一)含义及应用范围
2 内容效度通常包括欲测的知识范围,以及 该范围内各知识点所要求掌握的程度两个 方面。一般以双向细目表的形式呈现。

第五章效度

第五章效度

1、影响测量效度的因素
(4)所选效标的性质 有的学者认为,智力测验分数与教师对学生等级评定之 间的效度系数只要在0.30~0.50之间就可以了,因为 教师的评价会受到与智力无关的其他因素的影响。与此 类似,相同科目的标准化测验成绩与教师评价之间的相 关应达到0.60~0.70,两种不同智力测验或标准化测验 之间的相关应达到0.60~0.80等等。 所有这些不同的要求,主要是因为所用效标的不同而提 出来的。
式中 是测验x增长至原来的K倍后,新测验与 效标(y)的相关(效度系数);K为测验增长的 倍数; 原测验的效度系数; 为原测验的信
度系数。
1、影响测量效度的因素
(2)测验的实施过程 一个测验在实施过程中,如不遵从指导语的要求、
或出现以外干扰、或评分计分出现差错等等,都会降低 测量效度。 (3)接受测验的被试
(二)构想效度(construct Validity)
1954年提出,有人翻译为构思效度,也有叫结 构效度。它是指测验能够测量到理论上的构想 和特质的程度,即测验的结果是否能证实或解 释某一理论的假设、术语或构想,解释的程度 如何。
(三)效标效度
1、定义:又称实证效度,反映的是测验预测个 体在某种情境下行为表现的有效性程度。
一般情况下,被试的应试动机、情绪、态度、身体 状态等等,都会影响测量信度,造成较大的随机误差, 进而影响测量的效度。
就整个被试团体而言,如果缺乏必要的同质性,则 很可能会得到不恰当的效度资料。
1、影响测量效度的因素
(4)所选效标的性质
由于同一个测验可以有不同的效标,同一 个观念效标也可以有不同的效标测量,所以在 评价测量效度时,所选效标的性质是很重要的 考虑因素。
3、效标和效标测量:

第五章 测量效度_PPT幻灯片

第五章  测量效度_PPT幻灯片
2.根据教育目标的要求,将测验目的具体化为不同层 次的测验目标。教育测验目标一般采用布鲁姆教育目 标分类学中的分类标准,将测验目标分成识记、理解、 应用、分析、综合、评价六个层次。按不同层次的测 验目标对知识点进行分类。
3.确定每一层次目标在整个测验项目中所占的
比重。
4.编制测验双向细目表。
验的效度的考察。
内容效度对各种用于人员选拔和安置的职
业测验也是适用的。职业测验关心的是被试是
否具有从事某项职业的知识、技能等,那么要
明确某项职业所需的全部知识和技能,再对这
些知识和技能进行取样,取出一个有代表性的
样本。
内容效度不适合用于能力倾向测验和人格
测验。
缺点:缺乏理想的数量指标,因而妨碍了信息 交流和各测验的相互比较。
一、内容效度
(一)含义
内容效度是指一个测验实际测到的内容与所要测
量的内容之间的吻合程度。
一个测验要有内容效度必须具备两个条件: 1.要有定义得完好的内容范围
20以内的加减法 中小学生的心理健康的特点和表现。 2.测验项目应是已界定的内容范围的代表性样本
如果把所有的内容视为一个总体,那么测验项目可 以视为一个样本,这个样本要具有代表性,这个样 本能够代表总体的程度就是内容效度。
最高行为测验要求有较高的表面效度,典型
行为测验却要ቤተ መጻሕፍቲ ባይዱ较低的表面效度。
(二)估计方法 1.专家判断法 2.统计法
复本法 (克龙巴赫法) 再测法 内容效度比
专家评定法
这是一种定性分析的方法,由专家对测验项目 与所涉及的内容范围进行符合性判断。
我们以教育测验为例来说明应遵循的程序。
1.确定所要测量的全部内容范围。比如要考察某一学 科测验是否有效度,就要根据教材和教学大纲列出这 门课程的全部知识点。

5第五章 测量的效度

5第五章 测量的效度

⑴表面效度是由外行对测验作表面上的检查所确定的; 内容效度是由够资格的专家详尽地、系统地对测验作评 价而建立的。 ⑵前者只考虑题目与测量目的之间明显的、直接的关系; 后者则同时考虑题目与测量目的和内容总体之间逻辑的
微妙关系。
⑶表面效度高的题目内容效度不一定高,表面效度低的 题目内容效度也不一定低。
1.专家判断法
⑴含义:请有关专家对测验题目与原定内容的符合性做出判断,看测 验题目是否代表规定的内容。由于这是一个逻辑分析(定性分析) 的过程,也叫逻辑效度。
⑵具体操作步骤:以教育测验为例
测验编制者 专家
①明确欲测内容的范围,包括知识范围和能 ①明确欲测内容的范围,规定 力要求两个方面 好各纲目的比例; ②将测验目的具体化为不同层次的测验目标 ②确定每个题目所测的内容, ③确定每一层测验目标在整个测验中的比重;与双向细目表对照,比较、记 录; ④编制双向细目表; ③制定评定量表,作总的评价 ⑤确定每一小格中的测题数量; ⑥按比例随机抽取测验题目;
(1)测验内容效度有时可以作为测验的结构效度的证据。
比如编制语文能力测验时,对内容范围的界定描述为: ▪ ▪ ▪ 对词汇下定义 对语言作类比推理 在句子中正确运用文字的能力。
这实际上就是对“语文能力”的构想下了定义。
(2)考察测验的同质性 通过计算被试在每个题目上的反应与测验总分的相关
结果会怎样?
用一杆秤来秤一个人的高度 用成人智力量表来测儿童的智力
妈妈,我的脚现在几点钟?
一个稳定但无效的智力测验
1. 你出生在几月份? 2. 你母亲姓什么?
3. 1+1=?
4. 一个星期有几天? 5. 下面哪个是三角形? A. □ B. ○ C.▲

戴海崎《心理与教育测量》笔记和课后习题详解(测量效度)

戴海崎《心理与教育测量》笔记和课后习题详解(测量效度)

第5章测量效度5.1 复习笔记一、效度概述(一)效度的概念(1)效度是指一个测验或量表实际能测出其所要测的心理特质的程度。

关于效度的概念,要特别注意以下几点:①效度是一个相对的概念。

这种相对性表现在两个方面:效度是相对于一定的测量目的而言的;心理特质是较隐蔽的特性。

②效度是测量的随机误差和系统误差的综合反映。

③判断一个测量是否有效要从多方面收集证据。

(2)一组测验分数的总变异包括三部分:真实的(稳定的)、与测量目的有关的变异;真实的、但出自无关来源的变异;随机误差的变异。

在测量理论中,效度被定义为:在一列测量中,与测量目的有关的真实变异数(由所要测量的变因引起的有效变异)与总变异数(实得变异数)的比率,即:这里单位代表测量的效度系数,代表有效变异数,代表总变异数。

(二)效度与信度的关系信度高是效度高的必要而非充分的条件,测验的效度受它的信度制约。

二、效度的估计(一)内容效度1.内容效度的含义内容效度是指一个测验实际测到的内容与所要测量的内容之间的吻合程度。

估计一个测验的内容效度就是去确定该测验在多大程度上代表了所要测量的行为领域。

2.内容效度的应用范围内容效度主要应用于成就测验,用来测量被试掌握某种技能或学习某门课程所达到的程度。

在这种测验中,题目取样的代表性问题是内容效度的主要考察方面。

内容效度也适合于某些用于选拔和分类的职业测验。

这种测验所要测的内容就是实际工作所需的知识和技能,编制这种测验应首先对实际工作做较细的分析。

内容效度不适合用于能力倾向测验和人格测验。

3.内容效度的确定方法(1)逻辑分析法内容效度的确定方法主要是逻辑分析法,其工作思路是请有关专家对测验题目与原定内容范围的吻合程度做出判断。

其具体步骤是:①明确欲测内容的范围,包括知识范围和能力要求两个方面。

②确定每个题目所测的内容,并与测验编制者所列的双向细目表(考试蓝图)对照,逐题比较自己的分类与制卷者的分类,并做记录。

③制定评定量表,考察题目对所定义的内容范围的覆盖率、判断题目难度与能力要求之间的差异,还要考察各种题目数量和分数的比例以及题目形式对内容的适当性,等等,对整个测验的有效性作出总的评价。

效度

效度

1、结构低估:指测验未能包括重要的结构成 分。如一个算术知识测验只包括代数知识, 而不包括几何知识。 2、无关结构方差:指测验分数为那些与所测 结构无关的因素所影响。如一个智力测验, 结果受阅读理解水平、阅读速度、知识宽泛 度等因素影响。
(二)结构效度construct validity
结构(construct):指用来解释和描述人
C.主要用于智力、人格等测验。
4.确定结构效度的步骤和方法:
A.首先依据某一理论结构,提出各项该心
理特质的假设。 B.依据理论假设,作出测验成绩的推论。 C.运用实证或逻辑的方法来检验测验结果 是否符合推论假设。
初中生集体责任感
三个维度: 集体责任认知(1-14题) 集体责任情感(15-25题) 集体责任行为(26-40题)
(四)多种特质—多种方法矩阵
详细结论: 如果测验分数很少受不同测量方法的 影响,说明分数变异主要是由心理特 质所决定的,说明测验的结构效度较 高。
第一类相关:主对角线上的数值:相同的
方法测相同的特质:信度指标 第二类相关:实线三角形数值:相同的方 法测不同的特质:方法指标 第三类相关:虚线三角形数值:不同的方 法测不同的特质:方法*特质的交互作用指 标。 第四类相关:虚线三角形之间对角线上的 数值,不同方法测相同特质:效度指标。
二.结构效度的估计
(一)测验内部寻找证据法(within-
test method) ; (二)测验之间寻找证据法(betweentests method) ; (三)实证效度法( criterionrelated method) ; (四)多种特质—多种方法矩阵(matrix method )。
目的有关,好象是测量所要测的东西。

第五章-测量效度

第五章-测量效度

第五章测量效度第一节效度概述一、什么是效度(一)效度的概念效度是指一个测验或量表实际能测出其所要测的心理特质的程度。

例如,一个小学生数学测验的成绩若同时受到其数学和语文能力的影响(如,有的人看不懂题意等)则认为实际测到其所要测的特质(数学能力)的程度不高,因而它是个效度不高的数学测验。

(二)对效度概念的理解1、效度是一个相对概念。

这种相对性表现在两个方面:(1)效度是相对于一定的测量目的而言的。

因为效度是指实测结果与所要测查的特质之间的吻合一致性程度,因此,一个测验或量表是否有效主要是看它是否达到了测量目的。

测量某一特质有效的量表,若用它来测量另一种特质,则必然会无效或效度极低。

例如,测量身高很有效的钢尺若用它来测量体重则必定无效。

又如,人的测量智力很有效的量表若是用来测量性格则必定是效度不高的。

(2)心理特质是较隐蔽的特性,只能通过他的行为表现来进行推测,因此,心理测量不可能达到百分之百的准确,而只能达到某种程度上的准确。

不过,由于任何一个量表的编制都有其目的,所以在正常情况下,一个量表的效度也不会为零。

例如,一个数学测验,无论其文字表达如何艰深,它总能测到一定的数学能力,即总会有一定的效度,而不会效度为零。

(3)判断一个测量是否有效要从多方面收集证据。

表面上看来,测量的效度就是实际测量的结果与我们所要测量的心理特性的吻合一致性程度,获取效度的办法也就是拿实测结果与心理特性来比较。

然而,心理特性是我们要测的东西,是未知的,通常也是比较抽象和隐蔽的。

因此,不能把它直接拿来与结果比较,而必须先从多种角度把这种特性描述清楚。

由于描述心理特性的角度可以是理论上的,也可以是实践上的,途径很多,因此,获取测量效度的途径也是多样的。

例如,智力测验是否测得了人的智力,我们就可以从理论上做逻辑分析,也可以从他在工作、学习中的实际表现等许多方面加以证实。

(4)效度和信度一样,也是指一列测量的特性,也是一个构想概念。

心理测量 第5章 测量效度

心理测量 第5章 测量效度

21 同异性相处时感到害羞不自在 22 感到受骗,中了圈套或有人想抓住您 23 无缘无故地突然感到害怕 24 自己不能控制地大发脾气 25 怕单独出门 26 经常责怪自己 27 腰痛 28 感到难以完成任务 29 感到孤独 30 感到苦闷
31 过分担忧 32 对事物不感兴趣 33 感到害怕 34 您的感情容易受到伤害 35 旁人能知道您的私下想法 36 感到别人不理解您、不同情您 37 感到人们对您不友好,不喜欢您 38 做事必须做得很慢以保证做得正确 39 心跳得很厉害 40 恶心或胃部不舒服
比例,作出尽可能详细的描述 ➢ 确定每道题所测的知识与技能,将自己的分类与测
验编制者的纲目作比较 ➢ 制定评定量表,从各方面对测验作出评定
复本法
克伦巴赫认为,内容效度可由一组被试在 取自同样内容范围的两个测验复本上得分的相 关来做数量上的估计。如果相关低则说明两个 测验中至少有一个缺乏内容效度,但无法确定 究竟哪一个缺乏内容效度。当相关高时,一般 推论测验具有内容效度,但也可能出现两个测 验有相同偏差的情况。
内容效度的应用
作为一种方法,内容效度较为适合于评价教育 成就测验和职业选拔测验。在这种测验中,测 验内容是知识、技能和实际工作的代表性样本。 内容效度不仅是评价教育成就测验和职业选拔 测验的较好方法,而且也是编制任何测验都应 加以考虑的基本方面。内容效度对标准参照测 验更为重要,因为在标准参照测验中我们主要 关心的是被试对一定范围内的知识、技能掌握 得如何。
这说明,对于一个具体的测量目标来说, 有表面效度的题目不见得真正有效,没有表面 效度的题目也可能有效,因此,表面效度不是 确定内容效度的客观指标。尽管如此,表面效 度对被试的动机、态度和行为会产生影响,从 而影响到测验的效度,因此在编制测验题目时, 对表面效度要适当控制。

第五章 效度

第五章 效度
• 用不同方法得到的效度指标是否一致? • 不同的效度之间是否有矛盾?
二、交叉效度分析
• 交叉效度分析是考察效度概化能力的一种方法,只涉及被 试样本的概化。这种方法是对两个独立取自同一总体的样 本分别建立预测源-效标关系,看从一个样本中得到的效度 资料是否适用于另一样本。
• 计算测验效度所依据的样本必须与选择项目所依据的被试 样本不同。如果使用同一样本,则会使效度系数假性偏高, 实质是循环论证。
测验偏倚(test bias)是指用不适用于被试的标准来解释被 试的测验得分,因而造成解释的偏差。
4.所选效标的性质 (1)测量行为与所选效标的相似性越高,效度越高。
(2)测验分数与效标行为之间是否是线性关系,如果不是线 性关系,求皮尔逊相关就会低估效度。
(3)效标本身的测量越可靠,效度就可能越高。 5.测量的信度
二、提高测量效度的方法
(1)精心编制测验量表,避免出现较大的系统误差 (2)妥善组织测验,控制随机误差 (3)创设标准的应试情境,让每个被试都能发挥正常的水 平 (4)选好正确的效标,定好恰当的效标测量,正确地使用 有关公式
第六节 效度资料的概化
➢ 概化:是指在一定条件下得出的结论能否适用于 其他情况。测验的效度和信度一样,都与特定 情境有关,只有在具体情境下的效度,而没有 笼统谈论某一测验的效度。
预测误差
➢效度系数的平方表示由测验分数能说明的 准则测量方差的比例。
➢预测误差的标准误
Sest SY 1rX2Y
2.人员的分类与安置
➢根据被试在效标上的预测结果而做出处理 或安排。
• 选拔(selection):拒绝或接受 • 安置(placement):根据被试在单一效标
上的预测结果而做出处理或安排。 • 分类(classification):使用两个或两个
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第五章效度作业
一、单选题
⒈.如果研究表明,高考分数与大学学习成绩有高度正相关,那么可以认为,对于大学学习而言,高考分数具有较高的(b )。

A.表面效度
B.预测效度
C.构想效度
D.区分度
2.一项新测验与现存的经常引用的同类测验的相关,是( b ) 的证据。

A.内容效度
B.实证效度
C.预测效度
D.构想效度
3.如果一个测验在测验使用者、测验人员尤其是受试者看来是有效的,那么,此测验具有
(a )。

A.表面效度
B.内容效度
C.构想效度
D.效标关联效度
4.下列哪一概念与其他概念不属于一类?(c )
A.实证效度
B.预测效度
C.构想效度
D.同时效度
5.北京师范大学是一所强调教学和研究并重的大学,校方以学生对教师的评价衡量教师的工作绩效,校方的效标可以被认为是( c )。

A.适当的 B.污染的 C.有缺陷的 D.无效的
6.如果开放性分数与销售技巧的同伴评价存在正相关,那么你可以认为(d )。

A.开放性分数越高,销售技巧的同伴评价也越高。

B.开放性能使人更有效的进行销售。

C.销售工作能使人更开放的面对各种不同的经历。

D.各种经历越丰富,越能使人具有开放性并在销售工作上做的更好。

7.假设你要测查一个儿童的智力,你测量了他眼眉以上头的周长,你测量了5次,得到了一个平均值,然后将平均数乘以7得到该儿童的IQ,这种测量IQ的程序(c )。

A.不可信,也无效
B.不可信,但有效
C.可信,但无效
D.即可信又有效。

8.你是一所全国重点高中的校长,你有500名最有才华的学生,当他们毕业时,你发现他们高考的数学成绩和在校的各门功课总的平均成绩只有0.13的相关,解释这个相关的最好理由是(b )。

A.预测源的全距限制(这个样本的高考分数很高)
B.预测源的信度低(高考是不可靠的,削弱了相关)
C.抽样误差变异(实际得到相关低只是一种偶然性)
D.效标不可靠
9.刘明想雇佣更好的旅行代理,所以他想知道在职业能力测验X1的基础上是否应该添加一个动机定向测验X2,在预测工作绩效上,X l和X2一样好,当X l和X2的相关是哪种情况时,你建议增加X2以获得最大的渐进效度?(a )
A. r=+1.00
B. r=0.00
C.不需要添加X2,因为X2与X1预测同一个东西。

D.与X l和X2的相关没有关系,因为X2与X1预测同一个东西。

10.刘明是上面提到的旅行社的总经理,他告诉你他们花了很多钱用这个测验,所以他想知道该测验预测工作绩效的有效性,如果该测验有很好的效标效度,你最有力的证据是:( a )
A.该测验的内容与工作绩效评定的内容紧密相配。


B.该测验恰当而可靠的测查了能力,工作绩效评定也反应了能力。

C.即使在做校正前,该测验与工作绩效评定的相关也很高,达到0.42。

D.就任意一个工作绩效评定值来说,它反映真分数的置信区间非常小(95%)。

11.从信度与效度的关系看,信度是效度的(b )。

A.充分条件
B.必要条件
C.基本条件
D.重要条件
12.内容效度主要用于考查(d )的有效性。

A.智力测验
B.人格测验
C.特殊能力测验
D.成绩、技能测验
13.通过对测验所含项目作内容的系统考察,以确定由这些项目所构成的测验,是否是测验测特质行为领域的代表性样本。

这样的程序获得的效度叫做(d )。

A.效标关联效度
B.内容效度
C.一致性效度
D.结构效度
14.用重测相关估计信度时存在的局限是(a )。

A.对所测特质的稳定性有限制
B.对测验项目的难度排列有限制
C.只能在一定时间间隔内重测才能得到重测相关
D.对测验的内容范围、测验难度、试题类型等有限制
15.在心理与教育测量中,测验误差与信度的关系是(c )。

A.系统误差控制得好,测验信度就越高。

B.随机误差控制得较好,测验信度就越高。

C.各方面误差因素都控制得好,测验信度才会高。

D.通过多次反复施测才能减少误差,提高测验信度。

16.下列四个概念中与效标效度无关的是( d )。

A.同时效度 B.预测效度 C.效标测量 D.因素效度
17.在心理测验中,效度是指所测量的与所要测量的心理特点之间符合的程度,或者简
单地说是指一个心理测验的(b )。

A.稳定性 B.准确性 C.可信度 D. 区分效度
18.在测验理论中,效度被定义为在一组测量中,与测量目标有关的真实方差(或称有效方差)与( d )方差的比率。

A.误差 B.系统误差 C.随机误差 D.总
19.( a )指的是测验题目对有关内容或行为取样的适用性,从而确定测验是否是所欲测量的行为领域的代表性取样。

A.内容效度 B.构想效度 C.效标效度 D.区分效度
20.专家判断法,就是请有关专家对测验题目与原定内容的符合性做出判断,看测验的题目是否代表规定的内容。

如果专家认为测验题目恰当地代表了所测内容,则测验具有内容效度。

因此,内容效度有时又称( a )。

A.构想效度
B.效标效度
C.区分效度
D.逻辑效度
21.在编制测验时,效度是重要的要考虑的特性。

如果是编制最高行为测验,除了内容效度,也要求有(a )。

A.较高的表面效度 B.较好的专家判断 C.较好的外行判断 D.主观性
22.计算两种测验之间得分的相关,其中一种测验是待研究效度的,另一种是已有效度证据的成熟的测验,但两者测量的是同一种心理特质,假如相关高,说明新测验所测量的特质确实是老测验所反映的特质或行为。

这种方法叫(c )。

A.区分效度 B.逻辑效度 C.相容效度 D.构想效度
23.(c )是检验测验分数能否有效地区分由效标所定义的团体的一种方法。

A.相关法 B.区分法 C.命中率法 D.失误法
24.效度系数的实际意义常常以决定系数来表示,如测验的效度是0.80,则测验的总方差中有(b )的方差是测验分数的方差。

A. 36%
B. 46%
C.56%
D.64%
25. YX Y a b X ∧=+式中Y ∧
是(a )
A .预测的效标分数 B.纵轴的截距 C.斜率 D.测验分数
26.如果其他条件相同,样本团体越同质,分数分布范围越小,测验效度就越(b )。

A. 高
B. 低
C. 大
D.接近1
27.效标与测验分数之间的相关,用皮尔逊积差相关系数的前提是假设两个变量的关系是(d )的分布。

A. 线性
B.非线性
C.抛物线
D. 正态曲线
28.效标测量本身的可靠性如何亦是值得考虑的一个问题。

效标测量的可靠性即效标测量的(d )
A.区分度
B.常模
C.信度
D.效度
29.( d )是指一个测验看起来好像是测量所要测量的东西的程度。

A.构想效度
B.同时性效度
C.相容效度
D.表面效度
30.如果测验的效标资料是经过一段时间后获得的,这样所得的效度称(b )。

A.同时效度
B.预测效度
C.构想效度
D.内容效度
31.当测验用于强调维护社会公平时,应重视( b )。

A.总命中率
B.正命中率
C.基础率
D.录取率
32、除了描述性语言外,内容效度的确定也可以采用一些统计分析方法,如(bd )(此题为多选)
A.计算两个评分者一致性
B.复本相关
C.专家推测
D.再测法
二、简答题
1、什么是测量效度?它与信度的关系怎样?
2、效度的影响因素有哪些?如何提高测量效度?
三、假设用某种测验选拔员工100人,经过一段时间的工作检验,得到以下四组数据:正确接受为42人,正确拒绝为34人,错误接受为10人,错误拒绝为14人。

请算出该次选拔的总命中率。

相关文档
最新文档