关于信度与效度课件

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
我们知道在进行测量时,误差是难免的,这就 使得真实值和测量值之间是不可能完全一致。 我们可以这样来表示真实值和测量值之间的关 系。
X=T+B+E
T表示真实值,B表示偏差即系统误差,E表示 测量误差即随机误差。由于系统误差很难分解, 因而有些书中的分解式将系统误差包括在真实 值之中,因而X可以简单地概括为X=T+E
5.1.2测评信度的分类
(一) 重测信度 又称稳定性信度,它用于分析两次间隔一定时间的评定或测定结 果之间的相关关系。这种方法通常是重复同样的测量来检验信度 信度系数可以用相关系数来表示。假如我们第一次测量时的观测 值是X,第二次的观测值是Y,那么重测信度就等于X与Y的相关系 数。
但重复测量时,我们要注意两次测量的时间间隔要恰当。如果时 间间隔太久,可能会发一些变故,影响到被调查者的态度,那么 前后的测量就会有很大的差异。
我们可以举例说明信度的问题:如果想知道 某人的体重,我们可以叫两个人来估计,一 个人的估计为150镑,另一个人的估计为300 镑,那么我们就可以认为,叫别人来估计体 重是非常不可信的方法。如果用磅秤 ,连续 测量两次的结果都是相同的,因而我们可以 说,在测量体重方面,用磅秤的方法要比叫 人来估计更可信。我们可以用信度系数来表 示信度的大小。
5.1.2测评信度的分类
(三)等值信度(复本信度)
等值信度是指以两个平行型的测评量表在最短时距 内施行两次所的结果的相关系数来评估的。
什么是平行型量表:
内容、形式和长度相同,难度(即有相同的平均数) 和差异程度(相同的标准差)也相同。
A型量表
最短时距
B型量表
相关系数为等值信度
5.1.2测评信度的分类
200 300 400 500 0.95 0.968 0.976 0.980
但是,增加测验长度的效果遵循报酬递减率, 测验过长是得不偿失的,可以通过上式确定一个测 验究竟要增长多少才能达到理想的信度水平。
注意:只有当新题目是与原题目选自同一总体,增 长测验才能改进信度。
随堂练习
1. 假设有一份由20题组成的
测验,rxx=0.50,若测验增加同质
性题目80道,则增长后的测验信度
rxx’是多少?
80 * 0 .5
按照公式:rxx’=Krxx/[1+(K-1)rxx]=
20 1 ( 80 1) * 0 .5
20
=0.8
随堂练习
2. 假设有一个包括 10个题目的测验,信度为0.60, 若把测验增加到80个题目,其信度将增加到多 少?
因此,我们在编制测验量表,抽选被试时,往往 要考虑选取不同层次的被试,以使得测验团体呈异质 性,从而使得信度提高。反之,当需要同质团体的信 度时,就应该尽量选取同一层次的被试。
二、题目的数量
一般说来,在一个测验中增加同质的题目, 可以使信度提高。即测验越长,信度越高。这是 因为测验加长,加大了分数分布的范围,可能改 进项目取样的代表性,从而能更好地反映受测者 的真实水平。即测验的项目越多,在每个项目上 的随机误差就可以互相抵消。
3. 对许多测验来说,建立复本是十分困难 的。
三、分半信度
(一)定义和计算
在测验无复本且只能施测一次的情况下,通 常用分半法估计信度,即将测题分成对等的两半, 根据各人在这两半测验的分数,用皮尔逊积差相 关公式计算其相关系数,作为信度指标。
分半信度考察的是两半题目之间的一致性, 故这种信度系数也称内部一致性系数。计算分半 信度仍然可用积差相关方法。
(二)分半的方法
要计算分半信度,首先是如何将测验分半, 以便得到最接近的可比较的两半。通常采用奇偶 分半法。使用此方法应注意: 1.一组解决同一问题或互相有牵连的题目应尽 量安排在同一半内。 2.当试卷中有任选题时不宜使用分半法,速度 测验也不宜用。
(三)校正公式
分半法求得的相关仅是半个测验分数相关,应使 用 “斯皮尔曼—布朗”公式加以校正,藉以估计整个测验的 信度。 1.斯皮尔曼—布朗公式
3. 一个包含40个题目的测验信度为0.8,欲将信 度提高到0.90,需要增加多少题目?
5.1.4信度检验: 计算不同的信度系数
一、重测信度(稳定性系数)
(一)定义与计算
1.定义 用同一种测验,对同一组受试者,前后施测 两次,再根据受试者两次测验分数计算其相关系 数,即得重测信度。
即 测验 时距(几分-几年) 再测验
(三)等值测验应符合的条件
等值测验可避免重测法的缺点,但所使用的必 须是真正的复本。复本应符合以下条件:
1. 各份测验测量的是同一种心理特性; 2. 各份测验具有相同的内容和形式; 3. 各份测验的题目不应有重复的地方; 4. 各份测验题目数量相等,并且有大体相等的 难度、区分度; 5. 分数分布(平均数和标准差)大致相等。
(四)注意事项
1. 两个测验必须在项目的内容、形式、数量、 难易、时限、指导语等方面相同或相似;
2. 两次测验的时间间隔要适当,若太短,由 于测验太相似被试可能厌倦,若太长可能又会因 新的学习而产生干扰。
(五)使用复本信度的局限
1. 只能减少但不能完全消除练习和记忆的影 响;
2. 由于第二个测验只改变了题目的具体内 容, 已经掌握的解题原则可以很容易地迁移到 同类问题。
关于信度与效度
5.1测评信度及检验
5.1 测评效度的概念
1、信度概念:测评结果的前后一致性。又称可靠性程度。 2、信度系数:用一样本在两种不同时间、不同情景条件
下或两组不同评价材料的评定结果之间的相关系数
(rxx) 。
信度系数越大,则说明该测量或评定方法的可靠性越 强,反之,则可靠性弱。
简单地说信度就是指测量数据和结论的可 靠性程度,也就是说测量工具能否稳定地 测量到它要测量的事项的程度。
式中,XA 、XB为同一被试在两个测验复份A、B上的分数, XA 、XB为A、B两型测验的平均分数,SA 、SB为A、B两型测验 的标准差,N为被试人数。
(二)误差来源
1. 测验两种形式是否等值: (1)测题取样是否匹配; (2)格式是否相同; (3)内容、题数、难度、平均数、标准差是否 一致。 2. 被试方面情绪波动、动机变化等。 3. 测验情境的变化,偶发因素的干扰。
来自客体的影响因素:
被试方面: 身心健康状况、动机、注意力、持久性、求胜 心、作答态度等均随时在变化中 测验内容方面: 试题取样不当、内部一致性较低、题数过少、题 意模糊等 施测环境方面: 施测现场条件,如通风、温度、光线、噪音、桌面好坏、 空间的阔窄等
另外几个重要的影响因素:
一、分数分布范围 二、测验长度 三、测验的难度 四、间隔时间
2.此方法适用于速度测验或人格测验,不 适于难度测验;
3.注意提高被试的积极性。
二、复本信度(等值系数)
(一)定义与计算测验上的得
分计算相关系数。
最短时距
测验复份A
测验复份B
因为它反映的是两个测验之间的等值程度,故 又称等值系数。
2. 计算方法
rxx =
∑ XAXB- ∑XA ∑XB/N NSASB
此种信度能表示两次测验结果有无变动, 反映测验分数的稳定程度,故又称稳定性系数。
2.计算方法
计算使用皮尔逊积差相关公式的变式:
rxx
X1X2 NX1X2 S1S2
(二)误差来源
1. 测验本身:测验所测的特性本身就不稳定, 例如情绪。
2. 被试方面:成熟、知识的发展并非人人都 等量增长,且练习因素、记忆效果也存在个体差 异。
信度系数要达到多高才可以接受呢?
一般能力与学绩测验的信度系数在0.90 以 上;人格测验的信度系数通常在0.80 以上。 当 rxx <0.70时,不能用测验对个人作评价,也不 能在团体间作比较;当 rxx ≥0.70时,可用于 团体间比较; 当rxx ≥ 0.85 时,可用于鉴别个 人。
为何要进行信度的衡量?
X2 11.00 X1X2 1324
5.1.2测评信度的分类
(二)折半信度 通常是在无副本且不准备重测的情况下,我们就用折半信度来计 算信度系数。 举例来说,如果有一份问卷,其中有十个问题涉及到女性歧视现 象。利用折半信度时,可将是个问题随机分成两组,每组有五个 问题,然后根据每组的测量结果来计算两组的相关系数,就 是折半信度,Rhh。但整个问卷的信度需要用校正公式来得到: Rxx=2Rhh/(1+Rhh)
增加测验长度的效果可以用斯皮尔曼—布朗公式 来计算:
rxx’=Krxx/[1+(K-1)rxx]
式中,K为改变后的长度与原来长度之比,rxx为 原测验的信度,rxx’为测验长度是原来的K倍时的信度 估计。一般来说,题目数量对相关系数的影响是递增
的。如表所示
题目 数量 10 相关 系数 0.50
50 100 0.83 0.91
3. 施测情境:偶发因素的干扰,如计时错误, 情绪波动,健康状况,动机变化等。
重测信度高,说明分数受被试状况和测验情 境变化影响小。这里题目取样并不影响重测信度。
(三)计算重测信度的几个假设
1.所测量的特性必须是 稳定的; 2.遗忘与练习的效果相同; 3.两次施测期间被试的学习效果没有差别。
(四)使用重测信度的优缺点
等值信度的实施技巧:为了抵消测评先后顺序效应,一 般要求有一半人先用A型量表进行测定,然后再用B型量 表进行测定;另一半人则先用B型,再用A型。二者间隔 时间要求保持在最短时距内。其范围为几分钟到几小时。
5.1.3影响信度的因素
主体
客体
影响信度的主体的因素
不严格按照规定实施测验、 制造紧张气氛、 给予特别协助、 评分主观
优点: 能提供有关测验结果是否随时间而变异的资
料,可作为预测受测者将来行为的依据。 缺点:
容易受练习和记忆的影响,前后两次施测间 隔的长短必须适度; 第一次尝试所发现的错误也 可能导致第二次反应的变化而增加误差变异。
(五)注意事项
1.两次测验的时间间隔要适当。最适宜的 时距随测验目的、性质及被试特点而异;
1. 假设有一份主观幸福感调查表,先后两
次施测于10名学生,时间间隔为半年,结果如表
所示,求该测验的重测信度。

被试
验 1 2 3 4 5 6 7 8 9 10
X1 16 15 13 13 11 10 10 9 8 7 X2 16 16 14 12 11 9 11 8 6 7
解:用计算器算出
S1=2.82,S2=3.38, X1 11,.20
图中大方框显示的是一个较大的异质团体在 两次施测中的分数分布,显然有很高的正相关.在 小方框中显示的是一个高度同质的亚团体,两次 分数几乎呈随机变化,相关接近于零.
(二)团体的平均水平 对于不同的团体,题目具有不同的难度。每个题目 在难度上的微小差异积累起来便会影响信度。
例如,同一量表对不同年龄,不同IQ水平的被试, 信度则不尽相同。
解:因不能再次测验,只能求分半信度。
步骤:
(1)计算出每个应试者的奇数题总分 (X1)和偶数题总分(X2),见下表

被试

1 2 3 4 5 6 7 8 9 10
X1 38 37 38 41 40 36 38 39 40 35 X2 37 37 36 39 39 34 38 39 39 36
随堂练习
rxx=2rhh/(1+ rhh) 其中,rhh为两半分数的相关系数, rxx为测验在原长 度时的信度估计。 此法假设:两半测验分数的变异性相等,但实际资料 未必符合此假设。 当两半不等值时,即上述假设不满足时,可采用下面 两公式之一:
例题:
例4:有一个由100题构成的量表施测于 10个高三学生。测验一次后,应试者即 毕业离校。现在怎样评介测验结果的信 度?
对信度系数要注意三点:
第一,在不同情况下,对不同样本,采用不 同方法会得到不同的信度系数,因此一个测验可 能不止一个信度系数;
第二,信度系数只是对测量分数不一致程度 的估计,并没有指出不一致的原因;
第三,获得较高的信度系数并不是心理测量 追求的最终目的,它只是迈向目标的一步,是使 测验有效的一个必要条件。
误差变异越大,信度越低。除前面谈到的几种误 差来源外,还有以下几个因素会影响信度系数的大小:
一、被试样本(分数分布范围)
(一)团体的异质性
信度系数受分数的分布范围(全距)的影响,而 分数范围与被试团体的异质程度有关。一个团体越异 质,其分数范围越大,信度系数也就越高。相反,相 对同质的团体分数则较为均匀。如图所示:
相关文档
最新文档