第3节 测验的信度
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
2.计算分半信度 仍然可以采用常用的积差相关方法。但是这种相关系数实际上只是一半测验项目的相关系数,而再测信度和复 本信度却都是根据所有项目分数求得的。我们已经知道,在其他条件相同的情况下,测验越长,信度越高。因而分 半法经常会低估信度,必须修正,借以估计整个测验的信度。其中常用的修正公式是斯皮尔曼—布朗公式:
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
reliability) 四、评分者信度(scorer reliability) 评分者信度( 用于测量不同评分者之间所产生的误差。为了衡量评分者之间信度高低,可随机抽取若干份测验卷,由两位评 分者按评分标准分别给分,然后再根据每份测验卷的两个分数计算相关,即得评分者信度。 一般要求在成对的受过训练的评分者之间平均一致性达0.90以上,才认为评分是客观的。 当多个评分者评定多个对象,并以等级法记分时,可采用肯德尔和谐系数(w)作为评分者信度的估计。 估计信度的方法远不止上面介绍的几种,实际上有多少误差的来源,便有多少估计信度的方法。所以,在考察 测验的信度时,应根据情况采用不同的信度指标,原则上一个测验哪种误差大,便应该用哪种误差估计。有时一个 测验需要有几种信度系数,这样我们就能把总分数的变异数分成不同的分支。
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
图3.1 信度演示模拟图
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
图3.2 标准差模拟图
中华心理学习网 www.100xinli.com
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
【内容详解】 内容详解】 信度是评价一个测验是否合格的重要指标之一,也是标准化心理测验的基本要求之一。用同一个心理测验测量 同一个被试,如果今天所测的结果与明天所测的结果相差悬殊,那么测验就不会有人运用它。要知道一个测验是否 可靠,即信度是否高,我们就要知道什么是信度、信度怎么计算或估计,哪些因素会影响信度等重要的问题。 第一单元 信度的概念 一、信度的定义 (一)信度的理论含义 信度是指同一被试者在不同的时间内用同一测验(或用另一套相等的测验)重复测量,所得结果的一致程度。 如果一个测验在大致相同的情况下,几次测量的分数也大体相同,便说明此测验的性能稳定;反之,几次测量的分 数相差悬殊,便说明此测验的性能不稳,信度低。 信度只受随机误差的影响。随机误差越大,信度越低。因此,信度亦可视为测验结果受机遇影响的程度。系统 误差产生恒定效应,不影响信度。
2rhh rxx = 1 + rhh
式中
(公式3-8)
rhh 为一半分数的相关系数, rxx 为测验在原长度时的信度估计值。
斯皮尔曼—布朗公式为经验公式,它的假设条件是两半测验分数的变异数相等,但实际资料有时未必完全符合 这一条件。当假设不成立时,可采用弗朗那根(Flanagan)公式或卢伦(Kulon)公式直接求得测验的信度系数。
2 2 2 S X − SE SE = =1− 2 2 SX SX
(公式3-4)
因此,信度也可以看作在总的方差中非测量误差的方差所占的比例。
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
以图示方法可以更清楚地理解信度:
图3.3 图3-1中
2 2 ST 及 S E 信度的关系
2 式中 S X 是测验实得分数的方差,S 2 是测验真分数的方差, S 2 是测验误差的方差。 E T
在测量理论中,信度被定义为:一组测量分数的真分数方差与总方差(实得分数的方差)的比率。即:
rXX
ST2 = 2 SX
(公式3-3)
由于真实分数的方差是无法统计的,因此公式3-3还可以转化为:
rXX
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
reliability) 二、复本信度(alternate—form reliability) 复本信度(alternate— (一)含义与计算方法 又称等值性系数。它是以两个等值但题目不同的测验(复本)来测量同一群体,然后求得被试者在两个测验上 得分的相关系数,这个相关系数就代表了复本信度的高低。复本信度反映的是测验在内容上的等值性,故又称等值 性系数。在应用上,应该有半数的被试先做A本再做B本,另一半被试先做B本再做A本,由此可以抵消施测顺序的效 应。 同重测信度一样,复本信度也要考虑两个复本实施的时间间隔。如果两个复本几乎是在同一时间内施测的,相 关系数反映的才是不同复本的关系,而不掺有时间的影响。 (二)重测复本信度或稳定与等值系数 如果两个复本的施测相隔一段时间,则称重测复本信度或稳定与等值系数。稳定与等值系数既考虑了测验在时 间上的稳定性,也考虑了不同题目样本反应的一致性,因而是更为严格的信度考察方法,也是应用较为广泛的方法。 (三)评价 1.复本信度的优点是能够避免重测信度的一些问题,如记忆效果、学习效应等。 2.其局限性: (1)如果测量的行为易受练习的影响,则复本信度只能减少而不能完全消除这种影响; (2)由于第二个测验只改变了题目的内容,已经掌握的解题原则,可以很容易地迁移到同类问题。 (3)对于许多测验来说,建立复本是十分困难的。
第二单元 信度评估的方法 对信度的评估方法是没有通用法则的,因为不同的信度反映测验误差的不同来源,故每一种信度系数只能说明 信度的不同方面,因而具有不同的意义。 reliability) 一、重测信度(test-retest reliability) 重测信度(test- (一)含义与计算方法 又称稳定性系数。它的计算方法是采用重测法,即使用同一测验,在同样条件下对同一组被试者前后施测两次 测验,求两次得分间的相关系数。 (二)适用范围 1.由于人的多数心理特征如智力、性格、兴趣等,具有相对的稳定性,间隔一段时间,不会有很大变化。如 果两次测验结果所得的分数差别较大,说明此测验未能反映较稳定的心理特征,而受随机变量的影响。 2.要用测验分数对人做预测,此时测验分数的跨时间的稳定性更加重要。即使是随时间而变的特征,如知道 测验分数在短期内的稳定程度也是好的。
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
liability) 三、内部一致性信度(internal consistency liability) 内部一致性信度( 重测信度和复本信度主要考察测验跨时间的一致性(稳定性)和跨形式的一致性(等值性),而内部一致性信 度系数主要反映的是题目之间的关系,表示测验能够测量相同内容或特质的程度。 (一)分半信度(split-half reliability) 分半信度(split- reliability) 1.含义 分半信度指采用分半法估计所得的信度系数。这种方法估计信度系数只需一种测验形式,实施一次测验。通常 是在测验实施后将测验按奇、偶数分为等值的两半,并分别计算每位被试在两半测验上的得分,求出这两半分数的 相关系数。这个相关系数就代表了两半测验内容取样的一致程度,因而属于内部一致性信度系数。
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
(三)评价 1.用重测法估计信度的优点在于能提供有关测验是否随时间而变异的资料,可作为被试将来行为表现的依据。 2.其缺点是易受练习和记忆的影响: (1)如果两次施测相隔的时间太短,则记忆犹新,练习的影响较大; (2)如果相隔的时间太长,则身心的发展与学习经验的积累等足以改变测验分数的意义,而使相关降低。 最适宜的时距随测验的目的、性质和被试特点而异,一般是两周到四周较宜,间隔时间最好不超过六个月。
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
reliability) (二)同质性信度(homogeneity reliability) 同质性信度( 1.同质性主要代表测验内部所有题目 所有题目间的一致性。当各个测题的得分有较高的正相关时,不论题目的内容和 所有题目 形式如何,则测验为同质的。相反,即使所有题目看起来好像测量同一特质,但相关很低或为负相关时,则测验为 异质的。 此外,对于一些复杂的、异质的心理学变量,采用单一的同质性测验是不行的,因而常常采用若干个相对异质 的分测验,并使每个分测验内部具有同质性,这样每个分测验就能用来预测异质效标的某一方面。 2.几个计算同质性信度的公式如下: (1)库德—理查逊公式:库德(G.F.Kuder)和理查逊(M.W.Richardson)在1937年提出一组分析题目间一 致性以估计信度的方法,常用的是K-R20公式,在各测题难度相同或近似的情况下,还可采用计算更为简便的K- R21公式。 (2)克伦巴赫α系数:库德—理查逊公式只适用于答对一题记一分,答错无分的测题,不适用于多重记分的 测题,例如,多项选择人格测验、态度量表等。针对此种需要,克伦巴赫(J.crunbach)首创α系数来计算同质性 信度。
第3节 测验的信度 【考查要点】 考查要点】 1.信度的含义; 2.信度与误差的关系; 3.信度评估的方法:重测信度、复本信度、内部一致性信度和评分者信度; 4.影响信度的因素:样本、测验长度、测验难度和时间间隔。
中华心理学习网 www.100xinli.com
ห้องสมุดไป่ตู้
官方总站:圣才学习网 www.100xuexi.com
rXX = r =
2 XT XT
2 ST
2 SX
(公式3-5)
公式中的 r 2 是真分数标准差与实得分数的标准差的比值,称信度指数,公式是:
rXT =
ST
SX
(公式3-6)
可见信度指数的平方就是信度系数。
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
SE = S x 1 − rxx
公式中SE为测量的标准误, 是所得分数的标准差,
(公式3-7)
为测验的信度系数。从公式中可以看出,测量的标
准误与信度之间有互为消长的关系:信度越高,标准误越小;信度越低,标准误越大。
Sx
rxx
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
(二)测量标准误 信度系数仅表示一组测量的实得分数与真分数的符合程度,但并没有直接指出个人测验分数的变异量。由于存 在误差,一个人所得分数有时比真分数高,有时比真分数低,有时二者相等。理论上我们可以对一个人施测无数次 测验,然后求得分数的平均数和标准差。在这个假设的分布里,平均数就是这个人的真分数,而标准差则为测量误 差大小的指标。这在实际上是行不通的。 然而,我们可以用一组被试两次测量结果来代替对同一个人的反复施测,于是有了信度的另一个指标,公式是:
2 2 rxx 为信度,它是 ST2 和 S E 的分界线,越往左, S E 越大,信度越低;越往右, ST2 越大,信度越高。
中华心理学习网 www.100xinli.com
官方总站:圣才学习网 www.100xuexi.com
二、信度的指标 常见的有两大类共三种表示方法: (一)信度系数与信度指数 大部分情况下,信度是以信度系数为指标,它是一种相关系数。常常是同一被试样本所得的两组资料的相关, 理论上说就是真分数方差与实得分数的方差的比值,公式是:
官方总站:圣才学习网 www.100xuexi.com
(二)操作定义 每一个测验的实得分数(X)总是由真实分数(T)和误差(E)两部分构成的,用公式表示如下:
X =T + E
2 2 S X = ST2 + S E
(公式3-1)
如果我们讨论一组测验分数的特性时,可用方差代表具体分数,得到与公式3-2类似的公式: (公式3-2)