第六章 信度
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
教案
课题:《第六章 信度》 课型:新授课 课时:3学时 教学目标:
1.理解并能掌握再测信度、复本信度、内部一致性信度、评分者信度、目标参照测验信度、速度测验信度等各类信度系数的使用和计算方法。
2.了解系统误差、随机误差和抽样误差对测验信度的影响。
3.了解测验信度与测验长度、测验难度、测验项目区分度、测验内容同质性、评分客观性、测验程序统一性、被试差异的关系。
教学重难点:
∙ 教学重点:信度计算的各种方法、影响测验信度的因素和提高测验信度的方法。
∙ 教学难点:在教育测验中,该根据实际情况采用哪种信度的计算方法,以及各种信度计算方法的应用。
教学方法:读书指导法、讲授法、练习法。
教学过程:
一、导入:列举教育统计的实例,激发学生的学习动机。
二、感知:引导学生感知学习内容。
三、讲授:通过具体内容的讲授分析,促进学生进一步理解学习内容。
讲授主要内容如下: 第一节 信度的计算 一、再测信度
再测信度是一种表示测验稳定性的方法,它是用同一测验量表对相同的对象施测两次所得结果的一致性程度,大小等于同组被试在两次测验得分的相关系数,使用的是重复测验的方法。
其基本假设是测验所要测量的特质在短期内不会随时间推移而改变。
用途在于估计测验结果在一定时间内是否稳定、一致的特性,又称为稳定性系数。
根据数据资料的类型选择恰当的计算相关系数方法,一般是积差相关系数。
计算再测信度的基本模式为: 测验A1
−−−→−适当时距 测验A2
使用再测信度应注意的问题:
1.两次测验要有适度的时间间隔。
(被试遗忘和练习的效果基本上相互抵消) 2.适用于异质测验。
(包括几个不同的部分,测量不同的心理特质,相互不存在相关或相关比较低。
)
3.适用于测验题目不容易留下记忆的测验。
例如速度测验。
4.提高被试的积极性 二、复本信度
复本信度是一种表示测验等值性的方法,用来测量相同特质,在题目类型、数量、难度、指导语说明,施测要求等方面都相当,题目不相同的测验。
它是用两个复本测验测量同一组被试所得结果的一致性程度,大小等于同组被试两次测验分数的相关系数。
根据数据资料的类型选择恰当的计算相关系数方法,一般是积差相关系数。
计算复本信度的基本模式为:
1.在最短的时间内(连续或者稍加间隔)对相同被试进行两次测验。
其复本信度又称为等值性系数。
测验测验A1
−−−→−最短时距
测验B1 2.在一定的时间间隔对相同被试进行两次测验。
其复本信度又称为等值稳定性系数。
测验A1
−−−→−适当时距测验B1 使用复本信度计算等值性系数时,应注意: 1.测验的同质性与等值性 2.测验时距宜短
3.测验的信度系数由稍微偏大的倾向 三、内部一致性信度
内部一致性信度是测验内部所有题目的一致性程度。
一致性包含两层意思:所有题目测的是同一种特质;所有题目得分之间具有比较高的相关。
它是一个测验所测内容或特质的相同程度。
常用的分析方法有: (一)分半信度
1.分半法是将同一测验分成对等的两个部分,计算两部分得分的相关系数。
2.分半的方法:按照题目奇、偶分半;按照难度分半;按照内容分半。
3.计算分半相关系数后,通常用斯皮尔曼—布朗公式校正。
在这里,X1为校正后的信度系数; X2为分半信度系数。
(二)α系数
论文式测验的评分,没有严格的评分标准,以致对同一个题目,被试得分各不相同,在这种情况下,我们可以采用克龙巴赫所创造的a 系数公式。
该公式为:
2
12
1x rx 1x rx 2r +=μ
四、评分者信度
评分者信度一是指不同的评分者对同一批试卷的评分的一致性程度;二是指同一个评分者在不同时间下对同一批试卷的评分的一致性程度。
一般是计算评分者所评分数的斯皮尔曼等级相关系数或肯德尔和谐系数。
(一)斯皮尔曼等级相关公式 斯皮尔曼等级相关公式为:
在这里,rR 为等级相关系数;
D 为两位评分者对同一试卷所评等级之差; N 为被评分的阅卷数。
(二)肯德尔和谐系数
N)-(N K 121S W 3
2=
在这里,W 为肯德尔和谐系数;
S 为每题等级之和的离差平方和;
N
)R (R R R S 2
22i i ∑∑∑-
=-=i i )(
i R 题等级和; K 为评分者的人数; N 为被评定的人数或试卷数
目标参照测验是与一个既定的目标相比较,看被试是否达到了某一水平。
目标参照测验信度的计算方法有以下两种:
(一)前期目标预测测验和后期目标检测测验的比较法
先实施原已规定的较低水平的目标参照性测验,即先实施前期目标预测测验,确定一个决断分数,假定测验成绩超过决断分数的学生已具备学校下一阶段教材的条件,然后,让这一部分学生参加下一阶段的学习或训练,学校或训练之后,举行第二次测验。
假如上次测验
;
为所有被试总分的方差题得分的方差;
为所有被试第为题目数;
2
22
2
11X i X i S i S K S S K K ⎥⎥⎦
⎤⎢⎢⎣⎡--=∑α1)
-N(N D 61r 2
2R ∑-
=
中成绩达到目标的学生在第二次测验中的成绩也达到了所规定的目标,则可认为上一次测验的信度高;如果在上次测验中达到目标的许多学生在第二次测验中成绩很差,没有达到规定的目标,那就说明第一次的目标参照性测验的信度低,不可靠。
(二)复本法
以等值的两个量表测验相同的被试,但不计算两次得分的相关系数,而是根据确定在决断分数以上者为合格者,决断分数以下者为不合格者,算出两份测验中合格与不合格人数所占的百分比来判断测验的信度。
也即计算两次测验合格与不合格的一致性百分比,这一百分比就是测验的信度。
%
100⨯+=
测量的总人数两次测验均不合格人数
两次测验合格人数一致性百分比
六、速度测验的信度
速度测验是测验被试反应速度或回答问题的速度,它一般包括很多题目,以便让被试表现出最大能力。
对一个测验要判定其是否为速度测验,主要依据于被试测验得分的差异受速度影响的程度有多大,或者说在实得分数的总变异量中,速度的变异量所占的比率有多大,这个比率可由以下这个公式计算:
22
c
S T
S =速度变异量的比率
在这里,2c S 为各考生完成题数的方差;
2T S 为测验分数的方差。
如果所有被试都完成全部题目,没有个别差异,说明完成题目数未受速度影响,这时:
0S 2c =,0S 2
2c
=T
S
此测验即为纯难度测验。
此测验即为纯难度测验。
如果考生测验得分完全取决于答题速度的快慢,是的分数与完成题目数相对应,各考生实得分数的方差等于其完成题目数的方差,即:
22c S T S =,1S 2
2
c
=T S
此测验即为纯速度测验。
不过,速度测验与难度测验只有程度之分,所以,这个比率在0与1之间,越接近1,速度测验的成分越多。
速度测验的计算方法有:
(一)重测信度
重测信度是用同一测验试卷,以两次重复测验的方法估计测验结果的稳定性系数。
(二)复本信度
复本信度是用两个等值测验试卷,以复本的方法估计测验结果的等值性系数。
(三)内部一致性系数
1.将测验时间分为两半
2.将测验时间分为四段
为更清楚的理解信度的种类及运用,此处特别列出信度种类及应用一览表。
信度种类及应用一览表
信度种类方法信度系数操作应用
再测信度重测法稳定性系
数
用同一测验对同
一批被试进行前后两
次测验,两次测验间
隔一定的时间
用于了解测
验的特性是否稳
定
复本信度复本法等值性系
数
用两个平行等值
的测验对同一批被试
进行测试,两次测验
时间间隔要短甚至可
在同一时间施测
用于了解测
验题目是否等值
分半信度分半法内部一致
性系数
把同一测验分为
等值的两部分(如奇
数题与偶数题),求出
被试两部分所得分数
的相关系数,并用斯
皮尔曼-布朗公式校
正
用于考察测
验是否是对同一
个特性进行测试
评分者信度评分者
为两人采用
斯皮尔曼等
级相关法;评
分者为三人
评分的一
致性系数
将不同评分者对
同一被试的测验(主
要是论文式的测验)
的评判情况进行比
较,求出评分的一致
用于了解几
位评分者评分是
否一致
及以上时,采用肯德尔和谐系数法
性系数
注:本书介绍了估计内部一致性系数的两种方法,即分半法与克龙巴赫α系数法,本表所列的分半信度只是估计内部一致性系数的一种方法。
第二节 影响测量信度的因素 一、系统误差
系统误差是由于量表有问题或评分标准过宽或过严等原因导致测验结果成倾向性的偏大或偏小。
因而系统误差虽然导致测验不准确,但不影响测验结果的稳定性或可靠性,所以不影响测验信度。
二、随机误差
随即误差是由于各种偶然因素的影响而使测验产生的误差。
它主要表现在,用同一种方法多次测验相同被试时,测得的结果不完全一致。
因而随机误差没有规律性,它是随机发生的,没有固定倾向。
所以,随机误差必然影响测验信度,导致随机误差产生的因素很多,有量表的特点,有测验的程序,有测验中环境的影响,也有被试在测验过程中身心状态等。
三、抽样误差
抽样误差是指由于测验中被试之间的差异造成的误差。
描述被试之间差异程度的最好特征量的标准差或方差,而方差的大小正好反映测验的信度系数。
由于信度是指实测值与真值相差的程度,用公式描述这一相差程度为: X=T+E
在这里,X 为实得分数; T 为真分数; E 为误差分数。
同样,实得分数的差异量来自于真分数和误差分数的差异量,用公式表示为:
222x S E T S S +=
在这里, SX 为实得分数的方差; ST 为真分数的方差; SE 为误差分数的方差。
于是,信度可定义为真分数方差与实得分数方差的比率,即:
2
2
T S x S r =
可见,ST 在SX 中占的比重越大,信度也就越高,所以,真分数越是大小悬殊,参差不齐,信度也越高。
第三节 提高测量信度的方法 一、测验信度与测验长度的关系
测验信度与测验的长度有密切关系。
测验的长度是指测验所包含的题目的多少程度。
如果一个测验包含的题目很少,测验愈短,则测验得分越容易受试题取样偶然因素的影响,测验的信度就会降低,增加测验的题目,延长测验的长度,不仅可以缩小试题抽样的偶然因素的影响,也可以使学生扩大得分的范围,愈能反映学生的真实水平,使信度系数增大,提高测验的可靠性。
测验长度和测验信度的关系,可以用斯皮尔曼—布朗公式表示:
1111
)1(1r n nr r m -+=
在这里,rm 是比原始测验长n 倍的测验的信度; rn 是原始测验的信度; n 是增加长度的增加系数。
随着测验长度的增加,测验的误差可能或多或少地抵消,分数越来越取决于被试的水平,因而能获得关于被试的较为准确的评价。
二、测验信度与测验难度的关系
当测验项目难度太大时,被试大部分都得低分,分数形成正偏态分布;当测验项目难度太小时,被试大部分都得高分,分数形成负偏态分布。
在这两种分布情况下,分数分布的范围和分数之间的差异都较小,因而实得分数的方差也较小。
因为
2
2
2
22x 22T 1S S x E x E x S S S S S r -=-==
所以,当实得分数的方差小时,信度系数也小,过难过易的测验都会使得实得分数的方差变小,从而使信度降低。
当然,测验项目的难度值还必须保持差距不大,也就是项目于项目之间难度不能差距太大,否则将降低测验信度。
所以,要提高测验信度,应使难度的范围缩小,即尽量使各题的难度接近。
三、测验信度与测验项目区分度的关系
项目区分度是指测验项目队被试实际水平的区分程度。
具有良好区分度的测验,实际水平高的被试应得高分,实际水平低的被试应得低分。
项目区分度将影响测验信度,因为只有当测验具有良好区分度时,测验结果才较稳定可靠。
否则,被试成绩的可信度低。
下表是R.L.艾伯于1962年发表的区分度与测验信度的关系表。
区分度与测验信度的关系
区分度(D ) 信度 0.1225
0.16 0.42
0.20 0.63
0.30 0.84
0.40 0.915
0.50 0.949
由上表可知,测验信度是随区分度的提高而增长,可见,要想达到理想的测验信度,提高试题的区分度是一个好方法。
四、测验信度与测验内容同质性的关系
同质的测验内容,可以使信度偏高。
因为性质相同的测验内容,它的各项目之间的内部一致性就搞,那么,其测验结果的信度也就偏高。
因此,为了提高测验信度,要求测验内容应具有同质性,不要在一个测验中安排许多性质不同的内容,致使测验结果不可靠。
五、测验信度与评分客观性的关系
评分是否客观将直接影响测验的信度。
因为信度系数是由实得分数的方差计算而来的。
如果评分不客观,则实得分数不可靠,那么实得分数的方差也将受到影响,测验信度也将降低。
在测验的评分过程中,为了尽可能客观地评分,要制定容易掌握的评分标准,或一卷多评,或一人只评一题,提倡流水线的评卷。
六、测验信度与测验程序统一性的关系
测验程序统一性是指在测验过程中,要求被试的准用时间和条件都应当相同,特别是测验时间要充分而且要有所限制,测验开始时的指导语、分发回收试卷的方法、回答被试问题的方式等都要妥善安排,程序要统一。
七、测验信度与被试差异性的关系
被试差异越大,测验中实得的分数差异就越大,使实得分数的方差也就越大,当实得分数的方差增大时,信度系数也就随之增大。
在测验中,要加大被试之间的差异,一方面可增大样本容量,另一方面可以坚持随机分层抽样。
因为,随机分层抽样以及增大样本容量有助于扩大被试之间的差异,从而达到提高测验信度的目的。
四、巩固:通过习题和实操,帮助学生运用、巩固知识。
教学反思:
本章内容是学习教育测量的重要内容,涉及信度的计算、影响测验信度的原因和提高测验信度的方法,教学着重在于让学生能根据实际情况灵活运用信度的各种计算方法,掌握与信度相关的因素和方法。
教学设计上力求将理论和教育现实结合起来,创造问题情境,强化
理解。
受到教学条件的限制,教学方式方法比较单一,与学生的交流比较缺乏,对学生的学习困难的针对性帮助较为欠缺。
学习评价方式也比较单一。