第七章 区分度
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
本表由艾伯(R.L.Ebel)于1962年发表,是假定全部试题(100题) 的难度均为0.50时所预测的信度系数。由上去可知、测验信度是 随区分度的提高而增长的,且信度增长的速度较区分度增长为快。 区分度从0.20增至0.30,仅增加了0.10,而信度却由0.63增至 0.84,增加了0.21。因此,要想达到理想的测验信度,提高试题 的区分度是一个好方法。
Z rb 1 Y pq N
在这里,N为总人数,其余符号与前面相同。此题中
Z
0.76
1 0.65 0.35 0.37 20 z 2.6 Z 0.01 2.58
2.6
由此,此作文题与测验总分有极其显著相关,说明区分度很高。
(四) 相关法 如果测验的两个变量都是二分变量,则可用计算由相关系数来表 示某项目的区分度。这种方法一般是根据以测验总分划分为合格、 不合格两组的被试在某一题上通过、未通过的人数列成四格表来计 算。
(二)主观性试题区分度的计算 主观性试题区分度的计算公式为:
XH XL D N H L
在这里: XH为高分组测验总分; XL为低分组测验总分; H 为某题最高得分; L为某题最低得分; N为考生总人数的25%. 计算步骤为: (1)按测验总分由高到低排序; (2)确定测验总分的25%被试为高分组,最低的25%被试为 低分组; (3)列出试题分析表; (4)将有关数据代人区分度计算公式。
例如: 高分组通过某试题的百分比为80%(0.80),低分 组通过该试题的百分比为20%(0.20),则该试题的区分 度为: D =0.80 - 0.20 = 0.60 如果高分组全部通过某一试题,即通过百分比为 100%(1.00),低分组没有一个通过,即通过百分比为 0.则该试题的区分度为: D=1.00-0=1.00。 如果高分组和低分组的通过百分比相等,则该试题的 区分度为0。
p 11 20 0.55
St
q 9 20 0.45
2
X
2
N
2 X 105947 1417 16.66 N 20 20
由此得:
rpq 76.82 63.56 0.55 0.45 0.396 16.66
(二)点二列相关法 当测验的一个变量为连续变量.另一个变量为真正的二分变量 时,要用点二列相关系数表示某项目的区分度。 其计算公式为:
rpb X
p
Xq
St
pq
r 在这里: pq 为点二列相关系数;
X p 为考生答对某题的平均得分,
X q 为考生答错某题的平均得分;
p为答对某题人数占全体考生人数之比; q为答错某题人数占全体考生人数之比; q=1一p St为全体考生测验得分的标准差。 用点二列相关法求得的数值,也必须进行显著性检验,才能确 定项目区分考生水平的能力。检验方法仍然是直接查“相关系数 (r)显著性临界值表”.
二、相关法
用极端分组法求项目区分度,虽然易于理解,计算简 便,但由于只使用了高分组和低分组的数据,中间还有 部分数据没有参计算,因而所得结果不够准确,一般在 教师自编测验中使用。但在大规模的测验或标准化测验 中不便采用此法。一般可采用相关法分析项目的内部一 致性,即以项目分数与效标分数(效标分数不易得到时, 则以测验总分代替)的相关作为项目区分度的指标.相 关越高,区分能力越好。
第七章 区分度
区分度是测验对考生实际水平的区分程度。 区分度是测验项目分析的重要内容,它是作 为评价项目质量,筛选项目的主要指标与依 据。
第一节 区分度对测验的影响
区分度通常用D表示。D的取值范围在一1.00和十1.00之间,D
值越大,试题的区分能力越强。当D为正值时,说明试题是积极区 分,即高分组通过率高,低分组通过率低。D为负值时,说明试题 是消极区分,高分组通过率低,低分组通过率高。D为o时,说明试 题无区分作用。
由上表可知试题难度与区分度最大值的关系。虽然试题难度为 0.50时区分度达到最大值,但并不用要所有试题的难度都为0.50, 最好是各题难度在0.50土0.20之间,平均难度接近0.50为 最佳。
二、区分度与信度的关系
一个良好的测验,信度必须要高。测验的信度 与项目的区分度有着密切的关系.事实上,由试 题的区分度还可以估计测验的信度。整个测验中 各试题的区分度D值的平均数越高,测验的信度 就越高。D值的平均数与信度的关系如表9.2所 示:
其计算公式为:
r
A B C D A C B D
AD BC
检验计算出的 rΦ值是否达到显著性水平,还需将rΦ 值转 2 2 换成 值,再进行 检验。 将rΦ 值转换为 2 值的公式为: 2 2
N r
在这里:N为考生总人数。 2 值后,查 2 值表检验,其中四格表自由度 计算出 df=(2—1)(2—1)=1,在显著性水乎为 α=0.05或 α= 0.01上分别检验其显著性。
上面两个项日,项目8高分组有80%的学生通过,低 分组有30%的学生通过,显然这是一个与测验总分协 调的,能够区分不同水平学生的项目,这叫做积极区 分。项目9高分组有20%的学生通过,低分组有80% 的学生通过.高分组通过的人数反而不及低分组多, 虽然这类项目也有区分考生的作用,但区分的方向与 测验总分不一致,这叫做消极区分。 当D越高时,说明试题的质量越好,对于零相关和 负相关的试题应当淘汰。试题质量的好坏将影响整个 测验的质量。所以区分度是评价测验好坏的重要标准。
(一)积差相关法
当考生在试题上的得分与测验总分都属于连续变量时,可以采 用积差相关法计算试题的区分度。使用积差相关法计算项目区分 度时.必须保证测验具有较高的信度。 计算公式为: N XY X Y
r
N X X N Y Y
2 2 2
2
在这里:r 为积差相关系数; X 为考生某题得分; Y 为考生测验总分; N 为考总数。
由以上可以看出,要保证测验的质量,必须提高各项目的区 分度,因此,有人称试题的区分度是测验是否具有效度的指示器。 事实上.项目区分度也可以称之为项目的效度。 艾伯根据大量的测量实践经验提出了区分度评价题目的标准, 如表9.3所示,可供参考。
第二节
区分度的计算
计算区分度的方法比较多,试题类型不同计算 区分度的方法也不同,特别是客观性试题与主观 性试题在计算区分度方法上各异,下面分别进行 主要方法的介绍。
例如,45名学生考取大学的人数和在某题上通过的人数由表所示。 若以升学为效标,此题对学生是否有区分能力?
用相关法计算项目区分度的具体方法很多,我们在这 里仅介绍了常用的几种方法。虽然用不同方法计算出来 的相关系效的值不同,但经检验,结果是否达到显著性 水平却是相同的。在实际应用时.究竟采用什么方法, 应根据计算是否方便以及测验变量的性质来选择适当的 分析方法。
例如,设有12名考生参加数学测验.其中第6题得分为x, 测验总分为y,结果如表9.5所示。求第6题的区分度。
将表中各数据代入相关系数计算公式可得:
r
12 3810 48 915 12 236 482 12 71203 9152
0.60
由此可知第6题区分度为0.60。 r0.05 10 0.576 查“积差相关关系数r显著性临界值表”可得r=0.60> 0.576,因此,求得的相关系数r值达到了0.05显著性水 平,说明该题具有区分考生水平的能力。
X q (72 65 22 76 47 62 58) 7 57.43
p 13 20 0.65
q 7 20 0.35
St 16.66
Fra Baidu bibliotek
当p=0.65时,查正态分布表得r=0.370 4。 代人二列相关公式得: rb=0.76
检验二列相关系数的显著性用下列公式:
例如,20个学生参加语文测验的总分以及在一个选择题上 的得分如表所示。试计算选择题的区分度。
由上表数据可知:
X p (86 72 65 83 80 75 76 62 91 74 81) 11 76.82 X q (52 94 22 76 73 47 88 82 58) 9 63.56
(五)项目效度分析法 前面四种相关法都是用内部一致性计算区分度,这种 方法所要解决的问题是测验中所包含的试题是否与整个测 验协调一致。因此,这种方法是在假定整个测验具有足够 效应的基础之上进行的。如果测验有效度不高,那么即使 测验中的试题得分与测验总分具有内部一致性,但也不能 说明该题区分度较高。 测验项目的效度分折是要了解被试对某一试题的反应与 外在效标之间的关系。这类分机也是采用相关法,计算方 法与用相关法计算一致性完全相同,只是不取测验总分计 算相关,而是以外在效标分数来进行计算。采用这种方法 的关键是要确定好效标。
用项目效度和内部一致性的分析方法计算区分度,虽然计算公 式、计算步骤相似,都是计算相关,但因二者分析的依据不同、分 析所得的结果也常有很大的差异。有时,用项目效度和内部一致性 两种分析方法.可能会得到不同的结果,有些题目可能具有比较好 的项目效度,而与测验总分的相关则不太理想。 采用什么分析方法计算项目区分度,应根据测验的特质和种类来 决定。如果该测验所要测的是单一特质,即测验量表由同质性题目 所组成,宜采用内部一致性分析方法;如果测验是用来测量多种不 同特质的,用来考验效度的效标也是多种待质的组合,则适用项目 效度分析方法。例如在综合性的学科成绩测验或智力测验中就应该 强调试题与效标之间的相关程度,对这种测验如果过于追求试题对 测验总分的内部一致性,则会降低整个测验的效度。 因此,计算项目区分度时,要根据测验目的与测验性质的不同, 选用不同的方法,只有这样,才能正确判定测验项目的区分度。
一、区分度与难度的关系
试题的区分度与难度有密切的关系。试题难度过大或 过小,其区分度都较低。当难度值为1.00或0时,高分组 和低分组或全部通过得满分,或全部未通过得0分,这时 区分度都为0。这两种情况,都表示试题没有鉴别考生水 平高低的能力。所以.调整试题难度是提高试题区分度的 重要方法。由表9.1可说明区分度与难度的关系。
在这里: r b 为二列相关系数; Y为正态分布下P的曲线高度; 其他符号与点二列相关计算公式相同.
例如,表为20个学生在语文测验上的总分以及作文题上的得分情况。 试计算作文题的区分度。
以上数据小作文得分在37分以上(包含37分)算合格,否则算不合 格,由此可用二列相关法求作文题的区分度。
X p (86 52 94 83 80 75 76 62 73 91 74 81 88) 13 78.08
求出相关系数后.需进行相关系数显著性检验,检验 方法可直接查“积差相关系数(r)显著性临界值表”,根据 出df=n-2与显著性水平 0.05 或 0.01 ,查找相对应 的临界值。若求得的相关系数等于或大于该临界值.则说 明求得的相关系数结果具有显著义.也说明该项的区分度 达到显著水平。
一、极端分组法
极端分组法仍然是依照前面的方法将测验总 分排序,确定一定比例的高分组与低分组,然 后根据高分组和低分组在某项目通过率上的差 异比较,最后确定其区分度指标。
(一)客观性试题区分度的计算 客观性试题区分度的计算公式为 D=PH - PL D 为区分度: PH为高分组通过率; PL为低分组通过率。 计算步骤为: (1)按测验总分由高到低排序; (2)确定测验总分最高的27%的被试为高分组,最低 的27% 的被试为低分组; (3)分别求出这两组被试通过试题的百分比; (4)将算得的有关数据代人公式 D = PH - PL中。
经查“相关系数(r)显著性临界值表”: r0.05(18)=0.44.r p q = 0.396<r0.05(18)=0.44
所以该选择题与总分相关不显著,区分度较差。
(三)二列相关法 当测验总分和项目分数均为连续变量,而其中一个被 人为分为两个类别,欲研究它们之间的关系就要用二列相 关法。因此,当测验总分为连续变量,欲分析其中某一题 的区分度,人为地把它分为合格与不合格两种情况时,要 用二列相关系数表示试题的区分度。 其计算公式为: X p X q pq rb St Y