Rasch模型在英语试题质量分析的应用

现代商贸工业
2021年第20期
163
基金项目:教育部哲学社会科学研究后期资助项目一般项目(14J H Q 016
);贵阳市白云区科学技术局项目㊂作者简介:何必凯(1994-)
,男,汉族,贵州镇远人,贵州师范大学心理学院应用心理学在读硕士,研究方向:心理统计与测量㊂R a s c h 模型在英语试题质量分析的应用
何必凯
(贵州师范大学心理学院,贵州贵阳550025
)摘 要:运用R a s c h 模型对一份高中英语学业测试试卷进行质量分析,
从试题难度,难度与学生能力匹配及试卷区分度来评估试题质量㊂结果表明,试卷整体信效度较高,能较好对学生的英语能力进行测试㊂最后进行学业诊断分析并提出教学建议㊂
关键词:R a s c h 模型;
试题质量分析;学业诊断中图分类号:G 4 文献标识码:A d o i :10.19311/j
.c n k i .1672-3198.2021.20.078 经典测量理论框架下,题目难度的评价方法比较简单,一般以题目的正确率(客观题)㊁得分率(主观题)来表示㊂但这种难度存在如下问题:难度指标与实际
意义相悖㊂正确率㊁得分率的理论取值在[0,1
]之间,该值越高,代表题目越简单;该值越低代表题目越难㊂难度系数的绝对值与其代表的含义相悖,因此,正确率㊁得分率等通过率指标更应称为 容易 度㊂难度的计算受学生群体的能力分布影响㊂通过率受学生群体总体水平的影响,同一题目,在整体水平较
高的学校,通过率高,则可能被判定为简单题;在整体
水平较差的学校,通过率低,却又可能被判定为难题㊂即便是同一群体,不同时间段得到的通过率也不是稳
定的㊂因此,通过率仅可作为参考,不能作为评价题目难度的指标㊂
本研究引入R a s c h 模型进行题目难度估计,
该模型有跨群体㊁跨情境的稳定性,解决了经典测量理论框
架下以通过率作为难度指标的弊端㊂
1
难度
R a s c h 模型将题目平均难度设定为0
,题目难度分布在[-ɕ,+ɕ]
之间㊂以0为中心,可以将题目难度划分为5个等级,难度在(3,1
]之间称为难题,难度在(1,-1]之间称为中等题,难度在(-1,-3]之间称为简单题,难度大于等于3的难题㊁难度低于-3的简单题均称为极端难度题目,如表1所示㊂统计结果显示简单题㊁中等题占总题数的79%难度配比比较合理,但存在4道极端难题㊂
表1 题目难度分布
难度
等级难度区间听力单选情境完形填空阅读理解基础知
识应用
题目数
极端难题(+ɕ,3]314难题(3,1]1116413中等题
(1,-1
]8
113935
39简单题(-1,-3]113
6
1
3
24
极端
简单题
(-ɕ,-3
) 从不同题型来看,
听力题㊁单选㊁情境和完形题以中㊁
低难度为主,难题较少;阅读理解和基础知识应用以中㊁高难度题目为主,简单题较少㊂R a s c h 模型通过拟合指数评价题目㊁数据的质量,最常用的指标为I n f i tM N S Q ,
该指标的理论最佳取值为1,当I n f i tM N S Q 为1,代表实际数据与R a s c h 模型
的预测完全相同㊂一般认为拟合指数取值在[0.7
,1.3
]之间时,题目与数据拟合较好,未出现数据与理论假设严重不符的情况㊂因此,拟合指标可以用来评价在一次考试过程中单个题目的质量,若拟合指数超出相关理论建议的范围,
则认为该题对整个测评的贡献不大,质量较差㊂本次数据分析,发现有4个题目拟合指数大于1.3,占总题目数的5%㊂进一步分析后发
现,这些题目均为难题,其中阅读理解2个题目㊁听力1个题目㊁单选和1个题目㊂主要原因是有难度题容易出现猜测答题的情况,猜测答题,尤其是那些猜对题目答案的被试,实际作答情况与模型预测不符,最终导致不拟合㊂2 难度与学生能力匹配度
R a s c h 模型将题目难度和学生能力统一在同一个量尺上,实现了学生能力与题目难度的直接比较㊂基
于这一特征绘制的题目难度
学生能力分布图可以非常直观得反应整套试卷难度与学生能力的匹配程
度㊂本次测试的题目
学生分布图如图1所示㊂图形从左向右分成三个区域,左侧 M e a s r
列称为R a s c h 量尺,
即衡量题目难度和学生能力的一把 尺子 ㊂该尺子的刻度与传统意义上的尺子不同,其参照点0点在尺子的中间㊂R a s c h 模型将所有题目的平均
难度设定为0㊂中间的 S t u d e n t s 列代表学生,以 *
和 . 表示,每个 * 代表3名学生,低于三人时用 . 表示㊂分布位置越往上,代表能力水平越高,反之则代
表能力水平越低㊂右侧的 I t e m s
列代表题目,分布位置越往上,代表难度越高,反之则代表难度越低㊂
从图形上看,本次考试以中等和简单题目为主,但
是也有4道极端难题(66㊁68㊁70㊁75)和较简单题目(5
题)
㊂学生能力主要分布在[-2,3
]之间,题目难度分布在[-2.5,2.5
]之间㊂试卷难度相较于学生整体能力
商贸教育
现代商贸工业
2021年第20期164
偏简单㊂但是本套试卷又存在4道极端难度题,这在一定程度上影响了本次测试对这一群体的评价精度;对于难度在[-3.-1]之间的题目,没有相对应的学生,这些题目对学生总体来讲过于简单,没能在诊断中
起到足够的作用㊂在后续的试卷修订过程中,可以考
虑对极端难度题的替换;同时在整卷中选择一些中等
题目,替换为过于简单的题目,以提高对高水平学生的
诊断效果㊂
基础教育阶段考试的目的除了对学生进行诊断
外,还希望将学生划分为不同能力等级,以满足升学㊁
分层教学等需求㊂因此,对试卷区分学生的能力 试卷
的区分度 评价也是本次数据分析的内容之一㊂本次
测试,通过R a s c h 的分隔系数㊁
分割信度等指标来评价试卷的这一特性㊂
R a s c h 模型通过被试分隔系数(P e r s o nS e p
a r a t i o n I n d e x )㊁分隔信度(P e r s o nS e p a r a t i o nR e l i a
b i l i t y
,P S R )和分隔指数(S t r a t a
)评价测量精度㊂分隔指数表示试卷可以将学生区分为几个有显著差异的组别,S t r a t a =
(4*P S I +1)/3,当P S I =2时,S t r a t a =3
,即量表可以将被试区分为高分㊁中分㊁低分三组;同时,P S R 应高于
0.8㊂本次测验的P S I =3.49,S t r a t a=5.0,P S R=
0.92,说明本次测验虽然有部分题目难度设置不合理,但因题目总数较大,仍可起到区分不同英语水平学生
的作用,具备一定的测量精度
㊂
图1 题目
学生分布图3 学业诊断
R a s c h 模型的基本原理认为被试正确作答题目的
概率可以用个体能力θ与该题目难度δ的一个简单函数来表示㊂
P n i 1=
e (θ-δ)
1+e (θ-δ)由R a s c h 基本模型可得:当学生能力θn 和题目难度δi 相等时θn -δi =0,则P n i 1=0.5,即答对概率为50%;当学生能力θn 高于题目难度δi 时θn -δi >0,答对概率大于50%;当学生能力θn 低于题目难度δi 时θn -δi <0,答对率小于50%㊂因此,客观题分析主要根据学生能力及题目难度的关系㊂当学生能力θn 高于或等于题目难度δi 时θn ȡδi ,学生答对题目的概率P ȡ50%㊂即他答对的可能性更高,教学的目的是帮助他尽可能的答对题目㊂如果没有答对,则应当及时开展教学干预㊂反之,θn ɤδi ,学生答错的可能性更大,即学生能力还达不到该题对学生能力的要求㊂根据能力水平 达标/未达标 ㊁作答表现 正确/错误 的关系,可以将学生划分为四类,如表2所示㊂表2 四种作答类型能力水平未达标达标
作答表现错误正常错误异常错误
正确异常正确正常正确 根据模型估计出的两个参数,对每名学生的作答类型进行判断,以此评价学生在客观题上的作答表现,并找到异常错误较高的题目,实施干预教学㊂
此次分析结果显示,出现异常错误比例较大(大于15%,人数在39人以上)的题目有22个㊂其中听力题目6个,占听力题总数的25%;单选题3个,占单选题总数的20%;情境题2个,占情境题总数的20%,完形填空题3个,占完形填空题目总数的30%;
阅读理解题8个,占阅读理解题目总数的53%㊂从题目绝对数量和比例上看,听力和阅读理解出现异常错误的情况最
多㊂同时,这些题目的难度在[-0.336,1.948
]之间,题目的平均难度为0.751,标准差0.679
;其中中等难度题目14个,占该类题目总数的63.6%;难题8个,占总数的36.4%㊂这表明这些题目和题型上,学生群体存在较大的问题;并且,这些题目以中等难度题目为主,教学难度和学生掌握的难度都比较低㊂因此,上述题目处在学生的最近发展区内,对本次考试的学生群体来说是一个较大的提升空间㊂
在具体的教学策略上,任课教师应当以异常错误为指导,结合题目选项分布,分析学生出现错误的原因,关注题目背后考察的认知能力,重点讲解高异常错误题目,有针对性㊁高效率得解决学生表现出来的问题㊂
参考文献
[1]沈甸,徐佳敏.基于R a s c h 模型分析测评工具质量的研究述评
[J ].中国考试,2020,(02):65-71.[2]蔡旻君,曹洋洋,欧阳鑫颖,等.R a s c h 分析中W i n s t e p
s 控制数据文件的生成与应用[J ].教育测量与评价,2019,(09):3-10+17.
[3]王蔷,胡亚琳.英语学科能力及其表现研究[J ].教育学报,2017
,13(02):61-70.。