利用统计软件SPSS进行试卷质量分析
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
分类号:密级:
学校代码: ***** 学号:
硕士学科论文利用统计软件Spss进行试卷质量分析
姓名敬晓萍
指导教师冯长焕教授
培养单位数学与信息学院
学科专业教育统计与测评
研究方向数学教育
学位类别教育硕士
年级 2010级
西华师范大学学位评定委员会
四川·南充
利用统计软件Spss进行试卷质量分析
摘要
试卷分析是教学工作中的重要组成部分,同时也是每个教师必须完成的工作。
通过对试卷进行分析,可以反馈学生学习结果和教师教学效果,帮助教师发现教学活动中的薄弱环节,提高教学质量。
课程期末考试的试题应该如何命题,怎样组卷?如何把握一份试卷的整体难度和分量,使考试成绩及其成绩的分布符合正态,防止平均成绩的大起大落,避免不及格率的过高过低,以适应大众教育的需要等,这对稳定学校正常的教学秩序,保证学生正常的学习心态和情绪,直至就业应聘是否顺利等都会产生直接的影响。
本文利用统计软件Spss对试卷分析的各项指标进行了定量分析,介绍了操作方法,以便为广大教师进行试卷分析提供一种模式参考,从而科学地进行试卷质量分析,提高教学质量和效率。
关键字:成绩统计;试卷分析;难度;区分度;信度
考试是教育评价的有效办法,随着高职高专技能教学改革的深入开展,对教学评价的要求越来越客观,对教学结果的分析越来越依赖于统计理论和方法。
本文的目的是借助统计学软件Spss,介绍对试卷质量定量分析的方法。
一、考试试卷的统计分析[1]
(一)试卷难度的分析
所谓难度是指考试中试题或者试卷的难易程度,是考试题目对学生知识和能力水平适合程度的指标。
1.难度的计算
以往教师在考试中对试题难度的测定大部分是凭感觉。
这种方法本身比较模糊,对有经验的教师也并不是非常有效。
根据难度的概念,得到如下公式:
若第i题全部答对,则d
i =0;若第i题全部答错,则d
i
=1;当d
i
=0.5,说明
此题难度适中。
试卷难度:
试卷难度的测定建立在试题难度的基础上,以试题难度为变量,以试题满分值为权数的加权算数平均数:
一般而言,试卷都是以100分为满分,于是:
对于学校的常规考试,目的在于测量个体差异。
当d=0或d=0.5时,即试题全部答对或答错,该题便无法提供个体差异的信息。
而只有当d=0.5时,题目才能做最大程度的区分度。
但在实际工作中要使每题难度均达到0.5有一定的困难。
因此,一般要求试卷平均难度为0.5左右,各试题的难度控制在0.5±02之间。
2.难度的比较
按以上公式计算的试题及试卷难度,只能看出不同试题或不同试卷的难易程度,但却不能分析题目或试卷之间的相对难度。
如某试卷中,第一,第二,第三题的难度分别是0.3,0.4,0.5。
从难度数据中可以看出,第一题相对较容易,第三题较难。
但第二题与第一题的难度差和第三题与第二题的难度差是否相等?这却不一定。
原因是不同试题的难度位于不同的等距量表,因而不具有可比性。
为解决试题及试卷之间难度的相互对比,需要将以上公式计算的难度,通过正态分布表,转化为标准分。
如:d=0.3,z= -1.88;d=0.4,z= -1.75;d=0.5,z= 0。
显然,第二题与第一题的难度差为0.13,第三题与第二题的难度差为1.75,难度差并不相等。
(二)试卷区分度的分析
区分度也叫鉴别力,就是通过一次考试将不同程度,不同能力的学生区分开来的重要指标。
比如一道题目,水平高、能力好的同学都答对,而水平低、能力差的同学都答错,那么这道题就有好的区分度。
计算公式:
1.试题的区分度:
式中:H
i 为班级中高分组同学第i题的平均成绩;L
i
为班级中低分组同学第i
题的平均成绩。
(一般而言,高分组与低分组的同学人数是以班级同学人数10%-15%确定)
当高分组平均成绩与低分组平均成绩差距较大时,G
i
较大,这时对试题的区分度评价就比较好。
2.试卷区分度
区分度的评价标准:
(三)常用指标简介[2]
平均值:反映一组数据的总体情况。
方差:反映一组数据的波动大小。
峰度:用来描述某变量所有取值分布形态趋势程度的统计量,是与正态分布相比较的量。
峰度为0表示其数据与正态分布的趋势程度相同;峰度大于0表示比正态分布更加陡峭;峰度小于0表示比正态分布更加平坦。
偏度:用来描述数据的对称性的统计量。
偏度大于0表示正偏差数值较大;偏度小于0表示负偏差数值较大。
而偏度的绝对值越大表示分布形态的偏差程度越大。
二、具体操作步骤[3]
1.原始数据录入
下面我们以我校数学与信息学院《统计分析》期末考试试卷为例来说明各个指标的实现方法。
1.1试卷结构
本试卷(满分100分)有两个部分组成:客观性试题与主观性试题,其中客观性试题共40分,占40%,主观性试题共60分,占60%。
具体情况见下表。
分值分布图
注:q1是填空题、q2是选择题、q3是判断题、q4是简答题、q5是问答题、q6是计算题。
1.2数据定义
图1 变量定义窗口
图2 试卷质量分析数据窗口
在SPSS软件中,点击Variable View标签,在Name标题下定义:学号、题号、总成绩、平时成绩,其中总成绩定义为total,平时成绩定义为daily,然后在相应的标签名中进行注释。
在Type标题下定义各个项目的类型,其中学号定义为String类型、题号和平时成绩定义为Numeric类型,其余选项使用默认即可。
如图1所示。
1.3数据录入
点击Data View标签,将47份试卷按照各部分得分情况和他们的总成绩、平时成绩输入到相应的表格中。
如图2所示。
2.基本描述性统计分析
主要包括参加考试的学生总数、缺考人数、每个部分的最高分、最低分、极差、平均分、标准偏差(方差)等。
在试卷质量分析数据中,运行菜单:Analyze→Descriptive Statistics→Descriptives,把除平时成绩外的所有变量加入到Variables中,点击Options选项对话框,选中Mean、Minimum、Maximum、Range、Std.deviation、Variance。
点击Continue,再点击OK。
运行后得到结果如下表所示。
描述性统计分析表
3.难度分析
试题难度是指测验题目的难易程度,难度系数一般用字母P表示,且0≤P≤1。
对是非题和论文型的题目,我们可以统一为P=M/W(M:全体学生某题的平均得分;W:某题规定的最高得分)。
对于选择题我们先计算得出难度系数P,然后再根据公式cp=(kp-1)/(k-1)(k为选项个数)算出矫正难度系数cp。
(单项选择题学生可能随机猜测,此公式能排除这种影响)试题难度系数与试题实际难易程度正好相反,
越大表示能够正确解答该题的学生越多试题越容易,而越小则试题越难。
一般认为,难度适中更能客观地反映出学生的学习效果情况,多数试题应分布在0.3~0.7之间,选拔性测试为0.5左右为宜,通常期末考试为目标参照性考试,可适当偏高,全卷平均难度以0.7左右为宜,0.6~0.8为正常。
根据上表,很容易得到各个部分的难度系数,如下所示。
各个部分的难度系数
注:q2的难度系数为矫正难度系数
4.区分度分析
对于客观题来说,使用等级相关分析,在此使用斯皮尔曼(Spearman)等级相关分析。
对于主观题来说,样本数为47,大于30,可以看成非等间距测度的连续变量,在此采用皮尔逊(Pearson)相关分析对试题进行分析。
具体操作如下:Analyze→Correlate→Bivariate。
在弹出对话框中选择各个客观题题号变量和总成绩进入Variables,然后在Correlation Coefficients中单击Spearman,完成后即可得到客观题的区分度。
主观题的区分度分析方法同上,只需选择主观题和总成绩进入,然后选择Pearson即可。
得到每个部分的区分度,见下图:
各个部分的区分度
三、分析结果
(1)基本描述统计数据上来看,学生总数为47人,无人缺考,学生的的卷面总成绩平均分为82.83分,最高分为99分,最低分为59分,分数极差为40分,标准差为10.538,标准差比较大,说明学生个体间存在较大的差异,主要影响因素是他们入学时学历结构、上课听讲、作业完成、课后复习等。
对一部分后进学生,在今后的教学过程中应当充分关注,努力调动他们的学习积极性,经常鼓励他们,从而达到提高学习成绩的目的。
(2)从难度上来看,第二题(0.983)、第三题(0.996)难度系数过大,说明此题出的太容易,建议此题不宜进入题库,在修改后参加下一轮的遴选。
(3)从区分度上来看,除了第二题、第三题区分度较低,其余都比较好,基本达到了考试要求。
四、成绩考试的信度分析[4]
“考试信度对于任何一种有效考试来说都是必不可少的,只有信度高的考试才能使教师对学生的评价客观、可靠,考试成绩才能正确地反映被试者的程度”。
[5]教育测量学、教育统计学在理论上为考试的科学化和现代化奠定了基础,使得考试分析数量化,而SPSS统计软件又使广大教师使用计算机进行学业成绩考试信度的定量分析成为可能。
(一)考试分数的信度系数
衡量一次考试的可靠性指标叫做信度,表明信度大小的量叫做信度系数。
虽然教育测量和统计书上介绍计算考试分数的信度系数有多种方法,但因为学科或学业成绩考试具有一般不进行前测和复测的特点,且试题多含有主观题,因而Cronbach’s α系数是最适合学科考试的信度分析。
因为Cronbach’s α系数不仅适合主观题,也可以用于多项选择题等客观试题。
下面我们以我校外语学院语音考试题考试题为例介绍用Spss进行信度分析的步骤。
1.Cronbach’s Alpha系数的计算步骤
步骤1:选择信度分析程序。
在数据编辑窗口中单击Analyze打开下拉菜单,选择Reliability Analysis……程序,进入信度分析主对话框。
步骤2:选择要进行分析的原始变量。
在信度分析主对话框中选择第1-5题共五个变量,单击右向箭头将其移入Items方框中。
在Model的下拉菜单中选择Alpha 模型,即表示希望获得Cronbach’s Alpha系数。
在信度分析主对话框点击Statistics按钮,进入定义信度分析统计量对话框。
步骤3:在定义信度分析统计量对话框Descriptives for 中勾选Scale ifitem deleted复选项,表示要求在输出结果中显示删除各个项目之后的系数变化情况。
然后点击Continue按钮,回到信度分析主对话框,并点击OK提交系统运行,出现运行结果。
2.信度系数输出结果及说明
按照上述参数设置,Spss软件在输出信息观察窗口输出一个表格(表1)。
该表报告了“语音听力考试成绩”各题的信度分析结果。
表首为分析方法,意为选择了Alpha模型。
表中的第1栏为变量,是语音听力考试的五道大题。
第二栏为删除该项目后试题的平均值。
第三栏为删除该项目后试题的方差。
第四栏为该项目与试题总分的相关系数,相关系数较低的项目往往是有问题的试题。
例如表中第5题与试题的相关系数仅为.2854,说明该题应该修改或删除。
最后一栏为删除其中某个项目后考试题的Alpha系数变化情况,该栏在检验信度差的试题方面很有用。
如果删除某一道试题后的Alpha系数比试题的信度系数大,则可考虑将该题删除。
本例中删除第5题后,信度系数将由原来的.7491提高到.7819,由此我们可以从提高信度系数的角度,确认该题应该修改或删除。
Cronbach’s Ahlha系数介0-1之间,系数越高,说明试题的内在一致性越强,测试的结果越可靠。
通常自编考试的Cronbach’s Ahlha系数“要求0.60-0.80之间,而标准化考试则要求在0.90以上”。
[6]本例的信度系数为.7491,因此我们可以得出信度较好的结论。
二、考试分数的正态分布检验
李筱菊认为考试“分数拉开距离,它们的分布才可能正态。
分数分布正态,说明它反映了人的能力分布实况,说明考试有信度。
”[7]因此,我们除了使用信度系数还可使用考试成绩正态分布的数据及分布图来测量和检验信度。
考试分数是否服从正态分布,可以用曲线图来观察,也可以计算偏态值和峰值的方法来确定。
1.正态分布图表的制作方法
步骤1:在Spss数据编辑视窗,点击Analyze命令,Descriptive Statistics 在下拉菜单中选择Frequencies…,打开频数直方图编辑对话框。
步骤2:在频数分析主对话框中左边变量列表中选择第1-5题和总分共六个变量,点击向右箭头将其移入Variable::(变量)下白方框中,然后点击Statistics …按钮,进入频数分析数据编辑子对话框。
选择Display normal curve,表示同时显示正态分布曲线。
步骤3:在频数分析数据编辑子对话框中Distribution.中选择Skewness和Kurtosis,表示要求计算正态值与峰值。
点击Continue返回频数分析主对话框,单击Options…按钮,进入图形选项对话框。
步骤4:在频数分析图形选项子对话框中Chart Type下选择Histograms(单选项,表示要求输出直方图,并选择With normal curve复选项,表示要求输出的直方图带正态分布曲线。
点击Continue按钮返回到主对话框,单击Ok按钮提交系统运用。
2.正态分布图及解释
按上述参数设置,Spss共在输出信息观察窗口输出6幅图形与7个表格(其中6个表格是6个变量的频数分布表)。
我们只以其中一幅图形和描述统计表格为例介绍报告结果的含义及解释。
考试分数是否服从正态分布,可以通过带正态分布曲线直方图来观察。
直方
图是以长方形面积表示频数分布的一种图形,它的长度和宽度均有意义,而且由于数据值具有连续性,所以各长方形须相连排列。
图中的顶点是平均成绩。
直方图中的曲线称分布曲线。
正态分布曲线是中间高、两边低且左右对称的曲线。
曲线的最高峰,即频数最多处,是曲线的中间位置。
这一位置的分数正好是分数的平均值。
由于带正态分布曲线的次数直方图具有以上特点,所以可以直观地确定分数分布是否服从正态分布。
3.正态分布表及结果解释
表2是该考试五道大题和总分共六个变量的偏态值和峰值描述统计表。
表中第一行为变量名;第二行N Valid为参加考试的有效学生人数;第三行为缺考人数(Missing);第四行为偏态值(Skewness);第五行是峰值(Kurtosis)。
偏态值和峰值为0时表示完全正态,偏态值的正、负表示正、负偏态。
峰值的正负表示峰的“高瘦”(分数集中)和“矮平”(分数分散)。
偏态值如表2第三行所示,本例中单词听写、短文听写和听对话简答三题的偏态值均为负数,是负偏态,表示这三题分数分布偏向了右边,也就是偏向了高分,得分高于平均分的人数超过50%。
而听句子简答、短文听力理解和总分三个变量的偏态值均为正数,即正偏态,表示分数分布偏向了左边,也就是偏向了低分,得分低于平均分的人数超过了50%。
峰值如表2第四行所示,本例中单词听写、听对话简答和总分的峰值为正数。
表示峰比理想正态分布的峰高尖,也就是分数过分集中在中分段。
而短文听写、听句子简答和短文听力理解三个变量的峰值为负数。
表示这三个变量的峰比理想正态分布峰矮平,也就是分数过分散开。
表2 偏态值及峰值描述统计表
“一般说一个考试偏态值和峰值能控制在±1之内,便算其分数基本符合正态分布”。
[8]因此,我们可以得出结论:语音听力部分考试的五道大题和总分基本符合正态分布,这份试题总体信度较好。
综上所述,本文为不太熟悉数理统计的广大教师介绍了用Spss软件计算Cronbach’s Alpha系数和正态分布检验学业成绩考试信度的方法,从而使我们可以较好地测量出考试成绩是否正确反映了学生的学习程度,考试对教学的评价是否可靠。
再用信度检验数据查找出影响信度的试题、修改提高试题质量,这对发挥考试评价教学的作用和改进教学效果、提高教学质量无疑是很有好处的。
参考文献:
[1]楼裕胜.学生成绩的统计分析[D].杭州:浙江金融职业学院,2007.。