衡量考试质量的四个重要指标

合集下载

考试成绩质量分析

考试成绩质量分析

考试成绩质量分析考试成绩质量分析考试成绩质量分析(一)一、项目分析评价试题质量的指标主要是试题的难度和区分度,再是选择题分心答案的诱导效用性。

项目分析是对每道试题的难度、区分度以及选择题的分心答案的诱导效用性分别加以分析。

1、难度分析难度是表示试题难易程度的指标。

其计算方法是以学生答对某题的比率来进行的。

依题型及评分方法的不同,可用下面几个公式计算。

<1>当用二值计分法时(只有答对或答错两种情况),可用公式P=R/N计算。

P 表难度,R表答对人数,N表受试总人数或抽样的总样本数。

因受试者有可能凭猜测答对某些试题2、提出了依D值大小,对考试成绩质量进行评价的标准。

D≥0.4,质量非常良好;0.30≤D≤0.39,质量良好;0.20≤D≤0.29,质量尚可,应修改;D≤0.19,质量低劣,应淘汰。

D值越大,区分度越高,则能力强、水平高的受试者得分较高;能力弱、水平低的受试者得低分,这样可把不同程度的受试者鉴别开来。

影响区分度的因素较多,其中最主要的是难度,通过理论计算得出:当P=0.5时,D有极大值。

由此可知,改变难度就可调节区分度。

3.选择题分心答案诱导效用性分析选择题在客观性测验与考试中应用最广。

每题都由一个题干和几个备选答案组成。

备选答案中,有对有错,且对与错有一定相关性,这样可使备选答案形成似是而非的状况。

受试者在选择正确答案时,错误的答案会起到分心或迷惑作用,故错误的备选答案常被称作分心答案或诱答。

对受试者来说,只有认真地分析、比较,才能选出正确答案。

那些对所学知识掌握不够好的受试者,常被诱答迷惑住,那么该诱答就失去了应有作用,其效用性就低。

分析诱答的诱导效用性,其方法是比较高分组和低分组选答每一个诱答的人数。

良好诱答,应促使高分组选答它的人数少于低分组选答它的人数。

设高分组选第i个诱答的人数为H,低分组选其人数为L。

对i诱答,若满足L>H,则该诱答的诱导效用性就高。

若一个选择题的几个诱答都满足上述条件,则该题的质量就高。

考试命题双向细目表

考试命题双向细目表

命题前请仔细阅读考试命题双向细目表的编制考试命题双向细目表编制考试命题双向细目表是一种考查目标(能力)和考查内容之间的列联表。

制作考试命题双向细目表,是命题工作的一个重要环节。

双向细目表可以使命题工作避免盲目性而具有计划性;使命题者明确测验的目标,把握试题的比例与份量,提高命题的效率和质量。

同时,它对于审查试题的效度也有重要的指导意义。

双向细目表是包括两个维度(双向)的表格,细目表也可以是多维的,一般用双向细目表。

较常见的有四种:(1)反映测验内容与测验目标关系的双向细目表。

(2)反映测验内容与测验目标、题型之间关系的双向细目表。

该表是上一个表的改进,增加了题型。

(3)反映题型与难度、测验内容之间关系的双向细目表。

该表可以体现题型数量、难易度、测验内容的分配问题。

优点是试题取样代表性高,试题难易程度也可以作适当控制,表中数据容易分配。

局限性是未能反映测验目标。

(4)反映题型与难度、测验目标之间关系的双向细目表。

难易度:A.较易 B.中等 C.较难 D.难度较大认知度:Ⅰ识记Ⅱ理解Ⅲ简单应用Ⅳ综合运用下面主要说明反映测验内容与测验目标(学习水平)和题型分数的双向细目表。

即把要考查的知识内容与学习水平(能力)、试题的类型和分数呈现在一张表上,这样命题时,一目了然,便于操作。

该表是由一张概括程度比较高的知识内容和分类比较细的学习水平构成,在表中,纵、横两表头双向决定的每个点(交叉的格)为一个考察点,每个考察点要体现题型、题量、得分点三个参数。

这样对试卷结构、对考查的主要内容就具有了明确的指向性。

举例,假设每一个得分点的分数值定为2分,以100分为满分,则整个试卷可以有50个得分点。

再假定每个得分点考生平均能以一分钟时间答完题,并考虑考生复核、检查时间,那么这次测验时间可定为60分钟。

另外,由于实际上不同考查点的重要性与难度不同,在所占分数上它们应当占有不同的比例;由于不同题型的解答难度不同,通常按不同题型给出不同的权重。

考试成绩评价的区分度、信度、效度等概念

考试成绩评价的区分度、信度、效度等概念

目录考试成绩评价的区分度、信度、效度等概念 (1)高一化学备课组 2009.3.26 (4)考试成绩评价的区分度、信度、效度等概念1、试卷的区分度试卷的区分度指测试题目对被测试者实际水平的区分能力。

区分度高的试题,能将不同水平的被试者区分开来;区分度低的试题则对被试者水平不能很好地鉴别。

区分度是指试题对被试者情况的分辨能力的大小。

一般在-1~+1之间,值越大区分度越好。

试题的区分度在0.4以上表明此题的区分度很好,0.3 ~0.39表明此题的区分度较好,0.2 ~0.29表明此题的区分度不太好需修改,0.19以下表明此题的区分度不好应淘汰。

计算区分度的方法很多,特别需要注意的是对同一个试题的考试成绩采用不同的方法所得到的区分度的值是不同的。

我们可以使用下面的两种方法计算区分度:(1)先将分数排序,P1=27﹪高分组的难度,P2= 27﹪低分组的难度区分度D =P1-P2或区分度 D = (27﹪高分组的平均分-27﹪低分组的平均分)?/font>满分值(2)利用积差系数r 计算区分度D当两个变量都是正态连续变量,而且两者之间呈线性关系,表示这两个变量之间的相关成为积差相关。

积差相关的使用条件a、两个变量都是由测量获得的连续性数据。

如百分制分数。

b、两个变量的总体都呈正态分布,或接近正态分布,至少是单峰对称的分布。

c、必须是成对的数据,而且每对数据之间是相互独立的。

d 、两个变量之间呈线性关系。

积差相关系数r的计算在计算机上是很容易进行的。

积差相关系数r的公式如下:r=(无法显示)原谅!2、试卷的信度试卷的信度主要从两个方面进行分析,一方面是考试成绩期望值与实际成绩平均值的差异,考试成绩期望值一般应以平时成绩的平均值为依据确定.另一方面是考试成绩的预期及格率与实际及格率的差异,考试成绩及格率的预期值同样以平时成绩的及格率为确定依据.两个方面的差异性较小,说明试卷信度较高.考试信度,简单地说是考试结果的可信程度,是推测考试可信与否的最重要的量化指标。

作业设计与试题的编制过程

作业设计与试题的编制过程

作业设计与试题的编制过程作业和试题作为协助学生巩固和消化及检测所学知识,并转化为技能技巧的重要环节,其重要性不容无视。

随着课改的持续深入,很多教师都开始改革数学作业和试题,增添作业和试题的形式与花样,消除学生对作业和试题的厌恶感与恐惧感,让他们真正喜欢上数学作业,积极参与检测,最大限度地培养学生的自主学习水平。

【案例展示】马老师在学生掌握了规则的长方体、正方体、圆柱体等立体体积计算方法后,布置了这样一道课后作业:求不规则物体的体积计算方法——如何测量一块土豆的体积,要求能够和家长或者同学一起完成,看看谁是“智多星”!第二天答案反馈后,大多数学生课后做了如下实验:①准备一个能放进土豆的容器(长方体或正方体或圆柱体形状),放入水,测量相关数据,计算出水的体积;②把土豆用线吊起来轻轻地沉入水中;③再次测量此时相关数据,求出此时水的体积;④用两次水的体积作差求出土豆的体积。

也有的学生是这样“做”出来的:将土豆蒸熟后捏成一个近似的长方体(或正方体、圆柱体),量出相关数据再计算。

也有的先称出土豆的质量,再从中挖出一个1立方厘米的正方体,称出质量,利用比例知识换算出土豆的体积。

还有的学生把土豆近似看成一个圆柱,测出相关数据,用估算知识得出土豆的近似体积。

也有的学生将土豆切成薄片,将其近似地视为圆片,用尺子测量圆片的半径及厚度,求出小圆片体积,再加起来得出土豆的体积……学生在动手、动脑中学会了用动手实验、取样类比、等积变形、估测求积等多种探究问题的方式方法去解决生活中的问题。

【案例解析】课程标准要求“不同的人在数学上得到不同的发展”,必须通过唤起学生这个主体,让他们把学习情感、学习兴趣、质疑水平、创新意识、动手动脑解决问题的水平等融入数学作业中和试题解答中逐步实现。

教师只有设计多种形式的数学作业和试题,让数学作业和试题丰富多彩,使学生数学学习的活动,成为一个生动、活泼和富有个性的过程,学生才会喜欢数学,并成为数学学习的主人。

认真做好双向细目表 科学公正出好考试题

认真做好双向细目表  科学公正出好考试题

认真做好双向细目表科学公正出好考试题一、为什么要制定双向细目表平时我们承担期末考试出题任务时,有时觉得自己出题很简单,可是成绩出来后学生成绩很不理想;有时觉得自己题出得有点难了,但是成绩出来后发现学生成绩还真的不错。

为什么会出现这种状况呢?那是因为我们对自己出的题只是从目测或者感觉上来判断,缺乏科学的依据,导致成绩和自己预期的有差别。

作为一名教学能手,出好一份试卷是我们能力范围内的事,必须让我们的试卷做到公正、合理的评价一名学生的阶段性学习效果。

那么我们出试卷前第一件事就是要制定双向细目表。

二、什么是双向细目表1.双向细目表是指为了科学地安排考试内容,对即将命制的试卷进行科学规划的命制试题规划表。

最常用的考试命题双向细目表是一种考查内容和考查目标之间的关联表,实际上就是教材内容和学习结果两个维度,其中一维反映教材的内容,另一维反映学生应达到的学习水平。

2.双向细目表的三个要素:考查目标、考查内容以及二者之间的比例。

三、命题“双向细目表”的作用1.是命题的依据。

命题双向细目表主要是用于指导命题的,命题者依据该表中对各项目的具体要求来命题,2.是核检内容效度的依据内容效度是指在考试内容上考到了要考的那些东西的程度,具体指平日里我们所说的试题是否具有代表性,覆盖面是否全面。

3.是评价教学质量的依据由于命题双向细目表在很大程度上体现了教学的“质”(指考查目标和考查内容)和“量”(指相应的比例),即教学内容是否达到了课程标准的要求,因此可以利用该表来实施教学质量评价。

四、制定双向细目表的注意事项(一)四个重要指标双向细目表既然是制定试卷的依据,那么我们就有必要了解衡量考试质量的四个重要的指标:即考试的效度、信度、试题的难度和区分度。

①效度。

只说内容效度,是测试内容的代表性和试题的覆盖面。

一般要体现课程标准规定的学习要求。

内容比较全面,难度适中,试题比较科学,题型使用合理,评分标准合理。

②信度。

考试的信度是指考试结果的可靠性程度,也就是考试内容是否达到衡量学生阶段性学习效果。

教育测量与评价

教育测量与评价

《教育测量与评价》习题(一)填空题1. _桑代克_的论著《精神与社会测量导论》一书标志着教育测量理论的诞生,泰勒领导了著名的八年研究并提出“行为目标评价模式”,最先提出了教育评价的概念,被称为“今世教育评价之父”。

2. 依照测量的精准程度,教育测量量表从低级到高级分为称名量表、顺序量表、区间量表/等距量表和比率量表。

3. 某道论述题满分12分,所有考生在这道题上的平均得分为分,则此题的难度为。

4.教育大体理论研究、教育测量与评价科学研究和教育发展理论研究已成为现代教育科学研究的三大领域。

5. 教学工作评价的内容包括对教师的备课、上课、批改作业、课外辅导、命题考试等教学工作大体环节的评价。

(二)判断题(√)1. 考试的信度受许多因素的影响。

一般来讲,增加考试的长度,可以提高试题取样的代表性,因此有助于提高考试的信度。

(√)2. 标准分数本身是关于原始分数的一种线性变换,因此,标准分数不改变原始分数的散布形态。

(×)3. 假设某学生在期中语文统考中卷面分数为85分,又知该学生所在年级中有60%的学生成绩低于85分,则该学生的百分品级为51。

(×)4. 等距变量具有品级变量的特征,要求持续数量之间的差距相等,亦即具有相等的单位。

因此,等距变量可以作加减乘除运算。

(×)5. 教育评价的主要功能就是甄别和选拔,通过各个层次的教育评价可以监督教师的教学工作和学生的学习活动,确保学校教育教学工作的正常进行。

(√)6. 考试试题的难度影响着考试分数的散布。

(×)7. 现代测量理论是在经典测量理论的基础上发展起来的,修正了经典测量理论的不足,所以现代测量理论可以完全代替经典测量理论。

(√)8. 发展性教学评价以为面面俱到的课不是好课,只是“教教材”,没有“用教材教”的课也不是好课。

(三)简答题1. 常见的指标权重分派方式有哪几种?【答题要点】:常见的指标权重分派方式包括:(1)关键特征调查法;(2)两两比较法;(3)专家评判平均法;(4)倍数比较法;(5)Q分类法。

试题评价指标

试题评价指标

试题评价指标通常包括以下几个方面:
1.信度:信度是衡量试题质量的指标之一,它反映了试题的可靠
性和稳定性。

一个好的试题应该在不同的时间、不同的地点和不同的条件下,对同一组考生进行测试,其结果应该保持一致。

2.效度:效度是衡量试题质量的另一个重要指标,它是指试题是
否能够准确地测试出考生所要测量的知识和能力。

一个好的试题应该具有较高的效度,即能够有效地测试出考生对于所要测量的知识和能力的掌握程度。

3.难度:难度是衡量试题难易程度的指标,它通常用试题的得分
率来表示。

难度过高或过低都会影响试题的质量,因此需要选择适当的难度水平。

4.区分度:区分度是指试题对于不同水平的考生能够区分出他们
的能力差异的程度。

一个好的试题应该具有较高的区分度,以便能够区分出不同水平的考生。

5.覆盖面:覆盖面是指试题所涉及的知识面和能力的范围。

一个
好的试题应该具有较广的覆盖面,能够测试出考生的全面知识和能力。

6.表述清晰度:表述清晰度是指试题的语言表达是否清晰、简洁、
易懂。

一个好的试题应该具有较高的表述清晰度,以便让考生能够理解并回答问题。

7.结构合理性:结构合理性是指试题的组成和排列是否合理。


个好的试题应该具有合理的结构,以便能够全面地测试考生的
知识和能力。

试卷分析报告材料地四个度

试卷分析报告材料地四个度
实用标准文案
试卷分析的四个度:难度、区分度、信度、效度
(2011-10-28 09:07:31) 转载
标签:
杂谈
试卷分析的四个度:难度、区分度、信度、效度 试卷分析的四个度:难度、区分度、信度、效度 一、难度 难度是指试题的难易程度,它是衡量试题质量的一个重要指标参数,它和区分 度共同影响并决定试卷的鉴别性。 一般认为,试题的难度指数在 0.3 -0.7 之间比较合适,整份试卷的平均难度最 好在 0.5 左右,高于 0.7 和低于 0.3 的试题不能太多。 1 、难度的两种定义: ( 1) P=1 — x/w x 为某题得分的平均分数, w 为该题的满分。这种定义法, 难度值小时表明试题容易,值大时表明试题难,最小值为 0 ,最大值为 1 。 ( 2)P=x/w 这种定义法,难度值小时表明试题难,值大时表明试题容易,最 小值为 0,最大值为 1 。 2、难度的计算:
B 极端分组法: P=1 —( PH+PL )∕2
PH=RH/n 叫高分组通过率, RH:高分组答对人数, n :总人数的前 27% 。 PL=RL/n 叫低分组通过率, RL:低分组答对人数。
二、区分度
区分度是区分应试者能力水平高低的指标。试题区分度高,可以拉开不同水平 应试者分数的距离, 使高水平者得高分, 低水平者得低分, 而区分度低则反映不 出不同应试者的水平差异。
精彩文档
实用标准文案
从效度、信度(考试成绩),难度、区分度(试题)四个角度分析。 二、 试卷分析
分定量分析和定性分析两部分。 (一) 定量分析: 1、逐题统计分析(可用列表法、或统计图法) 填空题,统计答对率。如: 选择题,按选项统计,如: 计算题,按等级统计。如得零分人数,得满分人数,得部分分的人数,计算出难 度和平均分。 2 、 统计学生成绩频率分布情况(次数分布图)。 3、 三率一分,即优秀率、及格率、低分段率及平均分。要注明试卷的总分是 多少,最高和最低分是多少。 (二) 定性分析 1、诊断:指出问题,分析原因。问题应分共性和个性,找出共性问题及原因, 教与学两方面都要分析。 2、制定措施:改进、矫正。

(完整版)试题的难度、区分度、信度和效度

(完整版)试题的难度、区分度、信度和效度

试卷的难度、区分度、信度和效度一.试卷的难度(一)什么是难度难度是指试卷的难易程度,是评价考试的一个非常重要的一个指标。

一个题目,如果大部分考生都能答对,那么这个题目的难度就小;如果大部分考生都不能答对,那么这个题目的难度就大。

客观题难度计算公式:P(难度指数)=试卷答对人数/考生人数;主观题难度计算公式:P=试卷平均得分/试卷满分。

试卷难度计算公式:P=为平均分,K为试卷满分值。

易、中、难的标准为:易:P≥0.7,中:0.4≤P≤0.69,难:P≤0.39;P值越大,难度越低,P值越小,难度越高。

一般来说,难度值平均在0.5最佳,难度值过高或过低,都会降低测验的信度。

(二)难度的计算(1)客观性试卷难度P(这时也称通过率)计算公式:P=k/N(k为答对该题的人数,N为参加测验的总人数)(2)主观性试卷难度P计算公式:P=X/M(X为试卷平均得分;M为试卷满分)(3)适用于主、客观试卷的计算公式:P=(P H+P L)/2(P H、P L分别为试卷针对高分组和低分组考生的难度值)步骤为:①将考生的总分由高至低排列;②从最高分开始向下取全部试卷的27%作为高分组;③从最低分开始向上取全部试卷的27%作为低分组;④计算。

(三)试卷难度的一般要求就高考来说,难度以适中为宜,单个试卷的难度以0.3--0.7之间为好,整卷以0.5--0.6之间为最佳。

一般将难度值大于和等于0.7的试卷定为容易题;大于0.4和小于0.7的定为中档题;小于和等于0.4的试卷定为难题。

命题时难度一般要按一定比例分配,如3:6:1或3:5:2。

二.试卷的区分度(一)什么是区分度区分度是指考试卷目对考生心理特征的区分能力。

区分度高的试卷能将不同水平的考生区分开来,水平高的考生得高分,水平低的考生得低分。

区分度高的考试,优秀、一般、差三个层次的学生都有一定比例,如果某一分数区间学生相对集中,高分太多或不及格太多的考试,区分度则低。

(二)区分度的计算1.单个选择题目区分度的计算将全体考生总分从高到低排列,将总分最高的27%考生定为高分组,总分最低的27%考生定为低分组,分别计算两组考生在某道题目上的通过率,两个通过率之差就是这道题的区分度(又叫鉴别指数)。

教育测量与评价案例分析题

教育测量与评价案例分析题

教育测量与评价案例分析题信度与区分度效度与信度难度与效度难度与区分度,下列哪种效应的弊端为以偏概全,评价者在评价中坚持反映自己大我价值观的心理现象是指,期望效应时尚效应理想效应近因效应。

教育测量与评价试题一、选择题1.根据某种规则把所观察的对象予以数量化的过程,这一概念是()A.测量B.评价C.统计D.测验2.衡量测验题目质量的两个重要指标是()A.信度与区分度B.效度与信度C.难度与效度D.难度与区分度3.测量结果的稳定性程度是()A.效度B.稳定性C.信度D.可信度4.我国高考标准分数采用了一种方案,这种方案是()A.对比参照方案B.常模参照方案C.正态化转换方案D.百级等级方案5.测量学生对问题的理解、再认、比较与辨别的能力,以及思维的敏捷性和准确的推断力的题型是()A.填空题B.选择题C.是非题D.计算题6.下列不属于教育评价的原则的是()A.方向性原则B.公平性原则C.指导性原则D.主体性原则7.下列哪种效应的弊端为“以偏概全”()A.晕轮效应B.参照效应C.首因效应D.成见效应8.在评价对象的集合之外确定一个标准,评价时把评价对象与客观标准进行比较的评价法是()A.定性分析评价法B.临床督导评价法C.绝对评价法D.相对评价法9.评价者在评价中坚持反映自己“大我”价值观的心理现象是指()A.本位心理B.逆反心理C.“趋”中心理D.从众心理10.体育运动会中各个项目的名次为“第1名,第2名,第3名”,这一变量属于()A.比率变量B.称名变量C.顺序变量D.等距变量11.评价者的心理现象中被称为“皮格马利翁效应”的是()A.期望效应B.时尚效应C.理想效应D.近因效应12.“权,然后知轻重;度,然后知长短”所指的测量的特点是()A.间接性B.相对性C.可测性D.准确性13.根据题目答案的范围和评价误差的大小,可把测验题目分为()A.选择题和填空题B.论述题和操作题C.选择题和简答题D.客观题和主观题14.在一36名学生数学考试分数的频数分布表中,最高分数为97,最低分数为50,并将其分为8组,则组距为()A.5B.6C.5.6D.715.用来表示两个平行测验测量同一批被试所得结果的一致程度,且大小等于同一组被试在两个复本测验上所得分数的积差相关系数的信度是()A.同质性信度B.重测信度C.复合信度D.评分者信度16.下列为评价信息收集标准的是()A.可靠性和准确性B.时限性和客观性C.准确性和一致性D.可靠性和有效性17.表示每项评价指标在指标体系中所占的重要性程度,并赋予相应的值,这一概念是()A.评价指标B.评价标准C.指标权数D.指标权重18.标准分数属于什么变量()A.类别变量B.等级变量C.等距变量D.比率变量19.定性分析评价法和定性综合判断法的教育评价方法是按照()来分A.基种B.思维方法C.行为目标D.单项指标评分方式20.T分数的计算公式是()A.100Z+500B.2Z+50C.10Z+50D.2Z+5二、填空题1、衡量教育测量的质量可采用的四个指标是、、、。

试题的难度、区分度、信度和效度

试题的难度、区分度、信度和效度

试卷的难度、区分度、信度和效度一.试卷的难度(一)什么是难度难度是指试卷的难易程度,是评价考试的一个非常重要的一个指标。

一个题目,如果大部分考生都能答对,那么这个题目的难度就小;如果大部分考生都不能答对,那么这个题目的难度就大。

客观题难度计算公式:P(难度指数)=试卷答对人数/考生人数;主观题难度计算公式:P=试卷平均得分/试卷满分。

试卷难度计算公式:P=为平均分,K 为试卷满分值。

易、中、难的标准为:易:P≥0.7,中:0.4≤P≤0.69,难:P≤0.39;P值越大,难度越低,P值越小,难度越高。

一般来说,难度值平均在0.5最佳,难度值过高或过低,都会降低测验的信度。

(二)难度的计算(1)客观性试卷难度P(这时也称通过率)计算公式:P=k/N(k为答对该题的人数,N为参加测验的总人数)(2)主观性试卷难度P计算公式:P=X/M(X为试卷平均得分;M为试卷满分)(3)适用于主、客观试卷的计算公式:P=(PH +PL)/2(PH、PL分别为试卷针对高分组和低分组考生的难度值)步骤为:①将考生的总分由高至低排列;②从最高分开始向下取全部试卷的27%作为高分组;③从最低分开始向上取全部试卷的27%作为低分组;④计算。

(三)试卷难度的一般要求就高考来说,难度以适中为宜,单个试卷的难度以0.3--0.7之间为好,整卷以0.5--0.6之间为最佳。

一般将难度值大于和等于0.7的试卷定为容易题;大于0.4和小于0.7的定为中档题;小于和等于0.4的试卷定为难题。

命题时难度一般要按一定比例分配,如3:6:1或3:5:2。

二.试卷的区分度(一)什么是区分度区分度是指考试卷目对考生心理特征的区分能力。

区分度高的试卷能将不同水平的考生区分开来,水平高的考生得高分,水平低的考生得低分。

区分度高的考试,优秀、一般、差三个层次的学生都有一定比例,如果某一分数区间学生相对集中,高分太多或不及格太多的考试,区分度则低。

(二)区分度的计算1.单个选择题目区分度的计算将全体考生总分从高到低排列,将总分最高的27%考生定为高分组,总分最低的27%考生定为低分组,分别计算两组考生在某道题目上的通过率,两个通过率之差就是这道题的区分度(又叫鉴别指数)。

大学考试质量评价指标讲解

大学考试质量评价指标讲解
综合性考试,由于涵盖多门课程,试题内容反映的可能 已是不同特质,即题目间的同质性较低,而且由多名教师共 同命题,题目参数也难以达成较好的一致性,自然不可能有 较高的同质性信度,因此对综合考试的信度要求可适当降低, 一般要求在0.4以上。信度系数过低则说明考试可信度差。
第13页/共20页
影响信度的因素主要有:
第16页/共20页
内容效度的分析主要采用逻辑法(定性分析),依据是考试命题细目表,了 解命题在多大程度上体现了教学目标要求。
目前我们对考试效度的评估除了考虑内容效度外,还考察信度、试题难易度等 指标,使考试效度向更为全面的结构效度扩展,更能体现考试所要达到的“测量到 所要测量的特质的程度”的目标。
成绩分析试题参数难度和区分度分析考试信度可靠性考试效度有效性分析二考试质量分析的指标意义一成绩分析课程考试属于标准参照考试考试的目的主要在于对教学的检测诊断调节与导向分数的用途主要在于揭示学生学习结果达到教学目标要求的程度而不是区别学生的相对水平
二、考试质量分析的指标意义
(一)成绩分析
课程考试属于标准参照考试,考试的目的主要在于对教学的 检测、诊断、调节与导向,分数的用途主要在于揭示学生学习结 果达到教学目标要求的程度而不是区别学生的相对水平。因此, 考试成绩的分析主要着重于学生整体水平的评价。
第18页/共20页
参考文献
[1]张敏强.教育测量学.人民教育出版社,2001 [2]黄光扬主编.教育测量与评价.华东师范大学出版社,2002 [3]佟庆伟,胡迎宾,孙倩,编著.教育科研中的量化方法.中国科学技术出版 社,2000 [4]孙宝志,金魁和,主编.高等医学教育现代考试方法.辽宁科学技术出版 社,1996 [5] 雷新勇.大规模教育考试:命题与评价.华东师范大学出版社,2006

考试命题双向细目表

考试命题双向细目表

考试命题双向细目表考试命题双向细目表是一种考查目标能力和考查内容之间的列联表;制作考试命题双向细目表,是命题工作的一个重要环节;双向细目表可以使命题工作避免盲目性而具有计划性;使命题者明确测验的目标,把握试题的比例与份量,提高命题的效率和质量;同时,它对于审查试题的效度也有重要的指导意义;双向细目表是包括两个维度双向的表格,细目表也可以是多维的,一般用双向细目表;较常见的有四种:123,试题难易程度也可以作适当控制,表中数据容易分配;局限性是未能反映测验目标;认知度:Ⅰ识记Ⅱ理解Ⅲ简单应用Ⅳ综合运用下面主要说明反映测验内容与测验目标学习水平和题型分数的双向细目表;即把要考查的知识内容与学习水平能力、试题的类型和分数呈现在一张表上,这样命题时,一目该表是由一张概括程度比较高的知识内容和分类比较细的学习水平构成,在表中,纵、横两表头双向决定的每个点交叉的格为一个考察点,每个考察点要体现题型、题量、得分点三个参数;这样对试卷结构、对考查的主要内容就具有了明确的指向性;举例,假设每一个得分点的分数值定为2分,以100分为满分,则整个试卷可以有50个得分点;再假定每个得分点考生平均能以一分钟时间答完题,并考虑考生复核、检查时间,那么这次测验时间可定为60分钟;另外,由于实际上不同考查点的重要性与难度不同,在所占分数上它们应当占有不同的比例;由于不同题型的解答难度不同,通常按不同题型给出不同的权重;这样通过各题型中每个得分点原有的分数值乘以各考查项目中得分的数目,就可以使不同考查得分达到需要的比例;如,选择题的权重取,设每一道选择题只含有一个得分点,根据上面已定出的得分点的分数值,每个2分,则每一道选择题的实际分数为2分×1得分点×权重=1分;权重也叫权数,或加权;是表示每一个知识点在全部测量计划中所占的比重;权重的总和为100;在命题时,权重的分配一般根据教学大纲、考核大纲对每章指定的要求,权衡每章应占的比重;小的章节可以少占一些,重点内容可以多占一些,各章的权重分配完毕之后,再具体分配学习水平的权重;一般双向细目表纵向为要考查的内容即知识点,横向列出的各项是要考查的能力,或说是在认知行为上要达到的水平,通常采用识记、理解、应用、分析、综合、评价六个等级;这是按美国教育家布鲁姆目标分类划分的,是从最简单的、基本的到复杂的、高级的认知能力;每前一目标都是后面目标的基础;即没有识记,就不能有理解,没有识记与理解,就难以应用;1知识识记:是对知识的回忆;其中包括对具体事物、普遍原理、方法、过程、模式、结构等方面的回忆;2领会理解:是最低层次的理解;它与完全理解并不是同意词,与完全掌握信息也不是一回事;领会是指对交流内容中所含的文字信息的理解;3运用:是在特定的情况下,对抽象概念的使用;这些抽象概念可能是一般的观念、程序的规则、概括化的方法,也可能是专门性的原理、观念和理论;4分析:是将交流的内容分解成几个要素或组成部分,以便分清一个事物中各要素或各部分的层次关系;5综合:是将所分解的各个要素或组成部分组合成一个整体;是对各个要素或各个组成部分进行加工的过程和进行排列组合以构成一个比较清楚的模式或结构的过程;6评价:是为了特定的目的对材料和方法的价值所作出的判断;也就是说,对材料和方法符合标准的程度所作出的定量或定性的判断;布鲁姆认知领域教育目标的这六个层次是从学习过程的理解能力来划分的,它适应于任何一门学科,而且有很高的实用价值;双向细目表是命题工作的依据,双向细目表建立了考核的标准,体现了考试的目的;它的突出特点在于:保证了考题对要考查的内容有较宽的覆盖面;使考试有较好的内容效度;命题双向细目表不宜随意更改,只能随考试大纲的修订而修改;制定了试题卷的质量标准;衡量考试的质量通常有四个重要的指标:即考试的效度、信度、试题的难度和区分度;1效度;考试的效度是指通过一次考试能确实地测量到它所欲测量的东西的程度,可用考试的内容效度和效标关联效度来表示;标准化考试要求效标关联效度在0.45以上,考试才算有效;内容效度没有确切的数据指标,它是由测验编制者、使用者运用分析判断得出的结论;一般认为,内容效度应达到80%左右;2信度;考试的信度是指考试结果的可靠性程度,可用等值系数、稳定系数和内在一致性系数分半系数来表示;标准化考试的信度系数要求在0.90以上,最低不小于0.80;美国有些标准化考试的信度系数要求在0.96以上;3难度;试题的难度即试题的难易程度,可用通过率来表示;各个试题的难度以适中为宜;试题太难或太易都不会有好的区分度,其信度也会降低;国外许多研究者以及我国的试验结果证明,只有难度中等的试题才是较好的;除去个别的例外;4区分度;试题的区分度是指试题对不同被试者鉴别其能力的程度,可用题目得分与总分间的积差相关系数作为区分度指标对选择题,可用高低分组各占27%的被试者的通过率之差来表示不限题型;制作双向细目表的程序如下:1列出大纲的细目表任何测验,都是针对具体的学科内容进行的;教学中要求学生掌握哪些知识内容,不同知识内容在该科教学中的相对重要性有多大,不同知识内容所应实现的知能目标是什么;这些都是测验设计中必须解决的问题;所以在编制细目表时,应先列出课标或大纲的细目表;2列出各部分内容的权重应根据教学内容在整体学科中的相对重要性,分配相应的比重;比重多以百分比表示;这个分配的百分比例,既是教学时间、精力分配的比例,也是测验试题数量、考试时间、分数分配的依据;这个比例,就是说的“权重”;3列出各种认知能力学习水平目标的权重测验题不仅要对学科内容具有足够的覆盖率,也要涵盖所确定的学习水平目标,即识记、理解、应用、分析、综合、评价六级目标,应根据教学内容特点,对六级不同目标合理权重;确定目标权重时,除考虑学科特点外,还应适当强调高级目标的相对重要性,通过对这类目标分配以较大的权重,可以促进学生的智能发展;4确定各考查点的“三个参数”在欲测知识的内容和其应达到的学习水平所对应的格子内,分配各考查点的得分点和题型,再根据相应权重算出的各得分点的实际分数值;如,第一大题第4题2分,用“一、42分”表示;其实我们现在常用的赋分方法都是实际中经过检验和经过加权后的,如填空题一空1分,单选题每题2分等;5审查各考查点的分配是否合理审查包括两个方面:审查各级学习水平所占百分比的分配是否合理;审查各知识内容及各单元内容所占百分比是否合理;通过以上的工作,就使试卷的内容效度有了可靠的保证,从表中就可以看出内容分布和学习水平分布的情况易、中、难分数分布情况;这样,就可以避免出现由于主观随意性产生的覆盖面过狭、过偏,试题过难、过易的状况;即使是按照双向细目表命制的试题,当一份试卷编排好以后,整合试卷时还要综合考虑试卷的总体难度、题量大小等问题;因为不同的题目搭配在一起,由于相互作用,会使原来各自的难度和答题时间发生细微的变化,这时需要重新进行总体上的综合考虑;再就是看试题表述是否简洁、规范,符合学科的特点,符合学生的认知风格,图形是否优美,能不能给学生带来视觉上的舒适感,试题语言亲切,能给学生带来信心与动力,而不是带来紧张气氛,这样就可以减少非实质性因素而带来的不必要误差;同时应由命题人员单独、正式地对试题作答一遍,以发现问题,加以改正;命题人员作答时,要注意以下几个问题:1有效性;即测验题必须反映测验目的和测验内容方为有效;测验题反映测验内容越好,其有效性越高同时也要看是否体现命题原则;2时间性;作答时间是否够用;比如100分钟的考试时间,出题人认真读题、认真作答应在5 0分钟内完成;3合理性;答题量与赋分值是否合理,答题时间应和分值成正比;试题难度大、作答时间较长的,分值应大一些,反之亦然;4简明性;文字表述是否易懂,要求文字表述一定简明,选用常用词,不用生造词,多用简单陈述句,少用多重复式句,特别注意尽量避免使用否定句;5准确性;表述准确,用词恰当,概念、原理引用正确不能含糊或有误,图表清晰、计算条件充分,包括标点符号、字母的正体、斜体使用都要准确;如物理学科中:物理量为斜体,单位符号为正体6鉴别性;难度分布是否合理;7独立性;不出现相同或近似的试题,各题彼此独立,不能有相互启发的现象,试题与试题之间互不提示答案;8针对性;试题要符合年龄特征,使试题的文字表述、信息量和作答方式适合于被试者;9答案的科学性;这是最后必须重点看的内容,答案是否科学、合理,有没有争议,是否规范,评分是否可操作,是否易于控制评分误差;总之,制定命题双向细目表是一项非常复杂的工作,应严格遵循有关工作程序开展,以防止出错及疏忽;。

试卷四度

试卷四度

试题命制应注意的“四度”1.难度题目难度是题目的难易程度,它是题目对被试者知识和能力水平的适合程度的指标。

测验难度水平的适当与否取决于考试的目的、性质和题目的形成。

对于一般的常模参照考试而言其目的是测量个体差异,其题目的平均难度最好为0.50,各题难度可在0.50+0.20之间。

当考试用于选拔时,题目的难度值应更多地接近录取率。

试题的难度通常分为A、B、C、D四个层次:A类试题为容易题,相当于70%以上的考生能够正确回答,难度值处于0.7-1之间。

B类试题为中等偏易题,相当于50%-70%的考生能够正确回答,难度值处于0.5-0.7之间。

C类试题为中等偏难题,相当于30%-50%的考生能够正确回答,难度值处于0.3-0.5之间。

D类试题为难题,相当于30%以下的考生能够正确回答,难度值处于0-0.3之间。

2.区分度区分度是指考试题目对学业水平不同的考生的区分程度的指标。

具有良好区分度的题目,对考生有较强的鉴别能力,水平高的考生得分高,反之则得分低。

在常模参照考试中,题目的区分度是一个非常重要的指标,一般依据选拔的目的和选拔率来确定。

对于标准参照考试,只有及格线附近的考生对题目的区分度要求较高。

3.信度信度是指测试的结果是否稳定、可靠。

如果让一个考生把同一份试卷做两次,如果两次结果相近,那么测试具有较高的信度。

主观题的信度尤其重要。

由于评分者的信度难以保证,主观题的信度也往往难以保证。

4.效度效度是指测试是否有效地考查了希望考查的内容。

就语言水平测试而言,效度直接关系到测试结果能否准确反映考生的语言能力。

考试内容、考试形式与命题技术都直接关系到测试的效度。

试卷分析的四个度:难度、区分度、信度、效度试卷分析的四个度:难度、区分度、信度、效度试卷分析的四个度:难度、区分度、信度、效度一、难度难度是指试题的难易程度,它是衡量试题质量的一个重要指标参数,它和区分度共同影响并决定试卷的鉴别性。

一般认为,试题的难度指数在0.3-0.7之间比较合适,整份试卷的平均难度最好在0.5左右,高于0.7和低于0.3的试题不能太多。

如何出一份试卷

如何出一份试卷

5、试答全部试题命题人必须对试题进行试答,并记录答题时间。

一般情况下,用于实际考试的时间,为命题教师试答试卷时间的3倍。

6、调整完善①、根据答题实际时间的需要,对试题内容进行适当调整。

②、根据答题估计试卷难度,对试题内容进行适当调整。

7、制定评分标准参考答案给分尺度评分标准(分步)二、命题质量的检测衡量考试的质量通常有四个重要的指标:效度信度难度区分度后附:附一、如何出一份试卷附二、关于出卷的几点说明附一:如何出一份试卷一、衡量试卷质量的指标衡量试卷的优劣,通常我们用试卷的信度、效度、难度和区分度等指标来衡量数学试卷的质量。

因此,要编制一份高质量的试卷,我们必须先了解这些指标的含义,并把握它们之间的关系。

1、信度试卷的信度是表示试卷作为测试工具的可靠程度的指标。

试卷的信度高说明考生分数不易受偶然因素的影响,考生分数可以比较真实地反映考生的实际水平。

影响试卷信度的因素有:试题的难度。

过难或过易的试题都会降低试卷的信度。

题目的数量。

试卷题目数量越多,信度越高,因为题目数量增多,尤其是同质题目增多,在每道题目上的随机误差将会互相抵消。

虽然测评受到内容和时间的限制,题目数量不能太多,但可尽量把大题化小,增加题目数量,以提高信度。

题目用语的正确性。

题目用语不标准、不正确也会降低试卷的信度。

试卷的信度值必须在考后才能计算出来,而且计算过程比较复杂,因此为提高试卷的信度,教师在命题时应尽量排除上述因素的干扰,使试卷的信度值尽可能高。

2、效度试卷的效度是衡量考试结果与预定要达到的考试目标相符合的程度,效度反映了试卷的有效程度。

假如测试的结果与学生平时学习的情况基本一致,这样的试卷有较高的效度,说明试卷内容恰恰是需要考查的内容;假如试卷的效度低,则说明所要考查的内容没有完全考查到。

初学者学业考试中主要关注试卷的内容效度和结构效度,内容效度反映的是试卷是否都能答出来,同样没有区分度。

只有合适的难度才会有很好的区分度。

测验的四大质量指标

测验的四大质量指标

测验的四大质量指标(实用版)编制人:__________________审核人:__________________审批人:__________________编制单位:__________________编制时间:____年____月____日序言下载提示:该文档是本店铺精心编制而成的,希望大家下载后,能够帮助大家解决实际问题。

文档下载后可定制修改,请根据实际需要进行调整和使用,谢谢!并且,本店铺为大家提供各种类型的实用资料,如职业道德、时事政治、政治理论、专业基础、说课稿集、教资面试、综合素质、教案模板、考试题库、其他资料等等,想了解不同资料格式和写法,敬请关注!Download tips: This document is carefully compiled by this editor.I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you!In addition, this shop provides you with various types of practical materials, such as professional ethics, current affairs and politics, political theory, professional foundation, lecture collections, teaching interviews, comprehensive qualities, lesson plan templates, exam question banks, other materials, etc. Learn about different data formats and writing methods, so stay tuned!测验的四大质量指标一、考情介绍在教师招聘考试中,如何区分衡量测验质量的4个指标信度、效度、难度和区分度,一直是教学评价内容中的难点和重要考点,而且侧重理解性考查,多以客观题单选和判断题为主,具体的考察形式会以定义特点类和例子类形式出现在考试中,这部分的内容需要大家理解性识记,下面我们一起来梳理一下。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

衡量考试质量的四个重要指标
1.信度
考试的信度是指考试结果的可靠性程度对任何学生的多次测定都会产生比较稳定的、前后一致的结果。

2. 效度
效度指考试的准确性,反映的是考试内容与课程标准的吻合程度。

效度高的试卷,能够较准确地测试出学生掌握和运用所学知识的真实度。

3. 难度
平均得分/满分。

可根据不同的考试略有调整,建议控制在0.75左右。

若大于0.85则偏易,若小于0.65则偏难。

4. 区分度
考出学生的不同水平,把优秀、一般、差三个层次的学生真正分别开。

具体做法是:把成绩从高往低排序,前50%的考生为高分组,后50%为低分组,其计算公式为:D=2(XH—XL)/W。

其中,XH为高分组平均分,XL为低分组平均分,W为试卷总分(一般为100分)。

相关文档
最新文档