第五章 地理学科测量的评价

二、题目的区分度
（三）区分度的分析方法
2. 鉴别指数法 美国测量学家伊贝尔做出了鉴别指数的评价标准。 D的取值范围在-1与1之间。对于一般的测试，区分度指数D在0．4
以上，就可以认为是区分非常好的项目；D取值在0．19以下算是 区分度差的项目，应做出修改或予以删除。
• 【例】某地理教师对高一某班的37位学生进行一次地理 测验,其中各占总人数27％的排名前10位与排名后10位 学生的总成绩以及在第6题(总分为11分)的得分情况如 表4—13所示。试分析第6道选择题的区分度。
• 运用教育测量学的理论和数学方法对测验或考试结果进行 评价是考试由一项制度或形式发展为一门学科的重要标志。
第一节 试题质量分析与评价
主要内容：
一、题目的难度 二、题目的区分度 三、题目综合分析
第一节 试题质量分析与评价
• 试题是组成试卷的基本元素。试题的质量与特性决定了测验或考试 的质量。进行试题质量分析是不断改善题目性能，不断提高测验或考试 质量的手段。
一、题目的难度
（二）难度的计算
难度的计算因题目形式和赋分赋分的不同而有所区别。
1. 当题目是二分变量（即答对为1，答错为0，如单项选择题）时， 可以根据通过的人数直接求出题目难度。
P=R/N
P为题目难度，R为回答正确人数，N为参加测验的总人数。
一、题目的难度
（二）难度的计算
2. 当题目分数是多分值时，难度是全体被试在该试题上的平均分与 该题满分的比值。
为鉴别指数。
将参加测验的全体学生各自所得的总成绩按高到低进行排序，选取一定 比例的高分组和低分组的学生(一般各占总人数的27％)，然后求出各自 在某一项目上的通过率（得分率），用两者之差来表示区分度，即： D=pH-PL
D即为鉴别指数，PH、PL，分别为高分组和低分组在该题上的通过率（得 分率）。
校标是指衡量测验或题目的有效性的外在标准。题目分析时通 常以测验总分数为校标。
其估算方法主要有以下两种：
二、题目的区分度
（三）区分度的分析方法
1. 特征曲线法 特征曲线法是以校标分数（MK，测验总分数）为横坐标，以题
目的答对率（DIF，考生的通过率或得分率）为纵坐标，根据 题目的答对率与校标分数之间的函数关系描绘出相应的曲线， 这条曲线即称为特征曲线。 通常题目的有效区分能力与曲线的走向和坡度有关，如果题目 的特征曲线是上升的，就表示校标分数升高时答对率也随之升 高，题目就具有一定的区分度，而且曲线越陡峭，区分能力越 强。
一、题目的难度
（三）难度水平的确定
2. 测验难度水平的确定 整个测验即整份试卷的难度水平取决于测验的题目的难度。通 过测验分数的分布，可以对测验难度作出综合性检验。
目前，地理高考试卷的难度值定在0.55-0.60之间比较合适。
对六种曲线的说明
– 正态分布：说明考试结果与学生情况一致，试题恰当。
（2）当题目是主观题，分数为多分值时，公式可写为：
P=(XH+XL）/W/2 P为题目难度， XH和XL分别为高分组与低分组在该题上的平均
分，W为题目满分。
一、题目的难度
（三）难度水平的确定
1. 测验题目难度水平的确定 测验题目难度水平是否是否适当，主要取决于测验的目的、性 质和题目的形成。 对于以比较和选拔为目的的常模参照测试，难度值的确定原则 上应该与录取率相近。从理论上讲，难度值在 0.50时分数的变 异表现最为明显，其分布也区域正态，有利于比较和选拔。 通常测试题的难度分布应分布在0.20-0.80之间。其中难度在 0.30以下的属于难题；难度在0.70以上的属于容易题；介于二 者之间的属于中等难度题。
二、题目的区分度
（二）区分度的意义
通过题目区分度的分析，可以得到三个方面的信息：
1. 题目是否能有效地测量或预测所要了解的某些特性或状态。
例如，考查考生的分析地图的能力，考试结果是否能如实的反 映出考生读图、提取有效信息并分析得出结论的水平，使能力 高的考生得到高分。
二、题目的区分度
P=X/W P为题目难度，X为全体被试平均分，W为题目满分。
• 【例】某地理教师对某班的10位学生进行一次地理测验， 选择题第3题和简答题第5题的满分分别为2分和8分。10位学 生的答题得分情况如表所示。试计算这两题目的难度。
某班部分学生某次地理测验第3、5题得分表
学号 2 4 6 8 10 12 14 16 18 20 第3题 0 2 2 0 0 2 2 2 2 0 第5题 5 6 6 4 5 7 6 8 7 3
均得分率(通过率) 。
一、题目的难度
（二）难度的计算
3. 大规模测试时，可以采用以下简化方法计算难度：
（1）当题目是客观题时，以二分法记分，公式可写为：
P=(PH/NH+PL/NL)/2 P为题目难度， PH与PL分别为高分组与低分组被试答对人数，NH
和NL 分别为高分组和低分组被试总人数。
三、题目综合分析
题目综合分析
为使分析评价题目的结果更具有意义，应在分析和评价过程中建 立起难度和区分度两项指标之间的关系，进行总体衡量，即对题 目进行中和分析。
• 由表可知，当P值在0.5时，D值达到最大， 此时题目区分度最大。但这并不意味着当 全卷每道试题的难度都是0.5时，测验的区 分能力最强，而是指当测验的平均难度达 到0.5时，测验的区分效果最好。
– 陡峭型分布：说明试题中同等难度题目较多，几乎不能将不同水平 学生区分开，分数分布过于集中。
一、题目的难度
（四）影响难度的因素
通过对近年来地理高考试卷的分析，发现地理题目难度主要与以下 因素有关：
1. 对试题内容的熟悉程度。
这一因素反映了被试者对试题的心理准备状态。如果题目内容 与形式与日常生活联系紧密，与课本的例题、习题相近，或者 是教学中重点内容经常运用和复习，则考生容易作答。
第二节 测验质量分析
主要内容：
一、测验的信度 二、测验的效度
• 测验质量评析是指对全卷或者说考试质量 的分析评价。其评价行为主要从测量的可 靠性和有效性两个方面着手。
• 评量测验可靠性的指标是信度；测量测验 有效性的是效度。
1. 相关性
相关知识补充
• 在地理教育测量中，经常需要考虑某两个变量之间的关系 或联系程度，这种关系或联系程度称为相关。
对率就有明显增长，说明它能有效测量考生水平。 • 第④条曲线：第④题是一种反常现象，校标分数越高，答对
人数的比率越低，即表示高分组的考生（好学生）未能得 分，而低分组的考生得分，这样的试题说明有问题。
二、题目的区分度
（三）区分度的分析方法
2. 鉴别指数法 当参加测验的人数比较多时，则可以采用。 两个极端被试组（高分组和低分组）在该题上的通过率的差异称
• 试题质量分析包括两个方面： • 一是定性分析，及评量试题的内容与形式是否符合命题原则，能 否满足测验或考试的要求。 • 二是定量分析，即通过统计方法分析题目的难度和区分度。
一、题目的难度
（一）难度的概念
难度是指测验项目的难易程度。它是题目对学生知识 和能力水平的适合程度指标。
能够正确回答一道试题的人数（或得分数）与参加测 验的总人数（或总分数）的比率，这个比率被称为题 目的难度。通常以通过率来表示。
一、题目的难度
（四）影响难度的因素
4. 题目结构及动态变化程度。
题目条件与结论内在关系的隐蔽性、计算的复杂性、题目的要 求、灵活性、抽象化及问题的变化和干扰程度等，都是影响题 目难度的因素。
比如，单选变多选，难度就会大幅度上升。
一、题目的难度
（四）影响难度的因素
5. 试题的分量与时间的约束。 考试对考生的思维、表达、书写等方面是有速度要求的。就整
校标分数题目特征曲线图
• 图中曲线表示了四个题目上答对率与校标之间的对应关系。 例如：A点表示校标分数为30分时，第④题答对率为0.45。
• 由图可知： • 第①条曲线：第①题的区分能力最差，因为各种水平的考生
在该题上的答对率几乎相同。 • 第②条曲线：第②题的特征曲线缓慢增长趋势，表明有一定
的区分能力。 • 第③条曲线：第③题的区分能力最强，校标的微小增加，答
– 如果一个变量增大(或减小)时，另一变量也会增大(或减小)，则称 这两个变量为正相关；
– 如果一个变量增大(或减小)时，另一个变量会减小(或增大)，则称 为负相关；
– 如果两个变量之间不存在相互影响的关系，则称为不相关。
• 2. 相关系数
• 描述这两个变量之间相关程度的量就是相关量数，叫做相 关系数。
份试卷而言，当题目数量增加而时间不变、或者题量不变时间 减少，都会造成考生因为完不成答题而使得分率降低。
二、题目的区分度
（一）区分度的含义
题目的区分度是指测验题目对学业水平不同的考生的区分程度 与鉴别能力，是衡量题目对测量目的所做的贡献大小程度的指 标。
题目具有良好区分度的理想标志是：学业水平、实际能力高的 考生都答对；而学业水平、实际能力都较低的考生都答错。
第五章 地理学科测量的评价
主讲人：陈俊华
西南大学地理科学学院
本章内容
试题质量分析与评价 测量质量评价 地理高考评价及其意义
• 地理学科测量的评价即是运用教育测量的评价方法、评价 指标对地理测验或考试结果的质量进行检测和评定。
• 地理测试命题工作固然是地理教学过程中一个不可缺少的 环节，而做好地理测试命题质量分析工作，对正确认识、 评价地理测试结果，为以后的命题工作提供必要的经验， 教训等同样也具有重要的意义。
一、题目的难度
（二）难度的计算
3. 大规模测试时，可以采用以下简化方法计算难度： 先将考生按测验总分的高低排序，然后在两端分别找出人数相 等的高分组和低分组（通常分别取总人数的 27%），再分别计算 两组考生在该题上的得分率，最后求平均值。
P=(PH+PL)/2 P为题目难度， PH与PL分别为高分组与低分组在该项目上的平
（二）区分度wk.baidu.com意义
2. 一个题目能否与其它题目同效的鉴别考生。
即被试在该题上获得了高分，能否在其它题目上也获得高分；反 之亦然。
3. 被试在某一个题目上的得分与整个测试的总分数间一致性 的状况。
即总分数高的被试是否在该题上的得分也高。
二、题目的区分度
（三）区分度的分析方法
区分度的分析主要以校标为依据，考查被试在每个题目上的反 应与其在校标上的表现之间的相关程度。
• 由上表可知 • PH=(10+11+9+8+7+5+4+6+7) ÷10／11=0.682 • PL=(5+4+5+2+1+0+3+2+0+0) ÷10/11=0.2 • 将上述结果代人公式 • D=PH-PL=0.682-0.2=0.482 • 根据上面提到对区分度指数D的取值要求可知，
第6题的区分度是很好的。
• 其具体计算公式如下：
式中的 代表两个变量之间的相关系数，x、y分别表 示两个变量在变化过程中所取的一系列值，n表示每个变 量取值的个数。
• 2. 相关系数
• 相关系数是表明两个变量间相关程度的一个指标，取值介 于-1．00～1．00之间(包括-1．00和1．00在内)。
• 相关系数的绝对值越大，说明变量之间的相关程度越高。
– 正偏态分布：说明试题偏难，难度较大的题目比例偏大。
– 负偏态分布：说明试题偏容易，难度较低的题目比例偏大。
– 双峰型分布：说明试题存在两极分化现象，即难度偏大和难度偏小 的题目较多，而中等难度题目偏少。
– 平坡型分布：说明试题中各种难度题目的比例接近，这种试题能区 分不同水平的学生，但分数间差距偏大。
• 【例】在其他条件都相同的情况下，一次以主观性试题 为主的地理测验和一次以客观性试题为主的地理测验中, 抽取某班的9位学生的成绩如表4-5所示。试分析这两种 不同题型为主的地理测验成绩之间的相关关系。
一、题目的难度
（四）影响难度的因素
2. 认知目标层次。 这一因素反映了被试者解决问题的能力水平。一般情况下，认
知领域中考查高层次能力水平的题目较难。
一、题目的难度
（四）影响难度的因素
3. 信息量与可接受性。
这一因素反映了被试者分辨、提取有用信息的能力和命题者提 供材料、设置情境的水平。考生作答时需要首先进行审题，审 题的过程实际上就是信息输入及加工整理的过程，倘若试题的 信息容量过大，便会给考生全部把握试题内容带来困难。