教育测量与评价的难度与区分度

13 4 z
转换为：平均数为13，标准差为4的标准分数 目的：消除负数，便于计算 转换之后可用所得的Δ值计算整个测验中所有项目的平均难度
教育测量与评价中题目（项目）的难度
四、难度对测验的影响 难度对测验分数分布的影响 过易、过难会造成测验分数偏离正态分布，使测验分数离散程 度变小
教育测量与评价中题目（项目）的区分度
一、区分度的概念

区分度是测验对被试实际水平的区分程度 是测验项目分析的重要内容 是作为评价项目质量、筛选项目的主要指标与依据 通常用D表示，取值范围为＋1.00至－1.00 D越高时，试题的质量越好 D为正时，试题积极区分

高分组通过率高，低分组通过率低 高分组通过率低，低分组通过率高
教育测量与评价的
难度与区分度
2005－11－21
教育测量与评价中题目（项目）的难度
一、难度的含义

难度是指测验项目的难易程度 刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数， 用符号 P表示 在教育测量中，P＝正确回答试题的人数/参加测验的总人数
二、难度的计算
源自文库
客观试题（二分法记分）： P＝R/N R：答对该题的人数；N：参加测验的总人数 对选择题的解答，因被试可猜测，故需对难度系数加以校正
二列相关计算区分度
测验总分与项目分数均为连
续变量，其中一个被人为地 分成两个类别，
X p X q pq rb St Y
生 总 作 类
1 2 3 4 5 6 7 8 9 10 11
公式的说明： p为二分变量中某一类别在全 部变量中所占的比例，q为另 一类别所占的比例（q＝1-p） St为全部连续变量的标准差 Y表示正态曲线下与P相对应 的纵线高度。

我们能说： 我们不能说：


如何进行差异比较？
教育测量与评价中题目（项目）的难度
三、难度的转换
难度指出的仅仅是题目的相对难度，不能客
观地指出题目难度之间差异大小 一般情况下，测验分数呈正态分布 利用正态分布表，可将P转换成具有相等单位 的等距变量
补充：量表的类型
测量：按照一定规则对事物的属性进行量的规定，即：按照法则给事物
教育测量与评价中题目（项目）的难度
二、难度的计算 主观题的平均数法
X P W


主观题的极端分组法 公式： X
P
H

步骤 按测验总分依次排序，确定比例各为 25％的高分组和低分组 为高分组、低分组分别编制每题得分的分析表（试题分析表） 用上述难度公式计算难度值
X L (2 NL) 2 N ( H L)
教育测量与评价中题目（项目）的难度


L 公式的含义： P H XH：高分组所得总分； 2 N ( H L) XL：低分组所得总分；H：该题最高分；L：该题最低分；N： 考生总人数的25％ 例： 100名学生参加论文式测验，按高、低分各占总人数的 25％分 组，其中第6题的得分统计表如下所示。求该题目的难度。
kP 1 CP k 1

CP：校正后的难度值；P：实际得到的通过率；K：选项数目
例：某次测验中，20个学生中有15人答对了某一选择题，分别计算此题有
四个选项、三个选项、两个选项时的难度值
教育测量与评价中题目（项目）的难度
二、难度的计算 客观题的极端分组法 根据测验分数按高低排序，用两个极端组（高分、低分）在 某项目上的平均通过率表示项目的难度
X f 10 8 6 fx 100 64 42 低分组 X 10 8 7 f 0 5 8 fx 0 40 56 高分组
X X (2 NL)
试 题 分 析 表
10 8 7
5
4
1
0
5
0
5
4
2
10
10
40
问题：
有3道试题（A、B、C），它们的难度P值分别为
0.85、 0.75 、0.65，试比较这三道题目的难度差异 情况。
另一类数据 Ⅰ 一类 数据 合计 Ⅰ Ⅱ A C A+C Ⅱ B D B+D
合计 A+B C+D N
Ф相关法计算区分度
例：45名学生考取大学的人数和在某题上通过的人数由下
表所示。若以升学为效标，此题对学生是否有区分能力？
考取 未考取
通过
未通过
13 5
7
20
检验计算出的rФ值是否达到显著性水平，还需将rФ值
平均数上下各一个标准差的范围分别包含了全部人数的34％
若某项目有84％的学生通过，这道题的难度在平均数以下一
个标准差的位臵，由0.84－0.50＝0.34去查Z值，Z＝－1σ 若一个项目的难度位0.16，则这个项目的难度在平均数以上 一个标准差的位臵，由0.50－0.16＝0.34去查Z值，Z＝σ 若某个项目有50％的学生通过，这个项目的难度落在下图0 的位臵上
题号 1 2
P 0.65 0.55
难度Z值 －0.385 －0.125
难度差异 － 0.26
3
0.45
0.125
0.25
两个项目之间的P值之差相等，但Z值之差不等 将P值转换为Z值之后，它们之间的单位相等，可以比较差异
教育测量与评价中题目（项目）的难度
三、难度的转换 Z分数向Δ分数的转换：
试 题 分 析 表
12 10
8
6 4
4
3 2
32
18 8
8
6 4
6
5 10
48
30 40
教育测量与评价中题目（项目）的区分度
三、区分度计算方法 相关法 考虑中间数据 以项目分数与效标分数的相关作为项目区分度的指标 （效标分数不易得到时，以测验总分代替） 相关越高，区分能力越好 具体方法：
80 75 76 73 46 39 40 41 合 合 合 合
Ф相关法计算区分度
测验的两个变量都是二分变量，可用计算Φ相关系数来表示
某项目的区分度 以测验总分划分为合格、不合格两类的被试在某一题目上通 过、未通过的人数列成四格表来计算
AD BC r A BC D A C B D
转换成χ2值，再进行χ2检验。
Nr
2
2
练习：
20名学生的期末成绩如下表，为考查第一题是否有
区分能力，将该题用二分法记分，答对记1分，答错 记0分。试计算该题的区分度。
生 总 一
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 86 90 54 89 50 44 43 28 75 82 60 70 75 81 70 80 76 77 79 50 1 1 0 1 0 0 0 0 1 1 0 1 1 1 0 1 1 1 1 0
r
X p Xq S
pq
况如下表。计算该选择题的区分度。 生 总 题
1 86 1 2 52 0 3 94 0 4 72 1 5 65 1 6 22 0 7 76 0 8 83 1 9 80 1 10 75 1 11 76 1 12 73 0 13 62 1 14 91 1 15 47 0 16 74 1 17 81 1 18 88 0 19 62 0 20 58 0
教育测量与评价中题目（项目）的区分度
例：100名考生参加主观性试题测验，按高、低分各占人数
的25％分组，其中第四题试题分析表如下所示，求该题目的 区分度。 XH XL D N ( H L)
X f 10 6 fx 120 60 低分组 X 12 10 f 0 4 fx 0 40 高分组
12
13 14 15 62 91 47 38 52 21 合 合 不
16 17 18 19 74 81 88 62 39 42 48 29 不 合 合 不
20 58 27 不
86 52 94 72 65 22 76 83 47 37 55 27 22 10 35 42 合 合 合 不 不 不 不 合
S S S 2S X SY
2 X 2 Y
2 D
Sx为全体被试在某道题目上得分的标准差；Sy为全体被试
总分的标准差；SD是由被试总分减去某题目得分而得到的新 变量的方差
点二列相关计算区分度
测验的一个变量是连续变量，另一个变量是二分变量时，
要用点二列相关系数表示某项目的区分度
公式的说明： p为答对某题人数占全体人数 pb 的比例 t q为答错此题人数所占全体人 数的比例 （q＝1-p） St为全体考生的标准差 20个学生参加语文测验，总分与某一个选择题的得分情
积差相关法 点二列相关 二列相关 Φ相关
积差相关法计算区分度
非二分法记分的项目，可将题目得分与测验总分求积差相关
系数以得到题目的区分度
rxy
X X Y Y X X Y Y
i i 2 i i
2
积差相关的另一计算公式：
rxy

步骤：

PH PL P 2
按测验总分由高到低排序 从高分段向下选出全部试卷的27％作为高分组 从低分段向上选出全部试卷的27％作为低分组 按照上述公式计算项目难度值

例：100人参加某测验，高分组与低分组各取27人，其中第 一题高分组20人答对，低分组10人答对。这道题的难度系 数是多少？

只关心研究对象的顺序，不问津间距是否一致 如：合格与否、优良中差等
3. 等距量表

间距量表，在赋值时有相等的度量单位，采用相对零点，被测所对应的 测量值由明确的距离关系 原始测验分数经过统计处理后推导出一种新的量表分数，此分数的“零
点”是一个相对零点
4. 比率量表 具有等距量表的一切性质，采用绝对零点。 针对总体而不是样本 不但能确定一个被测比另一个被测大（小）多少，而且还能得出其间的 倍数关系
四种量表的比较
量表 水平
名称量表
特性
文字表达
同一性 区分性
图示
功能
例
符号表达
断定： A＝B或A≠B 分类、命名、 准考证号码； 符号化 男1女2；男 3 生喜欢11、男 生不喜欢 10…… 分等级、位 3 4 次、排列顺 序 学习成绩： 好＝3 中＝2 差＝1 温度
1
2
等级量表
等级性、位 次性、大于 或小于
0.13% -3
2.14% -2
13.59% -1
34.13% 0
34.13% 1
13.59% 2
2.14% 3
0.13%
教育测量与评价中题目（项目）的难度
三、难度的转换 P向Z的转换 假定每个试题所要测量地潜在特质或能力是呈正态分布的， 可将P值作为正态曲线下的概率面积，以此转换成Z分数 问题：三道题目的难度系数为0.65、 0.55 、0.45，比较其差 异。

XH XL 主观性试题区分度的计算公式： D N ( H L) 说明：
XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该 题最低分；N：考生人数（总人数的25％） 步骤： 按测验总分由高到低排序；分别确定测验总分的25％、25％作为高低 分组；列出试题分析表；将数据带入以上公式加以计算

难度对测验鉴别力的影响 测验的主要功效是鉴别考生实际水平的高低 适宜难度可以加大考生得分的差异，从而提高测验的鉴别力 项目难度的适宜值为0.5左右时，测验得分的方差才可达最大值

难度与测验目的的关系 项目难度应根据测验目的来确定 常模参照评价：区分学生能力或成就的高低 标准参照评价：了解学生达到教学目标规定的掌握程度

D为负时，试题消极区分

教育测量与评价中题目（项目）的区分度
二、区分度计算方法

极端分组法

客观性试题区分度的计算公式： D＝PH－PL
按测验总分从高到低排序 确定测验总分最高的27％的被试作为高分组，最低的27％的被试为低分组 分别求出这两组被试通过试题的百分比 将算得的有关数据带入上公式
断定： A＞B A＝B A＜B 确定 （A－B）＋ （B－C）＝ A－C 设A＝KB， B＝lC，则A 0 ＝KlC成立
1 2
等距量表
单位相等 有人定参照 点，无绝对 零点 有绝对零点
1 2 3 4
求等距的度 数，决定差 异
比率量表
1 2
从绝对零点 3 4 开始求等距 的度数、决 定比率
体重 身高
正态分布的特征
指派数字 1. 名称量表


类别量表，最低层次的量表，用于分类，表示事物的不同类别和性质
用数字表示每一个研究个体：学号、准考证号 用数字代表事物的类别：“1”、“0”表示“好”、“坏”
2. 顺序量表（等级量表）

也称位次量表，根据事物的特性和设定的法则在分类的基础上确定同类 客体中各元素之间的相对顺序