16 项目分析-难度

back
2. 估计项目难度的方法
测验的计分方法不同，项目难度的计算方法也不同。 1)二值记分项目的难度 2)多值记分项目的难度
1) 二值计分项目的难度
(1)通过率
• 二值计分：项目的计分只有答对和答错两种情况，计为1或0 • 通过率：以答对百分比(或比率) • 当项目以1、0计分时，难度等于通过率 R P 100 % N • 例如：在200个学生中，答对某题的人数为120人，则该项目的难度 为
• 所以该题的难度为
• P=(0.6+0.3)/2=0.45
back
2)多值计分项目的难度
• 当项目以多值计分时，难度等于平均分与满分之比。
P X X max
—
例如：设某一问答题满分是20分，全体考生在该题上 所得的平均分为10分，则该题的难度为：
X 10 P 0.50 X max 20
等级量表无Biblioteka 无等距量表有
无
还有 等距性
比率量表
有
有
还有 等比性
可以加减 乘除
长度
GO
测验目的 • 若测验的目的是为了了解被试在某方面知识技 能掌握的情况，可以不必过多的考虑难度。 • 如果测验的目的是鉴别，则需要选择中等难度 的项目。 • 如果目的是筛选，项目的理想难度应该接近录 取率的项目。
back
4 1
可以看到，和未矫正前相反，五择一的测题更难一些。
back
4. 项目难度的等距量表
通过率是以何种量表水平表示难度？ a.使用项目难度等距量表的理由 第一，测题的难度一般用答对某题的人数比率或百分比 表示。百分量表是等级量表，不是等距量表。因此不 能比较题目之间的具体差异。 第二，难度量表是反序而行的，P值越大，项目越容易， 转换成等距量表后更清晰明了。
—
• 当测验不是二值记分，且受测者人数很多时，难度等于 总分上高分组与低分组平均分之和与2倍满分之比。
X h＋X l P= ２Ｘm a x
back
3. 选择题的难度修正
• 在选择题测验中，猜测的成功概率受项目备选答案数目 (K，选项数目)的影响(P= 1/K)， • • 为平衡机遇对难度的影响，采用下矫正公式：
KP 1 CP K 1
• 如果要比较两个选项数目不同的测题难度，必须应用以 上矫正公式分别将两个测题的难度进行矫正，然后才能 进行比较分析。
例如：一个五择一的测题难度指数为 0.50，一个四择一的测 题难度指数为0.53，哪一题的难度大？ 五择一的测题矫正后难度指数为 5 0 . 5 0 1 0.38 CP= 5 1 四择一的测题矫正后难度指数为 4 0 . 5 3 1 0.37 CP=
一、项目难度
1. 定义
2. 估计难度的方法 3. 选择题的难度修正 4. 项目难度的等距量表 5. 测验难度的确定
go
1.定义
• 难度就是指测验项目的难易程度。
能力测验：项目的难易水平 非能力测验：“通俗性”或者“流行性”水平(popularity level)。
• 难度分析，是对项目的难度进行估计以确定适宜的难 度。
back
5. 测验难度水平的确定
a. 项目难度的确定 b. 测验难度的水平的确定
a.项目难度的确定
难度分析的主要目的是筛选项目，项目的难度水 平取决于测验的目的。
back
b. 测验难度水平的确定
• 中等难度是测验的最合适难度水平。 • 因此，选择题目时，最好使试题的平均难度接近 0.50，而各题难度在0.50±0.20之间。
• 中等难度的测验可以使测验分数呈常态分布（正 态分布）。
• 正偏态
• 负偏态
• 正态
back
表1
四种测量水平和量表对应数据特征
实 例
量表名称 有无相 有无绝对 数的特性 可进行的运算 适用的统计方法 等单位 参照点 类别量表 无 无 同一性 区分性 还有 等级性
不 能 加 减 乘 计算次数、百分比、 ０（ 男） 除 ， 不 能 排 列联相关、χ2检验、１（女） 序 比率差异检验。 可 以 排 序 ， 还可求中位数、百 第１名 不 能 加 减 乘 分位数、斯皮尔曼 第２名 除 相关系数、肯德尔 和谐系数、符号检 验、等级方差分析。 可以加减 不可乘除 还可求平均数、标 准差、方差、积差 相关、作Ｚ检验、 Ｔ检验、方差分析。 还可几何平均数、 差异系数。 温度
• 0
back
Δ=13+4Z Δ：常态化等距难度指标，13为平均数，4为标准差，Z为 以σ为单位的Z值。
如，前面所举的例中，其Δ难度值为： 题目A：通过率P=0.84 Z=-1 Δ=13+4×(-1)=9 题目B：通过率P=0.16 Z=1 Δ=13+4×1=17 题目C：通过率P=0.50 Z=1 Δ=13+4×0=13 如果一个题目几乎所有被试都通过（99.8%）, 则其Z=-3, Δ=13+4×(-3)=1 如果一个题目答对的人很少（0.13%）, 则其Z=3, Δ=13+4×3=25
R 120 P 100% 100% 60% N 200
(2)极端分组法
当项目以1、0计分，而人数较多时，难度等于总分上高分组与低分 组通过率的平均数
Ph Pl P 2
• 27%规则 • 一般情况下，取上下25%~33%均可。 • 样本少时，可以取50%
例： • 假设有370个被试，取其中成绩最高的27%（100）人定 为高分组，成绩最低的27%（100）人定为低分组，对 于某一道试题，若高分组有60人答对，低分组有30人答 对，则： • Ph=60/100=0.60 Pl=30/100=0.30
项目分析
• 项目分析就是根据试测结果对组成测验的各个题目(项目)
进行分析，从而评价题目好坏、对题目进行筛选。
• 包括质的分析和量的分析。 • 如有关项目的内容效度的分析就属于质的分析； • 而有关难度和区分度的分析就属于量的分析；
学习目标
• • • • 掌握难度的估计方法 了解测验难度水平的确定依据 掌握项目区分度的求法及区分度对测验质量的影响 了解难度与区分度的关系
b. 转换为等距量表的方法 • 查标准正态分布表，将以等级量表表示的P值转换成具 有相等单位σ的等距量表Z值。 • P值作为正态曲线下面积时，要从右向左而行。 • 转换好的Z值在平均数以下是负数。为了避免负号出现 的情况，使用Δ 。
例
• 在正态分布中，平均数之上或之下一个标准差的距离 约占全体人数的34% • 如果在一个测验中某项目A通过率为84%（0.84），那 么这项目的难度 • -1σ • 如果某项目B的通过率只有16%，则这个项目的难度为 • +1σ • 若某题C恰好有50%的人通过，则此题的难度为