项目分析

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
❖ 一、多重选择题的分析步骤: ❖ 1.按被试测验的总分,从高到低依次排列试卷。 ❖ 2.从最高分依次向下取全部试卷的27%作为高分组。 ❖ 3.从最低分依次向上取全部试卷的27%作为低分组。 ❖ 4.分别登记高分组与低分组选中各选择项的人数(亦
可将人数换为人数比例),然后登记。 ❖ 5.根据登记结果进行选择项的质量分析。
被 试
1
2
3
4
5
6
7
8
9 10
得 分
13
15
10
10
9
11 10
9
11 10
二、二级评分法项目难度的矫正
➢ 排除由于被试猜测而答对某些 题目致使P值增大的可能性。 比较答案选项数不同的题目的 难度。
➢ 矫正公式为:
CP=矫正后的难度 P=未矫正的难度 K=测题的选项数目
CP
KP 1 K 1
百度文库
难度矫正公式的推导
(一)编制测验不能要求所有项目的难度为0.50。
❖ 原因:测验中的项目间有某种程度的相关。若所有得题目都 完全相关(r=1),且都是0.5难度水平,结果只有两种情 况,即满分和零分,成V形分布。
❖ 实际上,如测验的所有项目都是中等难度,只有项目的内在 相关为0时,整个测验才能产生正态分布。
(二)合理做法:
二列相关
• 项目和总分都是正态连续变量,但项目 得分被人为地分为两个类别
r X p X q pq
b
St
Y
X p 等距(等比)变量中与p对应的那部分数据的平均值
X q 等距(等比)变量中与q对应的那部分数据的平均值 St 全部等距(等比)变量的标准差 p 二分变量中取某一值的变量比例 q 二分变量中取某一值的变量比例 Y 标准正态曲线下p与q交界点的Y轴高度
答题人数 过少
负向
未答人数 太多
鉴别力不 够
(二)标准参照测验的项目分析
以上介绍的是常模参照测验的项目分析方法,不 完全适用标准参照测验,需要注意以下方面。 1、难度分析
标准参照测验可以采用常模参照测验的方法计算 难度,但难度水平的要求不同,只要项目重要,就可 包括在测验中,而不管其通过率和鉴别力如何。
点二列相关
项目是0、1记分,总分是连续变量
rpbi
X pXq St
pq
rpbi 点二列相关系数
X p 答对该题的被试在总分上的平均得分
X q 答错该题的被试在总分上的平均得分 St 全体被试的总分标准差 p 该题的难度
q 1 p
例题
学生 1 2 3 4 5 6 7 8 总分 90 87 83 80 80 77 71 68 项目得分 1 1 1 0 1 0 0 0
• 选拔或筛选测验:难度P=优秀人员的录取率 • 对于选择题:难度P应大于猜测概率
还是应小于(1-猜测概率)?
2.根据区分度挑选项目
• 鉴别指数D在0.30以上;(只有区分度大于 0.30才能够保证鉴别指数的良好。)
• 相关系数不低于相应的临界值(即进行统 计检验,p值达到显著性水平)。
第四节 项目分析的特殊问题
如何分析?
• 1、正确的备选答案被所有被试选择,说明题 目太容易或题目可能提供了某种暗示。
• 2、错误答案没有一个被试选择,说明该选项 不具迷惑性,错得过于明显。最少要有2%以 上的人选择,否则这个备选答案要去掉。
• 3、如果被试都选择了同一错误答案,可能是 编著测验时把正确答案定错了
• 4、高分组被试的选择集中在两个答案上,二 者选择率相近,说明该题可能有两个正确答案 或在某种意义上另一个选择也有一定的意义。
• 总分方差越高,信度也就最高; • 与心理特质的正态分布吻合,测验具有最大
的鉴别力,测验的效度才能达到最高。
3.区分度与测验的信度和效度
• 以项目与总分的相关来计算时,区分度体 现了测验的同质性。
• 区分度高时,测验的内部一致性信度就高。 • 项目区分度的总和就是测验的效度(结构
效度)。
区分度与信度的关系
一、定义
• 项目的鉴别力(Item discrimination), 又称项目的区分度。
• 指项目得分对被试实际水平的区分能力或 鉴别能力。
二、估计方法
• 极端组法 • 相关分析法 • 因素分析法
1.鉴别指数(极端组法)
►高分组与低分组在某一项目上的通过率之差
D = PH-PL
D=鉴别指数 PH=高分组通过率 PL=低分组通过率
• 5、高分组对正确答案的选择与低分组相等或 低于后者,说明该题所考察的东西与被试水平 无关,即不具有辨别力。
• 6、一个题目被试未作答的人数多(速度测验 除外)或选择各个备选答案的人数几乎相等, 说明该题可能过难或题意不清。
❖例:370人参加的四道四选项题目项目分析统计
题号 组别 A
1 高分 5 低分 22
例题
学生 1 2 3 4 5 6 7 8 总分 90 87 83 80 80 77 71 68 作文得分 36 35 33 28 24 26 21 22 通过与否 1 1 1 1 1 1 0 0
积差相关
• 项目和总分均为正态连续变量
⑵项目间的相互相关
又称项目的组间相关
• 项目是0、1记分 • 项目是非0、1记分
三、难度的等距量表
➢ 用百分比表示的难度值是等级数据。 P值越大,项目越容易。
➢ 将以等级量表表示的P值转换为具有 相等单位的等距量表Z值: 将某题的通过率P视为正态分布曲线 下的面积;查正态分布表找出正态曲 线右侧面积所对应的Z分数。 Z值越大,项目越难。
➢ 美国教育测验服务社(ETS): △ = 13 + 4Z △取值范围为1~25
例题
• 选取有代表性的试卷370份,按照总分高低排序, 将从最高分向下的27%(100人)作为高分组,将 从最低分向上的27%(100人)作为低分组。某题 的答题情况如下表。试计算该题的鉴别指数。
组别
选择各项答案的人数
A B C D 未答
正确答案
高分组 8 36 34 21 1 低分组 4 30 46 20 0
区分度(D) 0.1225 0.16 0.20 0.30 0.40 0.50
信度 0.00 0.42 0.63 0.84 0.915 0.949
二、依据项目统计量挑选项目
• 根据难度挑选项目 • 根据区分度挑选项目
1.根据难度挑选项目
• 对大规模群体的个体水平进行区分和鉴别: 所有项目平均难度为0.50左右,难度值在 0.20~0.80之间(或0.35~0.65之间)
项目是0、1记分
第i题
0
1
第j题
1
A
B
A+B
0
C
D
C+D
A+C
B+D
项目是0、1记分
• 四项相关
rt
cos
AD AD BC
180
• Φ相关
r
BC AD
A BC DACB D
项目是非0、1记分
• 积差相关
⑶项目与效标的相关
• 项目的效标效度分析 • 计算方法与前面项目与总分的相关基本相同
组别
选择各项答案的人数
A B C D 未答
正确答案
高分组 8 36 34 21 1 低分组 4 30 46 20 0 B
2、多级评分法项目的难度计算
P
X X max
P =试题的难度
X =全体被试在该题上的平均分数
X m=ax该题的满分分数
例题
• 问答题满分为15分,10名被试在该题的得分如下。 试计算该题的难度。
0.40
,低分组无人通过,D可能的最大值 0.70
0.60
为1.00。
0.060
0.80
❖ 难度为0.70,高分组可能通过率是 0.50
1.00
1.00,低分组是0.40,则D为0.60. 0.40
0.80
❖ 因此,难度趋近0.5为好。
0.30
0.60
0.20
0.40
0.10
0.20
0.00
0.00
被 试 1 2 3 4 5 6 7 8 9 10 得 分1100110110
极端分组法
将被试按总分高低依次排序; 划出人数相等的高分组和低分组(例如比例为27%); 计算高分组和低分组在该题上的通过率PH和 PL ; 该题的难度计算公式为:
P
PH PL 2
例题
• 选取有代表性的试卷370份,按照总分高低排序, 将从最高分向下的27%(100人)作为高分组,将 从最低分向上的27%(100人)作为低分组。某题 的答题情况如下表。试计算该题的难度。
第七章 项目分析
➢定性分析
主要由专家对项目的内容和形式进行分析,包括考察 内容效度、题目编写的恰当性和有效性等。
➢定量分析
主要计算项目的难度、区分度等。
目的
对项目进行筛选和修订,提高测验的信度和效度。
第一节 项目的难度
• 项目的难度(difficulty)是指测验项目 (或试题)的难易程度。
• 在能力测验中就是指试题的难度水平。 • 人格测验不存在难度问题,与此相应的
2、区分度分析 标准参照测验不适合用相关法计算区分度,但可
以采用类似鉴别指数的方法计算,即比较两组通过率。
(三)速度测验的项目分析
1、项目特点: • 项目容易,多数人都可以通过。 • 项目多,有时限,很少有人做完全部项。 2、通过率和区分度的特征 • 测验前部项目通过率高,后部低。 • 前部区分度低,后部区分度被高估。 • 从速度测验得到的项目分析的指标,主要反映
B
鉴别指数与项目的优劣
D 0.4以上 0.30-0.39 0.20-0.29 0.19以下
测题评鉴 优良 良好,如能修改更好 尚可,仍需修改 劣,必须淘汰
2.相关分析法
• 项目得分与总分的相关 • 项目间的相互相关 • 项目得分与效标的相关
⑴项目与总分的相关
• 点二列相关 • 二列相关 • 积差相关
四、难度对测验分布的影响
A
• 常态分布:平均难度在0.5左右
• 负偏态分布:测验容易,P值大
B
• 正偏态分布:测验过难,P值小
C
• 测验总分的分数呈负偏态,说明测验总体 难度( B )(2008年考研真题)
• A、偏难
B、偏易
• C、适中
D、无法判断
这是为什么呢?
第二节 项目的鉴别力
一、定义 二、估计方法
❖ 让整个测验项目难度成正态分布,且平均水平保持在0.50, 这样就可以把各种水平的人细致的都区分开来。
❖ 因为较难的项目对高水平被试区分度高,较易的项目对低水 平被试区分度高,中等难度的项目对中等水平的被试区分度 高。
2.难度与测验的信度和效度
• 当测验题目的平均难度为0.50时,测验分数 呈正态分布:
2 高分 58 低分 26
3 高分 17 低分 25
4 高分 1 低分 1
选答人数 BCD
92 1 2 50 12 16 10 15 16 21 15 36 25 28 28 11 19 34 44 14 36 56 10 28
正确 难度 区分度
未答 答案 P rpb D
0 B 0.71 0.52 0.42 0 1 A 0.42 0.33 0.32 2 12 D 0.31 -0.04 -0.06 11 5 C 0.12 0.08 0.04 5
指标称为通俗性或流行性(popularity level),即总体中在答案方向上回答的 人数比率。
一、难度的计算
二级评分法项目的难度计算 多级评分法项目的难度计算
1、二级评分法项目的难度计算
通过率
P=试题的难度 R=答对该题的人数 N=参加测验的总人数
P
R N
例题
• 10名被试在某选择题上的得分如下,试计算该题 的难度。
• 难度与区分度的关系 • 难度与测验的信度和效度 • 区分度与测验的信度和效度
1.区分度与难度的关系
❖ 区分度与难度关系密切。
难度(P) 区分度(D
❖ 难度为1.00或0,说明高分与低分组

在通过率上一样,因此区分度D为0 1.00
0

0.90
0.20
❖ 难度为0.50,可能是高分组的全通过 0.80
N 总人数,K 选项数
R 得分为1的人数,W 得分为0的人数
X 真正会做的人,N - X 真正不会做的人
R X N-X K
X KR - N K -1
CP
X N
KR N(K
-N1)
K R 1 N K 1
KP 1 K 1
例题
一个五择一的项目,其通过率为0.50, 则排除猜测的影响,矫正后的难度为 多少?
相关系数的统计检验
• 以相关系数计算项目的鉴别力时,鉴别力 达到多高时才可以接受?
• 相关系数不是来源于ρ=0的总体!
• 参考王孝玲《教育统计学》第十一章(1993)
3.因素分析法
• 一般是先通过因素分析发现测验中的若干 共同因素,再分析每一项目在各共同因素 上的因素载荷(Factor Loading)。
• 当一个项目在预先假定要测量的因素上要 较高的载荷时,该项目就被认为是有较高 区分度的。
• 项目的因素载荷一般要在0.30以上才是可 以接受的。
第三节 项目分析的相关问题
一、难度、区分度与测验信度和效度 二、依据项目统计量挑选项目 三、选择题的选答项分析 四、标准参照测验的项目分析
一、难度、区分度与测验信度和效度
相关文档
最新文档