第五章__测验的项目分析之区分度
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
D的最大值 0.00 0.20 0.60 0.80 1.00 0.80 0.60 0.20 0.00
• 从上表中可以看出，难度越接近0.50，项目潜在
的区分度越大，而难度D越接近1.00或0时，项目 的潜在区分度越小。
为了使项目具有较高的区分能力，似 乎应该使所有的项目都保持在0.50的难 度最为理想，但是在实际编制测验时， 应使项目的难度分布广一些，梯度大一 些，使整个测验的难度分布呈正态分布， 且平均水平保持在0.50左右。
第二节
测验的区分度
一、区分度的定义 二、区分度的估计方法 三、区分度和难度的关系 四、区分度的相对性
• 一、区分度的意义
• 项目区分度（item
discrimination）是
指测验项目对于所测量的心理属性的 鉴别能力和区分程度，也称鉴别力。
• 项目的区分度是测验是否有效的“指示
器”。
• 具有良好区分度的项目，能将不同水平的被试区分
四、区分度的相对性
•（一）不同的计算方法，所得区分值不同 •（二）样本容量大小影响相关法区分度值的
大小 •（三）分组标准影响鉴别指数值（D) •（四）被试样本的同质性程度影响区分度值 的大小
例如：一个五择一的测题难度指数为0.50，一个四 择一的测题难度指数为0.53，哪一题的难度大？ 五择一的测题矫正后难度指数为 5 0 . 5 0 1 0.38 CP= 5 1 四择一的测题矫正后难度指数为 4 0 . 5 3 1 0.37 CP=
开来，也就是说，在该项目上水平高的被试得高分， 水平低的被试得低分。反之，区分度低的项目则对 不同水平被试不能很好地鉴别，水平高与水平低的 被试，所得分数差不多，甚至正好相反。所以测量 专家们把试题的区分度称为测验是否具有效度的 “指示器”，并作为评价项目质量，筛选项目的主 要指标与依据。必须指出：评价测验项目区分度高 低倚赖于对被试水平的准确测量，通常称作为内部 效标
9 80 46
10 75 39
11 76 40
12 73 41
13 62 38
14 91 52
15 47 21
16 74 39
17 81 42
18 88 48
19 62 29
20 58 27
1
0
0
1
1
0
0
Leabharlann Baidu
1
1
1
1
0
1
1
0
1
1
0
0
0
• 解：
X p ( 86 7 2 6 5 8 3 8 0 7 5 7 6 6 2 9 1 7 4 8 1 ) 1 1 76.82
4 1
可以看到，和未矫正前相反，五择一的测题更难一些。
s t 16.66
X p X q pq 78.08 57.43 0.65 0.35 rb · 0.76 St y 16.66 0.3704
3．φ相关
•φ相关的统计方法适用于两个变量是二点分配的
资料，即两个变量都是二分名义变量。 •在用φ系数作为区分度指标时，要求项目反应与 效标变量都是二分状态。一般是根据效标成绩或测 验总分的高分组和低分组，通过和未通过某一项目 的人数列成的四格表来计算。计算公式为： rφ=(ad-bc)/ (a b)(c d )(a c)(b d ) 式中rφ为φ的相关系数，a,b,c,d分别为四格表 中四项所包含的人次数。
表 题目鉴别指数与评价价标 鉴别指数D 题目评价 0.40以上 很好
0.30-0.39 0.20-0.29 0.19以下
良好、修改会更好 尚可、仍需修改 差、必须淘汰
• • • • • •
2．极端组的划分 27%规则 一般情况下，取上下25%~33%均可。 样本少时，可以取50% 注意： 由于计算机的方便使用，可以上下50%作为划分高 低组的标准，或者多分几组，对区分度和难度作 详细分析。因为只取上下两端，只利用了一部分 资料，浪费了很多信息，有可能得出错误结论。
• 点二列相关系数的显著性检验： • 对 X p 与 X q 进行差异的t 检验，如果差异显著，
• •
•
表明相关系数显著；如果差异不显著，表明相关系 数不显著。 如果样本容量较大（n>50），也可以用下面的近似 方法：
rpb
2 时，认为在.05水平上显著； n
rpb
3 时，认为在.01水平上显著。 n
• 二列相关的显著性检验：用Z检验。 •
Z rb 1 y pq （公式3－8） n
• 例如：根据上例的资料，计算选择题的区分
度。 • 解：Xp (86 52 94 83 80 75 76
73 62 91 74 81 88) 13 78.08
Xq (72 65 22 76 47 62 58) 7 57.43
查表 y 0.3704
X 1417
53.0 56.0 - 1 p - 1 q
p 13 20 0.65
X 2 105947
X2 2 ( X ) 2 105947 (1417 ) 2 277.63 st N N 20 20
4．积差相关
• 对于论文式测验题目，因得分具有连续性，
在被试团体较大时，可以认为项目分数服 从正态分布。可将项目得分与效标分数求 积差相关系数以得到项目的区分度。
三、区分度与难度的关系
表2
项目通过率（P） 1.00 0.90 0.70 0.60 0.50 0.40 0.30 0.10 0.00
D的最大值与项目难度的关系
二、区分度的估计方法
（一）鉴别指数法 （二）相关法 （三）项目特征曲线
（一）项目鉴别指数法
这种方法较适合于二分法记分的测验项目。
•1．鉴别指数的计算 •当效标成绩是连续变量时，可以从分数分布的两
端各选择27%的被试，分别计算出每道题目上的各自 的通过率，二者之差就是鉴别度指数（D），即：
•D=PH一PL •式中PH与PL分别为高分组与低分组在该项目上的通
• 例：下表有20个学生语文测验总分以及在作文
题和一个选择题上的得分情况，假设作文37分 （包括37分）算通过，试计算作文题的区分度。
学 生 总 分 作 文 题 得 分 选 择 题 得 分
1 86 47
2 52 37
3 94 55
4 72 27
5 65 22
6 22 10
7 76 35
8 83 42
过率。
•例如：高分组在某一项目的通过率为0.75，低分
组的通过率为0.35,则该项目的鉴别指数是多少？
• 例，某高中物理测验，被试共18人，高分
组和低分组各取总人数的27％，则两组各 为5人，第五题高分组5人全部答对，低分 组只有1人答对，计算该题的鉴别指数。
D值是鉴别项目测量有效性的指标，D值越高，项目 越有效。1965年，美国测验专家R.L.Ebel根据长期 经验提出用鉴别指数评价题目性能的标准如下表所 示。
• （二）相关法 • 1 ． 点 二 列 相 关 (Point biserial
correlation) • 适用资料：两列变量中，有一列为等距或等 比的数据而且其总体分布为正态，另一列变 量只是名义上的变量，按事物的性质划分为 两类；有时一个变量是双峰分布也可以划分 为二分名义变量。
• 计算点二列相关的公式是：
• 2．二列相关(biserial correlation) • 两个变量都是正态连续变量，其中一个变量被
人为地分成两类。测验总分或效标分数、某个 测验项目的分数都是连续变量，其中一个变量 被人为地分成两类，可以是测验总分或效标分 数被人为地分成两类，也可以是某个项目的分 数被人为地分成两类。 • 点二列相关和二列相关的区分是，二分的变量 总体是否为正态，正态则用二列相关，非正态 则用点二列相关。
X p Xq rpb pq St – r ：点二列相关系数；
pb
•
–
:答对该题的被试在总分上（或效标分数上）的 X平均得分； p – :答错该题的被试在总分上（或效标分数上）的 X平均得分； q – St：全体被试的总分（或效标分数）的标准差； – P：为答对该题的人数百分比；q：答错该题的人数 百分比，q=1-p。
• 计算二列相关的公式是： • rb X p X q pq
St y
（公式3－7）
•
– rb：二列相关系数； – :答对该题的被试在总分上（或效标分数上）的平均 X p 得分； Xq – :答错该题的被试在总分上（或效标分数上）的平均 得分； – St全体被试的总分（或效标分数的标准差）； – p为答对该题的人数百分比；q答错该题的人数百分比， q=1-p； – y为正态分布下答对百分比所在位置的曲线高度。
X q ( 5 2 9 4 2 2 7 6 7 3 4 7 8 8 6 2 5 8 ) 9 6 3 . 5 6
p 11 20 0.55 st 16.66
q 1 p 1 0.55 0.45
Xp Xq 76.82 63.56 rp b pq 0.55 0.45 0.396 St 16.66
• 从上表中可以看出，难度越接近0.50，项目潜在
的区分度越大，而难度D越接近1.00或0时，项目 的潜在区分度越小。
为了使项目具有较高的区分能力，似 乎应该使所有的项目都保持在0.50的难 度最为理想，但是在实际编制测验时， 应使项目的难度分布广一些，梯度大一 些，使整个测验的难度分布呈正态分布， 且平均水平保持在0.50左右。
第二节
测验的区分度
一、区分度的定义 二、区分度的估计方法 三、区分度和难度的关系 四、区分度的相对性
• 一、区分度的意义
• 项目区分度（item
discrimination）是
指测验项目对于所测量的心理属性的 鉴别能力和区分程度，也称鉴别力。
• 项目的区分度是测验是否有效的“指示
器”。
• 具有良好区分度的项目，能将不同水平的被试区分
四、区分度的相对性
•（一）不同的计算方法，所得区分值不同 •（二）样本容量大小影响相关法区分度值的
大小 •（三）分组标准影响鉴别指数值（D) •（四）被试样本的同质性程度影响区分度值 的大小
例如：一个五择一的测题难度指数为0.50，一个四 择一的测题难度指数为0.53，哪一题的难度大？ 五择一的测题矫正后难度指数为 5 0 . 5 0 1 0.38 CP= 5 1 四择一的测题矫正后难度指数为 4 0 . 5 3 1 0.37 CP=
开来，也就是说，在该项目上水平高的被试得高分， 水平低的被试得低分。反之，区分度低的项目则对 不同水平被试不能很好地鉴别，水平高与水平低的 被试，所得分数差不多，甚至正好相反。所以测量 专家们把试题的区分度称为测验是否具有效度的 “指示器”，并作为评价项目质量，筛选项目的主 要指标与依据。必须指出：评价测验项目区分度高 低倚赖于对被试水平的准确测量，通常称作为内部 效标
9 80 46
10 75 39
11 76 40
12 73 41
13 62 38
14 91 52
15 47 21
16 74 39
17 81 42
18 88 48
19 62 29
20 58 27
1
0
0
1
1
0
0
Leabharlann Baidu
1
1
1
1
0
1
1
0
1
1
0
0
0
• 解：
X p ( 86 7 2 6 5 8 3 8 0 7 5 7 6 6 2 9 1 7 4 8 1 ) 1 1 76.82
4 1
可以看到，和未矫正前相反，五择一的测题更难一些。
s t 16.66
X p X q pq 78.08 57.43 0.65 0.35 rb · 0.76 St y 16.66 0.3704
3．φ相关
•φ相关的统计方法适用于两个变量是二点分配的
资料，即两个变量都是二分名义变量。 •在用φ系数作为区分度指标时，要求项目反应与 效标变量都是二分状态。一般是根据效标成绩或测 验总分的高分组和低分组，通过和未通过某一项目 的人数列成的四格表来计算。计算公式为： rφ=(ad-bc)/ (a b)(c d )(a c)(b d ) 式中rφ为φ的相关系数，a,b,c,d分别为四格表 中四项所包含的人次数。
表 题目鉴别指数与评价价标 鉴别指数D 题目评价 0.40以上 很好
0.30-0.39 0.20-0.29 0.19以下
良好、修改会更好 尚可、仍需修改 差、必须淘汰
• • • • • •
2．极端组的划分 27%规则 一般情况下，取上下25%~33%均可。 样本少时，可以取50% 注意： 由于计算机的方便使用，可以上下50%作为划分高 低组的标准，或者多分几组，对区分度和难度作 详细分析。因为只取上下两端，只利用了一部分 资料，浪费了很多信息，有可能得出错误结论。
• 点二列相关系数的显著性检验： • 对 X p 与 X q 进行差异的t 检验，如果差异显著，
• •
•
表明相关系数显著；如果差异不显著，表明相关系 数不显著。 如果样本容量较大（n>50），也可以用下面的近似 方法：
rpb
2 时，认为在.05水平上显著； n
rpb
3 时，认为在.01水平上显著。 n
• 二列相关的显著性检验：用Z检验。 •
Z rb 1 y pq （公式3－8） n
• 例如：根据上例的资料，计算选择题的区分
度。 • 解：Xp (86 52 94 83 80 75 76
73 62 91 74 81 88) 13 78.08
Xq (72 65 22 76 47 62 58) 7 57.43
查表 y 0.3704
X 1417
53.0 56.0 - 1 p - 1 q
p 13 20 0.65
X 2 105947
X2 2 ( X ) 2 105947 (1417 ) 2 277.63 st N N 20 20
4．积差相关
• 对于论文式测验题目，因得分具有连续性，
在被试团体较大时，可以认为项目分数服 从正态分布。可将项目得分与效标分数求 积差相关系数以得到项目的区分度。
三、区分度与难度的关系
表2
项目通过率（P） 1.00 0.90 0.70 0.60 0.50 0.40 0.30 0.10 0.00
D的最大值与项目难度的关系
二、区分度的估计方法
（一）鉴别指数法 （二）相关法 （三）项目特征曲线
（一）项目鉴别指数法
这种方法较适合于二分法记分的测验项目。
•1．鉴别指数的计算 •当效标成绩是连续变量时，可以从分数分布的两
端各选择27%的被试，分别计算出每道题目上的各自 的通过率，二者之差就是鉴别度指数（D），即：
•D=PH一PL •式中PH与PL分别为高分组与低分组在该项目上的通
• 例：下表有20个学生语文测验总分以及在作文
题和一个选择题上的得分情况，假设作文37分 （包括37分）算通过，试计算作文题的区分度。
学 生 总 分 作 文 题 得 分 选 择 题 得 分
1 86 47
2 52 37
3 94 55
4 72 27
5 65 22
6 22 10
7 76 35
8 83 42
过率。
•例如：高分组在某一项目的通过率为0.75，低分
组的通过率为0.35,则该项目的鉴别指数是多少？
• 例，某高中物理测验，被试共18人，高分
组和低分组各取总人数的27％，则两组各 为5人，第五题高分组5人全部答对，低分 组只有1人答对，计算该题的鉴别指数。
D值是鉴别项目测量有效性的指标，D值越高，项目 越有效。1965年，美国测验专家R.L.Ebel根据长期 经验提出用鉴别指数评价题目性能的标准如下表所 示。
• （二）相关法 • 1 ． 点 二 列 相 关 (Point biserial
correlation) • 适用资料：两列变量中，有一列为等距或等 比的数据而且其总体分布为正态，另一列变 量只是名义上的变量，按事物的性质划分为 两类；有时一个变量是双峰分布也可以划分 为二分名义变量。
• 计算点二列相关的公式是：
• 2．二列相关(biserial correlation) • 两个变量都是正态连续变量，其中一个变量被
人为地分成两类。测验总分或效标分数、某个 测验项目的分数都是连续变量，其中一个变量 被人为地分成两类，可以是测验总分或效标分 数被人为地分成两类，也可以是某个项目的分 数被人为地分成两类。 • 点二列相关和二列相关的区分是，二分的变量 总体是否为正态，正态则用二列相关，非正态 则用点二列相关。
X p Xq rpb pq St – r ：点二列相关系数；
pb
•
–
:答对该题的被试在总分上（或效标分数上）的 X平均得分； p – :答错该题的被试在总分上（或效标分数上）的 X平均得分； q – St：全体被试的总分（或效标分数）的标准差； – P：为答对该题的人数百分比；q：答错该题的人数 百分比，q=1-p。
• 计算二列相关的公式是： • rb X p X q pq
St y
（公式3－7）
•
– rb：二列相关系数； – :答对该题的被试在总分上（或效标分数上）的平均 X p 得分； Xq – :答错该题的被试在总分上（或效标分数上）的平均 得分； – St全体被试的总分（或效标分数的标准差）； – p为答对该题的人数百分比；q答错该题的人数百分比， q=1-p； – y为正态分布下答对百分比所在位置的曲线高度。
X q ( 5 2 9 4 2 2 7 6 7 3 4 7 8 8 6 2 5 8 ) 9 6 3 . 5 6
p 11 20 0.55 st 16.66
q 1 p 1 0.55 0.45
Xp Xq 76.82 63.56 rp b pq 0.55 0.45 0.396 St 16.66