6第六章 测验的项目分析解析
合集下载
第六章 测验的项目分析
难度 区分度 猜测问题 多选题的项目分析
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度，当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看，难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家：伊贝尔（L. Ebel）
测题鉴别指数与评价标准
区分度（D） 0.40以上 0.30－0.39 评 价
非常良好 良好，如能改进则更佳
0.20－0.29
0.19以下
尚可，仍需再改进
劣，必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时，可以用50%作为分界点。 • 此方法只利用了一部分信息，精确性差一 些。
（二）非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4：某试卷中一 论述题为20分，10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少？
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50，试题区别作用愈大。 – 较难项目，对高水平被试区分能力高 – 较易项目，对低水平被试区分能力高
– 中等项目，对中等水平被试区分能力高
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度，当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看，难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家：伊贝尔（L. Ebel）
测题鉴别指数与评价标准
区分度（D） 0.40以上 0.30－0.39 评 价
非常良好 良好，如能改进则更佳
0.20－0.29
0.19以下
尚可，仍需再改进
劣，必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时，可以用50%作为分界点。 • 此方法只利用了一部分信息，精确性差一 些。
（二）非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4：某试卷中一 论述题为20分，10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少？
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50，试题区别作用愈大。 – 较难项目，对高水平被试区分能力高 – 较易项目，对低水平被试区分能力高
– 中等项目，对中等水平被试区分能力高
心理测量学第六章-测验题目性能与题目编写(项目分析).PPT
根据题干从备选项中选出正确选项的题目。单项 选择题指只有唯一正确选项的选择题。 2、特点功能： ①评分标准明确，评分客观，有利于减少评分带来 的评分误差。 ②有利于对基础知识和基本技能进行考查。
③选择题适合考查较低层次的能力，如识记能 力、较低的理解能力等，而不宜考查较高层 次的能力，如综合能力、创造性和独立思维 能力。
一、区分度的定义
（一）定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 （二）作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高，则水平高者得分高，水平低者得分低；若区分
⑤行为情景判断题设问方式一般有四种形式： 一是要求受测者选择最优行为项，二是要求 受测者选择最差行为项，三是要求受测者同 时选择最优和最差行为项，四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 （二）解决方式：等距变换，即把难度P转换成标准分数Z。 ❖ Z分数(0，+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84)，难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16)，难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50)，其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标，而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程，因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力，分析、推理、综合应用知识的能力，能鉴别 出考生对问题解决的程度。
③选择题适合考查较低层次的能力，如识记能 力、较低的理解能力等，而不宜考查较高层 次的能力，如综合能力、创造性和独立思维 能力。
一、区分度的定义
（一）定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 （二）作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高，则水平高者得分高，水平低者得分低；若区分
⑤行为情景判断题设问方式一般有四种形式： 一是要求受测者选择最优行为项，二是要求 受测者选择最差行为项，三是要求受测者同 时选择最优和最差行为项，四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 （二）解决方式：等距变换，即把难度P转换成标准分数Z。 ❖ Z分数(0，+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84)，难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16)，难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50)，其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标，而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程，因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力，分析、推理、综合应用知识的能力，能鉴别 出考生对问题解决的程度。
心理测量学 第六章 项目分析
CV 9 . 80 14 . 44 0 . 22 ;
题目B的方差为3.88,
3 . 88 6 . 89 0 . 29 ;
CV
由于题目满分较高，所以，题目A的方 差大于题目B的的方差，但变异系数却 是题目B大于题目A。题目B的区分能 力优于题目A，这一点可以直观地从这 一组简单的数据中看出。当数据数目 较多的时候，就难以直观地看出，需 要借助统计手段。
AD - BC
A B C
D A C B D
A=在测验和效标中均通过的人数 B=在测验上通过而在效标未通过的人数 C=在测验上未通过而在效标上通过的人数 D=在测验和效标中均未通过的人数。
φ相关系数的显著性考验公式为：
0 . 05
1 . 96 N
(一) 方差 方差是标准差的平方，是反映一组数据离散程度的指 标。一个题目得分的离散程度越高，鉴别能力自然也 较高，因此，方差可以作为区分度的一种指标。 请看题目和题目的得分： A：6 5 4 4 3 3 3 3 3 2 2 1 0 B：4 3 3 3 3 3 3 3 3 3 3 3 2
难度差的计算公式
D Ph Pl
D=鉴别指数 Ph=高分组难度(通过率) Pl=低分组难度(通过率)
（六）题目特征曲线
另一种简单、形象的题目区分度分析方法是绘 制题目特征曲线。题目特征曲线反映了题目的 通过率与效标（或测验总分）之间的关系。
第三节 难度与区分度的关系
我们以通过率P作为难度的指标，以方差
度
一、难度定义与计算 难度是题目的难易程度 的指标。难度(Df)以正 确回答的人数在全体受 测者中的比例来定义。
题目B的方差为3.88,
3 . 88 6 . 89 0 . 29 ;
CV
由于题目满分较高，所以，题目A的方 差大于题目B的的方差，但变异系数却 是题目B大于题目A。题目B的区分能 力优于题目A，这一点可以直观地从这 一组简单的数据中看出。当数据数目 较多的时候，就难以直观地看出，需 要借助统计手段。
AD - BC
A B C
D A C B D
A=在测验和效标中均通过的人数 B=在测验上通过而在效标未通过的人数 C=在测验上未通过而在效标上通过的人数 D=在测验和效标中均未通过的人数。
φ相关系数的显著性考验公式为：
0 . 05
1 . 96 N
(一) 方差 方差是标准差的平方，是反映一组数据离散程度的指 标。一个题目得分的离散程度越高，鉴别能力自然也 较高，因此，方差可以作为区分度的一种指标。 请看题目和题目的得分： A：6 5 4 4 3 3 3 3 3 2 2 1 0 B：4 3 3 3 3 3 3 3 3 3 3 3 2
难度差的计算公式
D Ph Pl
D=鉴别指数 Ph=高分组难度(通过率) Pl=低分组难度(通过率)
（六）题目特征曲线
另一种简单、形象的题目区分度分析方法是绘 制题目特征曲线。题目特征曲线反映了题目的 通过率与效标（或测验总分）之间的关系。
第三节 难度与区分度的关系
我们以通过率P作为难度的指标，以方差
度
一、难度定义与计算 难度是题目的难易程度 的指标。难度(Df)以正 确回答的人数在全体受 测者中的比例来定义。
第六章心理测量
公式： ２）离差智商
３）ＥＰＴ
CEEB分数=500+100Z IQ=100+15Z
ＥＰＴ分数＝２０·Ｚ＋９０
３.标准分数变式的评价
五、标准九分数（stanine）
标准九，全称为标准化九级分制
首次应用：二战美军选拔飞行员★
以0.5个标准差为单位，把正态曲线下的测验分数转换成只有9个分数 的量表。
标准九的平均分数为5，标准差为2。 要把原始分数转换成这样一种量表分，只要先把原始分数转换成百分
三、区分度与难度的关系
难度是区分度的必要条件
难度愈接近.50，试题区别作用愈大。 较难项目，对高水平被试区分能力高 较易项目，对低水平被试区分能力高 中等项目，对中等水平被试区分能力高
难度和区分度都是相对的，是针对一定团体而言的（绝对的难度和区分
度是不存在的）。一般说来，较难的项目对高水平被试区分度高，较易的项目对
它将原始分与平均数的距离以标准差为单位来表示。 把原始分数转换成标准分数是一种线性的转换，所以转换后的分
数能保持原始分数准确的数量关系和分布形态。
2.标准分数的计算 公式：
Z分数的平均数为0，标准差为1。由于均数为0，所以Z分数会有负值。另 外，标准差的单位太大。
3。对Z分数的评估 标准分数的优点：
等级，然后通过查表即可获得标准九分数。
--------------------------------------------------------
标准九分 1
2
345Fra bibliotek67
89
百分比率 4 7 12 17 20 17 12 7 4
---------------------------------------------------------
第6章测验项目分析
3、( )是指题目的通过率。 (A) 区分度 (B) 信度 (C) 难度 (D) 效度
4、假如题目得分与实际能力水平之间呈较高 的正相关，则该项目应予（ ）。 (A)淘汰 (B)修改 (C)保留 (D)删除
5、利用题目分析选择试题时，应使题目的难度 分布广一些，梯度大一些，使整个测验的难度 分布呈正态分布，且平均水平保持在（ ）左右。 （A）0.4 （B）0.5 （C）0.6 （D）0.7
心理测量
黎光明 华南师范大学心理学院 E-mail: Lgm2004100@
第六章 测验的项目分析
对试题质量评价的方法有很多种，目 前最常用的是难度和区分度。本节主要介 绍这两个题目质量评价指标的多种计算方 法以及统计意义。
第一节 题目的难度
一、定义 难度是指题目的难易程度。 难度通常指通过率。
（3）由于人的大多数心理特性呈常态分布, 所以题目难度的分布也以常态分布为好,即 特别难与特别易的题目少些，接近中等难 度的题目多些，而所有题目的平均难度为 0.50。这样不仅能保证多数题目具有较高 的区分度，而且可以保证整个测验对被试 具有较高的区分能力。
第三节 多重选择题的题目分析
对多重选择题作题目分析，可以解决以下问题: （1）题目是否具有所预期的功能?对于常模参照测 验，测题是否有足够的区分度?对目标参照测量 来说，测题是否能充分地测量到教学的结果? （2）题目的难度是否得当? （3）题目是否有缺陷? （4）诱答选项是否都有效?
例：下表是一个由370人参加的测验中的4道 题的题目统计结果，据此表对此四题作分析 评价。
选答人数
题号 组别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组 A 5 B 92 C 1 D 2 未答 0 0 1 2 12 11 5 5 正确答案 难度P
戴海崎《心理与教育测量》(第3版)课后习题(第4章 测量信度——第6章 测验的项目分析)【圣才出品】
第4章测量信度1．各种信度系数所对应的误差来源是什么？答：信度主要包括重测信度、复本信度、分半信度、同质性信度、评分者信度，各种信度系数所对应的误差来源分别简述如下：（1）重测信度系数对应的误差来源重测信度是指用同一个量表对同一组被试施测两次所得结果的一致性程度，其大小等于同一组被试在两次测验上所得分数的皮尔逊积差相关系数。
除去主试，施测环境和被试等方面的误差，它的独特误差来源主要有：①施测过程中所产生的遗忘和练习效应；②在两次施测的间隔时间内，被试在所要测查的心理特质方面获得了学习机会。
（2）复本信度系数对应的误差来源复本信度是指两个平行的测验测量同一批被试所得结果的一致性程度，其大小等于同一批被试在两个复本测验上所得分数的皮尔逊积差相关系数。
它的误差来源有：①不能获得严格意义上的平衡测验；②施测过程中产生的顺序效应和迁移效应；③在两次施测的间隔时间内，被试在所测量的心理特质上获得了学习机会。
（3）分半信度系数对应的误差来源分半信度是指将一个测验分成对等的两半后，所有被试在这两半上所得分数的一致性程度。
它的误差来源是：不同的分半方法的分半信度不同，可能是由于将测验分为相平行的两半的方法不同而产生误差。
（4）同质性信度系数对应的误差来源同质性信度也称内部一致性系数，它是指测验内部所有题目之间的一致性程度。
克龙巴赫α值还是所有可能的分半信度的平均值，它只是测量信度的下界的一个估计值。
即，α值大，必有测量信度高；但α值小时，却不能断定测量信度不高。
它的误差来源产生于题目是否同质，这包括两个方面：①所有题目都测的是同一种心理特质；②所有题目得分之间都具有较高的正相关。
（5）评分者信度系数对应的误差来源评分者信度是指多个评分者给同一批人的答卷进行评分的一致性程度。
在心理与教育测量工作中，客观题的评分很少出现误差，但主观题的评分常常会造成误差。
它的误差来源主要是多个评分者之间的个体差异，对相同答案的不同评定，这种个体差异不可能完全消除，只能最大程度低依赖正规的测查程序和统计方法来减小它。
心理与教育测量第六章
组被试在要计算难度的项目上的平均分。F为满分值。
特 其分数式中别。：代表PPH 和高 低PHP分L2组分PL答别对代人表=数高(R，分H/组NNH与H和+低NRLL分分/N组别L)的代/2通表过高率低。分组RH总和人RL
编辑ppt
6
举例：请分别用通过率法和高低分组 法计算下列两题难度
编辑ppt
7
计算公式
其中p、q为答对和答错的人数比率。 和答错该项目的被试的总分平均数， 准差。
与 对应于答对 为所有X 被p 试X总q 分的标
x
编辑ppt
17
举例：请计算该题区分度
编辑ppt
18
（二）二列相关
适用范围
题分和总为均为连续变量，但人为地将其中一个变量 （既可以是总分，也可以是题分）区分为二分变量（例 如，将总分为及格和不及格两类）。
心理与教育测量
编辑ppt
1
第六章 测验的项目分析
测验项目的难度 测验项目的区分度分析 猜测问题与猜测率 多重选择题的项目分析
编辑ppt
2
第一节 测验项目的难度
难度的意义 项目难度的计算 测验难度水平的确定 难度的等距变换 难度对测验的影响
编辑ppt
3
一、难度的意义
难度分类
项目难度和测验难度。本章主要讲项目难度。
2、对于正确答案
主要考察高分组和低分组被试在正确答案上的选答率是否是 正差，及这一差距是否足够大。只有当高分组和低分组被试 在正确答案上的选答率是正差，且这一差距足够大时，这时 题目质量较佳。
编辑ppt
43
3、对距是否足够大。只有当高分组和低分组被试在正确 答案上的选答率是负差，且这一距差足够大时，这时干扰项 的设置比较合理，否则干扰项设置不合理，应对干扰项进行 删除或修改。
特 其分数式中别。：代表PPH 和高 低PHP分L2组分PL答别对代人表=数高(R，分H/组NNH与H和+低NRLL分分/N组别L)的代/2通表过高率低。分组RH总和人RL
编辑ppt
6
举例：请分别用通过率法和高低分组 法计算下列两题难度
编辑ppt
7
计算公式
其中p、q为答对和答错的人数比率。 和答错该项目的被试的总分平均数， 准差。
与 对应于答对 为所有X 被p 试X总q 分的标
x
编辑ppt
17
举例：请计算该题区分度
编辑ppt
18
（二）二列相关
适用范围
题分和总为均为连续变量，但人为地将其中一个变量 （既可以是总分，也可以是题分）区分为二分变量（例 如，将总分为及格和不及格两类）。
心理与教育测量
编辑ppt
1
第六章 测验的项目分析
测验项目的难度 测验项目的区分度分析 猜测问题与猜测率 多重选择题的项目分析
编辑ppt
2
第一节 测验项目的难度
难度的意义 项目难度的计算 测验难度水平的确定 难度的等距变换 难度对测验的影响
编辑ppt
3
一、难度的意义
难度分类
项目难度和测验难度。本章主要讲项目难度。
2、对于正确答案
主要考察高分组和低分组被试在正确答案上的选答率是否是 正差，及这一差距是否足够大。只有当高分组和低分组被试 在正确答案上的选答率是正差，且这一差距足够大时，这时 题目质量较佳。
编辑ppt
43
3、对距是否足够大。只有当高分组和低分组被试在正确 答案上的选答率是负差，且这一距差足够大时，这时干扰项 的设置比较合理，否则干扰项设置不合理，应对干扰项进行 删除或修改。
6第六章 测验的项目分析
低
中 能力
高
难度不同的3个项目的ICC
1.00 率 概 的 目 项 答 回 确 正
A B
0.50
0.00
C D
低 中 能力 高
多项选择中每个选项的ICC
二、区分度计算
项目区分度可以有不同的计算方法，我们要根据测验 的目的以及测验分数的特征来选择合适的方法。
1、鉴别指数法（适合0、1计分）
一个项目的鉴别指数指总分高分组与低分组在该 项目上的通过率之差。
注意：标准化测验一般采用27%为分组点。也可
以取总人数的1/4或1/3（即25%或33%）为分组点。 当样本小于100时，一般选50%作为分界点。
（二）非二分法计分的难度 当项目是多重计分时，难度等于平均分与满分之比。
=试题的难度 X =全体被试在该题上的平均分数 X max=该题的满分分数
P
例题
问答题满分为15分，10名被试在该题的得分如下。 试计算该题的难度。
1 2 3 4 5 6 7 8 9 10
被 试 得 分Leabharlann 131510
10
9
11
10
9
11
10
问题 有A、B两个测题，项目A为四重选择题，通 过率为0.58；项目B为五重选择题，通过率为 0.56，能否说项目A更容易，项目B更难？
鉴 别 力 较 好
低 中 高
能力
1.00 率 概 的 0.50 目 项 答 回 0.00 确 低 正 1.00 率 概 的 0.50 目 项 答 回 0.00 低 确 正
中 能力
高
鉴 别 力 较 低 鉴 别 力 为 负
中
高
能力
1.00 率 概 的 目 项 答 回 确 正
06-标准参照测验
高等教育出版社
心理测量学
一、标准参照测验的定义
若已知测验分数和某个外部效标有关，则可用被试 在效标上的表现直接解释测验分数，这种测验被称 为结果参照测验（result-referenced test）。
高等教育出版社
心理测量学
二、标准参照测验的编制
高等教育出版社
心理测量学
三、标准参照测验的用途
相关系数大小受 分数分布的影响， 不适用于标准参 照测验。下张介 绍一下标准参照 测验通过绩效或 结果来验证效度 的评估方法。
高等教育出版社
心理测量学
三、标准参照测验的效度
高等教育出版社
心理测量学
第六章 标准参照测验的设
心理测量学
第三节 划界分数设置方法与被试评价
1
标准参照测验概述
高等教育出版社
心理测量学
第一节 标准参照测验概述
定
编 制
用
途
义
高等教育出版社
心理测量学
一、标准参照测验的定义
戈莱塞（1971）：“所谓标准参照测验，是根据某 一明确界定的内容范围而缜密编制的测验，并且， 被试在测验中所得结果，也是根据某一明确界定的 行为标准直接进行解释的”。 当使用的标准是用内容材料定义的，即为掌握某领 域知识和技能的比例，这时测验就被称为内容参照 测验（domain-referenced test）。
高等教育出版社
心理测量学
三、综合法
（二）对照组法
高等教育出版社
心理测量学
三、综合法
（三）Jaeger方法 1. 每位专家先完成这份测验。 2. 每位专家对问题“当地每个要毕业的中学生都应能正确 回答这道题吗？”作“是”或“否”回答。 3. 确定每组专家所建议的通过分数分布，计算每组专家中 各项目的是-否反应数目。 4. 告诉每位专家一组11年级的学生（比毕业生低一个年级） 在某测验项目上的通过率和组内其他专家对某测验项目的评 定。 5. 允许专家根据上面信息修改他们最初的评定。 6. 每组专家建议的通过分数的中数作为该组设置的标准。
第六章 测验的项目分析
二、项目难度的计算-2
极端分组法（当被试人数较多时）
将被试依测验总分从高到低排列分成三组，总分最高和最低的27%
分别为高分组和低分组。分别计算高分组和低分组的通过率，然后 求项目的难度。
PH PL P 2
1 RH RL P 2 NH NL
PH、PL分别为高分组和低分组的通过率；RH、RL分别为高分组和 低分组通过该项目的人数；NH、NL分别为高分组和低分组的人数。
三、难度水平的确定
难度水平的适合性，取决于测验的目的和性质
a) 标准化常模参照测验：接近0.50，范围在0.30-0.70间
b) 标准参照测验：不必过多考虑难度
c) 选拔和录用类测验：接近录取率
d) 速度测验：不宜太高，且每个项目基本相等 e) 难度测验：0.50左右
四、难度的等距变换-1
通过率或得分率难度属于顺序变量。
rb为二列相关系数，xp、xq、p、q、St的意义同点二列相 关系数公式；y为正态分布p与q分割点正态曲线的高度。
三、区分度的计算-5
相关
rФ为Ф的相关系数，a、b、c、d分别为四格表中四项所包 含的人次数。
四、区分度与难度的关系
应使整个测验难度呈正态分布，且平均水平在0.50左右。
五、区分度的相对性
不同计算方法所得的区分度不同。分析同一个测验时, 各个项目的区分度值要采用同一种指标。 样本容量大小影响相关法区分度值的大小。样本越小， 统计值越不可靠，算出r后，应进行统计检验。 分组标准影响鉴别指数值。分组越极端，D值越大。
被试团体的同质性程度影响区分度值的大小。被试团体
越具有同质性，项目的区分度值就越小。
四、猜测校正的缺点
第六章项目分析
2.大部分被试的得分是比较高还是比较低 ？
3.分数正偏态分布是说明测验较难还是相 对比较容易？
分数分布形态：负偏态
『想一想』负偏与难度关系？
1.大家想一想，测验分数分布是负偏态分 布，说明了什么情况？
2.大部分被试的得分是比较高还是比较低 ？
3.分数负偏态分布是说明测验较难还是相 对比较容易？
2.负偏态分布：即大多数被试的得分集中 在高分端，说明题目偏易，应该增加一些 较高难度的项目。
分数分布形态：正态
六、难度水平的确定
项目的难度水平多高合适，取决于测验的 目的以及测验的性质。
1.当测验为教育测验和总结性测验时，可 以不过多考虑难度，只要教育者认为重要 的内容就可选用。
2.当测验目的是选拔录用人员时，难度视 录取率而定。
现已知有80人参加某一个测验，其中答对 第一题的人数是32人，答对第二题的人数 是48人。
请问： 1、这两道题的难度差距是多少？
第二节 测验的区分度 Test discrimination
一、区分度的意义：项目的效度
（一）区分度（discrimination）：又称 鉴别力，是指测验项目对被试心理品质水 平差异的区分能力或鉴别能力。
题组成的，其中第一题上端27%的被试 P=0.75，下端27%的被试P=0.35，它的鉴 别力多大，该题可以接受吗 该怎样作答？
3.项目特征曲线：
1.00
A
通 0.50 过 率
0.00
低
B
C D
中
高
能力
项目特征曲线分析：
题号
1 2 3 4
质量评价
？ ？ ？ ？
态度
？ ？ ？ ？
项目特征曲线分析：
一、难度的意义
3.分数正偏态分布是说明测验较难还是相 对比较容易？
分数分布形态：负偏态
『想一想』负偏与难度关系？
1.大家想一想，测验分数分布是负偏态分 布，说明了什么情况？
2.大部分被试的得分是比较高还是比较低 ？
3.分数负偏态分布是说明测验较难还是相 对比较容易？
2.负偏态分布：即大多数被试的得分集中 在高分端，说明题目偏易，应该增加一些 较高难度的项目。
分数分布形态：正态
六、难度水平的确定
项目的难度水平多高合适，取决于测验的 目的以及测验的性质。
1.当测验为教育测验和总结性测验时，可 以不过多考虑难度，只要教育者认为重要 的内容就可选用。
2.当测验目的是选拔录用人员时，难度视 录取率而定。
现已知有80人参加某一个测验，其中答对 第一题的人数是32人，答对第二题的人数 是48人。
请问： 1、这两道题的难度差距是多少？
第二节 测验的区分度 Test discrimination
一、区分度的意义：项目的效度
（一）区分度（discrimination）：又称 鉴别力，是指测验项目对被试心理品质水 平差异的区分能力或鉴别能力。
题组成的，其中第一题上端27%的被试 P=0.75，下端27%的被试P=0.35，它的鉴 别力多大，该题可以接受吗 该怎样作答？
3.项目特征曲线：
1.00
A
通 0.50 过 率
0.00
低
B
C D
中
高
能力
项目特征曲线分析：
题号
1 2 3 4
质量评价
？ ？ ？ ？
态度
？ ？ ？ ？
项目特征曲线分析：
一、难度的意义
第六章 项目分析共45页文档
1、知道问题答案的人总能正确选择 2、不知道问题答案的人将会在可能的选项上
随机选择
（5*6）-9= 6 〔5*（-0.88）+9 /（195.4-23.13）〕=
构想效度 Construct validity
二、项目难度
（一）、难度（difficulty）的定义 难度，指测验项目的难易程度。 在最高作为测验中，称为“难度”，而
三、 测验的区分度
（一）、区分度的意义
区分度（discrimination）是指测验项目对被试心 理品质水平差异的区分能力或鉴别能力。
•一个项目在测验所要测量的心理属性上将具有较 高水平与较低水平的人区分开来的能力，也称鉴 别力。
项目的区分度是测验是否有效的“指示器”。
（二）、区分度的计算
1、鉴别指数法 1）．鉴别指数（index of discrimination，D）
KP-1 CP=
K-1
如果要比较两个选项数目不同的测验难度， 必须应用以上矫正公式分别将两个测验的 难度进行矫正，然后才能进行比较分析。
例：一个五择一的测题难度指数为0.50，一 个四择一测题难度指数为0.53，哪一题的难 度大？
（四）、测验难度水平的确定
1、项目难度的确定 难度分析的主要目的是筛选项目，项目难度水平取
1. P值实际上是个行为标准。它不是根据项 目的本身特征来确定难度，而是通过答对 人数与参加测验人数之比这种方法来定。
2. 难度既是项目本身又是参加测验的人的一 个特征。
(三) 选择题的难度修正 在选择题测验中，猜测的成功率受项目备选答案数
目（K, 选择数目）的影响。 为平衡机遇对难度的影响，采用以下矫正：
二分法记分：项目计分只有答对和答错两种情况，计分为1， 0。
随机选择
（5*6）-9= 6 〔5*（-0.88）+9 /（195.4-23.13）〕=
构想效度 Construct validity
二、项目难度
（一）、难度（difficulty）的定义 难度，指测验项目的难易程度。 在最高作为测验中，称为“难度”，而
三、 测验的区分度
（一）、区分度的意义
区分度（discrimination）是指测验项目对被试心 理品质水平差异的区分能力或鉴别能力。
•一个项目在测验所要测量的心理属性上将具有较 高水平与较低水平的人区分开来的能力，也称鉴 别力。
项目的区分度是测验是否有效的“指示器”。
（二）、区分度的计算
1、鉴别指数法 1）．鉴别指数（index of discrimination，D）
KP-1 CP=
K-1
如果要比较两个选项数目不同的测验难度， 必须应用以上矫正公式分别将两个测验的 难度进行矫正，然后才能进行比较分析。
例：一个五择一的测题难度指数为0.50，一 个四择一测题难度指数为0.53，哪一题的难 度大？
（四）、测验难度水平的确定
1、项目难度的确定 难度分析的主要目的是筛选项目，项目难度水平取
1. P值实际上是个行为标准。它不是根据项 目的本身特征来确定难度，而是通过答对 人数与参加测验人数之比这种方法来定。
2. 难度既是项目本身又是参加测验的人的一 个特征。
(三) 选择题的难度修正 在选择题测验中，猜测的成功率受项目备选答案数
目（K, 选择数目）的影响。 为平衡机遇对难度的影响，采用以下矫正：
二分法记分：项目计分只有答对和答错两种情况，计分为1， 0。
zy 第六章测验的项目分析精品PPT课件
二、区分度的计算
• 计算题分与总分的相关系数
• 例：10名被试在某测验第一题上的作答情况与测 验总分如下表所示，计算该题的区分度。
学生 测验得分 第一题得分
1 2 3 4 5 6 7 8 9 10 0 1 2 3 35 6 66 8 0 1 1 1 01 1 11 1
解：p 0.8
X
p
1
2
356 8
It'S An Honor To Walk With You All The Way
演讲人：XXXXXX 时 间：XX年XX月XX日
1 0
9
9
5
52
4
35
2
10பைடு நூலகம்
难度对测验的影响
项目难度会影响测验分数的分布形态 测验项目的难度普遍较大，测验分数集 中于低分端，测验分数呈现正偏态
难度对测验的影响
• 艾伯尔（Ebel）等测量学专家的实验：
– 自编三份试卷，难度分布不一样：
• 卷一：两极端式（没有中间难度的题目）
• 卷二：均匀分布（各种难度的题目个数差不多）
区分度与难度
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
You Know, The More Powerful You Will Be
谢谢大家
荣幸这一路，与你同行
6
68
4.625
q 0.2
Xq
0
3 2
1.5
rpb
Xp Xq St
p q 4.625 1.5 2.45
0.8 0.2 0.5102
测验的项目分析解析课件
作为鉴别指数的D值的含义，是高分组比低分 组通过率高出的百分比程度。
第40页，共65页。
鉴别指数的一般标准（美.艾伯尔）
鉴别指数D 0.4以上 0.30-0.39
0.20-0.29 在0.19以下
题目评价
优
良好，如能修改， 则更佳。 尚可，须修改
劣，必须淘汰。
第41页，共65页。
❖ 极端组的划分，见P79
答
回 确
C
正
D
0.00
低
中
高
能力
多项选择中每个选项的ICC
第36页，共65页。
二、区分度计算
项目区分度可以有不同的计算方法，我们要根据测验的目的以 及测验分数的特征来选择合适的方法。
1、鉴别指数法（适合0、1计分）
一个项目的鉴别指数指总分高分组与低分组在该项目上的通 过率之差。
D = PH – PL
CP=矫正后的难度 P=未矫正的难度 K=测题的选项数目
第16页，共65页。
例题
❖ 1.一个五择一的项目，其通过率为0.50，则排除猜 测的影响，矫正后的难度为多少？
❖ 2.有A、B两个测题，项目A为四重选择题，通过率 为0.58；项目B为五重选择题，通过率为0.56，试比 较两题的难度。
第17页，共65页。
序量表的水平上衡量题目的难度。
⑵难度的等级量表是反序而行的，P值越大，项目越容易，这与 我们的日常概念是相反的。
第21页，共65页。
❖ 当样本的容量很大时，测验分数接近正态分 布。将某题的通过率P视为正态分布曲线下的 面积；查正态分布表找出正态曲线右侧面积 所对应的Z分数。就可以将以等级量表表示的 P值转换为具有相等单位的等距量表Z值。
第31页，共65页。
第40页，共65页。
鉴别指数的一般标准（美.艾伯尔）
鉴别指数D 0.4以上 0.30-0.39
0.20-0.29 在0.19以下
题目评价
优
良好，如能修改， 则更佳。 尚可，须修改
劣，必须淘汰。
第41页，共65页。
❖ 极端组的划分，见P79
答
回 确
C
正
D
0.00
低
中
高
能力
多项选择中每个选项的ICC
第36页，共65页。
二、区分度计算
项目区分度可以有不同的计算方法，我们要根据测验的目的以 及测验分数的特征来选择合适的方法。
1、鉴别指数法（适合0、1计分）
一个项目的鉴别指数指总分高分组与低分组在该项目上的通 过率之差。
D = PH – PL
CP=矫正后的难度 P=未矫正的难度 K=测题的选项数目
第16页，共65页。
例题
❖ 1.一个五择一的项目，其通过率为0.50，则排除猜 测的影响，矫正后的难度为多少？
❖ 2.有A、B两个测题，项目A为四重选择题，通过率 为0.58；项目B为五重选择题，通过率为0.56，试比 较两题的难度。
第17页，共65页。
序量表的水平上衡量题目的难度。
⑵难度的等级量表是反序而行的，P值越大，项目越容易，这与 我们的日常概念是相反的。
第21页，共65页。
❖ 当样本的容量很大时，测验分数接近正态分 布。将某题的通过率P视为正态分布曲线下的 面积；查正态分布表找出正态曲线右侧面积 所对应的Z分数。就可以将以等级量表表示的 P值转换为具有相等单位的等距量表Z值。
第31页，共65页。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
量的分析：是通过计算项目的一些统计量作为项目 质量高低的指标，包括项目的难度和区分度。
目的：对项目进行筛选和修订，提高测验的信度和 效度。 如题库的建立
信度
测验质量
效度
编 制 测 验
项目质量
目 的
难度 区分度
筛选题目
教学目标
通过本章的学习可解决三个问题： 一、掌握什么是测验的难度，如何计算测验的难度 （重点） 二、掌握什么是测验的区分度，如何计算测验的区 分度，难度和区分度的关系怎样（重点）
注意：标准化测验一般采用27%为分组点。也可
以取总人数的1/4或1/3（即25%或33%）为分组点。 当样本小于100时，一般选50%作为分界点。
（二）非二分法计分的难度 当项目是多重计分时，难度等于平均分与满分之比。
=试题的难度 X =全体被试在该题上的平均分数 X max=该题的满分分数
P
例题
问答题满分为15分，10名被试在该题的得分如下。 试计算该题的难度。
1 2 3 4 5 6 7 8 9 10
被 试 得 分
13
15
10
10
9
11
10
9
11
10
问题 有A、B两个测题，项目A为四重选择题，通 过率为0.58；项目B为五重选择题，通过率为 0.56，能否说项目A更容易，项目B更难？
PH 、 PL 分别代表高分组和低分组的通过率。
例题
选取有代表性的试卷370份，按照总分高低排序， 将从最高分向下的27%（100人）作为高分组，将 从最低分向上的27%（100人）作为低分组。某题 的答题情况如下表。试计算该题的难度。 选择各项答案的人数 A B C D 未答 8 36 34 21 1 4 30 46 20 0
三、掌握项目分析的其他特殊形式
第一节 项目的难度
一、难度的含义 1.难度（difficulty）指测验项目的难易程度。
2.一个测验项目，如果大部分被试都能答对，该项 目的难度就小；如果大部分被试都不能答对，则该 项目的难度就大。
3.难度过大或过小的题目，都不能很好地将不同水 平的被试区分开来，因此对常模参照测验的价值就 不大 。
P值的范围及其意义
P值的范围在0-1之间。 P值越大，题目越容易；P值越小，题目越难。 P值与我们通常理解的难度意义正好相反，也有人 将称它为容易度。
三、测验难度水平的确定
进行难度分析的主要目的是为了筛选项目，项目的难度多高
合适，取决于测验的目的、性质以及项目的形式。
一般准则：平均难度在0.50左右。 1. 成就或学绩测验：不考虑难度（Why?） 目的是考察教学内容的掌握情况。只要是必须掌握的内容，不 论其难度都可以作为考试项目，其难度可以从0-1之间变动。 2.选拔性、竞赛性考试：其项目难度应接近录取率。 思考：若选拔率为15％，题目的难度该多少？若测验的目的在 于选出20%的差生进行特别辅导，题目的难度该多少？
P值转换为具有相等单位的等距量表Z值。
（一）Z值
Z是均值为0、标准差为1的标准分数。Z在-3到3之间 变动。 通过查阅正态分布表，可以从P值查到Z值。 Z值越大，题目越难；Z值越小，题目越容易。这一 点与P值的含义相反。 试题 1 2 3 P值 0.70 0.60 0.50 Z值 -0.52 -0.25 0
组别 高分组 低分组
正确答案
B
练习题
练习题1：80名学生参加了某个测验，答对第3道 选择题的有64人，请问该题目的难度是多大？ 练习题2：100个学生参加了某测验，其中某选择题 的答题情况如下表所示，计算该题目的难度。 选项 A *B C D E 高分组 5 15 0 0 7 低分组 3 7 12 0 5 难度
3.选择题的难度：P值要大于猜测概率。 4.人格测验的难度：不存在难度问题，于此相 应的指标是“通俗性”。 5.对于一般性测验而言，项目难度的一般标准 应在0.3-0.7之间；
四、难度的等距转换
使用项目难度等距量表的理由： ⑴测题的难度一般用答对某题的人数的百分比表示。百分
量表是等级量表，而非等距量表。也就是说它只表示事物之
（三）难度的校正 由于选择题允许猜测，所以通过率可能因机遇 作用而变大。备选答案的数目越少，机遇的作 用越大，越不能反映测验的难度。为了平衡机 遇对难度的影响，吉尔福特提出了一个难度的 校正公式：
CP=矫正后的难度 P=未矫正的难度 K=测题的选项数目
例题
1.一个五择一的项目，其通过率为0.50，则排除猜 测的影响，矫正后的难度为多少？ 2.有A、B两个测题，项目A为四重选择题，通过率 为0.58；项目B为五重选择题，通过率为0.56，试比 较两题的难度。
二、难度的计算方法
难度通常以答对百分比作指标。 （一）二分法记分的项目 1.通过率 若试题为二分法记分项目（即答对给1分，答错记0分） 时 , 难度的指标通常以通过率表示，即以答对或通过该 题的人数的百分比来表示：
式中，P代表项目的难度，N代表全体被试者人数，R为 答对或通过该项目的人数。 P值越大，则难度越小；反之越难。
例题
10名被试在某选择题上的得分如下，试计算该题的 难度。 被 试 得 分
1
1
2
1
3
0
4
0
5
1
6
1
7
10
0
2.极端分组法 当被试人数较多时，则可根据测验总成绩将被试 分成三组：分数最高的27%被试者为高分组 （NH）,分数最低的27%被试者为低分组（NL）。 分别计算高分组和低分组的通过率，以两组通过 率的平均值作为每一题的难度。公式为：
信度
测验质量
效度
编 制 测 验
测验项目
如何分析 项目的好坏？
筛选题目
第六章
测验的项目分析
(Item analysis)
项目分析的内涵
项目分析是对测验中每个题目的质量进行的分析， 包括质的分析和量的分析。 质的分析:主要由专家对项目的内容和形式进行分析， 包括考察内容效度、题目编写的恰当性和有效性等。
间大小的关系，但没有相等的单位。用百分比P值作为难度 指标，实际上是在顺序量表的水平上衡量题目的难度。 ⑵难度的等级量表是反序而行的，P值越大，项目越容易， 这与我们的日常概念是相反的。
当样本的容量很大时，测验分数接近正态分 布。将某题的通过率P视为正态分布曲线下的 面积；查正态分布表找出正态曲线右侧面积 所对应的Z分数。就可以将以等级量表表示的