心理与教育测量第六章(1)

※因此不能将区分度作为筛选试题的绝对标准。
五、提高题目区分度方法
• (1)控制好题目难度。将题目难度在0.5左 右时，区分能力理论上会比较高。 • (2)保证题目所测心理特质与全卷所测心理 品质的一致性。 • (3)题干及答案无歧义。 • (4)语言准确规范。 • (5)借助选项分析提供的信息对不良选项进 行修改，以提高题目区分能力。
心理与教育测量
主讲：邓稳根（博士） 赣南师范学院教育科学学院 E-Mail: dwengen@163.com
第六章 测验的项目分析
• • • • 测验项目的难度 测验项目的区分度分析 猜测问题与猜测率 多重选择题的项目分析
第一节 测验项目的难度
• • • • • 难度的意义 项目难度的计算 测验难度水平的确定 难度的等距变换 难度对测验的影响
五、难度对测验的影响
• 测验难度影响到测验分数的分布形态。
– 测验难度太大，测验分数将呈正偏态分布。 – 测验难度太小，测验分数将呈负偏态分布。 – 测验难度中等，测验分数将呈正态分布。
• 测验项目的难度分布影响到测验分数的离散程度， 进而影响到信度。
– Ebel的实验。如下一幻灯片所示。 – Ebel的研究结论：项目的难度集中在0.5左右为最佳。
一、客观测验题中的猜测问题与猜 测率
• 客观测验题中的猜测问题
– 测验分数确实反映了被试的真实特质水平还是因为猜 测而获得成功？
• 猜测误差的来源
– 猜相对于不猜引起的误差 – 是否猜得对引起的误差
• 猜测率
– 是指被试全凭随机猜测而答对题目的概率。 – 猜测行为主要出现在客观题（如选择题、是非判断题、 配对题等）
– 综合观点：如果答题时间充裕，选择题的备选 答案数目在四个或四个以上，则没有必要校正 记分。
第四节 多重选择题的项目分析
• 多重选择题项目分析的作用与内容
– 项目能否测到要测的心理特质； – 项目难度是否恰当； – 项目的区分度能否达到要求； – 正答选项选答率是否恰当；
• 正答选项在高低分组上选答率是否正差？差距是否 足够大？
综合练习
• 一试卷施测于十一名被试，结果如附表。
• 请求取：
– （1）第二、第五两题的难度。 – （2）第三题的区分度（点二列相关）。 – （3）第六题的区分度（高低分组法）。 – （4）全卷信度α系数。 – （5）试卷实证效度。
第三节 猜测问题与猜测率
• 客观测验题中的猜测问题与猜测率 • 项目难度受猜测影响的校正
– 2、对于正确答案
• 主要考察高分组和低分组被试在正确答案上的选答 率是否是正差，及这一差距是否足够大。只有当高 分组和低分组被试在正确答案上的选答率是正差， 且这一差距足够大时，这时题目质量较佳。
–3、对于干扰项
• 考察高分组和低分组被试在干扰项上的选答率是否 是负差，及这一差距是否足够大。只有当高分组和 低分组被试在正确答案上的选答率是负差，且这一 距差足够大时，这时干扰项的设置比较合理，否则 干扰项设置不合理，应对干扰项进行删除或修改。
二、区分度的计算
• 高低分组法（也称鉴别指数法）
– 适用范围：二分法记分的测验项目。 – 计算公式： D PH PL – 评价标准：Ebel的研究结果
D 0.40以上 0.30—0.39 0.20—0.29 0.20以下 评 价
优良 良好，修改更好 合格，必须修改 差 ，淘汰
• 相关系数法
（三） φ相关
• 适用范围
– 总分区分为高分组和低分组，项目得分区分为通过和 未通过。即两个变量均为二分变量时。
• 资料整理成四格表（注意：格式中的符号表示该 格的人数） 高分 通过 a 低分 b
未通过
c
d
• 计算公式：
• 其中a、b、c、d为四个格子的人数。 数。
为φ相关系
• Φ相关的显著性检验
– 点二列相关 – 二列相关 – φ相关 – 积差相关
（一）点二列相关
• 适用范围
– 用于总分是连续变量，题分是二分变量情况。 显著性检验可用积差相关检验。
• 计算公式
• 其中p、q为答对和答错的人数比率。 X p 与 X q 对应 于答对和答错该项目的被试的总分平均数， x 为所 有被试总分的标准差。
四、影响区分度的因素
• 效标不同，区分度不同。
– 应选择较好的效标。
• 不同的计算方法，所得区分度不同
– 在分析同一个测验时，各个项目的区分度值要 采用同一种指标。
• 样本容量大小影响相关法区分度值的大小
– 样本容量越小，区分度的计算值越不可靠。 – 采用相关法计算的区分度要进行显著性检验和 计算统计检验力。
举例：请计算该题区分度
Hale Waihona Puke Baidu
（二）二列相关
• 适用范围
– 题分和总为均为连续变量，但人为地将其中一 个变量（既可以是总分，也可以是题分）区分 为二分变量（例如，将总分为及格和不及格两 类）。
• 计算公式
• y是标准正态曲线下 p与q交界处的Y轴高度（曲线 高），要查正态分布表。
• 二列相关的显著性检验
• 猜测校正的争议
– 赞成猜测校正的理由
• • • • • 通过猜测校正可避免降低测验的信度。 校正后的得分可以反映被试的真正水平的能力。 在教育测验中，可培养被试诚实的美德。 比较公平。 不同试题间的难度比较分析需要校正。
– 不赞成猜测校正的理由
• • • • • 公式的基本假设不成立。 只要被试能答完全部试题，猜测校正就无实质作用。 不采用猜测校正对信度并无重大影响。 有时会出现无法解释的现象。 合理猜测是值得培养的好习惯。
– 第2题，正确答案和干扰项B的两两组平 均选答率基本一致，且正确答案上高分 组的被试选择人数要少于低分组被试， 而在非正确选项B、D上，高分组的被试 选择人数要多于低分组被试，这均不符 合实际情况，且高分组被试中选择人数 最多的为选项B，则要考虑该是否有2个 正确选项，因此该题选项设置较差，因 此整题质量较差。
–4、其它
• ①如果高分组被试的选答集中在两个答案上，且人 数又相近，说明此题可能有两个正确答案，或者在 某种意义上另一个选择项也有一定道理。应考虑题 目本身是否存有歧义或有两个正确答案。
• ②如果高分组对正确答案的选答率与低分组相等或 低于后者，说明该题所考察东西与被试水平无关， 即不具有鉴别力，此题应作大修改或删除。 • ③如果一个题目被试未作答的人数较多（速度测验 除外），或选择各个备选项答案的人数相等，说明 该题目过难或题意不清，被试无法作答或全凭猜测。 应修改或删除本题。
一、难度的意义
• 难度分类
– 项目难度和测验难度。本章主要讲项目难度。
• 难度定义
– 难度是测验项目的难易程度。通常用“P”来表示。 – 一个测验项目，如果大部分被试都能答对，则该项目 的难度就小；反之亦然。
• CTT下的难度特征
– 难度是测验项目性质与被试水平共同作用的结果。如 果测验项目需要较复杂的心理操作，那么被试水平高 时，得到的难度值就小；反之得到的难度值就大。
高
低
–
特式：P
H
PH PL 2
L
= (RH/NH+RL/NL)/2
• 其中P 和 P 分别代表高分组与低分组的通过率。 RH和RL分别代表高低分组答对人数，NH和NL分别 代表高低分组总人数。
举例：请分别用通过率法和高低分 组法计算下列两题难度
二、测验难度水平确定
• 取决于测验的目的
– 目标参照性测验可以不过多考虑项目难度，只要客观 标准要求掌握的内容均应适用。 – 常模参照测验应使项目平均难度为0.5，项目难度范围 为0.5±0.2。 – 选拔性考试应将项目难度控制在录取率附近分布，或 使对选拔点附近的被试有0.5的难度，或难度为录取率。
• 分组标准影响鉴别指数值
– 一般情况下，取25%~33%，习惯上取27%。 – 当效标分数较正态分布平坦时，比值应略高于27%。 – 当样本团体人数过少（例如样本容量n<100）时，可 按50%的规则选取高低分组被试。
• 被试样本的同质性程度影响区分度值大小
– 同质性高，区分度小。 – 区分度高低受被试样本团体特质水平影响。
• 区分度标准：
– 本来应找客观外界标准，也即类似于效标的测量，但 因比较困难，故转而在测验内部找，实际以测验总分 为标准，称其为内部效标。
• 区分度的实质：
– 项目得分与总分的一致性程度。
• 区分度取值范围：
– ［-1，1］，D为0无区分作用，D值为正，表示 积极区分，越大区分效果越好，D<0表示消极 区分。
• 取决于测验的性质
– 速度测验难度不宜太高，项目难度值基本相等。 – 难度测验要求难度值在0.5左右。 – 无论速度还是难度测验，都要防止被试得满分。
四、难度的等距变换
• 难度转换的目的
– 难度为通过率，属于等级量表水平，需要转换 为等距量表水平才能进一步进行加减运算。
• 难度到Z分数的转换。
– 以通过率P在标准正态分布表中查得对应的Z分 数。由于Z分数存在负数和小数点，需要将Z分 数作进一步的线性变换。 – ETS常采用下列换算公式：Δ =4*Z+13。 Δ 越 大，难度越大。
举例
• 下表为一个由370人参加的英语测验中四道 选择题的统计结果，试分析每题难度、区 分度是如何计算出来的？并对这四题的选 项质量进行评价。
• ③选项分析：
– 第1题，正确答案和干扰项的两组平均选答率 都基本正常，在正确答案上高分组的被试选择 人数要多于低分组被试，且在非正确选项上， 高分组的被试选择人数要少于低分组被试，这 符合实际情况，四个选项的设置均较合理；
• 测验项目的难度会影响到项目的区分度。（区分 度这节再讲）
第二节 测验项目的区分度
• • • • 项目区分度的意义 区分度的计算 区分度与难度的关系 区分度的相对性
一、项目区分度的意义
• 定义：
– 区分度指测验项目对被试心理特质水平差异的区分能 力。通常用D表示。
• 区分度价值：
– 将优劣被试准确区分是测验项目的职能，区分度是对 项目这项职能高低的评价指标，是评价项目质量，选 择优秀项目的依据。
–4、根据第3步整理好的数据资料，进行具体分 析
• 选项分析的方法及选项修改原则
– 1、首先分析两组平均选答率
• 正确答案的平均选答率（即难度）最佳值为：
• 每个干扰项应该平均分剩余的选答率。 • 如果正确答案的选答率过高或过低，这都不利于区 分高分组和低分组被试。 • 如果某干扰项选答率特低，则说明该干扰项错的过 于明显应加以淘汰； • 若某干扰项选答率特高，则要考虑该题正确答案是 否错误或有两个正确答案。
– 诱答选项选答率是否恰当；
• 诱答选项在高低分组上选答率是否是负差？差距是 否足够大？
• 具体分析步骤：
–1、根据被试的测验总分，对被试进行排序 –2、确定高分组和低分组被试 –3、分别登记高分组被试和低分组被试在每个 备选项的人数及未作答人数（也可以是人数百 分比），最终整理成类似下表中的数据资料
二、项目难度的计算
• 得分率法
– 通式（所有项目都适用）：P X / F
X 为全体被试在项目上的平均得分，F为项目满分
值。
– 特式（针对二分法记分项目）：P
R
N
其中P代表项目难度；N为全体被试数；R为答对通 过该项目的人数。
• 高低分组法
– 通式：
其中 X 、X 分别为总分排名在前27%的高分组和后 27%低分组被试在要计算难度的项目上的平均分。 F为满分值。
二、项目难度受猜测影响的校正
• 猜测校正公式（前提：猜测是随机猜测）
– 因猜测对项目难度的校正
CP＝ K P －1 K －1
• 其中CP为校正后难度，K为备选答案数，P为实际 难度。
– 因猜测对个体得分的校正
S＝ R－ W K －1
• 其中R为原答项目数，W为错答数，K为为选项数。
举例
• 有A、B两个测题，项目A为四重选择题， 通过率为0.58；项目B为五重选择题，通过 率为0.56，试比较两题校正后的难度。 • 某被试参加由100道四重选择题组成的测验， 每题1分，测验结果是82分，请问其校正后 的分数是多少？
– 使用 检验，其中自由度df=1。 – 检验公式为：
举例：请计算该题的区分度
（四）积差相关
• 例子：请用积差相关法计算下列论述题的 区分度。
三、区分度与难度的关系
• D的最大值与项目难度的关系（理论上）
• 题目的综合分析和筛选
– ①整个测验的平均难度应保持在0.5左右。 – ②测验中各项目之间有一定相关，为了使成绩 分布均匀，项目难度的应广一些，梯度大一些， 最好成正态分布。 – ③每项题目理想的区分度都应在0.3以上，至少 是0.2。