第4章 测验的项目分析

二级评分IRT模型 例：逻辑斯蒂模型 单参数模型（拉希模型）；双参数模型 和三参数模型。 多级评分IRT模型 连续型IRT模型
优点及运用



能力参数估计的不变性。 即个体独立于测验 项目参数估计的不变性。 即测验独立于个体 提供被试能力估计值的精确度指标 被试能力和项目难度在同一量表上，为 测验编制、测题分数的报告和解释提供 了便利。
三、区分度与难度的关系
四、区分度的相对性


（一）不同的计算方法，所得区分值不同 （二）样本容量大小影响相关法区分度值的 大小 （三）分组标准影响鉴别指数值（D ） （四）被试样本的同质性程度影响区分度值 的大小
第三节


猜测问题与猜测率



一、客观测验题中的猜测问题与猜测率 （一） 客观测验题中的猜测问题 （二）猜测率 （三）猜测误差的来源 二、项目难度受猜测影响的校正 CP=（KP-1）/（K-1）或 CP=P-q/（K-1） 式中CP为校正后通过率，P为实际通过率，K为备选 答案数目；q=1-p。 S=R-W/（K-1）式中S为校正后的得分，R为被试 答对的项目数，W为被试答错的项目数，K为项目的 选项数目。
（二）非二分法记分项目的难度
X
全体考生在该题上均分；
X max
该题的满分。
整个试卷的难度计算： 试卷的难度是指一份试卷的总体难易程度，其由试卷 中每道题的难度决定。其计算办法为：将每道题目的难度 与满分值相乘的积相加，然后将其总和除以试卷的满分值， 所得的商即为整个试卷的难度。
例题

例1. 在200个学生中，答对某项目的人数为120 人，则该项目的难度为多少？ 例2. 在370名被试中，选为高分组和低分组的被 试各有100人，其中高分组有70人答对第1题，低 分组有40人答对第1题，求第1题的难度。 例3. 数学测验的第七题满分为15分，该题考生的 平均得分为9.6分，则该题的难度是多大？
四、测验难度水平的确定
（1）常模参照能力测验： A. 一整套题目的整体难度应在0.30～0.70之间，平均难度在0.450.55之间，难度为0.50的题应该居多。这样保证分数成正态分布，有 最大的离散程度。
B.当题目之间正相关时，题目难度值应分布的广些，但平均难度应以 0.50为好。
C.当题目有猜测可能时，题目的难度应适当加大。

ห้องสมุดไป่ตู้
（二）测验分数的离散程度与测验难度
——太难或太易离散性都小,难度中等离散程度最大。
第二节 项目的区分度


一、区分度的意义 （一）区分度的意义 区分度(项目效度)是指测验项目对被试心理品质水 平差异的区分能力。 （二）区分度的取值 区分度（D）的取值范围介于-1.00至+1.00之间。 通常D为正值，称作积极区分；D为负值为消极区 分；D为0称作无区分作用。具有积极区分作用的 项目，其D值越大，区分的效果越好。
第四章

测验的项目分析
学习目标： 1、掌握测验项目难度的意义，难度指标的计 算及项目难度对测验的影响； 2、掌握测验项目区分度的意义，区分度的求 法、区分度对测验质量的影响； 3、了解难度与区分度的关系；
项目分析的概念

项目分析是根据被试的反应对组成测验的各个题目（项目） 进行分析，从而评价其功用的程序和方法。目的是对项目进 行选择和改良
测验等值的假设

公平性 如果测验x和测验y的等值对每一个被试都是 公平的，则对每一定水平的被试，无论他接 受的是测验x或者测验y都不会低估或高估其 实际水平。
D.选拔性测验还要考虑录取率。一般要求使通过率等于录取率。
（2）标准参照能力测验 P=1.0或P=0有可能也是好题。
（3）人格测验
P ≧ 0.95或P ≦0.95的题目考虑删除。
五、测验的难度对分数分布的影响

（一）测验分数的分布形态与测验难度 测验的难度可以由分数的分布提供
——分数成偏态分布测验过难或太容易;分数正态分布的测验 难度适中.


三、难度的等距变换


1.难度存在的缺陷:不是等距数据， 如0.6\0.7\0.8。 2.难度转化为Z分数 （见右图） 3.难度转换为美国教育测量服务 中心采用的难度指标 △ =13+4×Z 式中，△表示题目难度，Z表示 由P值换得来的标准分数。△值
越大，则难度愈大，△ 值愈小，难度越低。
第四节 项目分析的特殊问题


一、多重选择题的项目分析
（一）多重选择题的作用和优点 （二）用多重选择题的项目分析可以解决的问题 （三）具体分析的步骤为： 1、 按被试测验的总分，从高到低依次排列试卷。 2、 从最高分依次向下取全部试卷的27%作为高分组。 3、 从最低分依次向上取全部试卷的27%作为低分组。 4、分别登记高分组与低分组选中各选择项的人数（亦 可将人数换为人数比例），然后登记。 5、根据登记结果进行选择项的质量分析。



例题：高分组在某一项目的通过率为0.75， 低分组的通过率为0.35，则该项目的鉴别 指数为多少？ 判断项目鉴别指数的指标: 0.40以上，优良； 0.30～0.39，良好，如能修改更好； 0.20～0.29，尚可，仍需修改； 0.19以下，劣，必须淘汰。
（二）主观性试题的区分度计算
XH 为高分组总分，XL 为低分组总分，H为该题最 高分，L为该题最低分，N为考生总人数的25%（27%）。 例：参加考试1658人，取其25%那就是415人。前 415人书面表达总得分为8719分；后415人的总得分为 5812分。书面表达最高位满分25分。最低得分为4分。经 过计算区分度为0.3335。
猜测校正公式的应用

①对全体校正公式的应用 有A、B两个测验项目，项目A为四重选 择题，通过率为0.58；项目B为五重选择题， 通过率为0.56；试比较两题的难度。 ②对个体校正公式的应用 某被试参加由100道四重选择题组成的 测验，结果是答对82道题，答错18道题，该 被试的实得分数为（每题1分）多少？
P
N
P：试题的难度； R：答对该题的人数； N：总人数。 P值越大，则难度越小。
2、极端分组法
极端组的划分:

PH PL P 2

一般情况下,根据效标或测验总分将被试排队，取27%的高分端被试组成高分 组，另外27%低分端被试组成低分组。其余46%被试不作分析。 标准： 1、确保标准正确，高分组大于低分组成绩； 2、使两组容量足够大。 注意： 1、27%为习惯取法 2、比率不能太小（如10%），则所选出的两组过于极端，很可能夸大题目的 区分度。样本小（n<100时），则不宜用27%的规则，可取50%为分界点。 3、使用极端分组法主要是为了计算简便，但这种方法只利用了一部分信息， 比 用全部信息计算的结果准确性差些。
项目反应理论的重要特点：



1. 项目的难易度的估计不因样本不同而不同； 2. 被试能力的估计不因测验的改变而改变； 3. 测量误差的估计对每一位被试单独给出。 要为项目参数建立一个指标体系 要为被试的能力建立一个指标体系
应用：测验等值

概念：对测量同一种心理特质的不同测 验分数或项目参数，通过一定的数学模 型，转换成同一单位系统中的量数，以 有利于相互比较的方法。
二、区分度的计算


（一）项目鉴别指数法
1、谐度分析：也就是内容一致性分析，其目的是检查个别试 题与整个测验的作用的一致性。 a、这种方法较适合于二分法记分的测验项目。 b、鉴别指数的计算方法: D=Ph-Pl。将被试依照总分从高 到低排列，然后将总分最高的27%和最低的27%的被试分别定 为高分组和低分组。 2、效度分析： 目的：在于检验每一个题项是否具有某种鉴别作用。 它是以外部效标为依据，分别求出各效标组在某一试题 上通过人数百分比，以其差数作为效度指标。效度分析的方 法和步骤与前述的谐度分析相似，所不同的是参照标准。

例：多项选择题的项目分析
（四）对选择项的反应模式的分析
反应分析：检讨被测者对各个项目如何进行回答。

（1）如果正确的备选答案被所有的受测者所选择，说明该项目太容易或 者可能是项目中提供某种暗示，使正确答案过于明显。（2）如果某个错 误答案没有任何被试选择，则说明该项目不具有迷惑性，错得过于明显， 除增加阅读时间外，不起任何作用。一般说来，除非有2%以上的人选择， 否则该备选答案应该修改或删掉。（3）如果所有被试都选择了同一个错 误答案，可能是编制测验时把正确答案搞错了，也可能是在教学中发生 了错误。（4）如果高分组被试的选择集中在两个答案上，二者选择率接 近，说明该题可能本来就有两种正确答案，或者在某种意义上另一个选 择项也有一定的道理。（5）如果高分组对正确答案的选择率与低分组相 等或低于后者，说明该题所考察的东西与被试水平无关，即不具有鉴别 力，此题应删除或作大的修改。（6）如果一个题目被试未作答的人数较 多（速度性测验除外），或选择各个备选答案的人数相等，说明该项目 可能过难或题意不清，被试无法作答或凭猜测作答。
IRT的基本假设



潜在特质空间的单维性假设 大多数项目反应模型都假设完全潜在空间是单维 的。 局部独立性假设 被试对一个测验项目的反应不受他们对其他测验 项目反应情况的影响。 项目特征曲线假设（ICC） 反映了被试对某一测验项目的正确反应概率与该 项目所对应的能力或特质水平之间的函数关系。
项目反应模型

第一节 项目的难度


一、项目难度的意义 难度是指测验项目的难易程度。难度一般用于能力测验。 对于人格问卷的题目P值表示“通俗度、流行度”用理解 某项目的人数占总人数的百分比表示。 二、项目难度的计算 测验的记分方法不同，项目难度的计算方法也有所不同。 （一）二分法记分项目的难度 1.通过率 R