第十四章心理与教育测量理论与技术的新发展

第一节 项目反应理论简介
❖ （一）测验对被试的评价依赖于测验项目的具体组合和项目数量 ❖ 评价指标：测验原始总分 ❖ 局限：分数的解释依赖于测验的具体内容。 ❖ 对被试的比较被迫限制在同一份试卷上
一、经典测验理论回顾
❖ （二）测验性能指标的估计依赖于被试样本 ❖ 项目难度估计值会随被试水平的变化而变化。 ❖ 区分度、信度和效度，本质上是相关系数，也都依赖于被试样本。 ❖ 同一测验在不同被试样本上施测所估性能指标不一样。
0
❖ 项目反应理论划合格分数线的方法（续)： ❖ 3、估计与对应的能力值，是能力合格分数分界点
（四）提高合格分数线的划分质量
❖ 4、试卷合格分数由下式确定：
N 1 iN 1Pi()0 0
n
合格分数线Pi() i1
（四）提高合格分数线的划分质量
❖ 方法优点： ❖ 每一试卷合格线与同一能力合格线对应，因此标准是相同的、稳定的。 ❖ 是由专家在全题库基础上确定的合格比例求得的，因此是准确的。 ❖ 测试精度可以通过控制合格分数线上信息函数达到预设要求。
（Normal Ogive Model） ❖
第一节 项目反应理论简介
Pi( )
ai (bi)
1 Z2 e 2 dz
2
1.双参数正态肩形曲线模型
❖ b的意义：
❖将ห้องสมุดไป่ตู้
代入模型，即可得:
❖ b是对称曲线的中心与拐点，是曲线的定位参数。
b p 0.5 ❖ IRT难度定义： 在项目上恰有0.5正确作答概率的那些个体的能力值b为该项目难度值。
❖
，
，
❖ 采用锚测验-非等组设计，计算参数转换系数A和B，完成参数转换。
b Ab B a ab A c c
三、项目反应理论的部分特色应用简介
❖ （三）测验编制中用目标信息函数控制测验精度 ❖ 1、确定目标信息函数：对不同能力被试提出不同精度要求，转换成不同信息量要求。 ❖ 2、编写或选择项目，累积测验信息函数达到或超过目标信息函数。
（四）项目反应理论的优良性质
（四）项目反应理论的优良性质
❖ 3.被试能力参数量表与项目难度参数量表的一致性 ❖ 1、可准确预估被试的正确作答概率。 ❖ 2、可针对被试能力选择试题，是进行自适应测验的技术保证。
（四）项目反应理论的优良性质
❖ 4.可以精确估计每一测试项目以及测验针对每一个被试施测的测量误差 ❖ 项目信息函数： ❖ ❖ 测验信息函数： ❖
第二节 概化理论简介
❖ 二、概化理论基本框架 ❖ （一）概化理论的测验情境关系说 ❖ 为了探清测验误差的来源、类型、大小，必须建立一个理论模型。
❖ 二、概化理论基本框架 ❖ （一）概化理论的测验情境关系说（续） ❖ 概化理论模型的建立依赖于对测验情境关系的详细调查。 ❖ 测验情境关系是指测量目标与各测量侧面所组成的一种关系结构。
（三）项目反应理论的基础模型（续）
Rasch模型的最大特点是它的项目参数只有难度。
P () ex b ) p /1 [( ex b ) p](
i
i
i
（三）项目反应理论的基础模型（续）
❖ 3.Logistic模型 ❖ 伯恩鲍姆（Birnbaum，1958）双参数Logistic模型：
❖ 其中D一般取1.7 ❖ 令a=1，成单参数Logistic模型。
一、经典测验理论回顾
❖ （三）被试能力与项目难度两指标的 不一致性
❖ 测验总分的参照系是测验项目全体。 ❖ 项目难度的参照系是被试全体例。 ❖ 两个指标的参照系不相同，被试能力分数与项目难度两指标不匹配。
一、经典测验理论回顾
❖ （四）测验误差估计的不精确性 ❖ 经典理论中测验的信度估值是不精确的、笼统的。 ❖ 信度不是按定义公式求取而是借助于“平行测验”假设估计得到的。 ❖ 经典理论以同一误差估计值评价所有被试测值非常笼统，很不精确。
第十四章 心理与教育测量理论与技术的新发展
第
二
概化理论简介
节
第二节 概化理论简介
❖ 一、概化理论的发展 ❖ （一）概化理论的发展思路 ❖ 概化理论（Generalizability Theory，GT）是经典理论宏观发展，重在研究误差控制、研究测验
整体设计。
❖ 1、测验分数方差的测量学意义 ❖ 测验分数方差有目标分数方差和误差分数方差之区别。如： ❖ 被试真正能力水平间的分数方差是目标分数方差。 ❖ 同一被试不同次测验分数间的方差是误差方差。 ❖ 同一作品多个评分间的方差也是误差方差。
一、经典测验理论回顾
一、经典测验理论回顾
❖ 结论： ❖ 经典测量理论的这些局限性限制了测量在实践中的应用。 ❖ 项目反应理论（IRT）是在这背景上发展起来的一种全新的现代测验理论。
❖ 二、项目反应理论基础 ❖ （一）潜在特质理论（Latent Trait Theory） ❖ 测量学研究“潜在特质”目的：
(1,2......k)
（一）潜在特质理论
（一）潜在特质理论
❖ 完备的潜在特质空间定义： ❖ 如果一个K维潜在特质空间包含了制约人某种任务行为的所有潜在特质，称其为一个完备的潜在特质空
间，简称全特质空间。
（一）潜在特质理论
❖ 测量单维性定义： ❖ 如果制约某种任务行为的空间既是一维的，又是完备的，则称这一任务行为的测量具有单维性。单维
❖ a的意义：
❖ 将模型对 求导，将
代入，
可得
。
❖ a是曲线拐点（难度点）的斜率。
b
❖ 曲线越陡峭，难度点附近不同被试正确作答概率的差异越大
a ❖ a 定义为区分度 2 tgA
1.双参数正态肩形曲线模型
1
1/2
0 b
图 双参数模型的项目特征曲线
1、双参数项目特征曲线
❖ 2.Rasch模型 ❖ 丹麦学者拉希建 Rasch 模型
Ii() (P i'())2/P i()Q i()
n
I()Ii () i1
（四）项目反应理论的优良性质 ❖ 4.可以精确估计每一测试项目以及测验针对每一个被试施测的测量误差（续） ❖ 针对每一个被试施测的测量标准误：
ME()1/ I()
二、项目反应理论基础（续）
❖ （五） 项目反应理论模型的参数估计和模型—数据资料拟合检验 ❖ 1、根据测试数据估计出所有的参数
（一）概化理论的测验情境关系说
❖ 2、测量侧面（续） ❖ 固定侧面的优点：
第二节 概化理论简介
❖ 1、测量目标 ❖ 测量目标：测量者希望通过测量用测量值描绘的心理品质。 ❖ 确定测量目标的方法：问“测谁”和“测什么”。 ❖ 一般一场测量目标只能一个 ❖ 研究同一测量问题测量目标一经确定不能改变。
（一）概化理论的测验情境关系说
❖ 2、测量侧面 ❖ 测量侧面：测量的条件。 ❖ 测量侧面水平：测量条件的不同水平。 ❖ 测量侧面类型：随机侧面 固定侧面
2
2
2
X
T
E
2 T
/
2 X
（一）概化理论的发展思路
（一）概化理论的发展思路
❖ 3、经典测验理论处理分数方差的办法 ❖ 优点：定义了随机误差，可设法估计其大小。 ❖ 缺点：没有能告诉我们误差由哪些原因造成，各种原因造成的误差各有多大。
❖ 4、概化理论的研究目的 ❖ 探清总分方差结构、 ❖ 区分误差原因， ❖ 明确各种误差大小， ❖ 找到最优设计方案。
（一）概化理论的发展思路
（一）概化理论的发展思路
❖ ２、误差来源的多样性与总分方差结构 的复杂性 ❖ 测量误差的原因多方面，误差方差的种类多种。 ❖ 总分方差结构复杂：不同来源的误差方差与目标分数方差共存。
❖ 3、经典测验理论处理分数方差的办法 ❖ 假定X = T + E， ❖ 然后有： ❖ 再定义信度为：
IRT模型是最为人们熟悉的。
第一节 项目反应理论简介
❖ （二）项目特征曲线 （Item Characteristic Curve, ICC）
❖ 项目特征曲线原理： 编制质量良好的试题，随着被试水平的提高，其正确作答的概率会越来越大。
❖ 经典测量理论项目特征曲线实质： 被试正确作答概率对测验总分的回归曲线
（一）概化理论的发展思路
❖ （二）概化理论发展的理论与技术基础 ❖ 1、经典测验理论
概化理论与经典测验理论相比，不同之处多于相同之处。 ❖ 2、方差分量分析
依靠方差分量分析将总分方差分解、定性。
第二节 概化理论简介
第二节 概化理论简介
❖ （三）概化理论发展史 ❖ 用方差分量分析研究测量误差的历史可以追溯到20世纪上半叶。 ❖ 公认的GT正式诞生的标志物是克朗巴赫等的专著《行为测量的可靠性》的正式出版。
第十四章心理与教育测量理论与 技术的新发展
第十四章 心理与教育测量理论与技术的新发展
第
项目反应理论简介
一
节
第
概化理论简介
二
节
第
新一代测量理论与认知诊断测验发展
三
节
第十四章 心理与教育测量理论与技术的新发展
第
一
项目反应理论简介
节
❖ 一、经典测验理论回顾 ❖ 巨大贡献、重要地位、继续发挥作用 ❖ 历史原因、先天不足、四个方面局限
某项目信息函数图（a=1.0064 b=-1.6972 c=0.2526） ❖ 这是一个中上质量项目
❖ 根据测验信息函数从总体上评价测验质量。
（一）用信息函数评价项目和测验质量
❖
图 某测验信息函数图
❖ 这是一个质量较高的测验。
三、项目反应理论的部分特色应用简介
❖ （二）实现大型题库项目参数等值
❖ 项目反应理论证明，两个不同样本所估同一项目两套参数之间存在如下关系：
探清结构和性质，将其数量化， 测量个体特质变量值，预测个体行为。
第一节 项目反应理论简介