关于项目反应理论试题参数的估计

典测验理论的局限性 ! 将被试特质水平与被试在项目上的 行为关联起来并且将其参数化 # 模型化 " 构造模型的方法 有很多种 ! 如果采 用 &’()*+), 模 型 将它 们 关联 ! 将对 考 生 和 试卷进行评价的指标统称为参数 ! 通常主要关心能力参数 & !’ 和项目参数 & -!. !,’ " 根据参数的不同 !/’()*+), 项目特 & !00’ 可分为单参数 ! 双参数和三参数 1 种模式 " 三 征曲线 参数模式见公式 (
梁 % 姚定康 % 梅长林 % 周全 % 张颖 目 ! 本文由上海长征医院朱 村
!’ 参数估计的方法
本 研 究 采 用 边 际 极 大 似 然 估 计 与 () 算 法 $ ))*( %
+#,-./#0 0.120.3445 267.+#7.4/ #/5 () #0-4,.73+& 来进行参
数估计 # 该方法是近十多年发展起来的 # 它的优点是 () 算 法在一般条件下可 以 收 敛 " 并 且 计 算 比 较 简 单 " 但 是它 的 $ 全答对 " 全答错& 无法正确估 缺点是对于特殊的反应模式 计其项目参数 # 该方法的基本公式如下 %
教 育 发 展 研 究
!"#
机参数分析的结果包括分析的时间 " 收敛的精度等以及每 $ B& ’ 难度 $ <& ’ 猜测系 数 $ :& ’ 卡方 值及显 道试题的区别度 著性检验结果 # % 道试题的内容如下 $ 其中有 ! 者为该题答 案& % 题 "’ 急诊昏迷病人 " 轻度黄疸 " 口具特殊气味 " 双侧肢 体张力对称性增高 " 瞳孔等大 " 尿蛋白及糖定性均阴性 " 下 列哪种情况可能性最大 %
*( 由于具 有参 数 不 变 性 等 优 点 ! 可 编制 出 ( 因 人 施
测 ) 的自适应测验等新型测验 " 新的测试理论 $%& 虽然比 起经典 理论 来具 有 不可 比 拟的 优 越性 ! 但 由 于 与 实际 尚 有一 些距离 ! 有待 进 一步 完 善 " 我 们 在试 题 参数 确 定 上 图! 第 "套试卷第 #题的项目反应曲线图 的做法应该是根据具体实际以 $%& 在试题参数测试的不变 性为基础 ! 充 分 利 用 经典 理 论的 优 点 ! 抓 住 经典 理论 与
$%参数估计的由来 !"# 是一种新兴的心理与教育测验理论 ! 它突破了经
图 $ 三参数模式的特征曲线 从图$ 中可以看出 (
教 育 发 展 研 究
!"!
关于项目反应理论试题参数的估计
"! # 参数 " 试题的区 分度 " 即 特征曲 线的斜 率 " 它 的值
越大说明试题对受测者的区分程度越高 #
FGH作为一种以试题参数为前提条件的理论 " 它以被 ;’ 肝
试个体潜能通过试题作答反应的可测性 ’ 被试个体潜能与 其试题上 可见 反 应函 数 关系 的 基本 一致 性 和试 题 参数 线 性变换下的不变性为理论假设 " 进而建立了种种以被试个
B’ 脑血管 意 外 <’ 糖 尿 病 昏 迷 :’ 安 眠 药 中 毒
$%&的统计结果之间存在的某种相关性 ! 取两者之所长将
两者有机地 融 合 " 这 样无 疑 能实 现 客观 地 评价 教育 质 量 的目的 " 例如 ! 利用 $%& 的项目参数的不变性和可实现的 程 度 ! 在 客观 性 试题 的 参数 确 定 上 采 用 此 理论 ! 从 而 使 试 卷中客观性试 题 的 参 数 起 码 不受 样 本的 制 约 ! 提 高 试 卷的质 量 ! 使 试 卷施 考 于 考 生 能 真 正客 观 地评 价 培养 目 标实现的程度 " 我们在 $%& 参数估计的研究中 ! 按等值理论通过设计 锚测试题的方 式 对我 校 两 届 临床 医 学本 科 毕业 学 生 进 行 内科学测 试比较 ! 根 据每 道 题目 的 参 数 ! 同时 结 合测 试 内 图 * 第 "套试卷第 #* 题的项目反应曲线图 体在既定试题上的作答反应参数来推断其潜在特性的 $%& 数学模型 ! 即 以 一 定 的 数 学 模 型 来 确 定 被 试 个 体 试 题 反 应概率与其潜在能力之间的函数关系" 这种函数关系! 通常由一条试题特性曲线来反映 " $%& 参数估计有以下优 点# 容对教学效果进行初步分析 " 结果提示 ! 新教学模式培养 的医学生在临床思维能力方面 ! 尤其在常见病诊治方面较 传统模式培养的医学生强 $ 而在某些临床较少遇到的疾病 理论知识的掌握上前者尚有不足 ! 适当加强疾病基础理论 知识学习可以弥补新教学模式的不足 ! 从而更好地发挥新 教学模式的优势 " $%& 参数估计同样适用于临床医学其他 课程以及医学教育之外学科的测评 " & 本文系 全国 教 育科 学 ( 十 五 ) 规 划 课题 % 上海 市教 育 科学研 究市 级 项目 及 国 家 医 学 考 试 中 心 重点 课 题资助 项
@’CC%"" 无 显 著 性 " 从 参 数 估 计 结 果 提 示 该 道 题 为 质 量 较
好 " 可以反映学生对该方面知识的掌握水Байду номын сангаас #
%’ 参数估计的结果及分析
$ "& 我们对我校临床医学 >? 级毕业生进行了 @99 道试 题的试测 " 按 学号 ’ 每 道 题 的 答 案 及 答 分 结 果 输 入 (8:(* 数据库中 " 最后转化为 ;<= 数据 " 在软 件上运 行计算 " 结果 可以得出所有题目 的 难 度 ’ 区 别 度 ’ 猜 测 系 数 以 及 每 道 试 题的质量 # $ !& 如上述原理 " 每道试题都有自己的参数估计曲线 " 从此曲线可以知道该试题的参数估计 # 以下是第 " 套试卷 % $ 见图 ! ’% ’A& " 各图左侧为题号 ’ 卡方值 道试题分析的情况 及检验结果 " 图右侧曲线就是该题的项目反应曲线 # 计算 图! 第 " 套试卷第 " 题的项目反应曲线图 图 % 所 示 的第 > 题 曲线 显 示该 题 质量 不 好 " 卡 方 值 为
影#
%! &参数 "试题的猜测系数 " 即特征曲线的截距 # 它的
值越大 "说明不论受测者能力高低 "都容易猜对本道试题 #
B’ 加 强营 养 " 多 补 充蛋 白 饮食 <’ 调 整 水电 解 质 平 衡 :’酌情应用利尿剂 ;’应用改善肝功能药物 (’经常口服乳果糖
题 >A’ 关于药物性狼疮 " 下列哪项不符合 (
入院 # 体检 % 嗜睡 " 行为异常 " 巩膜黄染 " 胸壁见蜘蛛痣 " 肝 掌 " 腹软 " 肝未及 " 脾肋下!&+ "质中 " 移动性浊音阳性 " 扑翼 样震颤 阳性 " 经治 疗后 患 者清 醒 " 你认 为下 列 哪项 措 施 不 利于预防此并发症再发 (
!! $ 参数 " 试 题 的 难 度 " 即 特 征 曲 线 在 横 坐 标 上 的 投
昏迷
(’ 尿毒症
题 >’ 男 性 "A9 岁 " 慢 性 肝 炎 "C 年 " 因 呕 血 ’ 柏 油 便 " 天
关于项目反应理论试题参数的估计
值方法 ! 实际上仅局限在考生测验总分等值这一个方面 "
!( 既适用于常模 参照性测验又 适用于标准参照性测
验 " 经 典理论 的难 度 % 区 分 度等 在 考生 全 部 通 过 & 或不通 过’ 时 ! 就会失去意义 !所以无法处理这类问题 ! 而 $%& 的难 度值却直接用被试特质水平值来表达 ! 区分度是特性曲线 拐点处的斜率 ! 这就从根本上解决了经典理论所面临的困 难 ! 能完全运用于标准参照性测验 "
广
角
教育发展研究 655789
关于项目反应理论 试题参数的估计
! 课题组
" 项目反应理论& !"#’ 是近十年发展起来的一种比较
先进的心理与教育测试理论 ! 受到国内外许多学者的 关注 ! 对于促进我国高等教育考试评价方式的改革和 发展具有很大的指导意义 "
!!!!!! 考试在教学中起着指挥棒作用 ! 科学化的考试对学生
!"’99%A" 有显著性 " 分析 该题曲 线位 置较高 " 题目偏 难 " 难
度为 E%’A9A9" 区别度只有 9’!A>! " 且猜测系数较大 " 许多学 生可通过猜测来回答该题的 # 图 A 所示的第 >A 题曲线也很好 " 卡方检验也无显著性 # 因此 "也是一道理想的试题 " 与第 " 题比较 " 区别度大 " 难度 较第 " 题难 " 说明该题能较好地区别不同水平的学生 " 另外 该题的猜测系数较第 " 题略大 "这与该题的难度增加有关 #
的 发展有 许多积 极 作 用 ! 使 用 考 试 手 段 能 够 检 测 教 育质 量 ! 规范和引导 教师 的 教 学 行 为 ! 促 进 学 生 积 极 努 力地 学 习 ! 而且对培 养学生 分析 问 题 ! 解 决 问 题 等 综 合 素 质 能 力 可以发挥非常重要的鞭策作用 " 如何客观 # 科学地反映和 评价每一位学生的专业理论水平和实际应用能力 ! 定量化 比较不 同学 校 # 不同 教师 # 不 同 教 学 模 式 的 教 学 质 量 和 效 果 ! 在检测标 准上与 国际 接 轨 ! 充 分 发 挥 考 试 对 改 进 教 学 的反馈功能以及考试对教学的 $ 指挥棒 % 作用 ! 为社会培养 高质量人才 ! 是我国高等教育必须解决的一个重要课题 " & !"#’ 是近十年发展起来的一种比较先进的 项目反应理论 心 理与教育测试理 论 ! 受 到 国 内 外 许 多 学 者 的 关 注 ! 对 于 促进我 国 高等 教育 考 试 评 价 方 式 的 改 革 和 发 展 具 有 很 大 的指导意义 " 因此 ! 本文对项目反应理论的实际应用 ! 特别 是如何 估 计试 题参 数 这 一 关 键 环 节 进 行 了 比 较 系 统 的 研 究 ! 这种类型的工作在国内文献上尚未见到 " 本文 所 涉及的 试 题 库 是 以 临 床 医 学 院 内 科 学 考 试 的 学生为对象 ! 由于内科学在临床医学教学中占有十分重要 的地 位 ! 其中 涉及 的 知 识 面 广 ! 对 学 生 的 综 合 素 质 能 力 要 求很高 ! 用传统考试评价方式往往不能达到理想的效果 ! 因 此在美 国等发 达 国 家 的 同 类 考 试 中 也 是 比 较 早 就 引 入 了项目反应理论 ! 并有各种理论探讨 " 作为本文得到的结 果 ! 则不仅适 用于 临 床 医 学 院 内 科 学 这 一 课 程 ! 而 且 对 临 床医学教学的其他课程 ! 甚至完全属于医学教育之外的学 科 ! 都有参考价值 "
B’ 抗 56;DB 抗体可阳性 (’BDB 可阳性 #
<’ 血清补体无下 降
:’ 磺
胺 类药 物 可 能 诱 发 药 物 性 狼 疮
;’ 停 药 后 症 状 可 消 失
表 " 第" ’>’>A 题参数估计结果
分析 % 由图 ! 可 知第 " 套 试卷第 " 题的区 别度为 9’C>"> ’ 难 度 其中 * 表示概率 "! 为能力估计值 "8. 为第 . 题的项目反 应 "!/为最大估计值 # 本课题参数估计应用江西师范大学 测量 通用程 序 () 算法来计算边际极 大似 然 估 计 值 " 具 体 方 法 是 " 将 所 有 考 试结果 $ 9 "" 记分& 输入 (8:(* 数据库中 " 按学号 ’ 每道题的 答案及 答 分输 入到 计 算 机 中 " 最 后 转 化 为 ;<= 数 据 " 在 软 件上运行计算 # 为 9’C!C% ’ 猜测系数为 9’""?!" 显著性检验提示卡方值为
其中 ! ( 被试能力值 )-( 项目的区分度 ). ( 项目 的难 度 ) & !)- !. !,’ 表 示 能 力 为 ! 的 被 试 答 对 , ( 项 目 的 猜 测 系 数 )2 区分度为- ! 难度为 . !猜测度为 , 的项目的概率 " 当,34 时为 双参数模式 ! 当,35 且-3$ 时为单参数模式 " 通常 !!- !. !, 都 是未知的 ! 我们要根据被试对 项目的作答 反应对 !!- !. !, 进行估计 " 根据特征函数可画出试题的特征曲线 ! 图 $ 为典型的 三参数模式的特征曲线 (