教育测量ppt课件

3.2.5项目与测验的信息函数
• 某个试题j的信息函数值的大小直接反映这种估计就越精确。因而 信息函数可作为衡量测验试题是否有效的 工具。在项目反应理论中，某个测验项目j 的信息函数定义为：
I
j (Q)

Pj 2 PjQ j
4 教育测验的编制与实施
• 迷惑性答案的效力，是指多项选择题中用的非 正确答案被考生选中的可能性，所以这项指标 只对多项选择题有意义。对这项指标的计算比 较困难，通常是用一次测验中选中某答案的次 数来估计该答案的迷惑效力。如果在考试中某 一选项无一人挑选，则说明改选项没有迷惑力； 如果选用的人数多且低分组的选用多于高分组， 则说明改选项的迷惑力强；如果高、低分组选 择某选项的人数都较少且人数接近，则说明该 选项的迷惑力较弱。显然，在测验组卷时应尽 量少用或不用迷惑力弱的试题，以免影响测验 效果。
• 准则关联效度 ：准则关联效度是根据测验所作的 预测是否能被证实来衡量测验的有效性。如果测 验所作的预测与未来实际发生的事情很接近，这 个测验就是一个有效的好测验。在这种场合，被 预测行为是用来衡量测验是否有效的标准，因此 被称之为“准则”。准则关联效度就是要考察测 验得分与准则之间有什麽样的关系。例如用“模 拟考试”来预测高考的成绩，模拟考试在这里就 是一个准则。如果预测的准确性高，该模拟考试 就是一个有效的好测验。
3.2.1 项目反映理论
• 项目反映理论（IRT）正是针对经典测量理 论的上述局限提出来的。它的最大优点就 是，项目参数（CTT中的质量指标对应）的 估计值与被试样本的选择无关；对被试能 力水平的估计值与施测所用试题无关；同 时还能给出测验项目对被试实际能力估计 值的精度。
3.2.2 项目反映理论的假设
是指，该题被能力强者答对的可能性大，被能
力弱者答对的可能性小；区分度低的试题则不
能反映出这种差别。计算区分度的方法有多种，
较简单而有效的一种是“两极分组法”。这种
方法的基本思想是，比较测验总分最高和最低
的两组被试在答对率上的差别。其计算公式如
下：
D j PjH PjL
3.1.7迷惑效力分析
3.1.9信度的估计
• 信度是测量的可靠性度量，而在测验所得 的分数中，随机误差所占比重的大小直接 反映了测验的可靠性。因此我们可以将真 实分数的方差（真实分数的变异数）与测 验所得分数的方差（总变异数）之比用来 表示信度的大小，并称之为信度系数，用 表示，即：

XX
=ST2
/
S
2 X
3.1.10效度的估计
3.2.3项目反映模型
P(Q)
1.00 拐点
i+c/2
C
Q
0.00
b
1 C Pj (Q) = C 1 e 1.7a(Qb)
3.2.4项目反应模型的参数
Pj (Q) =F(Q,a,b,c)
被试的能力参数，用Q表示
项目的质量参数，用a、b、c标识，分别称为区分度 参数、难度参数和猜测参数 这些参数值都不能由直接测量得到，而必须通过对 被试的反应数据进行估计来求出。对于项目反应模 型中参数的估计，通常采用的是极大似然估计法
• 第一、单维性假设──即假定当前测验仅测量被试的某一项知识或 能力。事实上，任何测验都不可能是单维，因为除了该测量的能 力之外，被试的个性、认知特点、测验环境等因素都可能对测验 有影响。但是，只要所测量的内容是其中最主要的或主导的因素， 就可以认为是单维性测验。这样做不仅简化了对问题的分析，也 基本符合绝大多数的实际情况。
3.1.12经典测量理论的局限
经典测量理论(CTT)在三条基本假设的基础上建 立了自己的测验方法体系，导出了包括信度、 效度、难度、区分度和迷惑效力在内的一整套 质量指标的计算公式，使整个测验过程比较科 学和客观，因而具有较大的实用价值。但是， 随着测量实践的深入和发展，经典测量理论也 暴露出一些难以克服的局限：
• 第三，CTT主要适合与检查学生相对能力水平 的测验（亦称“常模参照测验”），而不适合 于考察学生实际能力水平的测验（亦称“目标 参照测验”）。例如，在目标参照测验中，当 被试组全部通过或全部不能通过测验时（这种 情况完全可能发生），CTT根本无法对这种情 况的难度和区分度进行计算。
3 .2项目反映理论 （Item Response Theory）
• 误差分数的数学期望（统计平均值）为零，因此真实分 数也可以用一个被试在大量测验中所得分数的统计平均 值来表示。
• 任意两次测验所产生的误差相互独立。
3.1.3假设的公式推演
X= XT + X E
S
2 X
=
ST2
+
SE2
S
2 X
=
SV2
+
S
2 L
+
S
2 E
3.1.4 项目分析
• 项目分析是对测验中的每一道题目进行分 析，所以也称“题目分析”。对测验题目 的分析一般包括难度分析、区分度分析和 迷惑效力分析等三个方面。
教育测量
1. 教育测量基本概念回顾 2. 教育测量的分类 3. 教育测量理论
3.1经典测量理论（CTT） 3.2项目反映应论（IRT） 4. 教育测验的编制 4.1编制步骤 4.2编制细则
1. 教育测量基本概念回顾
• 测量的定义 • 量表 • 信度 • 效度 • 难度 • 区分度
2. 教育测量的种类
• 构想效度：构想效度是指测验对某种理论上的构想或假设 的符合程度，因此构想效度主要用于理论研究。估计构想 效度的基本步骤是：先从某一理论出发，提出关于某种心 理特质或认知能力的假设；然后设计和编制响应的测验对 被试施测；最后对测验结果用相关分析法进行分析以验证 与理论构想（假设）的符合程度。
3.1.11效度类型
• 第一，CTT用于评价试题质量的指标 （如难度和区分度）严重依赖于计算这 些指标时所用的被试样本。例如：对同 一试题，若被试样本的能力水平异质 （程度参差不齐），则求出的区分度值 会很高，反之会很低。
3.1.12经典测量理论的局限
• 第二，CTT对被试的某项能力或知识水平的估 计，只有当所有被试都使用同一个测验或并行 的测验时才是可比的；若对同一水平的被试使 用不同的测验，则其测量效果无法进行直接比 较。
3.1.8整体分析
• 为了检验某一测验是不是良好的测量工具， 应当对测验的质量进行分析评估。一个高 质量的测验的测验，它的结果应当是可靠 而且有效的。所谓可靠是指多次测验的结 果一致；所谓有效是指该测验准确地测量 了它所要测的内容。用来估计测量一致性 程度的指标称为“信度”；而用来估计测 量准确性程度的指标则称为“效度”。显 然，信度和效度是评价测量质量的两个最 主要的指标。
– 美国总统通常是选举产生的（
）
• 避免琐碎的陈述
• 避免使用否定句式，尤其是双重否定
• 避免使用长的复杂句型
• 如果不是测量因果关系，应避免在一个判断中包含两个观点
• 避免使用没有任何来源的观点，除非要测的是判断观点的能力
• 避免使用长度不一的正确判断和错误判断
• 避免正确判断和错误判断地数量不合比率
S
2 X
= SV2
+S
2 L
+
S
2 E
效度是测量的有效性度量。在一个测验所得分数中，与 测量目的无关的因素影响越小（或者说与测量目的有关 的因素影响越大），测验的有效性就越高，由上式可见 这就相当于要求增大 的比重。因此我们就可以将真实分 数的方差中与测量目的有关的部分即 （称为“有效变异 数”）与测验所得分数的方差 （总变异数）之比，用来 表示效度的大小，并称之为“效度系数”，用 表示，即：
XX

SV2
S
2 X
3.1.11效度类型
• 内容效度：指试题对欲测内容的符合程度，即该测验所采 用的试题是否能充分反映欲测范围内的教学内容与教学目 标。当以考试结果作为了解学生在某一学科的整体表现时， 应采用内容效度来评价考试的有效性。对内容效度的估计 至今没有定量的计算方法，目前主要采用的是专家判断法 和再测法。
• 按测验的目标分类： 学业成就测验 智力测验 能力倾向测验
• 测验结果的评价标准分类： 常模参照测验 目标参照测验
经典测量理论 （ Classical Test Theory ）
3.1.1概念描述
• 在实际测验中所得到的分数称作实测分数 • 实测分数的组成：有效分数＋测量误差，测量误差
＝随机误差＋系统误差 –故实测分数＝有效分数（V）＋随机误差（E） ＋系统误差（I） –即：X＝V＋I＋E
• 真分数：通常把上式中稳定出现的V、I之和称作真 分数，用T表示 –T＝V＋I
• 实测分数X＝T＋E，移项得：E＝X－T • E是由偶然因素造成的，结果可正可负
3.1.2 CTT的基本假设
• 对某个学生进行测验所得分数X可看作是代表该生实际 知识水平的真实分数和测验误差分数的线性组合，真实 分数是指在测验完全没有误差时所得到的理想值；是由 随机误差引起（并未包括系统误差）。所谓随机误差是 指，由与测量目的无关的偶然因素所引起的无规律的误 差；系统误差则是指，由与测量目的无关的固定因素所 引起的有规律的误差。可正、可负，因而测得的分数X 可能大于真实分数，也可能小于。
3.1.5难度分析
• 非客观性试题（填空题，证明题，问答题， 计算题，改错题等）的难度为：
n
X ji
Pj
1
i 1
nWj
• 客观性试题（选择题）的难度为：
Pj
1
nj n
3.1.6 区分度分析
• 好的试题应能对不同知识水平和能力水平的被
试加以区分，所谓区分度就是用来表示这种区
分能力大小的质量指标。一道试题的区分度高
• 用于测量事实性陈述、术语定义以及定律表述是否正确的辨认 能力
– 2.优点和局限性
• 优点：
– 效率高 – 可以获得课程内容的大样本
• 局限性：
– 测量的学习结果种类有限（大多为知识领域） – 具有猜测性
4.2.2是非题
– 3.编制是非题的一些建议
• 要判断正误，应避免过于宽泛的判断
– 美国总统是选举产生的（ ）
4.2.3 选择题
– 1.基本特点
• 由一个问题和一列选项组成 • 学生答题方式是选择正确的或者最佳的选项 • 错误的选项叫干扰项，目的在于干扰那些知识掌握不牢固的学生答题
– 2.优点和局限性
• 优点：
– 较强的灵活性，可以用来测量多种类型的知识和理解水平的学习内容 – 在测量各种类型的学业成绩方面有广泛的应用性 – 摆脱了其他类型的客观题的局限性
4.1编制测验的一般步骤
• 确定测验目的 • 分析教育目标 • 测验取材并编拟题目 • 试测与分析 • 编制测验（测验的目的、时间限制、回答
试题的方法、记分的方法）
4.2.1简答题与填空题
– 1.基本特点
• 根据呈现的问题，学生以一个词、短语、数字或者符号做出回 答
• 适合测量各种相对简单的学习结果 • 问题答案可以由数字或符号表示的数学和科学领域（此类问题
– 以其他动物的肉为食的动物属于（
）类
• 不要直接引用教材上的陈述作为简答题的基础
• 直接提问通常比不完整的陈述效果更好
• 如果答案要以数字单位的形式表示，请标明要求的答案类型
• 给题目答案留的空白长度应该一样而且都放在题目的右端
• 使用填空题时，需要学生填的空不要太多
4.2.2是非题
– 1.基本特点
• 第二、局部独立性假设──被试对某一测验项目的反应只与该测验 项目本身有关，而不受其它测验项目的影响；在某一测验项目上 作答的各个被试也彼此独立，各被试的成绩仅由本身的内在素质 和能力水平决定，一个被试的成绩不会影响另一个被试。
• 第三、项目特性曲线假设──IRT认为，可观察的被试的测验得分 与影响测验成绩的不可观察的内在素质、能力水平之间所存在的 关系，可用“项目特性曲线”描述。所谓项目特性曲线假设，就 是对这种关系的数学表示形式所作出的一种假设。在IRT中，这种 假设也被称为“项目反映模型”。换句话说，项目反映模型就是 用来表示被试的测验得分（或正答概率）与被试内在素质、能力 水平之间所存在关系的一种数学函数，所以也叫“项目反映函
用选择题的方式进行测试，可能会不能达到测试的目的）
– 2.优点和局限性
• 优点：
– 容易编制 – 学生必须提供答案，减少了通过猜测获得答案的可能
• 局限性：
– 不适合测量复杂的学习结果 – 记分的难度
4.2.1简答题与填空题
– 3.编制简答题的一些建议
• 题目措辞时，应使要求的答案简洁具体
– 以其他动物的肉为食的动物是（ ）