教育测量与评价第三章tzs

• • • •
4、标准参照测验的信度分析 百分比一致性指标 5、测量标准误 测验信度的一个重要应用，反应测量结果 精确性和可靠性的一个指标，正确解释测 验分数的科学依据。
• 6、评分者信度 • 含义：多个评分者给同一批人的答卷进行 评分的一致性程度。（主观题） • 计算方法： • （1）两个人时，两个人所给分数的相关系 数。 • （2）多人评分是，肯德尔和谐系数
3、折半信度（分半信度）
• 就是将测验分半，再求被试在每一半测验上所 得分数的相关系数。 • 首先根据内容、形式、题数、平均数、标准差、 难度、测题间相关以及分布形态相等的原则， 将试题分成两半，或者将从易到难排列的测题， 按照测题序号，奇数测题为一组，偶数测题为 一组，分成两半； • 然后计算每个被试在两个分半测验分数的积差 相关系数，再用斯皮尔曼—布朗公式加以校正。 • 斯皮尔曼—布朗公式为
• 与内容效度不同，结构效度主要用于智 力测验、人格测验等一些心理测验方面。
3、效标关联效度
• 是以测验分数和效标之间的相关系数来表示测 验效度高低的方法。 • 例如：某年全国高考物理学科的测验效度，可 用大学一年级物理学科的测验分数为效标，然 后求同一组学生高考物理得分与大一物理得分 之间的相关，此相关系数就是该年高考物理测 验的效标关联效度系数。当这个相关系数与总 体零相关有显著性差异时，相关系数的值（正 值）越大，效度就越高；相关系数的值越小， 效度就越低。
（三）提高信度的方法
• • • • • • 1、影响测量信度的主要因素 （1）被试方面 （2）主试方面 （3）施测情境方面 （4）测量工具方面 （5）两次施测的间隔时间方面
2、提高测量信度的常用方法
• • • • • • （1）适当增加测验的长度 （2）测验的难度要适中 （3）测验的内容应尽量同质 （4）测验的程序应统一 （5）测验的时间要充分 （6）测验的评分要尽量做到客观化，减 少评分误差
• • • • •
内容效度： 教学目标、教材要求——测验试题样本 适用于：教育测量（学业成就测验） 用于选拔和分类的职业测验。 不适用于：心理测验，如智力、创造性、 人格等。
2、内容效度的估计
• （1）逻辑分析法 • 其工作思路是请有关专家对测验题目与原定内 容范围的吻合程度作出判断。（命题双向分类 表——题目双向分类表） • （2）统计分析法 • 从同一个教学内容总体中抽取两套独立的平行 测验，用这两个测验来测同一批被试，求其相 关。若相关高，表明测验内容效度较高；若相 关低，表示测验的内容效度较低。
例三
• 对初中一年级学生进行地理成绩测验，每答对1题得1分，答错1 题得0分，其测验结果如下表，试估计该测验的折半信度？ • 学生序号 题 序 • 1 2 3 4 5 6 • 1 1 0 0 0 0 0 • 2 0 0 0 1 0 0 • 3 1 0 1 0 0 0 • 4 1 1 0 0 1 0 • 5 1 0 0 1 0 0 • 6 1 1 1 0 1 1 • 7 1 1 1 1 0 1 • 8 1 1 0 1 1 0 • 9 0 1 1 0 0 1 • 10 1 1 1 1 1 1
例一
• 在《社会发展史》某一单元教学之前， 对学生进行有关这一单元内容的测验。 教学之后，再以复本测验施测，两次测 验分数如下，试检定测验的内容效度？ • 学生序号 1 2 3 4 5 6 7 8 9 10 • 教学前X 34 40 32 30 31 35 44 33 42 36 • 教学后Y 52 64 50 54 58 63 72 62 62 50
缺点：
• 1、编制两个完全相等的测验是很困难的，如 果两个复本过分相似，则变成再测形式，而过 分不相似，又使等值的条件不存在； • 2、两个复本测验有可能在某种程度上测量了 不同的性质，这就会低估测验的信度； • 3、被试同时接受性质相似的两个测验，可能 减少完成测验的积极性； • 4、虽然两个复本测验的题目材料不同，但被 试一旦掌握了解题的某一模式，就能触类旁通， 有可能失去复本的意义。
（二）效度的估计
• 效度估计就是多方寻找证据来证明一个测验的 有效性程度的过程。 • 1、内容效度 • 就是指测验内容对所要测量的内容的代表性程 度。也就是说，测验的内容范围、材料与所要 测量的内容范围、教育目标是否相符合；测验 中测题所引起的行为是否是所要测量的属性的 明确反应；测验的结果是否是一个有代表性的 行为样本。 • 为了使测验的内容具有有效性，成为所欲测量 内容的一个具有代表性的行为样本，在编制测 验时，就要考虑建立内容效度的问题。
结论
• 教学前后学生在两个复本测验上得分的 平均数有极显著性差异，从而可以作出 判断，《社会发展史》中该单元测验的 内容具有有效性，或内容效度较高。
• 内容效度主要应用于成就测验、学科测 验、选拔和分类职业测验。 • 内容效度不适合用于能力倾向和人格测 验。
2、结构效度
• 是指测验对于人的心理特性或理论概念 测量到的程度。通常用某种操作来定义， 并用测验来测量。 • 例如：人的创造力可以分解为人的思维 流畅性、灵活性和创造性三大特性，并 根据这三大特性编制测验，若有足够的 证据来证明该测验确实可以测到这些特 性，则认为该测验是个结构效度较高的 创造力测验。
（1）结构效度的特点
• 结构效度的大小完全取决于事先假定的心理特 质理论，一旦人们对同一种心理特质有着不同 的定义或假设，则会使得关于特质测验的结构 效度的研究结果无法比较。 • 当实际测量的资料无法证实我们的理论假设时， 并不一定就表明该测验结构效度高。因为还有 可能出现理论假设不成立，或者该实验设计不 能对该假设作适当的检查等情况，这就使得结 构效度的获取更为困难。
主要对测量的项目（题目）而言。
• 难度区
第一节
教育测量与评价的信度
Байду номын сангаас
• 一、什么是信度 • 信度是指测量结果的稳定性或可靠性程度。 • 即：用同一量表测量同一特质对象，多次测量间 的一致性程度。 • 一般地说，一个好的测量必须具有较高的信度， 也就是说，一个好的测量工具，只要遵守操作规 则，其结果就不应随工具的使用者或使用时间等 方面的变化而发生较大的变化。 • 必须从以下两个方面去理解测量的信度： • 信度指实测值（X）和真值（T）相差的程度； • 信度指两次重复测量或等值测量之间的关联程度。
• 2、对10名应试者先进行某种测验X，隔 适当时间后（半年），再进行内容、范 围、难度类似的第二次测验Y，试求测验 的复本信度？ • 应试者 1 2 3 4 5 6 7 8 9 10 • X 9 10 10 6 10 8 4 8 9 4 • Y 4 9 7 9 4 3 5 3 2 4
• 3、有一个由100题构成的量表施行于10个 高三学生（分数见下表）。测验一次后， 学生即毕业离校，现怎样评价测验结果的 信度？ • 学生序号 1 2 3 4 5 6 7 8 9 10 • 奇X 38 37 38 41 40 36 38 39 40 35 • 偶Y 37 37 36 39 39 34 38 39 39 36
作业
• 1、用某量表测验10名学生，得分记为X， 为了考察结果的可靠性，于15天后用原量 表对这10个学生重测一次，得分记为Y，问 测验结果是否可靠？ • 学生序号 1 2 3 4 5 6 7 8 9 10 • X 8 10 9 6 10 7 5 7 9 4 • Y 9 10 10 6 10 8 4 8 9 4
在使用重测法计算稳定性系数时，应 注意以下问题：
• 1、信度的取值范围为[0，1]，当信度值较大时， 说明前后两次测量结果比较一致； • 2、两次测验之间的时间间隔要适宜。应由测 验的性质、测题类型、测题数量和被试特点所 决定； • 3、重测法适用于速度测验而不适用于难度测 验； • 4、适用于运动技能的测验，如跑、跳，较少 受重复测量的影响。
• 第一、第二种定义为理论定义，不具有实 际操作意义，第三种可以实际操作。因为 真分数很难确定，不可得。
三、信度的估计方法
• （一）重测信度 • 指的是同一个量表对同一组被试施测两次 所得结果的一致性程度。 • 其大小等于同一组被试在两次测验上所得 分数的相关系数，一般采用皮尔逊积差相 关的公式来计算。
（二）复本信度
• 指的是两个平等的测验测量同一批被试 所得结果的一致性程度。 • 其大小等于同一批被试在两个复本测验 上所得分数的相关系数。 • 所谓复本测验（也称平行测验）是指在 性质、内容、题型、题数、难度等方面 都一致（或相等）的两份或多份测验。 但试题不相同。
• 实施复本测验的两种方式：P49 • 复本测验不仅适用于难度测验，也是估计 速度测验信度的好方法。 • 在作追踪研究或探讨某些影响测验因素成 绩的因素时，大多使用复本测验，分析复 本信度。
二、信度的统计定义
• X=T+E • 误差E的平均数为零，且与真分数T之间是
相互独立的，及相关系数是零。 • 公式推导、两边求方差。 • 方差、相关系数
• 信度的三种统计定义： • 1、真分数方差与观察分数方差之比： • 测验的信度一般在0和1之间取值（？）， 信度越接近1，考试的信度越高。 • 2、被试团体的真分数与观察分数的相关系 数的平方。 • 3、被试团体在测验X（A卷）的观察分数 与在测验X的任意一个“平行测验”X’（B 卷）上的观察分数的相关系数。
例二
• 以A、B两型英语复本测验对初中三年级10个学生施 测，为避免由测验施测顺序所造成的误差，其中5个 学生先做A型测验，休息15分钟后，再做B型测验； 而另5个学生先做B型测验，休息15分钟后，再做A 型测验。10个学生A型测验结果记为X，B型测验结 果记为Y，其测验的复本信度如何？ • 学生序号 1 2 3 4 5 6 7 8 9 10 • X 19 19 18 17 16 15 15 14 13 12 • Y 20 17 18 18 17 15 13 15 12 12
（2）建立结构效度的步骤