最新心理与教育测量第十章讲学课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• (A) 如某专业资格测验，可以通过该工作分析来界 定，测验内容范围。
• (B) 教学测验可通过教材、大纲来界定，测验内容 范围。
• 形式就是测验双向细目表。由三个要素组成：一是 考查目标；考查内容；每一类内容和每一种目标相 结合后在整个内容范围中所占的比重（即重要性）。 如下表：
《心理测量学》期中考试双向细目表
2、荷伊特信度
• 计算公式：
rxx
百度文库
1
MS人题 MS人
• 评价：由于此式不受被试分布及测验目标 影响，可用于目标参照测验，又因为不涉 及合格线，因此优于分类一致性信度。
• 效度及其估计
– 内容效度 – 效标关联效度
1、内容效度
• 目标参照测验要求有明确的内容范围，要 求试题严格限制在内容范围之内，且有最 充分代表性，因此，内容效度是对目标参 照性测验关心的重点。
– 可用两次评价一致的人数在总人数中的比作为 效度，也称为“决策效度”。
• 相关系数接近0，一般不予保留，但应视该项目所测 内容在内容范围中的重要性而决定其取舍。
第三节 目标参照测验的信度与效度
• 信度及其估计
– 定义：与常模参照测验的信度定义一致。 – 计算：
• 不能采用相关系数法求取信度，原因：相关系数信 度高低与被试团体的特质水平分布有关，被试异质 性越强，信度越高，目标参照测验不在于鉴别被试 差异，因而分数分布相对集中，即使测验可靠稳定， 其相关也不高，因此相关系数不适用于目标参照测 验。
• 测验项目的内容效度分析
– 1、分析目的：
• 检验所命试题的内容是否与测验内容范围所规定的 内容一致。
– 2、分析方法：专家评定法。
• 请专家对测题所测内容与测题编制者宣称要测量的 目标内容间的一致性进行评价。具体方法见内容效 度这一章节，我们已经讲过。
• 测验项目的难度和区分度分析
– 测验的预测 – 测验项目的难度分析 – 测验项目的区分度分析
• 难度差值指标：
• ① 掌握组—非掌握组鉴别指数(D)。
• 计算公式：D=PA-PB，其中PA为掌握组的得分率， PB为非掌握组的得分率。
• D值范围在[-1，1]之间，D值越大，区分度越高。
• ② 个人获得指数(DIG)
• 一般应用在前测-后测方法中。 • 计算方法为：前测中错误回答某项目而在后测中能
• 评估计方法与常模测验方法相同。
2、效标关联效度
• 考查效标关联效度的原因
– 目标参照测验的目的在于鉴别人的合格与否， 某测验的鉴别结果是否准确应以客观评价为准， 因此，目标参照测验的效标关联效度成为测验 评价与客观评价一致性程度指标。
• 评估方法
– 不适合采用测验分数与效标成绩的相关系数评 估目标参照测验的效度。
（一）测验的预测—数据收集方法
• ① 前测—后测法：
• 含义：同一项目对同一组被试在学习之前之后 分别测试一次。
• 图解：
• ② 学过组—非学过组法：
• 含义：同一项目对学过组和非学过组被试各测 一次。
• 图解：
• ③ 对照组法，掌握组—非掌握组法：
• 含义：同一项目对两组被试各施测一次。 • 图解：
分类一致性信度的求取及其校正
PO
b N
c
POPePOPAPBqAqB
1Pe 1PAPBqAqB
POPePOPAPBqAqB
1Pe 1PAPBqAqB
• 评价：
– ① 越大，信度越高，意义明确，计算简单。 ② 但再测、复本的测试缺陷存在。
– ③ 依赖于合格分数线的准确划分 。
举例
• 若有一个60人的团体，采用某测验前后施 测两次，两次测试中均及格的人数为21人， 均不及格的人格为12人，请计算分类一致 性信度。
的界定作前提。
– 内容范围的特点
• ① 内容范围有边界：边界有大，有小，须界定。
• ② 内容范围中的内容可以分类、分层。每一类每一 层有其相对地位，划分清楚类层及地位，如此构成 内容的结构。
• ③ 明确了内容范围的边界和其内部结构，则认为内 容范围得到了明确的界定。
– 内容范围界定的依据和方法
• 特定测验目的是界定的依据。
• 第③种方法被认为是对①、②两法的改进， 但分组依赖于都是的经验判断。
（二）测验项目的难度分析
• 1、目标参照测验的难度计算与常模测验的 难度计算采用同一种方法。
• 2、有人认为，目标参照测验中属内容范 围中不可缺少题目并不在乎它是难还是易， 都要测。
• 3、计算目的：分析区分度的基础。
（三）测验项目的区分度分析
够正确回答的被试人数比例。范围在[0，1]之间。 • 局限：未考虑前测中通过而后测中失败的被试。
举例：请用前述两种方法计算表中项目的区分度
• 相关系数法
– 方法同常模参照测验。但区分度大小的评价标 准不同。
• 相关系数为负值，应检查题目问题所在，予以删除 或修改。
• 相关系数为正值，其值越大，越具有区分力。项目 越有效。
• 方法：分类一致性信度(P0) ；荷伊特信度
1、分类一致性信度
• 原因
– 目标参照测验关心的是对被试合格与否的分类 是否一致，分类一致性指标成为目标测验的信 度是顺理成章的。
• 方法:
– ① 测试采用复测法或复本法；② 统计以合格 线为界分别进行。③ 计算在两次测试中分数一 致人数(两次均及格或两次均不及格人数)在总 人数中之比。④校正。
考
考
查 目
识理应分综评合
查 内
标记 解 用 析 合 价 计
容
1. 心理测量的理论基础 2
2. 测量的信度和效度
0
3. 心理测量的误差
0
4. 心理测验的项目分析 0
5. 心理测验的编制技术 2
6. 心理测验的施测
2
7. 测验常模
2
8. 标准参照性测验
0
合计
8
2 2 4 0 0 10 4 4 5 2 10 25 000505 2 2 0 8 0 12 8 0 0 0 0 10 600008 10 2 6 0 0 20 0 10 0 0 0 10 32 20 15 15 10 100
心理与教育测量第十章
第十章 目标参照测验
• 目标参照测验概述 • 目标参照测验的项目分析 • 目标参照测验的信度与效度 • 目标参照测验分数分界点的确定
第二节 目标参照测验的项目分析
• 内容范围的确定
– 内容范围确定的意义
• ① 目标参照测验本身的要求，要有明确的内容范围。 • ② 项目分析的需要以至测验总体的评价都要以内容
• (B) 教学测验可通过教材、大纲来界定，测验内容 范围。
• 形式就是测验双向细目表。由三个要素组成：一是 考查目标；考查内容；每一类内容和每一种目标相 结合后在整个内容范围中所占的比重（即重要性）。 如下表：
《心理测量学》期中考试双向细目表
2、荷伊特信度
• 计算公式：
rxx
百度文库
1
MS人题 MS人
• 评价：由于此式不受被试分布及测验目标 影响，可用于目标参照测验，又因为不涉 及合格线，因此优于分类一致性信度。
• 效度及其估计
– 内容效度 – 效标关联效度
1、内容效度
• 目标参照测验要求有明确的内容范围，要 求试题严格限制在内容范围之内，且有最 充分代表性，因此，内容效度是对目标参 照性测验关心的重点。
– 可用两次评价一致的人数在总人数中的比作为 效度，也称为“决策效度”。
• 相关系数接近0，一般不予保留，但应视该项目所测 内容在内容范围中的重要性而决定其取舍。
第三节 目标参照测验的信度与效度
• 信度及其估计
– 定义：与常模参照测验的信度定义一致。 – 计算：
• 不能采用相关系数法求取信度，原因：相关系数信 度高低与被试团体的特质水平分布有关，被试异质 性越强，信度越高，目标参照测验不在于鉴别被试 差异，因而分数分布相对集中，即使测验可靠稳定， 其相关也不高，因此相关系数不适用于目标参照测 验。
• 测验项目的内容效度分析
– 1、分析目的：
• 检验所命试题的内容是否与测验内容范围所规定的 内容一致。
– 2、分析方法：专家评定法。
• 请专家对测题所测内容与测题编制者宣称要测量的 目标内容间的一致性进行评价。具体方法见内容效 度这一章节，我们已经讲过。
• 测验项目的难度和区分度分析
– 测验的预测 – 测验项目的难度分析 – 测验项目的区分度分析
• 难度差值指标：
• ① 掌握组—非掌握组鉴别指数(D)。
• 计算公式：D=PA-PB，其中PA为掌握组的得分率， PB为非掌握组的得分率。
• D值范围在[-1，1]之间，D值越大，区分度越高。
• ② 个人获得指数(DIG)
• 一般应用在前测-后测方法中。 • 计算方法为：前测中错误回答某项目而在后测中能
• 评估计方法与常模测验方法相同。
2、效标关联效度
• 考查效标关联效度的原因
– 目标参照测验的目的在于鉴别人的合格与否， 某测验的鉴别结果是否准确应以客观评价为准， 因此，目标参照测验的效标关联效度成为测验 评价与客观评价一致性程度指标。
• 评估方法
– 不适合采用测验分数与效标成绩的相关系数评 估目标参照测验的效度。
（一）测验的预测—数据收集方法
• ① 前测—后测法：
• 含义：同一项目对同一组被试在学习之前之后 分别测试一次。
• 图解：
• ② 学过组—非学过组法：
• 含义：同一项目对学过组和非学过组被试各测 一次。
• 图解：
• ③ 对照组法，掌握组—非掌握组法：
• 含义：同一项目对两组被试各施测一次。 • 图解：
分类一致性信度的求取及其校正
PO
b N
c
POPePOPAPBqAqB
1Pe 1PAPBqAqB
POPePOPAPBqAqB
1Pe 1PAPBqAqB
• 评价：
– ① 越大，信度越高，意义明确，计算简单。 ② 但再测、复本的测试缺陷存在。
– ③ 依赖于合格分数线的准确划分 。
举例
• 若有一个60人的团体，采用某测验前后施 测两次，两次测试中均及格的人数为21人， 均不及格的人格为12人，请计算分类一致 性信度。
的界定作前提。
– 内容范围的特点
• ① 内容范围有边界：边界有大，有小，须界定。
• ② 内容范围中的内容可以分类、分层。每一类每一 层有其相对地位，划分清楚类层及地位，如此构成 内容的结构。
• ③ 明确了内容范围的边界和其内部结构，则认为内 容范围得到了明确的界定。
– 内容范围界定的依据和方法
• 特定测验目的是界定的依据。
• 第③种方法被认为是对①、②两法的改进， 但分组依赖于都是的经验判断。
（二）测验项目的难度分析
• 1、目标参照测验的难度计算与常模测验的 难度计算采用同一种方法。
• 2、有人认为，目标参照测验中属内容范 围中不可缺少题目并不在乎它是难还是易， 都要测。
• 3、计算目的：分析区分度的基础。
（三）测验项目的区分度分析
够正确回答的被试人数比例。范围在[0，1]之间。 • 局限：未考虑前测中通过而后测中失败的被试。
举例：请用前述两种方法计算表中项目的区分度
• 相关系数法
– 方法同常模参照测验。但区分度大小的评价标 准不同。
• 相关系数为负值，应检查题目问题所在，予以删除 或修改。
• 相关系数为正值，其值越大，越具有区分力。项目 越有效。
• 方法：分类一致性信度(P0) ；荷伊特信度
1、分类一致性信度
• 原因
– 目标参照测验关心的是对被试合格与否的分类 是否一致，分类一致性指标成为目标测验的信 度是顺理成章的。
• 方法:
– ① 测试采用复测法或复本法；② 统计以合格 线为界分别进行。③ 计算在两次测试中分数一 致人数(两次均及格或两次均不及格人数)在总 人数中之比。④校正。
考
考
查 目
识理应分综评合
查 内
标记 解 用 析 合 价 计
容
1. 心理测量的理论基础 2
2. 测量的信度和效度
0
3. 心理测量的误差
0
4. 心理测验的项目分析 0
5. 心理测验的编制技术 2
6. 心理测验的施测
2
7. 测验常模
2
8. 标准参照性测验
0
合计
8
2 2 4 0 0 10 4 4 5 2 10 25 000505 2 2 0 8 0 12 8 0 0 0 0 10 600008 10 2 6 0 0 20 0 10 0 0 0 10 32 20 15 15 10 100
心理与教育测量第十章
第十章 目标参照测验
• 目标参照测验概述 • 目标参照测验的项目分析 • 目标参照测验的信度与效度 • 目标参照测验分数分界点的确定
第二节 目标参照测验的项目分析
• 内容范围的确定
– 内容范围确定的意义
• ① 目标参照测验本身的要求，要有明确的内容范围。 • ② 项目分析的需要以至测验总体的评价都要以内容