第十一章教育测量的质量指标xin
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第十一章 测量的种类及 其质量分析
第一节 教育测量的种类
根据测量的目标分类：智力测量、成绩测量、品德状 况测量、人格特征测量、能力倾向测量。
根据测量的方式分类：个别测量、团体测量 根据测量的材料分：文字测量和非文字测量 根据测量的来源分：标准化测量、教师自编测量 根据参照标准分：常模参照测量、标准参照测量
第④个步骤
结构效度建立的示例
建立理论框架
从理论框架出发，提出各种假设
根据假设编制测验
以逻辑及实证的方法，检验结果是否符合心理学的 理论框架及其假设
比如：中学生数学能力的研究
数学能力由分析能力、综合能力、归纳和演绎能力、 运算能力、空间想象能力构成；数学能力与早期教 育有关；数学能力与智力正相关。
（3）若答案多种，得分多样，不宜用上边的 公式计算。
3、论文式测验的信度系数
4、评分者信度计算方法
肯德尔和谐系数
公式为：
rw
1
ss R K 2 (n3 n)
12
三、影响信度的因素
（一）测验的长度 一般来说，测验越长，信度值越高。这是因为： ①测验加长，可能改进项目取样的代表性，从而能更
抽象概念或特质的程度
效标：检验测验效度的参照标 准，实际上是本测验所想测量 或要预测的特性或功能 测验分数与作为效标的另一独 立测验结果之间的一致性程度
（一）内容效度的概念和估计方 法
1.内容效度的概念
测验试题对欲测验内容或行为目标的代表性程度
2.内容效度的验证方法 逻辑分析法
统计分析法（定量的方法）
第二节 测量的信度
一、信度的概念 信度是指测验结果的一直性或可靠性的程度 信度可以理解为： （一）实测值和真值相差的程度
X=T+E (二）两次重复测量或等值测量之间的关联程度
二、信度的估计方法 （一）稳定性系数（重测信度） 指用同一试卷对相同被试者在不同时间测验两次的实得分数的
相关系数
例：用某量表测验１０个学生，得分记为Ｘ。为了考察测量结 果的可靠性，于１５天后用原量表对这１０个学生重测一次， 得分记为Ｙ。问测验结果是否可靠？
为各题正确反应人数占总人数的百分数；Ｑ为个题错误反 应人数占占总人数的百分数，Ｓ２为应试者总分的方差 例：有一种包含６个问题的测验，１０个应试者得分如下， 试估计应试者反应的一致性程度
计算内部一致性系数要注意的问题：
（1）若用分Байду номын сангаас法时，以按奇数题和偶数题分 为两半为宜。
（2）若速率是测验的重要因素，则不宜用分 半法。
评分一致性考查法（不同评分者之间评分的 一致性程度，即考查评分者信度）
前后测对比法（根据前后两次测验的差异显 著性，确定测验的内容效度）
（二）、构想效度及其验证方法
1.结构效度的概念
测验对于人的假设属性或理论概念测量 到的程度
这些假设属性或理论概念是决定人们外 部行为的内隐或潜在的特性
平方根
二、效度的类别和估 计方法
测验题目样本对于应测内容 与行为领域的代表性程度
侧重于测验题目取样的代表 性，考查这些题目对所欲测 量的内容和行为反应测量的 有效程度
效度的 种类
内容效 度
结构效 度
效标关 联效度
结构：心理学或社会学上 的一种理论构想或特质
侧重于一个测验能够测量 到心理学和教学理论上的
（二）等值性系数（复本信度）
等值性系数是估计测验间跨形式的一致性指标， 是以两个等值（题型、题数、难度、区分度相同） 但具体内容不同的量表，在最短时间内，对相同 应试者先后施测两次测验所获得的两组对应分数 的相关系数。
（三）内部一致性系数（同质性信度）
是估计测验内部跨测题的一致性指标，是同一测 验试卷的两个部分得分的相关系数
第三节 效度
一、效度的概念 效度是量表能实际测量出其所要测量的特性或功能的程
度。 效度可从以下几方面理解： 第一，测量的效度始终是对一定的测量目的而言的。 第二，测量的效度是对测量结果而言的 第三，测量的效度只是高低问题 第四，在教育测量中，测量效度显得更为重要
信度和效度的关系:
信度是效度的必要非充分条件 一个测验的效度不会超过它的信度的
2.结构效度的建立过程
① 对所欲测量的属性根据某种理论提出假 定的结构
② 根据假定的结构拟定测试题，编制测验 ③ 寻求测验分数与其它评定之间的关系 ④ 以测验结果为根据来验证假设结构中的
各种因素是否成立，验证的方法可以从差异 性上寻求证据
⑤ 将与假设结构相违背的测试题删去， 对测验进行修改之后，再重新实施第③和
好地反映受测者的真实水平； ②测验的项目越多，在每个项目上的随机误差就可以
互相抵消。 （三）测验的难度 测验的难度与信度没有直接对应关系，但是当测验太
难或太易时，则分数的范围就会缩小，从而降低信度。
（三）测验内容的同质性 （四）被试者差异 （五）评分的客观性
四、提高测验信度的方法 1.适当增加测验题目的数量 2.测验的难度要适中 3.测验的内容要尽量同质 4.测验的程序应统一 5.测验的时间要充分 6.评分要客观
逻辑分析法（定性的方法）
依靠有关专家对测验题目与应测内容范围的吻合程度作 出判断
对每一道题目逐一进行审查，以此形成“题目双向细目 表”
与“命题双向细目表”加以对照，以确定试卷的效度
统计分析法（定量的方法）
克龙巴赫法（两套测验试题，对相同被试实 施测试后，计算得分的相关系数）
编制测验，施测并收集测验结果
分析测验结果，考查测试的结构效度，考查测验结 果是否支持理论构想
（三）、效标关联效度及其验证 方法
1.效标关联效度的验证方法
效标关联效度是指测验分数与作为效标的另一独立 测验结果之间的一致性程度，即推断某测验所得分 数与同类标准测验所得分数的相关程度。效标关联 效度（criterion-related validity）的验证方法是指一 个测验对于处于特定情境中的个体行为进行预测时 的有效性。
计算方法有两种：
１.分半信度
是把一次测验按题目番号分为两半，一半是奇数 题，一半是偶数题，计算两部分的相关系数， 最后用斯皮尔曼－布朗公式校正
２.库德尔－理查森公式法 （１）rKR20的用法：这个公式以每题能正确回答的人数占
总人数的百分数为基础计算
rKR20为整个测验结果的信度系数，Ｋ为测验题目数，Ｐ
第一节 教育测量的种类
根据测量的目标分类：智力测量、成绩测量、品德状 况测量、人格特征测量、能力倾向测量。
根据测量的方式分类：个别测量、团体测量 根据测量的材料分：文字测量和非文字测量 根据测量的来源分：标准化测量、教师自编测量 根据参照标准分：常模参照测量、标准参照测量
第④个步骤
结构效度建立的示例
建立理论框架
从理论框架出发，提出各种假设
根据假设编制测验
以逻辑及实证的方法，检验结果是否符合心理学的 理论框架及其假设
比如：中学生数学能力的研究
数学能力由分析能力、综合能力、归纳和演绎能力、 运算能力、空间想象能力构成；数学能力与早期教 育有关；数学能力与智力正相关。
（3）若答案多种，得分多样，不宜用上边的 公式计算。
3、论文式测验的信度系数
4、评分者信度计算方法
肯德尔和谐系数
公式为：
rw
1
ss R K 2 (n3 n)
12
三、影响信度的因素
（一）测验的长度 一般来说，测验越长，信度值越高。这是因为： ①测验加长，可能改进项目取样的代表性，从而能更
抽象概念或特质的程度
效标：检验测验效度的参照标 准，实际上是本测验所想测量 或要预测的特性或功能 测验分数与作为效标的另一独 立测验结果之间的一致性程度
（一）内容效度的概念和估计方 法
1.内容效度的概念
测验试题对欲测验内容或行为目标的代表性程度
2.内容效度的验证方法 逻辑分析法
统计分析法（定量的方法）
第二节 测量的信度
一、信度的概念 信度是指测验结果的一直性或可靠性的程度 信度可以理解为： （一）实测值和真值相差的程度
X=T+E (二）两次重复测量或等值测量之间的关联程度
二、信度的估计方法 （一）稳定性系数（重测信度） 指用同一试卷对相同被试者在不同时间测验两次的实得分数的
相关系数
例：用某量表测验１０个学生，得分记为Ｘ。为了考察测量结 果的可靠性，于１５天后用原量表对这１０个学生重测一次， 得分记为Ｙ。问测验结果是否可靠？
为各题正确反应人数占总人数的百分数；Ｑ为个题错误反 应人数占占总人数的百分数，Ｓ２为应试者总分的方差 例：有一种包含６个问题的测验，１０个应试者得分如下， 试估计应试者反应的一致性程度
计算内部一致性系数要注意的问题：
（1）若用分Байду номын сангаас法时，以按奇数题和偶数题分 为两半为宜。
（2）若速率是测验的重要因素，则不宜用分 半法。
评分一致性考查法（不同评分者之间评分的 一致性程度，即考查评分者信度）
前后测对比法（根据前后两次测验的差异显 著性，确定测验的内容效度）
（二）、构想效度及其验证方法
1.结构效度的概念
测验对于人的假设属性或理论概念测量 到的程度
这些假设属性或理论概念是决定人们外 部行为的内隐或潜在的特性
平方根
二、效度的类别和估 计方法
测验题目样本对于应测内容 与行为领域的代表性程度
侧重于测验题目取样的代表 性，考查这些题目对所欲测 量的内容和行为反应测量的 有效程度
效度的 种类
内容效 度
结构效 度
效标关 联效度
结构：心理学或社会学上 的一种理论构想或特质
侧重于一个测验能够测量 到心理学和教学理论上的
（二）等值性系数（复本信度）
等值性系数是估计测验间跨形式的一致性指标， 是以两个等值（题型、题数、难度、区分度相同） 但具体内容不同的量表，在最短时间内，对相同 应试者先后施测两次测验所获得的两组对应分数 的相关系数。
（三）内部一致性系数（同质性信度）
是估计测验内部跨测题的一致性指标，是同一测 验试卷的两个部分得分的相关系数
第三节 效度
一、效度的概念 效度是量表能实际测量出其所要测量的特性或功能的程
度。 效度可从以下几方面理解： 第一，测量的效度始终是对一定的测量目的而言的。 第二，测量的效度是对测量结果而言的 第三，测量的效度只是高低问题 第四，在教育测量中，测量效度显得更为重要
信度和效度的关系:
信度是效度的必要非充分条件 一个测验的效度不会超过它的信度的
2.结构效度的建立过程
① 对所欲测量的属性根据某种理论提出假 定的结构
② 根据假定的结构拟定测试题，编制测验 ③ 寻求测验分数与其它评定之间的关系 ④ 以测验结果为根据来验证假设结构中的
各种因素是否成立，验证的方法可以从差异 性上寻求证据
⑤ 将与假设结构相违背的测试题删去， 对测验进行修改之后，再重新实施第③和
好地反映受测者的真实水平； ②测验的项目越多，在每个项目上的随机误差就可以
互相抵消。 （三）测验的难度 测验的难度与信度没有直接对应关系，但是当测验太
难或太易时，则分数的范围就会缩小，从而降低信度。
（三）测验内容的同质性 （四）被试者差异 （五）评分的客观性
四、提高测验信度的方法 1.适当增加测验题目的数量 2.测验的难度要适中 3.测验的内容要尽量同质 4.测验的程序应统一 5.测验的时间要充分 6.评分要客观
逻辑分析法（定性的方法）
依靠有关专家对测验题目与应测内容范围的吻合程度作 出判断
对每一道题目逐一进行审查，以此形成“题目双向细目 表”
与“命题双向细目表”加以对照，以确定试卷的效度
统计分析法（定量的方法）
克龙巴赫法（两套测验试题，对相同被试实 施测试后，计算得分的相关系数）
编制测验，施测并收集测验结果
分析测验结果，考查测试的结构效度，考查测验结 果是否支持理论构想
（三）、效标关联效度及其验证 方法
1.效标关联效度的验证方法
效标关联效度是指测验分数与作为效标的另一独立 测验结果之间的一致性程度，即推断某测验所得分 数与同类标准测验所得分数的相关程度。效标关联 效度（criterion-related validity）的验证方法是指一 个测验对于处于特定情境中的个体行为进行预测时 的有效性。
计算方法有两种：
１.分半信度
是把一次测验按题目番号分为两半，一半是奇数 题，一半是偶数题，计算两部分的相关系数， 最后用斯皮尔曼－布朗公式校正
２.库德尔－理查森公式法 （１）rKR20的用法：这个公式以每题能正确回答的人数占
总人数的百分数为基础计算
rKR20为整个测验结果的信度系数，Ｋ为测验题目数，Ｐ