第三讲 测量的信度与效度(1)

• 被试特征
• 单个被试：身心健康状况；应试动机；作答 态度；耐心 • 团体被试：内部水平的离散程度以及团体的 平均水平
• 当团体异质，信度值会偏大 • 当团体内部水平相差不大，则信度值会偏小
• 主试者
• 施测者 • 问卷评分者
• 施测情境 • 测量工具
• 测量工具是否性能稳定
• 两次施测的间隔时间
• 重测信度
• 用同一个量表对同一组被试施测两次所得的 结果的一致性程度，其大小等于在两次测验 上所得分数的皮尔逊积差相关系数 • 使用前提
• 所测量的事物必须是稳定的 • 遗忘和练习的效果基本上相互抵消
• 复本信度
• 两个平行的测验测量同一批被试所得结果的 一致性程度
• 如果两个复本连续施测，则称为等值信系数； • 如果测验相距一段时间分两次施测，则称为稳定 性与等值性系数。一般来说，这是对信度最严格 的检验，其值也最低
四、提高ቤተ መጻሕፍቲ ባይዱ量信度的常用方法
• 适当增加测验的长度
• 项目数太少会降低测量的信度 • 增加与原测验中项目具有较好的同质性的项 目，可以增大测验长度 • 注意点
• 新增项目必须与原有项目同质 • 新增项目的数量必须适度
• 使测验中所有试题的难度分布接近正态 分布，并控制在中等水平
• 这会使标准差较大，从而提高信度
• 使用前提
• 构造出两份平行的测验 • 被试有条件接受两个测验
• 评分者信度
• 多个评分者给同一批被试的答卷进行评分的 一致性程度
• 当评分者为2人，评分者信度可用两个评分者所 给分数的相关系数表示 • 当评分者多于2人时，可用肯德尔和谐系数进行 估计
三、影响测量信度的方法
• 信度系数依赖于场合、测验形式和评分 员三者的共同作用。 • 通常信度在0.9以上才能算是好的测验。 • 测验信度达到0.6以上才能被接受。
第三章 测量的信度（1）
测量的信度
• • • • 测量信度的概念及作用 信度的估计方法 影响信度的主要因素 提高信度的常用方法
一、测量信度的概念及作用
• 信度是指调查中所运用的手段和取得资 料的可靠性或真实性。指的是工具本身 的可靠程度，以及反映调查对象实际情 况的可靠程度。 • 测量结果的稳定性程度
• 调查手段或工具的信度 • 所得资料的信度
• 信度系数
• ——信度的范围，介于0与1之间 • 越接近1越好 • 信度系数就是在测量对同一变量做两次测量 之间的相关，即通过描述两次测量之间的关 系来实现。
• 对信度的其他定义
• 定义1：被测团体的真分数的变异数与实际 分数的变异数之比 • 定义2：一个被试团体的真分数与实得分数 的相关系数的平方 • 定义3：一个测验X（A卷）与它的任意一个 “平行测验”X`（B卷）的相关系数
• 内部一致性的计算方法
分半信度 递增信度
• 折半法（奇偶法）——分半信度 • 将一个测验分成对等的两半后，所有被试 在这两半上所得分数的一致性程度，也可 称为内部一致性系数 • 使用前提
• 只能施测一次或没有复本的情况下使用 • 两半测验上的得分的变异数相等
• 分半方法：奇偶性分半；题目难度分半； 题目内容分半 • 缺点：题目较少的情况下，无法表现整体 的测验结果
• 努力提高测验项目的区分度
• 选取恰当的被试或被试团体 • 主试者严格执行实测规程；评分者严格 按标准给分，实测场地按测验手册的要 求布置，减少无关因素的干扰
• 递增信度
• 10题目，先求第1题和第2题之间的相关情况， 然后再求第1、第2题与第3题之间的相关， 依次类推 • 缺点：求得的是项目之间的相关而非整个测 验的信度。 • 题目越多，可信度越高
• 克劳伯克系数（Cronbach alpha）：每个题 目有3个以上备选答案，根据项目内部一致性， 由长度调整估计测验的信度系数。 • 库德-理查森系数：适合于只有“是”、“非” 两个答案的测验的检验
• 信度估计的用途
• 判断由某测量工具得到的结果是否具有意义 • 反映测量过程中所存在的随机误差大小 • 用于解释个人测验分数的意义，即通过区间 估计的办法指出测量的精度
真实分数=观察分数×信度系数
二、信度的计算
• 同质性信度
• 测验内部所有题目间的一致性程度，也称为 内部一致性系数
• 所有题目测的同一内容 • 所有题目得分之间都具有较高的正相关