10第十章 信度和效度分析

第十章 信度和效度分析 第十一章 非参数检验 第十二章 多选变量分析 第十三章 SPSS应用案例——问卷调查分析 第十四章 SPSS应用案例——测验质量分析 第十五章 探索性因子分析及案例应用 第十六章 基本统计图表的制作 第十七章 SPSS应用分析归纳小结
第十章 信度和效度分析
第5步：统计参数设置。点击【统计】按钮，弹 出【可靠性分析：统计】对话框
第6步：在主对话框中点击【确定】按钮，提交 执行。SPSS在输出窗口的输出结果。
第7步：结果分析。 第一个表：观察值处理摘要（略） 第二个表：可靠性统计数据Biblioteka 第四个表：项目总计统计数据
在第四列“更正后项目总相关”，v9最小，为-0.141， 表明该项目与其他各项目呈反向相关。凡是反向相关，往 往是需要删除的；如果相关系数小于0.20以下的项目，则 根据实际情况也是考虑删除的。
10.1 克隆巴赫α系数
和 效
10.2 分半信度
度
分 析
10.3 测验效度在SPSS中的计算
10.3 测验效度在SPSS中的计算
测验效度的一般分类为内容效度、结构效度和效标 关联效度（实证效度）
效标关联效度的计算方法： （1）相关法，求取测验分数与效标变量之间的相关程
度，即效度系数。 （2）区分法，以被试在效标上的表现分组，然后再对
② 分量表最好在0.70以上，0.60至0.70之间是可 以接受的范围。
如果总量表的α系数在0.70以下，或者分量表的 α系数在0.60以下，则应考虑重新修订量表或增 删题项。
案例1：【例10-1】某研究者为了研究中学生的自
律性发展情况，编制了《自律性量表》，共22道问 题，并随机调查获取了108名中学生的测验数据， 见“自律性量表.sav”，请分析该量表的分半信度 、Alpha系数。
第五个表：标度统计资料 第六个表：方差分析
【知识拓展】
在SPSS中计算出的α系数，不能等同于内部一致 性信度（内部一致性系数），也不能等同于同质 性信度（同质性系数），更不能等同于测验信度 （温忠麟，叶宝娟，2011）。
α系数，可以认为是内部一致性信度（内部一致 性系数）在特殊情境（视作为单维测验、或仅计 算分测验的信度）下的一种计算方法。
第4步：选择分析模型。在模型的下拉菜单中，有五个
选项：
（1） ALPHA：计算信度系数克隆巴赫α系数；
（2） 折半：计算测验的分半信度；
（3） 格特曼：真实可靠性的格特曼低界；
（4） 平行：并行模型假定下的极大似然可靠性估计；
（5） 严格平行：严格并行模型假定下的极大似然可靠性 估计。
本例选用第一个“ALPHA”选项：即计算克隆巴赫α系数 。
SPSS操作步骤：
（1）相关系数方法：点击菜单【分析】【相关】【 双变量…】菜单命令，在左边变量列表中选“期末考试” 和“英语四级”变量，用，选入右边的“变量”框中。点 击【确定】按钮，提交执行。
此相关系数即为效度系数0.616，此效度系数平方即得到效度为0.379。
（2）区分法：使用独立样本T检验，“四级是否 通过”作为分组变量，检验两组的期末考试成绩 的均值差异。
SPSS 23.0 统计分析
——在心理学与教育学中的应用
2020/7/9
第十章 信度和效度分析
全书目录
第一章 SPSS 23.0简介与基本操作 第二章 数据编辑与整理 第三章 数据转换 第四章 描述统计分析 第五章 交叉表分析 第六章 比较平均值 第七章 方差分析 第八章 相关分析 第九章 回归分析
这里需要进一步报告假设检验的效应量。Cohen效应量的计算值为1.81， 大于0.8，属于大效应量。
（3）命中率方法：使用SPSS列联表分析方法，求 得预测源、效标变量的交叉表人数统计表格。SPSS 菜单命令：点击菜单【分析】【描述统计】【 交叉表】菜单命令，弹出交叉表分析对话框
【练习题】
1． 采用家庭教育环境量表（FES）调查研究50名 教师的家庭特征，测定结果按10个项目的实际得 分整理如“家庭教育功能量表.sav”。请以此计 算FES的α系数。
[1] 温忠麟. 心理与教育统计[M]. 第二版. 广东广州: 广东高等教育出版社, 2016.
[2] 温忠麟，叶宝娟. 测验信度估计:从α系数到内部一致性信度[J]. 心理学报. 2011, 43(07): 821-829.
[3] 叶宝娟，温忠麟. 测验同质性系数及其区间估计[J]. 心理学报. 2012(12): 1687-1694.
总之，对于通常的单维测验，如果α系数高到可以接 受，其信度就有保证，测验就可以接受。
但是，如果α系数过低，应当计算使用内部一致性信 度（合成信度）。
合成信度（也称为内部一致性信度、内部一致性系 数）需要使用验证性因素分析方法计算。在SPSS软 件中尚未有验证性因素分析的方法，有兴趣的读者 可以进一步参阅有关研究论文，以了解内部一致性 信度和同质性信度的计算。
注意到表格下面对a, b的注释，说明分半方法是按照测验前
【思考题】
在【例10-2】中，分半信度为将测验项目分为前 后两半，然后求分半信度；而在实际测量中需要 求奇偶分半信度，怎么来求奇偶分半信度？
参考提示：在变量选择时，先选择顺序为奇数的 项目，然后再选择顺序为偶数的项目。
第 十 章
信 度
在第五列“克隆巴赫 Alpha”，v9最大，为0.867，表明 该项目从量表中剔除，再次计算克隆巴赫α值会变大，说 明此项目删除后对克隆巴赫α有贡献。不过，v9 的克隆巴 赫α为0.867，与整体的0.822相差相对很小，仅从第五列 的角度来看，可以考虑暂时不删除。
结合第四列、第五列的信息，可以考虑删除V9，然后再 进行信度分析。
第 十 章
信 度
10.1 克隆巴赫α系数
和 效
10.2 分半信度
度
分 析
10.3 测验效度在SPSS中的计算
10.2 分半信度
案例2： 【例10-2】例子内容和数据如前一个
例子10-1。
SPSS操作步骤：
第1步：打开分析数据。打开“自律性量表 .sav”文件。
第2步：启动分析过程。点击菜单【分析】【 标度】【可靠性分析】菜单命令，打开如图所 示的对话框。
性分析】 （5）评分者信度: 计算肯德尔和谐系数。
二、重测信度、复本信度的评价标准
对于测验中，使用相关系数的重测信度、复本信度 ，学者DeVellis(1991)认为，0.60～0.65（最好不 要）；0.65～0.70（最小可接受值）；0.70～0.80 （相当好）；0.80～0.90（非常好）。
第6步：在主对话框中点击【确定】按钮，提交 执行。SPSS在输出窗口的输出结果。
第7步： 结果分析。 第一个表：观察值处理摘要（略） 第二个表：可靠性统计数据
第一行是前半部分（前11题）的的克隆巴赫α值为0.601； 第三行是后半部分（后11题）的的克隆巴赫α值为0.770。
第七、八行是Spearman-Brown 系数，分相等长度、不相 等长度两种情况，本例为相等长度，那么分半信度为0.843 。
2． 在“某次心理测验数据.sav”数据中，以B量 表为效标量表（b1~b76）、S量表为预测量表（ s1~s21），计算S量表的效标关联效度。
3． 编制大学生时间管理问卷。根据黄希庭教授的时间意识 理论，将时间意识分为时间管理意识、时间管理计划、时间 管理优先、时间管理的反馈调节、时间管理效能这几个层面 ，并分别进行了编制试题进行测量。进行施测后，获得数据 “时间管理测验.sav”，分析测验的克隆巴赫α系数，以及 各个分量表的α系数。
分析思路：英语四级成绩是效标：
（1）相关系数方法，计算期末考试成绩与英语四级成绩的相 关系数，再平方即为效度。
（2）区分法， 这里将“四级是否通过”该变量作为效标变 量，检验该变量下两组的期末考试成绩的均值差异比较。
（3）命中率法。计算期末考试是否合格，与英语四级是否通 过的决策效度、分类一致性效度。
点击菜单【分析】【比较平均值】【独立样 本T检验】菜单命令。
第一个表格为描述统计信息。
第二个表格T检验结果
（1）莱文方差等同性检验的F值为0.020，显著性概率为0.888>0.05，接 受原假设，两个组别方差齐性。因此，选择第一行的 t 检验的结果。
（2）t值是6.222，对应的显著性概率0.000，小于0.05，拒绝原假设。得 出结论：两个组别的期末考试分数有显著差异，也就是期末考试的效标效度显 著。
在实践应用中，通常被认为是测验信度系数的优秀 标准：
① 标准化能力与学绩测验的信度系数常在0.9以上；
② 性格、态度等人格测验的信度系数常在0.8以上；
③ 教师自编学绩测验的信度系数应在0.7以上。
三、克隆巴赫α系数的评价标准
具体要求：
① 一份测验的量表或问卷（仅是单维测验时）， α系数最好在0.80以上，0.70至0.80之间是可 以接受的范围；
第3步：设置分析变量。将左边变量列表中选 “V1”、“V2”、“V3”……“V21”、“V22”共 22个变量，选入到“项”框中。
第4步：选择分析模型。在模型的下拉菜单中，选 用第二个”折半”选项：计算分半信度。
第5步：统计参数设置。点击【统计】按钮，弹出 【可靠性分析：统计】对话框，在本例中选择 “ 项”、“ 标度”、“ 如果删除项后的标度 ”三个复选框。点击【继续】按钮回到上一级对话 框。
两组被试在该测验中的成绩用t值进行差异检验。 （3）命中率（或标准参照测验测验的决策效度计算）
，测验有效性的指标之一就是作出正确决定的比率 ，即决策的命中率
案例3： 【例10-3】某一班级的英语期末考试成绩，现欲
分析此期末考试试卷的测验效度情况，找到该班的英语四级 的考试成绩，数据资料为“英语期末考试和英语四级成绩 .sav”，要求分别使用三种方法求期末考试的测验效度（相 关系数、区分法、命中率方法）。
第 十 章
信 度
10.1 克隆巴赫α系数
和 效
10.2 分半信度
度
分 析
10.3 测验效度在SPSS中的计算
第 十 章
信 度
10.1 克隆巴赫α系数
和 效
10.2 分半信度
度
分 析
10.3 测验效度在SPSS中的计算
10.1 克隆巴赫α系数
一、信度分析方法及计算方法
信度分析方法，包括以下几种方法： （1）重测信度法：求其相关系数 （2）复本信度法：求其相关系数 （3）分半信度法:【标度】【可靠性分析】 （4）α系数（Alpha系数）：【标度】【可靠
SPSS操作步骤：
第1步：打开分析数据。打开“自律性量表.sav” 文件。
第2步：启动分析过程。点击菜单【分析】【标 度】【可靠性分析】菜单命令，打开如图所示的 对话框。
第3步：设置分析变量。将左边变量列表中选“V1”、
“V2”、“V3”……“V21”、“V22”共22个变量，选入 到“项”框中。