量表的信度与效度分析计算精品PPT课件
合集下载
第八讲 测量的信度与效度(1)PPT教学课件
17
• 主试者
• 施测者 • 问卷评分者
• 施测情境 • 测量工具
• 测量工具是否性能稳定
• 两次施测的间隔时间
2020/12/10
18
四、提高测量信度的常用方法
• 适当增加测验的长度
• 项目数太少会降低测量的信度 • 增加与原测验中项目具有较好的同质性的项
目，可以增大测验长度 • 注意点
• 新增项目必须与原有项目同质 • 新增项目的数量必须适度
14
• 评分者信度
• 多个评分者给同一批被试的答卷进行评分的 一致性程度
• 当评分者为2人，评分者信度可用两个评分者所 给分数的相关系数表示
• 当评分者多于2人时，可用肯德尔和谐系数进行 估计
2020/12/10
15
三、影响测量信度的方法
• 信度系数依赖于场合、测验形式和评分 员三者的共同作用。
估计的办法指出测量的精度
真实分数=观察分数×信度系数
2020/12/10
ห้องสมุดไป่ตู้
6
二、信度的计算
• 同质性信度
• 测验内部所有题目间的一致性程度，也称为 内部一致性系数
• 所有题目测的同一内容 • 所有题目得分之间都具有较高的正相关
2020/12/10
7
• 内部一致性的计算方法
分半信度 递增信度
2020/12/10
• 通常信度在0.9以上才能算是好的测验。 • 测验信度达到0.6以上才能被接受。
2020/12/10
16
• 被试特征
• 单个被试：身心健康状况；应试动机；作答 态度；耐心
• 团体被试：内部水平的离散程度以及团体的 平均水平
• 当团体异质，信度值会偏大 • 当团体内部水平相差不大，则信度值会偏小
量表的信度与效度分析计算ppt
利用霍斯提和史考特公式，评价这两个编码员编码的等价性。
解： m1= m2 =100, 霍斯提信度
m = 100-8 = 92
= 2m/(m1 + m2)=2(92)/(100+100)=0.92 πo = 0.92, πe = (0.30)2+(0.45)2+(0.25)2=0.355 史考特信度π = (πo - πe)/(1 - πe)
•
所测量的是不是研究者所想要的
• 在多大程度上给出了他/她所想要的
例如，研究者希望测量电视广告的传播效果
目的：了解广告能否引起目标消费群的购买欲望
消费者的购物决策是否与观看的电视广告相关
如果：最终测得的不是广告对消费者购物决策的影响 而主要是消费者对广告艺术感染力的评价
结论：所用量表是无效的或是效度很低的
再分别计算两部分的总得分 前提假设：两半题项得分方差大致相等
否则可能会低估信度系数
-
2、内在一致性分析
方法之二：alpha信度系数法
克朗巴哈提出用α系数来测量累加量表的信度
α= K (1 - Σσi2/σT2)/(K-1)
K
量表中题（项目）的总数
σi2
第i个题（项目）得分的题内方差
Σσi2 K个题项的方差之和
σT2
总得分（所有题项得分之和）的方差
α信度系数是评估量表内-部一致性的比较常用系数
2、内在一致性分析 方法之三：平均相关系数法 缺点：偏重于项目之间的相关
而不是整个量表的信度 项目越多，平均相关系数就可能越高 提高信度的方法之一： 增加量表中的测量项目
因为各个项目的随机误差可能会相互抵消 -
2、内在一致性分析 小结： • 信度的高低既依赖于项目的内在一致性 • 也依赖于量表的长度 因此： • 一方面尽量设计内在相关性更高的项目 • 另一方面也可以考虑适当增加项目的数量
解： m1= m2 =100, 霍斯提信度
m = 100-8 = 92
= 2m/(m1 + m2)=2(92)/(100+100)=0.92 πo = 0.92, πe = (0.30)2+(0.45)2+(0.25)2=0.355 史考特信度π = (πo - πe)/(1 - πe)
•
所测量的是不是研究者所想要的
• 在多大程度上给出了他/她所想要的
例如，研究者希望测量电视广告的传播效果
目的：了解广告能否引起目标消费群的购买欲望
消费者的购物决策是否与观看的电视广告相关
如果：最终测得的不是广告对消费者购物决策的影响 而主要是消费者对广告艺术感染力的评价
结论：所用量表是无效的或是效度很低的
再分别计算两部分的总得分 前提假设：两半题项得分方差大致相等
否则可能会低估信度系数
-
2、内在一致性分析
方法之二：alpha信度系数法
克朗巴哈提出用α系数来测量累加量表的信度
α= K (1 - Σσi2/σT2)/(K-1)
K
量表中题（项目）的总数
σi2
第i个题（项目）得分的题内方差
Σσi2 K个题项的方差之和
σT2
总得分（所有题项得分之和）的方差
α信度系数是评估量表内-部一致性的比较常用系数
2、内在一致性分析 方法之三：平均相关系数法 缺点：偏重于项目之间的相关
而不是整个量表的信度 项目越多，平均相关系数就可能越高 提高信度的方法之一： 增加量表中的测量项目
因为各个项目的随机误差可能会相互抵消 -
2、内在一致性分析 小结： • 信度的高低既依赖于项目的内在一致性 • 也依赖于量表的长度 因此： • 一方面尽量设计内在相关性更高的项目 • 另一方面也可以考虑适当增加项目的数量
《信度与效度分析》PPT课件
使用SPSS计算折半信度
2018/11/20 7
内部一致性信度
涵义：
折半信度高表明内部项目的相关性高，这实际上反映的是测量工具内部 各项目之间的一致性问题，因此衍生出内部一致性信度。 内部一致性信度是指量表内容与题目之间的关系，考察的是量表的各个 题目是否测量了相同的内容或特质。例如：市场导向的测量量表 计算内部一致性信度的常用方法：
使用SPSS计算Cronbach's a 系数
2018/11/20 11
效度分析 （validity analysis）
2018/11/20 12
效度的涵义
效度的涵望了解的特性的程度。
效度与测量目的相关，同一种测量工具在某些测量中具有高效度，但在 另一些测量中却效度不高。 例如：一把信度很高的尺子在测量身高时具有很好的效度，但在测 量血压时效度显然不佳。
2018/11/20 6
折半信度
• 折半信度(split-half reliability)
指使用测量工具先对一组受试者施测，然后把题 目分成两半计分，依两半所得的分数算出相关系 数 。在无副本且不准备重测的情况下，我们就用 折半信度来计算信度系数，类似于复本信度。
计算折半信度的模型有：Spearman-Brown公式, Guttman公式, Rulon公式。
2018/11/20
2
信度的类型
不同的测量方式导致不同类型的信度
再测信度(test-retest reliability) 复本信度（alternative-form reliability） 内部一致性信度（internal consistency
reliability）
2018/11/20 3
再测信度
量表的信度和效度分析计算PPT讲稿
价性。
解： m1= m2 =100, 霍斯提信度
m = 100-8 = 92
= 2m/(m1 + m2)=2(92)/(100+100)=0.92 πo = 0.92, πe = (0.30)2+(0.45)2+(0.25)2=0.355 史考特信度π = (πo - πe)/(1 - πe)
量表的信度和效度分析计算课 件
一、信度（reliability）定义
若重复进行测量，产生相同结果的准确程度 测量的可靠性、稳定性和预测性 测量的精确度
• 反复测量结果的稳定性或一致性可能很高 • 但却可能是不准确的
用零点没有调整在中心的秤来测量重量 采用有明显导向性的问答题组成的量表测量态度
二、效度（validity）定义
• 再分别计算两部分的总得分
•前提假设：两半题项得分方差大致相
等
•
否则可能会低估信度系数
2、内在一致性分析
方法之二：alpha信度系数法
克朗巴哈提出用α系数来测量累加量表的信度
α= K (1 - Σσi2/σT2)/(K-1)
K
量表中题（项目）的总数
σi2
第i个题（项目）得分的题内方差Βιβλιοθήκη Σσi2 K个题项的方差之和
B 当两个评分者（或编码员）判断同一现象时， 评价结果是否一致？
方法：计算两个评分者评分之间的相关；或计算两个 编码员编码结果一致的比例，用于评价信度
3、等价性分析
• 前一种应用A比较少见（构造等价的量表
非常困难）
• 后一种应用B比较常见，也称为
评分者内在信度
(inter-rater reliability)
（等于每个类别出现的相对频率的平方和）
《量表信效度分析》课件
够满足特定研究的需求。
量表的修订原则
01
02
03
04
反馈性原则
修订量表时应充分考虑使用者 的反馈意见，对量表进行必要
的调整和改进。
动态性原则
随着研究和实践的发展，量表 应不断更新和改进，以适应新
的研究需求和实践需要。
标准化原则
修订量表时应遵循标准化原则 ，确保量表的一致性和可比性
。
实用性原则
修订量表时应考虑其实用性， 确保量表易于使用、易于操作
科学性原则
量表的编制应基于科学理论和 实践经验，确保量表的内容和
结构合理、准确。
系统性原则
量表的编制应考虑各因素之间 的相互关系，确保量表能够全 面反映研究对象的特征和状况 。
可操作性原则
量表的编制应考虑实际应用的 需要，确保量表易于操作、易 于理解。
针对性原则
量表的编制应针对研究目的和 研究领域的特点，确保量表能
《量表信效度分析》PPT课 件
目录
• 量表信度分析 • 量表效度分析 • 量表的编制与修订 • 量表的应用与价值 • 量表信效度的实例分析
01 量表信度分析
信度的定义
信度：指测量结果的 稳定性、一致性、可 靠性。
信度分析的方法主要 有Cronbach's Alpha系数、重测信 度法等。
信度分析的目的是检 验量表的稳定性和一 致性。
分析数据
采用统计分析方法，检验量表 的结构和内容是否符合理论构 想和测量目标。
确定测量目标
明确测量目标和测量范围，为 量表设计提供依据。
收集数据
采用合适的方法收集数据，保 证数据质量和数量。
总结结论
根据数据分析结果，得出量表 的效度结论，并提出改பைடு நூலகம்意见 和建议。
量表的修订原则
01
02
03
04
反馈性原则
修订量表时应充分考虑使用者 的反馈意见，对量表进行必要
的调整和改进。
动态性原则
随着研究和实践的发展，量表 应不断更新和改进，以适应新
的研究需求和实践需要。
标准化原则
修订量表时应遵循标准化原则 ，确保量表的一致性和可比性
。
实用性原则
修订量表时应考虑其实用性， 确保量表易于使用、易于操作
科学性原则
量表的编制应基于科学理论和 实践经验，确保量表的内容和
结构合理、准确。
系统性原则
量表的编制应考虑各因素之间 的相互关系，确保量表能够全 面反映研究对象的特征和状况 。
可操作性原则
量表的编制应考虑实际应用的 需要，确保量表易于操作、易 于理解。
针对性原则
量表的编制应针对研究目的和 研究领域的特点，确保量表能
《量表信效度分析》PPT课 件
目录
• 量表信度分析 • 量表效度分析 • 量表的编制与修订 • 量表的应用与价值 • 量表信效度的实例分析
01 量表信度分析
信度的定义
信度：指测量结果的 稳定性、一致性、可 靠性。
信度分析的方法主要 有Cronbach's Alpha系数、重测信 度法等。
信度分析的目的是检 验量表的稳定性和一 致性。
分析数据
采用统计分析方法，检验量表 的结构和内容是否符合理论构 想和测量目标。
确定测量目标
明确测量目标和测量范围，为 量表设计提供依据。
收集数据
采用合适的方法收集数据，保 证数据质量和数量。
总结结论
根据数据分析结果，得出量表 的效度结论，并提出改பைடு நூலகம்意见 和建议。
量表信效度ppt
-
MARS-A介绍
MARS-A［9］包括10个条目，采用自我报告式，每 个问题采用1～5级评分，分数越高，依从性越好最 终取10个问题的平均分，4.5分及以上表示依从性 好。条目既有一般性问题，也有哮喘特异性问题同 时评估有意识的和无意识的不依从。问题陈述采用 负向方式，以减少社会期望偏倚。
-
MARS-A介绍
-
讨论
• 量表的引进
量表翻译过程严格按照Brislin双人翻译—回译法 进行，并经过专家审核和患者预试验，确保了对 等性的5个维度［14］符合要求，翻译做到了内容对 等、语义对等和概念对等， 同时在应用过程中确 保了技术对等和标准对等。
-
讨论
信度方面
经翻译引进的MARS-A中文版内部一致性信度较好，比原 作者研究中［9］英语和西班牙语版本的内部一致性稍高 （分别为0.85和0.84且除条目5和条目9外， 其余各条目 得分均和量表平均分之间存在显著相关， 也进一步说明 了量表的内部一致性较好。
• 排除标准：①哮喘急性发作期患者。 ②合并其他气管、 支气管和肺部疾病者。③合并严重的心、肝、肾及神经、 精神系统疾病的患者。 ④不愿配合者。
根据样本量为条目数的5～10倍［11］，本研究共收集99例 门诊哮喘患者，男37例，女62例，年龄28～78岁，平均 （53.2±9.8）岁。 97%的患者文化程度为初中及以上， 97%的患者有医疗保险
-
结果
• 效度检验结果 效标关联效度方面，MARS-A和金标准分别评价的哮喘患 者用药依从性结果显示，MARS-A和金标准评价的依从性 结果之间相关性高（r=0.77，P＜0.01），见表2。 MARS-A测量的用药依从性好的患者有6倍的概率更可能 被金标准定义为用药依从性好（OR：6.34，95%CI： 2.54～15.83）。
MARS-A介绍
MARS-A［9］包括10个条目，采用自我报告式，每 个问题采用1～5级评分，分数越高，依从性越好最 终取10个问题的平均分，4.5分及以上表示依从性 好。条目既有一般性问题，也有哮喘特异性问题同 时评估有意识的和无意识的不依从。问题陈述采用 负向方式，以减少社会期望偏倚。
-
MARS-A介绍
-
讨论
• 量表的引进
量表翻译过程严格按照Brislin双人翻译—回译法 进行，并经过专家审核和患者预试验，确保了对 等性的5个维度［14］符合要求，翻译做到了内容对 等、语义对等和概念对等， 同时在应用过程中确 保了技术对等和标准对等。
-
讨论
信度方面
经翻译引进的MARS-A中文版内部一致性信度较好，比原 作者研究中［9］英语和西班牙语版本的内部一致性稍高 （分别为0.85和0.84且除条目5和条目9外， 其余各条目 得分均和量表平均分之间存在显著相关， 也进一步说明 了量表的内部一致性较好。
• 排除标准：①哮喘急性发作期患者。 ②合并其他气管、 支气管和肺部疾病者。③合并严重的心、肝、肾及神经、 精神系统疾病的患者。 ④不愿配合者。
根据样本量为条目数的5～10倍［11］，本研究共收集99例 门诊哮喘患者，男37例，女62例，年龄28～78岁，平均 （53.2±9.8）岁。 97%的患者文化程度为初中及以上， 97%的患者有医疗保险
-
结果
• 效度检验结果 效标关联效度方面，MARS-A和金标准分别评价的哮喘患 者用药依从性结果显示，MARS-A和金标准评价的依从性 结果之间相关性高（r=0.77，P＜0.01），见表2。 MARS-A测量的用药依从性好的患者有6倍的概率更可能 被金标准定义为用药依从性好（OR：6.34，95%CI： 2.54～15.83）。
量表的信度与效度分析计算ppt课件
6
1、稳定性分析 方法： 用“再测信度”来测量稳定性 再测信度：两次测量结果间的相关系数
相关系数越接近 1，表示稳定性越好
7
1、稳定性分析 缺点： 一般应用中很难真正实现（人力、财力、时间） 再测信度的应用有局限性 • 第一次的测量可能会影响到第二次（信度偏高）
• 两次测量间客观的情况可能有变化（信度偏低）
解： m1= m2 =100, m = 100-8 = 92 霍斯提信度
= 2m/(m1 + m2)=2(92)/(100+100)=0.92 π o = 0.92, π e = (0.30)2+(0.45)2+(0.25)2=0.355
B 当两个评分者（或编码员）判断同一现象时， 评价结果是否一致？
方法：计算两个评分者评分之间的相关；或计算两个 编码员编码结果一致的比例，用于评价信度
16
3、等价性分析
• 前一种应用A比较少见（构造等价的量表非 常困难）
• 后一种应用B比较常见，也称为 评分者内在信度
(inter-rater reliability)
将上式中对应两个编码员的数据， 改为同一编码员的两次数据
22
例 在一项少儿电视节目内容分析的编码表中，两个编码员 分别同时独立地将100个少儿节目分配到如下三个类别中：1、 单本剧 2、连续剧 3、系列剧。已知编码不一致的节目 共计8个；这三个类别的节目数分别占30%、45%和25%。试 分别利用霍斯提和史考特公式，评价这两个编码员编码的等 价性。
8
2、内在一致性分析 目的：检验多项目量表中各个项目的一致性
可信的量表的项目必须具有内在一致性
9
2、内在一致性分析 方法之一：折半法
(split-half technique)
1、稳定性分析 方法： 用“再测信度”来测量稳定性 再测信度：两次测量结果间的相关系数
相关系数越接近 1，表示稳定性越好
7
1、稳定性分析 缺点： 一般应用中很难真正实现（人力、财力、时间） 再测信度的应用有局限性 • 第一次的测量可能会影响到第二次（信度偏高）
• 两次测量间客观的情况可能有变化（信度偏低）
解： m1= m2 =100, m = 100-8 = 92 霍斯提信度
= 2m/(m1 + m2)=2(92)/(100+100)=0.92 π o = 0.92, π e = (0.30)2+(0.45)2+(0.25)2=0.355
B 当两个评分者（或编码员）判断同一现象时， 评价结果是否一致？
方法：计算两个评分者评分之间的相关；或计算两个 编码员编码结果一致的比例，用于评价信度
16
3、等价性分析
• 前一种应用A比较少见（构造等价的量表非 常困难）
• 后一种应用B比较常见，也称为 评分者内在信度
(inter-rater reliability)
将上式中对应两个编码员的数据， 改为同一编码员的两次数据
22
例 在一项少儿电视节目内容分析的编码表中，两个编码员 分别同时独立地将100个少儿节目分配到如下三个类别中：1、 单本剧 2、连续剧 3、系列剧。已知编码不一致的节目 共计8个；这三个类别的节目数分别占30%、45%和25%。试 分别利用霍斯提和史考特公式，评价这两个编码员编码的等 价性。
8
2、内在一致性分析 目的：检验多项目量表中各个项目的一致性
可信的量表的项目必须具有内在一致性
9
2、内在一致性分析 方法之一：折半法
(split-half technique)
信度和效度 ppt课件
12
比如：我们为了探讨婚姻满意度与其他变量之间 的关系，建构了一个理论假设：婚姻满意度与婚 姻忠诚度有关，即婚姻满意度较高的人其婚姻忠 诚度也较高。如果我们用“你有没有欺骗对方的 情形”作为婚姻忠诚度的一个测量指标，而且测 量的结果与理论假设一致，即婚姻忠诚度与婚姻 满意度之间具有较强的逻辑联系，则婚姻忠诚度 这一测量指标就有较高的建构效度。但是，如果 研究显示，对婚姻满意的和对婚姻不满意的夫妻 都有欺骗对方的情形，那么，用婚姻忠诚度这一 指标来测量婚姻满意度的建构效度就有待商榷了。
9
（2）标准效度。也称小标度或标准关联效度。是指以某次测量的 结果为标准，来评价与之相关的另一测量的有效性。例如，评价 汽车驾校笔试成绩的效度，要看考生毕业后的实际驾车技术（如 事故发生率），如果这两个测量之间的相关性较高（比如，考生 在驾校的笔试成绩较高，其毕业后的驾车技术也较好），说明该 汽车驾校的笔试成绩是有效的，反之，就说明该驾校的笔试成绩 的有效性值得怀疑。这里，考生的实际驾车技术就是评价其笔试 成绩效度的标准。
关系数，就可以得出所调查问题的信度。
5
（3）折半信度。复本信度，复查信度的共同特点都是必 须进过两次调查才能检验其信度，在调查只实施一次的 情况下，通常采用折半法估计测量的信度。即将调查的 所有问题按性质、难度编好单双数，在单数题目的回答 结果与双数题目的回答结果之间求相关，这一相关系数 就叫做折半信度。这里必须注意的是，由于问卷是按折 半拟出的，因而问卷题目只是原来的一半。由于长度减 少会降低信度，因此，必须根据以下加以校正放大： r系=2数rn。/1比+r如n。，其应中用r是折修半正法后求的得信录度用，人r员n是时折进半行求考得试的的相成关 绩和录取后工作能力的相关系数为0.7，代入上述公式 r=2×0.7/1+0.7=0.82,这里求出的0.82就是根据公式放大 的相关系数。一般说来，社会调查的信度高达0.8以上， 才能认为调查是较为可靠的。
比如：我们为了探讨婚姻满意度与其他变量之间 的关系，建构了一个理论假设：婚姻满意度与婚 姻忠诚度有关，即婚姻满意度较高的人其婚姻忠 诚度也较高。如果我们用“你有没有欺骗对方的 情形”作为婚姻忠诚度的一个测量指标，而且测 量的结果与理论假设一致，即婚姻忠诚度与婚姻 满意度之间具有较强的逻辑联系，则婚姻忠诚度 这一测量指标就有较高的建构效度。但是，如果 研究显示，对婚姻满意的和对婚姻不满意的夫妻 都有欺骗对方的情形，那么，用婚姻忠诚度这一 指标来测量婚姻满意度的建构效度就有待商榷了。
9
（2）标准效度。也称小标度或标准关联效度。是指以某次测量的 结果为标准，来评价与之相关的另一测量的有效性。例如，评价 汽车驾校笔试成绩的效度，要看考生毕业后的实际驾车技术（如 事故发生率），如果这两个测量之间的相关性较高（比如，考生 在驾校的笔试成绩较高，其毕业后的驾车技术也较好），说明该 汽车驾校的笔试成绩是有效的，反之，就说明该驾校的笔试成绩 的有效性值得怀疑。这里，考生的实际驾车技术就是评价其笔试 成绩效度的标准。
关系数，就可以得出所调查问题的信度。
5
（3）折半信度。复本信度，复查信度的共同特点都是必 须进过两次调查才能检验其信度，在调查只实施一次的 情况下，通常采用折半法估计测量的信度。即将调查的 所有问题按性质、难度编好单双数，在单数题目的回答 结果与双数题目的回答结果之间求相关，这一相关系数 就叫做折半信度。这里必须注意的是，由于问卷是按折 半拟出的，因而问卷题目只是原来的一半。由于长度减 少会降低信度，因此，必须根据以下加以校正放大： r系=2数rn。/1比+r如n。，其应中用r是折修半正法后求的得信录度用，人r员n是时折进半行求考得试的的相成关 绩和录取后工作能力的相关系数为0.7，代入上述公式 r=2×0.7/1+0.7=0.82,这里求出的0.82就是根据公式放大 的相关系数。一般说来，社会调查的信度高达0.8以上， 才能认为调查是较为可靠的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3、等价性分析
A 当使用两种不同的量表去测量同一概念时，这
两种量表是否等价？
方法：在同一时段中，让同一组被访者接受两种量表 的测试；计算两组得分之间的相关，用于评价信度
B 当两个评分者（或编码员）判断同一现象时， 评价结果是否一致？
方法：计算两个评分者评分之间的相关；或计算两个 编码员编码结果一致的比例，用于评价信度
1、稳定性分析 方法： 用“再测信度”来测量稳定性 再测信度：两次测量结果间的相关系数
相关系数越接近 1，表示稳定性越好
1、稳定性分析
缺点：
一般应用中很难真正实现（人力、财力、时间） 再测信度的应用有局限性 • 第一次的测量可能会影响到第二次（信度偏高）
• 两次测量间客观的情况可能有变化（信度偏低）
优点：计算简单、易于操作 缺点：信度的大小可能与编码时所用的类别的数目有关
类别的数目越少，由于偶然性而造成一致的可能性就越大
编码问题都是两个类别时，随机的编码也可能有50%的信度 在五个类别的情况，随机的编码就只可能有20%左右的信度
3、等价性分析--编码者间信度的计算公式 史考特(Scott)指数
2、内在一致性分析 方法之三：平均相关系数法 缺点：偏重于项目之间的相关
而不是整个量表的信度 项目越多，平均相关系数就可能越高 提高信度的方法之一： 增加量表中的测量项目
因为各个项目的随机误差可能会相互抵消
2、内在一致性分析 小结： • 信度的高低既依赖于项目的内在一致性 • 也依赖于量表的长度 因此： • 一方面尽量设计内在相关性更高的项目 • 另一方面也可以考虑适当增加项目的数量
不同的编码者独立地编码 如果能得到比较一致的结果 则信度较高
3、等价性分析--编码者间信度的计算公式 霍斯提(Holsti)公式
假定两个编码员分别同时做了m1和m2个 单位的编码，其中一致的编码数为m，则
编码者间信度 = 2m / (m1 + m2)
3、等价性分析--编码者间信度的计算公式
霍斯提(Holsti)公式
单本剧 2、连续剧 3、系列剧。已知编码不一致的节目
共计8个；这三个类别的节目数分霍斯提和史考特公式，评价这两个编码员编码的等
价性。
解： m1= m2 =100, 霍斯提信度
m = 100-8 = 92
= 2m/(m1 + m2)=2(92)/(100+100)=0.92 πo = 0.92, πe = (0.30)2+(0.45)2+(0.25)2=0.355 史考特信度π = (πo - πe)/(1 - πe)
3、等价性分析 • 前一种应用A比较少见（构造等价的量表 非常困难） • 后一种应用B比较常见，也称为
评分者内在信度
(inter-rater reliability)
编码员间信度
(inter-coder reliability)
3、等价性分析 在内容分析中，要评价编码员间信度
编码：将分析单位（如单词、符号、主题等） 置于各种内容类别中
三、信度评价
从三个方面来分析测量的信度
• 稳定性 (stability) • 内在一致性 (internal consistency) • 等价性 (equivalency)
1、稳定性分析 也叫做测验--再测验法
目的： 考察对于同样的问答题（或测试） 对同一组被访者或受测试者 前后两次测量的结果是否基本一致
一、信度（reliability）定义
若重复进行测量，产生相同结果的准确程度 测量的可靠性、稳定性和预测性 测量的精确度
• 反复测量结果的稳定性或一致性可能很高 • 但却可能是不准确的
用零点没有调整在中心的秤来测量重量 采用有明显导向性的问答题组成的量表测量态度
二、效度（validity）定义
•
所测量的是不是研究者所想要的
• 在多大程度上给出了他/她所想要的
例如，研究者希望测量电视广告的传播效果
目的：了解广告能否引起目标消费群的购买欲望
消费者的购物决策是否与观看的电视广告相关
如果：最终测得的不是广告对消费者购物决策的影响
而主要是消费者对广告艺术感染力的评价
结论：所用量表是无效的或是效度很低的
• 信度高时效度不一定高 • 但效度高时信度一定高
(split-half technique) 优点：不需要重复的测量 常用分法：按项目号的前后顺序分
或按项目号的奇偶性分 计算公式：
ru = 2rh / (1 + rh)
2、内在一致性分析 方法之一：折半法
(split-half technique) 注意：需先将量表中的反意题作逆向处理
再分别计算两部分的总得分 前提假设：两半题项得分方差大致相等
否则可能会低估信度系数
2、内在一致性分析
方法之二：alpha信度系数法
克朗巴哈提出用α系数来测量累加量表的信度
α= K (1 - Σσi2/σT2)/(K-1)
K
量表中题（项目）的总数
σi2
第i个题（项目）得分的题内方差
Σσi2 K个题项的方差之和
σT2
总得分（所有题项得分之和）的方差
α信度系数是评估量表内部一致性的比较常用系数
编码员间信度π = (πo - πe)/(1 - πe)
πo：观测到的一致性或叫实际一致性（用霍斯提公式计算） πe：纯粹由于偶然性而造成的一致性或叫期望一致性
（等于每个类别出现的相对频率的平方和）
3、等价性分析--编码者间信度的计算公式
• 利用霍斯特公式计算时，一般信度在90%或以上 • 利用史考特公式计算时，信度大都是75%或以上
2、内在一致性分析
目的：检验多项目量表中各个项目的一致性
可信的量表的项目必须具有内在一致性
2、内在一致性分析 方法之一：折半法
(split-half technique)
• 将量表中的项目分成两半 • 计算这两部分的总得分的相关系数rh
如果量表具有较高的内在一致性 那么这两部分应该是高度相关的
2、内在一致性分析 方法之一：折半法
考察编码员内(intra-coder)信度时
• 让同一个编码员在不同的时间内对同一个资料编码两次 • 然后借助以上公式计算编码-再编码信度
将上式中对应两个编码员的数据， 改为同一编码员的两次数据
例 在一项少儿电视节目内容分析的编码表中，两个编码员
分别同时独立地将100个少儿节目分配到如下三个类别中：1、