第22章__一致性检验kappa
配对卡方检验及Kappa检验(一致性检验)
一、配对卡方检验把每一份样本平均分成两份，分别用两种方法进行化验，比较此两种化验方法的结果（两类计数资料）是否有本质的不同；或者分别采用甲、乙两种方法对同一批病人进行检查，比较此两种检查方法的结果（两类计数资料）是否有本质的不同，此时要用配对卡方检验。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择McNemanr复选框，进行McNemanr检验。
即配对卡方检验，只能针对方形表格进行。
不能给出卡方值，只能给出P值。
二、一致性检验（Kappa检验）诊断试验的一致性检验经常用在下列两种情况中：一种是评价待评价的诊断实验方法与金标准的一致性；另一种是评价两种化验方法对同一个样本（化验对象）的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency)，是作为评价判断的一致性程度的重要指标。
取值在0～1之间。
Kappa≥两者一致性较好；>Kappa≥两者一致性一般；Kappa<两者一致性较差。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框，则计算OR值（比数比）和RR值（相对危险度）。
病例对照研究（case control study）是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人（称为病例）和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人（称为对照）作为研究对象；调查他们过去对某个或某些可疑病因（即研究因子）的暴露有无和（或）暴露程度（剂量）；通过对两组暴露史的比较，推断研究因子作为病因的可能性：如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组，则可认为这种暴露与患病存在统计学联系，有可能是因果联系。
【Kappa一致性检验】远没那么简单
【Kappa一致性检验】远没那么简单在诊断试验中，研究者希望考察不同的诊断方法在诊断结果上是否具有一致性。
如：评价两种诊断试验方法对同一个样本或研究对象的化验结果的一致性。
此时，Kappa值可以作为评价判断的一致性程度的指标。
实践证明，它是一个描述一致性较为理想的指标。
因此在医学、社会学等领域中得到广泛的应用。
Kappa 系数的计算方法有两种：1、简单Kappa系数（Simple Kappa Coefficient），这是我们经常运用的方法，两种诊断结果的分级数目相同时使用；2、加权Kappa系数（Weighted Kappa Coefficient），这种方法在两种诊断结果的分级数目不一样时使用。
评价A、B两种检测方法对同一批样品的检验结果（轻度、中度、重度）的一致性，模拟以下两种情况的数据。
情况1：结果的分级数相同的情况分析：该种情况就是A法和B法的检验结果的分级相同，都是3个类别。
这是我们常见的情况。
该方法的SPSS操作大家非常熟悉，在此不在赘述。
主要看下面这种情况。
情况2：结果的分级数不同的情况分析：该种情况就是A法和B法的检验结果的分级不相同。
A法有三种检测结果，而B法只有轻度和中度的两种结果，因为重度的频数为0。
此种情况，要计算至此大家估计还不明白为什么以上两种情况要采用不同的Kappa 检验方法。
大家经常使用SPSS交叉表里的Kappa分析就能计算Kappa值。
但是，你知道它的运算结果到底是简单Kappa值还是加权Kappa值吗？下面用事实说话：（情况2的数据在SPSS交叉表操作里也能算出Kappa值，但是不是正确的！下面将用SAS运行的）SPSS操作如下：SPSS运行结果如下：下面运用SAS计算其加权Kappa系数：程序如下：data kappa;input A B freq;datalines;1 1 61 2 81 3 02 1 52 2 22 3 03 1 83 2 43 3 0;run;proc freq data= kappa; tables A*B;test kappa;weight freq / zeros; run;运行结果如下：由SAS结果可以看出加权Kappa系数的值与简单Kappa系数的值还是有差别的。
kappa检验 标准
kappa检验标准Kappa检验标准。
Kappa检验是一种用于评估两个观察者或测试之间一致性的统计方法。
它通常用于评估医学诊断测试的一致性，也可以用于其他领域的研究中。
Kappa检验的结果可以帮助研究人员了解观察者之间的一致性程度，从而评估测试的可靠性和有效性。
本文将介绍Kappa检验的基本概念和标准，以及如何进行Kappa检验的步骤和解释结果。
Kappa检验的基本概念。
Kappa检验是一种用于评估两个观察者或测试之间一致性的统计方法。
它通过比较观察者或测试的结果，计算它们之间的一致性程度。
Kappa系数的取值范围为-1到1，其中-1表示完全不一致，0表示随机一致，1表示完全一致。
通常情况下，Kappa系数大于0.75被认为是很好的一致性，0.4到0.75之间被认为是一般的一致性，小于0.4则被认为是较差的一致性。
Kappa检验的标准。
在进行Kappa检验时，需要根据具体的研究目的和数据类型来选择适当的Kappa检验标准。
一般来说，可以根据以下几个方面来确定Kappa检验的标准：1. 确定观察者或测试的一致性指标，在进行Kappa检验之前，需要明确观察者或测试的一致性指标是什么，是分类变量还是顺序变量，这将决定选择适当的Kappa检验方法。
2. 确定Kappa系数的解释标准，根据具体的研究领域和研究目的，需要确定Kappa系数的解释标准，一般是根据Kappa系数的取值范围来判断一致性的程度。
3. 确定置信区间和显著性水平，在进行Kappa检验时，需要计算Kappa系数的置信区间和显著性水平，以确定观察者或测试之间的一致性是否达到统计学上的显著性。
如何进行Kappa检验。
进行Kappa检验的步骤如下：1. 收集观察者或测试的数据，首先需要收集观察者或测试的数据，包括两个观察者或测试的结果和样本数量。
2. 计算Kappa系数，根据收集的数据，可以利用统计软件或公式来计算Kappa系数，得出观察者或测试之间的一致性程度。
第22章 一致性检验kappa PPT课件
KAPPA值的计算及检验
Kappa是一个统计量，也有抽样误差，其渐
进标准误（ASE）。由于u＝Kappa/ASE近 似服从标准正态分布，故可借助正态分布理 论。H0：Kappa＝0，H1：Kappa≠0。如果 拒绝H0认为两种方法具有较高的一致性。
KAPPA值的计算及检性相同的分级水平数相同，但分级水平不全相同。 如甲医生和乙医生都把病人的检查结果分为四个等级，但甲 医生的分级为1、2、3、4，而乙医生的分级为2、3、4、5。 在这种情况下，由于列联表的行数和列数仍然是一致的，即 列联表仍为方表，所以也可计算出相应的Kappa统计量。第 三种是属性相同，但分级水平数和分级水平不全相同。这种 情况就是我们所说的列联表的行列数不一致。由于收集上来 的数据不能轻易删除掉，所以我们考虑添加行或列使联表成 为方表。如行数为n，例数为n-1，则我们只需要添加第n列， 在第n行第n列的格点中添加权值0001，而第n行的其它格点 均设为0，就可以命名其成为方表，并计算Kappa统计量了。 由于权值系数很小，所以不会影响Kappa值的计算结果。
KAPPA值的计算及检验
对两法测定结果一致部分进行检验，看一致部分是 否是由偶然因素影响的结果，它叫做“一致性检 验”，也称Kappa检验。说明两种方法测定结果的 实际一致率与随机一致率之间的差别是否具有显著 性意义。需要计算反映两法一致性程度高低的系数， 叫做Kappa统计量。具体公式如下： Po Pe ad (a b)(a c) (c d )(b d ) Kappa , Po , Pe 1 Pe n n2
二分类资料一致性分析
前面我们已经介绍四格表资料的2检验，本
节需要介绍的是Kappa检验。那么Kappa检 验与配对2检验有什么区别呢？Kappa检验 重在检验两者的一致性，配对2检验重在检 验两者间的差异。对同一样本数据，这两种 检验可能给出矛盾的结论。主要原因是两者 对所提供的有统计学意义的结论要求非常严 格所致。
一致性检验kappa科恩
二分类资料一致性分析
前面我们已经介绍四格表资料的2检验，本节需要介绍 的是Kappa检验。那么Kappa检验与配对2检验有什 么区别呢？Kappa检验重在检验两者的一致性，配对2 检验重在检验两者间的差异。对同一样本数据，这两种 检验可能给出矛盾的结论。主要原因是两者对所提供的 有统计学意义的结论要求非常严格所致。
KAPPA值的计算及检验
对两法测定结果一致部分进行检验，看一致部分是否是 由偶然因素影响的结果，它叫做“一致性检验”，也称
Kappa检验。说明两种方法测定结果的实际一致率与随 机一致率之间的差别是否具有显著性意义。需要计算反
映两法一致性程度高低的系数，叫做Kappa统计量。具 体公式如下：
Kappa
Kappa检验
Kappa是评价一致性的测量值。检验是否沿对角线格子 中的计数（接收比率一样的零件）与那些仅是偶然的期 望不同。设Po =对角线单元中观测值的总和，Pe=对角 线单元中期望值的总和。则Kappa =（Po - Pe）/（1 Pe）。Kappa是测量而不是检验。其大小用一个渐进和 标准误差构成的t统计量决定。一个通用的经验法则是 Kappa大于0.75表示好的一致性（Kappa最大为1）； 小于0.4表示一致性差。Kappa不考虑评价人间的意见 不一致性的程度，只考虑他们一致与否。
一致性检验 kappa
学习目标
熟悉Kappa值的判断标准； 掌握Kappa值的计算以及检验方法； 掌握二分类资料和有序分类资料的一致性分析；
一致性检验的几种方式--ICC、kappa、weightedkappa、Kendall
⼀致性检验的⼏种⽅式--ICC、kappa、weightedkappa、Kendall ICC(intraclass correlation coeficient)：⽤来评价对同⼀对象的多次测量之间的信度（reliability scale）#在SPSS中就是在这个词组⾥包含ICC检验的。
⽐如测量实验⽼⿏的影像学指标，需对同⼀只⽼⿏测量8次，取其平均数或中位数来表⽰该⽼⿏的最终结果值计算公式为MS（mean square）均⽅差，m为测量次数。
均⽅差的计算见two-way ANOVA对⽅差的分解。
ICC最后得到⼀个0--1的值，如果ICC值⼩于0.4，我们认为诊断试验的可重复性较差；如果ICC值⼤于0.75，那么诊断试验的可重复性好。
KAPPA⽤于评价不同测量者（2位）对同⼀事物的判断（⼆分类）是否准确，⽐如医⽣对同⼀批患者使⽤两种诊断⽅式，评价两种诊断⽅式的⼀致性P0（实际⼀致性）=a+d/n #两种⽅法⼀致的占总数的⽐例Pe（理论⼀致性）=((p1*m1)/n+(p2*m2)/n)/n #这样的公式看起来费劲，见下图红圈⾥的计算了对⾓线格⼦的理论频数，所以Pe(理论⼀致性)就是理论上两⽅法评价⼀致之和占总数的⽐例 #对理论频数不清楚的童鞋参看流病书，灵敏度特异度那块KAPPA评价标准：加权KAPPA⽤于在多分类有序变量的情况，⽐如写这篇博⽂的动机来⾃，需要评价对同⼀个患者在前瞻和回顾两个scenarioes得到的同⼀量表的得分是否⼀致。
量表得分为等级资料。
加权分为两种：线性加权（linear）、平⽅加权（quadratic）理解：⽐如对于眼底图像识别的数据，class=0为健康，class=4为疾病晚期⾮常严重，所以对于把class=0预测成4的⾏为所造成的惩罚应该远远⼤于把class=0预测成class=1的⾏为，使⽤quadratic的话0->4所造成的惩罚就等于16倍的0->1的惩罚。
卡方一致性检验
一、配对卡方检验把每一份样本平均分成两份，分别用两种方法进行化验，比较此两种化验方法的结果（两类计数资料）是否有本质的不同；或者分别采用甲、乙两种方法对同一批病人进行检查，比较此两种检查方法的结果（两类计数资料）是否有本质的不同，此时要用配对卡方检验。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择McNemanr复选框，进行McNemanr检验。
即配对卡方检验，只能针对方形表格进行。
不能给出卡方值，只能给出P值。
二、一致性检验（Kappa检验）诊断试验的一致性检验经常用在下列两种情况中：一种是评价待评价的诊断实验方法与金标准的一致性；另一种是评价两种化验方法对同一个样本（化验对象）的化验结果的一致性、两个医务工作者对同一组病人的诊断结论的一致性、同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数，是作为评价判断的一致性程度的重要指标。
取值在0～1之间。
Kappa≥0.75两者一致性较好；0.75>Kappa≥0.4两者一致性一般；Kappa<0.4两者一致性较差。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框，则计算OR值（比数比）和RR值（相对危险度）。
病例对照研究（case control study）是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人（称为病例）和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人（称为对照）作为研究对象；调查他们过去对某个或某些可疑病因（即研究因子）的暴露有无和（或）暴露程度（剂量）；通过对两组暴露史的比较，推断研究因子作为病因的可能性：如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组，则可认为这种暴露与患病存在统计学联系，有可能是因果联系。
一致性检验KAPPA检验详细解读
一致性检验（Kappa检验）诊断试验的一致性检验经常用在下列两种情况中：一种是评价待评价的诊断实验方法与金标准的一致性；另一种是评价两种化验方法对同一个样本（化验对象）的化验结果的一致性或两个医务工作者对同一组病人的诊断结论的一致性或同一医务工作者对同一组病人前后进行两次观察作出的诊断的一致性等等。
Kappa值即内部一致性系数(inter-rater,coefficient of internal consistency)，是作为评价判断的一致性程度的重要指标。
取值在0～1之间。
Kappa≥0.75两者一致性较好；0.75>Kappa≥0.4两者一致性一般；Kappa<0.4两者一致性较差。
操作方法：单击【Statistics钮】，在弹出的Statistics对话框中选择Kappa 复选框。
计算Kappa值。
如果选择Risk复选框，则计算OR值（比数比）和RR值（相对危险度）。
病例对照研究（case control study）是主要用于探索病因的一种流行病学方法。
它是以某人群内一组患有某种病的人（称为病例）和同一人群内未患这种病但在与患病有关的某些已知因素方面和病例组相似的人（称为对照）作为研究对象；调查他们过去对某个或某些可疑病因（即研究因子）的暴露有无和（或）暴露程度（剂量）；通过对两组暴露史的比较，推断研究因子作为病因的可能性：如果病例组有暴露史者或严重暴露者的比例在统计学上显著高于对照组，则可认为这种暴露与患病存在统计学联系，有可能是因果联系。
究竟是否是因果联系，须根据一些标准再加以衡量判断。
所谓联系（associatiom）是指两个或更多个变量间的一种依赖关系，可以是因果关系，也可以不是。
例如，对一组肺癌病人（病例组）和一组未患肺癌但有可比性的人（对照组）调查他们的吸烟（暴露）历史（可包括现在吸烟否，过去吸过烟否，开始吸烟年龄，吸烟年数，最近每天吸烟支数；如已戒烟则为戒烟前每日吸烟支数，已戒烟年数，等等）。
检验员检验能力鉴定-Kappa分析
名称
1、检查员前后判断 一致性比率； 2、95%之一致性置 信区间；
≧90%
# 相符数: 检验员在多个试验之间，他/她自身标准一致。
Pg 16
Attribute Agreement Analysis
检验员 响应 Kappa Kappa 标准误 Z P(与 > 0 ) 肖宽鸿 0 0.39394 0.316228 1.24575 0.1064
一二次次次次次次次次次次一二次次一二次次次次一二一二标
次次检检检检检检检检检检次次检检次次检检检检次次次次准
检检验验验验验验验验验验检检验验检检验验验验检检检检
验验
验验
验验
验验验验
1110111011110110100111111111 2111100111110111111111111110 3010111110011001111001111111 4111111111111111111111111101 5111101001100100011011111000 6010000000000000000000011000 7000000111100110011101110010 8011111111111110111111111011 9000000001111001110001110110 10 0 0 0 1 0 0 1 0 1 1 0 0 0 0 1 1 1 1 0 0 1 1 1 1 1 1 0
步骤四：分析判读
1、同检查员一致性分析
肖宽鸿 1, 肖宽鸿 2, 晋健1, 晋健2, 王鲁1, 王鲁2, 梁延1, ... 的属性一
致性分析
检验员自身
测试日期
评估一致性
报告者
检验员 肖宽鸿 晋健 王鲁 梁延 石兰 杨松 向显波 张宇 罗明英 张玄 罗胜 王良科 文远秀
一致性检验之Kappa、ICC、kendall协调系数的差别
一致性检验之Kappa、ICC、kendall协调系数的差别一致性检验的目的在于比较不同方法得到的结果是否具有一致性。
检验一致性的方法有很多比如：Kappa检验、ICC组内相关系数、Kendall W协调系数等。
每种方法的功能侧重，数据要求都略有不同：一致性检验Kappa系数检验，适用于两次数据（方法）之间比较一致性，比如两位医生的诊断是否一致，两位裁判的评分标准是否一致等。
ICC组内相关系数检验，用于分析多次数据的一致性情况，功能上与Kappa系数基本一致。
ICC分析定量或定类数据均可；但是Kappa 一致性系数通常要求数据是定类数据。
Kendall W协调系数，是分析多个数据之间关联性的方法，适用于定量数据，尤其是定序等级数据。
进一步说明（1）Kappa检验Kappa检验分为简单Kappa检验和加权Kappa检验，两者的区别主要在于：如果研究数据是绝对的定类数据（比如阴性、阳性），此时使用简单Kappa系数；如果数据为等级式定类数据（比如轻度，中度，重度；也或者不同意，中立，同意）；此时可使用加权（线性）Kappa系数。
应用举例两个医生分别对于50个病例进行MRI检查（MRI检查诊断共分三个等级，分别是轻度，中度和重度），对比两名医生检查结果诊断的一致性水平。
（1表示轻度，2表示中度，3表示重度）使用路径：SPSSAU→医学实验→KappaKappa系数结果表根据上表可知，两位医生对于MRI检查诊断结论具有较强（Kappa值=0.644）的一致性。
（2）ICC组内相关系数ICC组内相关系数可用于研究评价一致性，评价信度，测量复测信度（重测信度）等。
相对于Kappa系数，ICC组内相关系数的适用范围更广，适用于定量或者定类数据，而且可针对双样本或者多样本进行分析一致性。
但ICC的分析相对较为复杂，通常需要从三个方面进行分析并且选择最优的ICC模型；分别是模型选择，计算类型和度量标准。
六类模型细分模型选择上，需要考虑是否将当前结论延伸推广到其它研究中，也或者考虑是否为研究数据的绝对相等程度。
SAS软件应用之一致性检验kappa
Kappa检验
对于用Kappa值判断一致性的建议参考标准为： Kappa =+1，说明两次判断的结果完全一致； Kappa =-1，说明两次判断的结果完全不一致； Kappa =0，说明两次判断的结果是机遇造成； Kappa<0，说明一致程度比机遇造成的还差，两次检查结果 很不一致，但在实际应用中无意义； Kappa>0，此时说明有意义，Kappa愈大，说明一致性愈好； Kappa≥0.75，说明已经取得相当满意的一致程度； Kappa<0.4，说明一致程度不够理想；
KAPPA值的计算及检验
对两法测定结果一致部分进行检验，看一致部分是 否是由偶然因素影响的结果，它叫做“一致性检 验”，也称Kappa检验。说明两种方法测定结果的 实际一致率与随机一致率之间的差别是否具有显著 性意义。需要计算反映两法一致性程度高低的系数， 叫做Kappa统计量。具体公式如下： Po Pe ad (a b)(a c) (c d )(b d ) Kappa , Po , Pe 1 Pe n n2
有序分类资料一致性分析
单向有序R×C表
有两种形式。一种是R×C 表中的分组变量是有序的，而指标变量是无 序的。此种单向有序R×C表资料可用行×列 表资料的2检验进行分析。另一种情况是 R×C表中的分组变量是无序的，而指标变量 是有序的，此种单向有序R×C表资料宜用秩 和检验进行分析。
P0为实际一致率，Pe为理论一致率。
KAPPA值的计算及检验
Kappa是一个统计量，也有抽样误差，其渐
进标准误（ASE）。由于u＝Kappa/ASE近 似服从标准正态分布，故可借助正态分布理 论。H0：Kappa＝0，H1：Kappa≠0。如果拒 绝H0认为两种方法具有较高的一致性。
第22章 一致性检验KAPPA【SAS从入门到精通】
KAPPA值的计算及检验
• 对两法测定结果一致部分进行检验，看一致部分 是否是由偶然因素影响的结果，它叫做“一致性 检验”，也称Kappa检验。说明两种方法测定结 果的实际一致率与随机一致率之间的差别是否具 有显著性意义。需要计算反映两法一致性程度高 低的系数，叫做Kappa统计量。具体公式如下：
KAPPA值的计算及检验
• 另一方面，如果两个变量中有一个变量是金标准， 那么我们不但能分析出检验结果的一致性，还可 以计算出敏感度、特异度、误诊率和漏诊率等指 标。如果有不同的诊断分界点，还可以绘制出 ROC曲线。 • 诊断试验的评价在医学研究中具有十分重要的意 义，目前大多数文献都使用Kappa统计量来检验 结果的一致性。所以本研究主要是对Kappa系数 作一个探讨和分析。诊断试验评价的统计学方法 还会随着更多问题的提出和解决而不断得到发展、 修正和扩展。
有序分类资料一致性分析
• 单向有序R×C表 有两种形式。一种是R×C表中的分组变量是有 序的，而指标变量是无序的。此种单向有序R×C表资料可用行× 列表资料的2检验进行分析。另一种情况是R×C表中的分组变量 是无序的，而指标变量是有序的，此种单向有序R×C表资料宜用 秩和检验进行分析。
有序分类资料一致性分析
Kappa检验
• Kappa是评价一致性的测量值。检验是否沿对角 线格子中的计数（接收比率一样的零件）与那些 仅是偶然的期望不同。设Po =对角线单元中观测 值的总和，Pe=对角线单元中期望值的总和。则 Kappa =（Po - Pe）/（1 - Pe）。Kappa是测量而 不是检验。其大小用一个渐进和标准误差构成的 t统计量决定。一个通用的经验法则是Kappa大于 0.75表示好的一致性（Kappa最大为1）；小于0.4 表示一致性差。Kappa不考虑评价人间的意见不 一致性的程度，只考虑他们一致与否。
Kappa系数
多分类测量结果的一致性检验
审核医生判定 无效 0 20 39 59
合计 109 264 45 418
转换成SPSS待分析样式
步骤： 创建三个变量，执行医生（1-显效、 2-有效、3-无效），审核医生（1-显 效、2-有效、3-无效）和例数
Kappa计算之SPSS实现 步骤略
多分类测量结果的一致性检验
Kappa值一致性评价
评价分类结果一致性和信度的一种重要指标……
概念
Kappa值记作κ 是评价分类结果一致性和信度的一种重要指标
公式
两次观察的一致性 两次观察的机遇一致性
Kappa值的实质是实际一致性与非机遇一致性之比
Kappa取值范围
Kappa值的取值范围是 |κ |≤1
1
表3 两次测定的一致性情况
审核医生判定 显效 105 24 有效 4 220 无效 0 20 执行医生判定 显效 有效 合计 109 264
无效
合计
0
129
6
230
39
59
45
418
计算 结果
两名医生判定结果有较 高度的一致性
Kappa计算之SPSS实现
执行医生判定 显效 有效 无效 合计 显效 105 24 0 129 有效 4 220 6 230
本例结果
Kappa值
甲乙两名医生诊断有较 高度的一致性
Kappa计算之SPSS实现
二分类测量结果的一致性检验
甲医生 +
乙医生 + 26(a) 6(b)
合计 32(a+b)
合计
4(c)
30(a+c)
28(d)
34(b+d)
一致性检验之Kappa、ICC、kendall协调系数的差别
一致性检验之Kappa、ICC、kendall协调系数的差别展开全文一致性检验的目的在于比较不同方法得到的结果是否具有一致性。
检验一致性的方法有很多比如：Kappa检验、ICC 组内相关系数、Kendall W协调系数等。
每种方法的功能侧重，数据要求都略有不同：一致性检验Kappa系数检验，适用于两次数据（方法）之间比较一致性，比如两位医生的诊断是否一致，两位裁判的评分标准是否一致等。
ICC组内相关系数检验，用于分析多次数据的一致性情况，功能上与Kappa系数基本一致。
ICC分析定量或定类数据均可；但是Kappa一致性系数通常要求数据是定类数据。
Kendall W协调系数，是分析多个数据之间关联性的方法，适用于定量数据，尤其是定序等级数据。
进一步说明（1）Kappa检验Kappa检验分为简单Kappa检验和加权Kappa检验，两者的区别主要在于：如果研究数据是绝对的定类数据（比如阴性、阳性），此时使用简单Kappa系数；如果数据为等级式定类数据（比如轻度，中度，重度；也或者不同意，中立，同意）；此时可使用加权（线性）Kappa 系数。
应用举例两个医生分别对于50个病例进行MRI检查（MRI检查诊断共分三个等级，分别是轻度，中度和重度），对比两名医生检查结果诊断的一致性水平。
（1表示轻度，2表示中度，3表示重度）使用路径：SPSSAU→医学实验→KappaKappa系数结果表根据上表可知，两位医生对于MRI检查诊断结论具有较强（Kappa值=0.644）的一致性。
（2）ICC组内相关系数ICC组内相关系数可用于研究评价一致性，评价信度，测量复测信度（重测信度）等。
相对于Kappa系数，ICC组内相关系数的适用范围更广，适用于定量或者定类数据，而且可针对双样本或者多样本进行分析一致性。
但ICC的分析相对较为复杂，通常需要从三个方面进行分析并且选择最优的ICC模型；分别是模型选择，计算类型和度量标准。
第22章一致性检验kappa
❖ 双向有序属性相同的R×C表中的两分类变量皆为有 序且属性相同。实际上是2×2配对设计的扩展，此 时宜用一致性检验（或称Kappa检验）。
Kappa
Po Pe 1 Pe
, Po
a
n
d
,
Pe
(a
b)(a
c) (c n2
d
)(b
d
)
❖ P0为实际一致率，Pe为理论一致率。
KAPPA值的计算及检验
❖ Kappa是一个统计量，也有抽样误差，其渐 进标准误（ASE）。由于u＝Kappa/ASE近 似服从标准正态分布，故可借助正态分布理 论。H0：Kappa＝0，H1：Kappa≠0。如果 拒绝H0认为两种方法具有较高的一致性。
二分类资料一致性分析
❖ 前面我们已经介绍四格表资料的2检验，本 节需要介绍的是Kappa检验。那么Kappa检 验与配对2检验有什么区别呢？Kappa检验 重在检验两者的一致性，配对2检验重在检 验两者间的差异。对同一样本数据，这两种 检验可能给出矛盾的结论。主要原因是两者 对所提供的有统计学意义的结论要求非常严 格所致。
第22章 一致性检验kappa
学习目标
❖ 熟悉Kappa值的判断标准； ❖ 掌握Kappa值的计算以及检验方法； ❖ 掌握二分类资料和有序分类资料的一致性分
析；
Kappa检验
❖ 在诊断试验中，研究者希望考察不同的诊断方法在 诊断结果上是否具有一致性。诊断试验的一致性检 验经常用于下列两种情况：一种是评价新的诊断试 验方法与金标准的一致性；另一种是评价两种诊断 试验方法对同一个样本或研究对象的化验结果的一 致性、两个医务工作者对同一组病人的诊断结论的 一致性、同一医务工作者对同一组病人前后进行两 次观察作出诊断的一致性等。1960年Cohen等提出 用Kappa值作为评价判断的一致性程度的指标。实 践证明，它是一个描述诊断的一致性较为理想的指 标，因此在临床试验中得到广泛的应用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
KБайду номын сангаасppa检验
❖ Kappa是评价一致性的测量值。检验是否沿对角线 格子中的计数（接收比率一样的零件）与那些仅是 偶然的期望不同。设Po =对角线单元中观测值的总 和，Pe=对角线单元中期望值的总和。则Kappa = （Po - Pe）/（1 - Pe）。Kappa是测量而不是检验。 其大小用一个渐进和标准误差构成的t统计量决定。 一个通用的经验法则是Kappa大于0.75表示好的一 致性（Kappa最大为1）；小于0.4表示一致性差。 Kappa不考虑评价人间的意见不一致性的程度，只 考虑他们一致与否。
二分类资料一致性分析
❖ 前面我们已经介绍四格表资料的2检验，本 节需要介绍的是Kappa检验。那么Kappa检 验与配对2检验有什么区别呢？Kappa检验 重在检验两者的一致性，配对2检验重在检 验两者间的差异。对同一样本数据，这两种 检验可能给出矛盾的结论。主要原因是两者 对所提供的有统计学意义的结论要求非常严 格所致。
KAPPA值的计算及检验
❖ 对两法测定结果一致部分进行检验，看一致部分是 否是由偶然因素影响的结果，它叫做“一致性检 验”，也称Kappa检验。说明两种方法测定结果的 实际一致率与随机一致率之间的差别是否具有显著 性意义。需要计算反映两法一致性程度高低的系数， 叫做Kappa统计量。具体公式如下： K a P 1 o P p P e e,P o p a n a d ,P e ( a b )a (c ) n 2 ( c d )b (d )
❖ 在诊断试验的研究中，数据资料多为双向有 序的列联表资料，即两个变量都是有序变量， 而且属性相同。属性相同分为三种情况，一 种情况是属性、分级水平数和分级水平都完 全相同。如甲医生和乙医生都把病人的检查 结果分为1、2、3、4四个等级。此时可直接 作Kappa检验。当这两个变量都只有2个水平 时，就成为配对设计的四格表资料，可使用 配对χ2检验，即McNemar检验。
❖ P0为实际一致率，Pe为理论一致率。
KAPPA值的计算及检验
❖ Kappa是一个统计量，也有抽样误差，其渐 进标准误（ASE）。由于u＝Kappa/ASE近 似服从标准正态分布，故可借助正态分布理 论。H0：Kappa＝0，H1：Kappa≠0。如果 拒绝H0认为两种方法具有较高的一致性。
KAPPA值的计算及检验
KAPPA值的计算及检验
❖ 第二种是属性相同的分级水平数相同，但分级水平不全相同。 如甲医生和乙医生都把病人的检查结果分为四个等级，但甲 医生的分级为1、2、3、4，而乙医生的分级为2、3、4、5。 在这种情况下，由于列联表的行数和列数仍然是一致的，即 列联表仍为方表，所以也可计算出相应的Kappa统计量。第 三种是属性相同，但分级水平数和分级水平不全相同。这种 情况就是我们所说的列联表的行列数不一致。由于收集上来 的数据不能轻易删除掉，所以我们考虑添加行或列使联表成 为方表。如行数为n，例数为n-1，则我们只需要添加第n列， 在第n行第n列的格点中添加权值0001，而第n行的其它格点 均设为0，就可以命名其成为方表，并计算Kappa统计量了。 由于权值系数很小，所以不会影响Kappa值的计算结果。
有序分类资料一致性分析
❖ R×C表可以分为双向无序、单向有序、双向 有序属性相同和双向有序属性不同4类。
❖ 双向无序R×C表 R×C表中两个分类变量皆 为无序分类变量，对于该类资料：①若研究 目的为多个样本率（或构成比）的比较，可 用行×列表资料的2检验；②若研究目的为 分析两个分类变量之间有无关联性以及关系 的密切程度时，可以用行×列表资料的2检 验以及Pearson列联系数进行分析。
有序分类资料一致性分析
❖ 单向有序R×C表 有两种形式。一种是R×C 表中的分组变量是有序的，而指标变量是无 序的。此种单向有序R×C表资料可用行×列 表资料的2检验进行分析。另一种情况是 R×C表中的分组变量是无序的，而指标变量 是有序的，此种单向有序R×C表资料宜用秩 和检验进行分析。
第22章 一致性检验kappa
学习目标
❖ 熟悉Kappa值的判断标准； ❖ 掌握Kappa值的计算以及检验方法； ❖ 掌握二分类资料和有序分类资料的一致性分
析；
Kappa检验
❖ 在诊断试验中，研究者希望考察不同的诊断方法在 诊断结果上是否具有一致性。诊断试验的一致性检 验经常用于下列两种情况：一种是评价新的诊断试 验方法与金标准的一致性；另一种是评价两种诊断 试验方法对同一个样本或研究对象的化验结果的一 致性、两个医务工作者对同一组病人的诊断结论的 一致性、同一医务工作者对同一组病人前后进行两 次观察作出诊断的一致性等。1960年Cohen等提出 用Kappa值作为评价判断的一致性程度的指标。实 践证明，它是一个描述诊断的一致性较为理想的指 标，因此在临床试验中得到广泛的应用。
KAPPA值的计算及检验
❖ 另一方面，如果两个变量中有一个变量是金标准， 那么我们不但能分析出检验结果的一致性，还可以 计算出敏感度、特异度、误诊率和漏诊率等指标。 如果有不同的诊断分界点，还可以绘制出ROC曲线。
❖ 诊断试验的评价在医学研究中具有十分重要的意义， 目前大多数文献都使用Kappa统计量来检验结果的 一致性。所以本研究主要是对Kappa系数作一个探 讨和分析。诊断试验评价的统计学方法还会随着更 多问题的提出和解决而不断得到发展、修正和扩展。
Kappa检验
❖ 对于用Kappa值判断一致性的建议参考标准为： ❖ Kappa =+1，说明两次判断的结果完全一致； ❖ Kappa =-1，说明两次判断的结果完全不一致； ❖ Kappa =0，说明两次判断的结果是机遇造成； ❖ Kappa<0，说明一致程度比机遇造成的还差，两次检查结果
很不一致，但在实际应用中无意义； ❖ Kappa>0，此时说明有意义，Kappa愈大，说明一致性愈好； ❖ Kappa≥0.75，说明已经取得相当满意的一致程度； ❖ Kappa<0.4，说明一致程度不够理想；