遥感分类精度评价中Kappa系数的计算方法
遥感分类精度评价中Kappa系数的计算方法
遥感分类中，精度评价是一个很重要的环节。现在需要计算一下里边的Kappa系数，但是我手头上没有书，只能到网上找，但是在中文世界里，要找这样的东西何其难也。英文的倒是一大批。在一个软件的使用手册里我找到了计算方法，说的非常详细，连用户精度，生产者精度，还有我以前没见过的Hellden以及Short尺度，都说的非常清楚。就是里边有一点儿小错误,不过我已经标出来了。
图像分类中混淆矩阵精度验证法中的几个指标说明
图像分类中混淆矩阵精度验证法中的⼏个指标说明选择主菜单->Classification->Post Classification->Confusion Matrix->Using Ground Truth ROIs，可以得到如下的分类精度验证的混淆矩阵。
要看懂这个精度验证结果，需要了解⼏个混淆矩阵中的⼏项评价指标：总体分类精度（Overall Accuracy）等于被正确分类的像元总和除以总像元数。
被正确分类的像元数⽬沿着混淆矩阵的对⾓线分布，总像元数等于所有真实参考源的像元总数，如本次精度分类精度表中的Overall Accuracy = (110230/125843) 87.5933%。
Kappa系数（Kappa Coefficient）它是通过把所有真实参考的像元总数（N）乘以混淆矩阵对⾓线（X KK）的和，再减去某⼀类中真实参考像元数与该类中被分类像元总数之积之后，再除以像元总数的平⽅减去某⼀类中真实参考像元总数与该类中被分类像元总数之积对所有类别求和的结果。
Kappa计算公式错分误差（Commission）指被分为⽤户感兴趣的类，⽽实际属于另⼀类的像元，它显⽰在混淆矩阵⾥⾯。
本例中，总共划分为林地有19210个像元，其中正确分类16825，2385个是其他类别错分为林地（混淆矩阵中林地⼀⾏其他类的总和），那么其错分误差为2385/19210= 12.42%。
漏分误差（Omission）指本⾝属于地表真实分类，当没有被分类器分到相应类别中的像元数。
如在本例中的林地类，有真实参考像元16885个，其中16825个正确分类，其余60个被错分为其余类（混淆矩阵中耕地类中⼀列⾥其他类的总和），漏分误差60/16885=0.36%制图精度（Prod.Acc）是指分类器将整个影像的像元正确分为A类的像元数（对⾓线值）与A类真实参考总数（混淆矩阵中A类列的总和）的⽐率。
如本例中林地有16885个真实参考像元，其中16825个正确分类，因此林地的制图精度是16825/16885=99.64%。
KAPPA【MSA】
Rater A First Measure Good Bad Rater A Second Measure
检验员A比例
代表10/20
Good Bad
0.5 0.05 0.55
0.1 0.35 0.45
0.6 0.4
由行和列的总和计算而得
计算检验员A的Kappa值
Content
1.Kappa 简介
2.Kappa 测试流程
3.Kappa 测试执行步骤
4.Kappa 判别标准
Kappa简介：
●Kappa，中文为卡帕，是度量测验结果一致程
度的统计量．
在计数型测量系统中研究一个测量员重复两次 （或测量结果与标准之间的一致性）测量结果 的一致性，或者两个测量员的测量结果之间的 一致性
产品．比如选择40个样品，其中良品约需20个，其中一类
不良缺陷至少需要4个． 这些类别应该互相排斥，否则它们应该合并起来
KAPPA Test
让每个测试员至少两次判定同一样品
为每个测试员建立独立的Kappa表，计算他 们的Kappa值
Kappa表例
Part 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 First Mea. Second Mea. First Mea. Second Mea. First Mea. Second Mea. Rater A Rater A Rater B Rater B Rater C Rater C Good Good Good Good Good Good Bad Bad Good Bad Bad Bad Good Good Good Good Good Good Good Bad Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Bad Good Good Bad Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Good Good Good Good Good Bad Good Good Bad Bad Bad Bad Bad Bad Good Good Bad Good Good Good Good Good Good Good Good Good Bad Good Good Good Good Good Bad Bad Bad Good Bad Good Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Bad Good Good Bad Bad Bad
Kappa系数
Kappa系数Kappa在遥感里主要应该是使用在accuracy assessment上。
比如我们就计算标准Kappa值来更好的检验分类结果的正确程度。
The Kappa Index of Agreement (K): this is an important index that the cross classification outputs. It measures the association between the two input images and helps to evaluate the output image. Its values range from -1 to +1 after adjustment for chance agreement. If the two input images are in perfect agreement (no change has occurred), K equals 1. If the two images are completely different, K takes a value of -1. If the change between the two dates occurred by chance, then Kappa equals 0. Kappa is an index of agreement between the two input images as a whole. However, it also evaluates a per-category agreement by indicating the degree to which a particular category agrees between two dates. The per-category K can be calculated using the following formula (Rosenfield andFitzpatrick-Lins,1986):K = (Pii - (Pi.*P.i )/ (Pi. - Pi.*P.i )where:P ii = Proportion of entire image in which category i agrees for both datesP i. = Proportion of entire image in class i in reference image P.i = Proportion of entire image in class i non-reference imageAs a per-category agreement index, it indicates how much a category have changed between the two dates. In the evaluation, each of the two images can be used as reference and the other as non-reference.Kappa 系数是在综合了用户精度和制图精度两个参数上提出的一个最终指标，他的含义就是用来评价分类图像的精度问题，在遥感里主要应该使用在精确性评价（Accuracy Assessment）和图像的一致性判断。
遥感数据分类精度评价的方法和指标
遥感数据分类精度评价的方法和指标遥感技术在地质、农业、环境等领域的应用越来越广泛，其分类精度评价成为评估遥感数据可靠性的重要手段。
本文将介绍遥感数据分类精度评价的方法和指标，并探讨在应用中的局限性和改进方向。
一、方法1. 精确性评价法精确性评价法通过对比遥感分类结果和真实地面样本数据，计算分类的准确率、误差矩阵、Kappa系数等指标。
准确率指标能反映分类精度的整体水平，误差矩阵则可以分析各类别之间的混淆程度，Kappa系数可以衡量分类结果与随机分类的一致性。
这些指标可以从不同角度评价分类的精确性，但需要借助真实样本数据，存在采样不均匀和标注误差等问题。
2. 信息熵评价法信息熵评价法通过信息熵和互信息等信息论指标，衡量分类结果中包含的信息量和类别关联性。
信息熵越小，代表分类结果中包含的信息越少，分类精确度越高；互信息可以衡量分类结果与真实结果的相关程度。
这些指标基于信息论的原理，可以有效评价分类的精度，但对于数据量较大的情况，计算量较大。
3. 混淆矩阵评价法混淆矩阵评价法主要通过构建混淆矩阵，分析分类结果中不同类别之间的混淆情况。
混淆矩阵由真实类别和分类类别组成，可以直观地展示分类结果的正确性和误判情况。
通过混淆矩阵，可以分析分类结果中各类别之间的相似度和差异性，为分类模型的改进提供参考。
二、指标1. 总体精度总体精度是评价分类结果的整体正确率，通过计算分类正确的像素数量与总像素数量的比例得出。
高总体精度代表分类结果准确度高，但并不能说明各类别的精确性。
2. 用户精度和生产者精度用户精度和生产者精度是评价分类结果各类别准确性的重要指标。
用户精度是指分类结果为某一特定类别的样本中，实际属于该类别的比例。
生产者精度是指实际属于某一特定类别的样本中，被正确分类为该类别的比例。
用户精度主要关注分类结果对应每个类别的准确性，生产者精度主要关注每个类别被正确分类的概率。
3. Kappa系数Kappa系数是衡量分类结果与随机分类结果一致性的指标。
遥感影像分类精度评价
遥感影像分类精度评价在ENVI中，选择主菜单->Classification->Post Classification->Confusion Matrix->Using Ground Truth ROIs。
将分类结果和ROI输入，软件会根据区域自动匹配，如不正确可以手动更改。
点击ok后选择报表的表示方法（像素和百分比），就可以得到精度报表。
对分类结果进行评价，确定分类的精度和可靠性。
有两种方式用于精度验证：一是混淆矩阵，二是ROC曲线，比较常用的为混淆矩阵，ROC曲线可以用图形的方式表达分类精度，比较形象。
对一帧遥感影像进行专题分类后需要进行分类精度的评价，而进行评价精度的因子有混淆矩阵、总体分类精度、Kappa系数、错分误差、漏分误差、每一类的制图精度和拥护精度。
1、混淆矩阵（Confusion Matrix）: 主要用于比较分类结果和地表真实信息，可以把分类结果的精度显示在一个混淆矩阵里面。
混淆矩阵是通过将每个地表真实像元的位置和分类与分类图象中的相应位置和分类像比较计算的。
混淆矩阵的每一列代表了一个地表真实分类，每一列中的数值等于地表真实像元在分类图象中对应于相应类别的数量，有像元数和百分比表示两种。
2、总体分类精度（Overall Accuracy）: 等于被正确分类的像元总和除以总像元数，地表真实图像或地表真实感兴趣区限定了像元的真实分类。
被正确分类的像元沿着混淆矩阵的对角线分布，它显示出被分类到正确地表真实分类中的像元数。
像元总数等于所有地表真实分类中的像元总和。
3、Kappa系数：是另外一种计算分类精度的方法。
它是通过把所有地表真实分类中的像元总数（N）乘以混淆矩阵对角线（Xkk）的和，再减去某一类中地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果，再除以总像元数的平方差减去某一类中地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果所得到的。
遥感图像分类方法与准确性评价指标
遥感图像分类方法与准确性评价指标遥感图像分类是利用遥感数据进行地物分类的过程，其目的是将遥感图像中的不同地物进行识别与分类。
在遥感图像分类中，有效的分类方法和准确性评价指标对于获得准确的分类结果至关重要。
一、常用的遥感图像分类方法1. 监督分类方法监督分类方法是指在进行分类之前，通过在选定的地物样本中确定其类别，并利用这些样本进行分类算法的训练。
常用的监督分类方法包括最大似然分类、支持向量机、决策树等。
最大似然分类是一种基于统计理论的方法，其基本假设是不同类别地物的像元值符合某种概率分布。
支持向量机是一种基于几何学原理的分类方法，其核心思想是将不同类别地物的像元用超平面分割成两个部分，以实现分类。
决策树是一种基于判定树的分类方法，通过根据不同属性进行逐级判定，最终将地物分类。
2. 无监督分类方法无监督分类方法是指在进行分类之前不需要先进行样本标签的确定，而是根据图像中像元之间的相似性和差异性进行聚类。
常用的无监督分类方法包括K-means 聚类、高斯混合模型等。
K-means聚类是一种基于距离度量的分类方法，其核心思想是将图像中的像元根据相似性进行分组，形成不同的类，实现地物分类。
高斯混合模型是一种基于概率统计的分类方法，通过假设图像像元符合多个高斯分布的线性组合，确定不同类别地物的概率分布。
二、遥感图像分类准确性评价指标1. 精度（Accuracy）精度是指分类结果中被正确分类的像元数占总像元数的比例。
精度越高，表示分类结果越准确。
在实际应用中，精度常常使用整体精度（Overall Accuracy）和Kappa系数进行评价。
整体精度是指分类正确的像元数占总像元数的比例，其范围为0到1之间，1表示分类完全正确。
Kappa系数是基于整体精度的一种校正指标，它考虑了分类结果与随机分类之间的差异性，范围也在0到1之间，1表示没有误分类。
2. 生产者精度（Producer's Accuracy）生产者精度是指在分类结果中，某一类地物被正确分类的像元数占该类地物实际像元数的比例。
分类精度评价
遥感影像分类精度评价遥感影像分类精度评价(2009-11-20 14:20:57)在ENVI中，选择主菜单->Classification->Post Classification->ConfusionMatrix->Using Ground Truth ROIs。
将分类结果和ROI输入，软件会根据区域自动匹配，如不正确可以手动更改。
点击ok后选择报表的表示方法（像素和百分比），就可以得到精度报表。
对分类结果进行评价，确定分类的精度和可靠性。
有两种方式用于精度验证：一是混淆矩阵，二是ROC曲线，比较常用的为混淆矩阵，ROC曲线可以用图形的方式表达分类精度，比较形象。
对一帧遥感影像进行专题分类后需要进行分类精度的评价，而进行评价精度的因子有混淆矩阵、总体分类精度、Kappa系数、错分误差、漏分误差、每一类的制图精度和拥护精度。
1、混淆矩阵（Confusion Matrix）: 主要用于比较分类结果和地表真实信息，可以把分类结果的精度显示在一个混淆矩阵里面。
混淆矩阵是通过将每个地表真实像元的位置和分类与分类图象中的相应位置和分类像比较计算的。
混淆矩阵的每一列代表了一个地表真实分类，每一列中的数值等于地表真实像元在分类图象中对应于相应类别的数量，有像元数和百分比表示两种。
2、总体分类精度（Overall Accuracy）: 等于被正确分类的像元总和除以总像元数，地表真实图像或地表真实感兴趣区限定了像元的真实分类。
被正确分类的像元沿着混淆矩阵的对角线分布，它显示出被分类到正确地表真实分类中的像元数。
像元总数等于所有地表真实分类中的像元总和。
3、Kappa系数：是另外一种计算分类精度的方法。
它是通过把所有地表真实分类中的像元总数（N）乘以混淆矩阵对角线（Xkk）的和，再减去某一类中地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果，再除以总像元数的平方差减去某一类中地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果所得到的。
遥感影像分类精度评价教学内容
价
遥感影像分类精度评价
在ENVI中，选择主菜单->Classification->Post Classification->Confusion Matrix- >Using Ground Truth ROIs将分类结果和ROI输入，软件会根据区域自动匹配， 如不正确可以手动更改。点击ok后选择报表的表示方法(像素和百分比)，就 可以得到精度报表。
6、制图精度：指假定地表真实为A类，分类器能将一幅图像的像元归为A
的概率
7、用户精度：指假定分类器将像元归到A类时，相应的地表真实类别是A的概率。混淆矩阵中的几项价指标，如下：总体分类精度
等于被正确分类的像元总和除以总像元数。被正确分类的像元数目沿着混淆矩 阵的对角线分布，总像元数等于所有真实参考源的像元总数，如本次精度分类 精度表中的Overall Accuracy= （1849/2346）
面。本例中，林地有419个真实参考像元，其中正确分类265，12个是其他类
别错分为林地（混淆矩阵中林地一行其他类的总和），那么其错分误差为
12/419=2.9%。
漏分误差
指本身属于地表真实分类，当没有被分类器分到相应类别中的像元数。如在本 例中的耕地类，有真实参考像元465个，其中462个正确分类，其余3个被错 分为其余类（混淆矩阵中耕地类中一列里其他类的总和），漏分误差为
类的制图精度和拥护精度
1混淆矩阵(Confusion Matrix):主要用于比较分类结果和地表真实信息, 可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵是通过将每个地表 真实像元的位置和分类与分类图象中的相应位置和分类像比较计算的。混淆矩 阵的每一列代表了一个地表真实分类，每一列中的数值等于地表真实像元在分 类图象中对应于相应类别的数量，有像元数和百分比表示两种。
kappa系数
Kappa系数Kappa系数是一种统计量，常用于评估两个评分者之间的一致性或者一个评分者在不同时间点进行评分的一致性。
它被广泛应用于医学、社会科学和其他领域的研究中。
Kappa系数的取值范围在-1到1之间，表示了评分者之间的一致性程度。
Kappa系数的计算方法Kappa系数的计算方法基于混淆矩阵。
混淆矩阵是一个2x2的矩阵，行和列表示两个评分者对同一个样本的评分结果，矩阵的对角线代表评分一致的情况，而非对角线则代表评分不一致的情况。
Kappa系数的计算公式为：$$ \\kappa = \\frac{P(A) - P(E)}{1 - P(E)} $$其中，P(A)表示观察者间的评分一致的概率，P(E)表示观察者仅仅由于机会而达到评分一致的概率。
Kappa系数的解释•当Kappa系数为1时，表示两个评分者完全一致。
•当Kappa系数为0时，表示观察者的评分结果与随机分配的结果相同。
•当Kappa系数小于0时，表示观察者的评分结果之间存在一定程度的不一致性。
Kappa系数越接近1，表示评分者之间的一致性越高，反之则表示一致性较低。
Kappa系数的应用Kappa系数在医学领域广泛应用于评估医生之间的诊断一致性，评价医学检验的准确性等。
在社会科学领域，Kappa系数可用于评估调查问卷的一致性以及研究结果的可靠性。
此外，Kappa系数还被应用在机器学习模型的性能评估中，用于评估不同模型或不同特征集之间的一致性和准确性。
结语Kappa系数作为一种评估一致性的统计量，在不同领域有着广泛的应用。
通过对Kappa系数的计算和解释，我们可以更好地评估评分者之间的一致性，为研究和决策提供可靠的依据。
希望本文对Kappa系数有所帮助，让读者更加了解这一重要的统计量。
图像分类中混淆矩阵精度验证法中的几个指标说明
图像分类中混淆矩阵精度验证法中的几个指标说明选择主菜单->Classification->Post Classification->Confusion Matrix->Using Ground Truth ROIs，可以得到如下的分类精度验证的混淆矩阵。
要看懂这个精度验证结果，需要了解几个混淆矩阵中的几项评价指标：总体分类精度（Overall Accuracy）等于被正确分类的像元总和除以总像元数。
被正确分类的像元数目沿着混淆矩阵的对角线分布，总像元数等于所有真实参考源的像元总数，如本次精度分类精度表中的Overall Accuracy = (110230/125843) 87.5933%。
●Kappa系数（Kappa Coefficient）它是通过把所有真实参考的像元总数（N）乘以混淆矩阵对角线（XKK）的和，再减去某一类中真实参考像元数与该类中被分类像元总数之积之后，再除以像元总数的平方减去某一类中真实参考像元总数与该类中被分类像元总数之积对所有类别求和的结果。
Kappa计算公式●错分误差（Commission）指被分为用户感兴趣的类，而实际属于另一类的像元，它显示在混淆矩阵里面。
本例中，总共划分为林地有19210个像元，其中正确分类16825，2385个是其他类别错分为林地（混淆矩阵中林地一行其他类的总和），那么其错分误差为2385/19210= 12.42%。
●漏分误差（Omission）指本身属于地表真实分类，当没有被分类器分到相应类别中的像元数。
如在本例中的林地类，有真实参考像元16885个，其中16825个正确分类，其余60个被错分为其余类（混淆矩阵中耕地类中一列里其他类的总和），漏分误差60/16885=0.36%●制图精度（Prod.Acc）是指分类器将整个影像的像元正确分为A类的像元数（对角线值）与A类真实参考总数（混淆矩阵中A类列的总和）的比率。
如本例中林地有16885个真实参考像元，其中16825个正确分类，因此林地的制图精度是16825/16885=99.64%。
遥感图像分类的精度评价（kappa统计值与分类精度的对应关系）[整理]
![遥感图像分类的精度评价（kappa统计值与分类精度的对应关系）[整理]](https://img.taocdn.com/s3/m/b3417f94e43a580216fc700abb68a98271feac23.png)
遥感图像分类的精度评价精度评价是指比较实地数据与分类结果，以确定分类过程的准确程度。
分类结果精度评价是进行土地覆被/利用遥感监测中重要的一步，也是分类结果是否可信的一种度量。
最常用的精度评价方法是误差矩阵或混淆矩阵（Error Matrix ）方法（Congalton ，1991；Richards ，1996；Stehman ，1997），从误差矩阵可以计算出各种精度统计值，如总体正确率、使用者正确率、生产者正确率（Story 等，1986），Kappa 系数等。
误差矩阵是一个n ×n 矩阵（n 为分类数），用来简单比较参照点和分类点。
一般矩阵的行代表分类点，列代表参照点，对角线部分指某类型与验证类型完全一致的样点个数，对角线为经验证后正确的样点个数（Stehman ，1997）。
对分类图像的每一个像素进行检测是不现实的，需要选择一组参照像素，参照像素必须随机选择。
Kappa 分析是评价分类精度的多元统计方法，对Kappa 的估计称为KHAT 统计，Kappa系数代表被评价分类比完全随机分类产生错误减少的比例，计算公式如下：2N.(.)K=(.)rii i i ii i x x x N x x ++∧++--∑∑∑式中 K ∧ 是Kappa 系数，r 是误差矩阵的行数，x ii 是i 行i 列（主对角线）上的值，x i +和x +i 分别是第i 行的和与第i 列的和，N 是样点总数。
Kappa 系数的最低允许判别精度0.7（Lucas 等，1994）表1 kappa 统计值与分类精度对应关系 (Landis and Koch 1977)Table1 classification quality associated to a Kappa statistics value1. Congalton, R. G. A review of assessing the accuracy of classifications of remotely sensed data.Remote Sensing Environ., 1991, 37: 35-46.2.Richards, J. A. Classifier performance and map accuracy. Remote Sensing Environ. 1996, 57:161-166.3.Stehman, S. V. Selecting and interpreting measures of thematic classification accuracy.Remote Sensing Environ., 1997, 62: 77-89.4.Story, M. and Congalton, R. G. Accuracy assessment: a user’s perspective. PhotogrammetricEngineering & Remote Sensing, 1986, 48(1): 131-137.5.Lucas, I. F. J., Frans, J. M. Accuracy assessment of satellite derived land-cover data: a review.Photogrammetric Engineering & Remote Sensing, 1994, 60(4): 410-432.。
监督分类与非监督分类遥感实习
4、分类混淆矩阵（误差矩阵）是指采用随机采样的方法获取一批地面参考验证点的信息作为真值，与遥感分类图进行逐像元比较。然后将结果归纳到混淆矩阵，进而完成混淆矩阵分析。其中结果分为类别精度与总精度，其中类别精度被正确分类的类别像元数占该类别训练样本像元数的百分比，包括生产者精度（制图精度）和用户精度，总精度是指被正确分类的总像元数占评价样本像元总数的百分比。
Clump对话框Sieve对话框Majority对话框
【结果与分析3】：（clump—sieve—majority）请替换如下对比图并分析发生的变化
分类后影像clump后影像
【分析】：聚类处理将邻近的类似分类单元进行聚类合并，可以看到影像中比较小的地物被合并，但是也将一些比较孤立的地物被错分。
分类后影像sieve后影像
实验结果
1、监督分类：（请将前后对比图截图至此）
原始影像监督分类后影像
【分析】：
2.运用ISODATA方法进行非监督分类结果对比图：
监督分类影像非监督分类影像非监督分类合并后处理影像
【分析】：
存在问题与解决办法
1、在监督导致地物选取有很大的误差，城镇居民区、工业区选区不能有效地区分，裸地与砾石也比较难以辨别。
距离和变换分散度都是一种特征空间距离度量方法是指影像特征矢量与各个类中心的距离变换分散度是tdivercd1expdivercd8jm距离j21e3最大似然分类法是基于概率论中每个像元存在属于所有类别的概率假设各个类别训练数据都呈现关于类均值矢量和方差参数的n维高斯正态分布根据像元矢量和上述假设可利用n维正态分布函数计算像元矢量属于各个类别的概率比较各个类别的概率值并将像元划归到概率最大的那个类别当中去
Kappa系数的修正及在干旱预测精度及一致性评价中的应用_田苗
第 24 期 12 月
农 业 工 程 学 报 Transactions of the Chinese Society of Agricultural Engineering
Vol.28 No.24 Dec. 2012
1
・新型工程与技术・
Kappa 系数的修正及在干旱预测精度及一致性评价中的应用
收稿日期：2012-03-12
修订日期：2012-11-26
基金项目：国家自然科学基金项目（41071235、40871159） 、国家科技 支撑计划课题（2012BAH29B03）资助和中国农业大学研究生科研创新 专项（KYCX2011076） 作者简介：田 苗（1984－） ，女，河北保定人，博士生，主要从事定 量遥感及其在干旱预测中的应用研究。 北京 中国农业大学信息与电气 工程学院，100083。Email：tm1304207@. ※通信作者：王鹏新（1965－） ，男，陕西礼泉人，教授，博士生导师， 主要从事定量遥感及其在农业中的应用研究。 北京 中国农业大学信息 与电气工程学院，100083。Email：wangpx@
24结果评价根据vtci干旱分级结果20将两个模型向前月上旬中旬和下旬和相应的监测结果分为干旱与不旱两种类型对ar1模型和sarima模型得到的第1月上旬中旬和下旬ar1模型的干旱预测结果和相应的监测结果的转换矩阵tabletransformationmatrixdroughtmonitoringresultsforecastingresultsar1modelsfirstmiddlelasttendaysapril2009步预测结果下旬预测预测预测监测干旱总计监测干旱总计监测干旱总计干旱142147干旱16244814643干旱547503755723821732219701746517474671449314560总计2432187422117总计1712194622117总计1212199622117月上旬中旬和下旬sarima模型的干旱预测结果和相应的监测结果的转换矩阵tabletransformationmatrixdroughtmonitoringresultsforecastingresultssarimamodelsfirstmiddlelasttendaysapril2009步预测结果下旬预测预测预测监测干旱总计监测干旱总计监测干旱总计干旱46101147干旱159730464643干旱404435137557276719203219702576148981747428051175514560总计28131930422117总计41731794422117总计68491526822117应用式18计算得到与kappa系数相关的各种指标表ar1和sarima模型值都很大098和087值都很小均为002
KAPPA计算
P observed判定员一致同意的单元的比率=判定员一致判定为优良的比率+判定员一致判定为次劣的比率P chance预期偶然达成一致的比率=（判定员A判定为优良的比率*判定员B判定为次劣的比率）+（判定员A判定为次劣的比率*判定员B判定为优良的比率）k=(P observed-P chance)/(1-P chance)要达成完全一致， P observed = 1 且 K=1一般说来，如果Kappa值低于0.7，那么测量系统是不适当的如果Kappa值为0.9或更高，那么测量系统是优秀的Kappa的下限为0到 -1如果 P observed = P chance 那么 K=0因而Kappa值为 0表示达成一致和随机偶然预期达成的一致是一样的A*B交叉表B.00 1.00 总计A .00 数量44 650期望的数量15.7(X1) 34.3 50.01.00 数量 3 97100期望的数量31.3(X2) 68.7 100.0总计数量47 103 150期望的数量47.0(X3) 103.0 150.0计算方法：X1*150=50*47,X1=15.7X2*150=100*47,X2=31.3X3*150=150*47,X3=47.0以下同举例说明A*B,在MSA第三版里面共有50个零件，每个评价人测量每个零件3次，那么对于0*0的意思就是A，B两个评价人之间同时为0的对数，对于AB两个评价人，共测量了6个数据，应该有三对数据。
看下面的：Part# A-1 A-2 A-3 B-1 B-2 B-31 0 10 0 01则 B0 1A 0 1 11 1 0计数型MSA中，判别的标准一般是通过看Kappa值的大小来评判你的测量系统是否值得信赖。
但是这个Kappa值到底是如何计算出来的呢？Kappa(K)一般被定义为在剔除偶然一致之后评价者之间的一致比例：K=[P(observed)-P(chance)]/[1-P(chance)]其中：P(observed)=评价者一致同意的分类比率；P(chance)=评价者偶然一致的分类比率；下面是一个具体的小例子：样本 #评价者 1评价者 21pass fail2fail pass3pass pass4fail fail5pass pass6fail fail7pass pass8fail pass9pass fail10fail failP(observed)=对角线的比率之和＝X1+X2=0.3+0.3=0.6步骤3：计算P(chance)P(chance)=(Z1×Z3)+(Z2×Z4)=0.5步骤4：计算KK=[P(observed)-P(chance)]/[1-P(chance)]=(0.6-0.5)/(1-0.5)=0.2 到这里，K值，即Kappa值就计算出来了。
Kappa系数
多分类测量结果的一致性检验
审核医生判定 无效 0 20 39 59
合计 109 264 45 418
转换成SPSS待分析样式
步骤： 创建三个变量，执行医生（1-显效、 2-有效、3-无效），审核医生（1-显 效、2-有效、3-无效）和例数
Kappa计算之SPSS实现 步骤略
多分类测量结果的一致性检验
Kappa值一致性评价
评价分类结果一致性和信度的一种重要指标……
概念
Kappa值记作κ 是评价分类结果一致性和信度的一种重要指标
公式
两次观察的一致性 两次观察的机遇一致性
Kappa值的实质是实际一致性与非机遇一致性之比
Kappa取值范围
Kappa值的取值范围是 |κ |≤1
1
表3 两次测定的一致性情况
审核医生判定 显效 105 24 有效 4 220 无效 0 20 执行医生判定 显效 有效 合计 109 264
无效
合计
0
129
6
230
39
59
45
418
计算 结果
两名医生判定结果有较 高度的一致性
Kappa计算之SPSS实现
执行医生判定 显效 有效 无效 合计 显效 105 24 0 129 有效 4 220 6 230
本例结果
Kappa值
甲乙两名医生诊断有较 高度的一致性
Kappa计算之SPSS实现
二分类测量结果的一致性检验
甲医生 +
乙医生 + 26(a) 6(b)
合计 32(a+b)
合计
4(c)
30(a+c)
28(d)
34(b+d)
Kappa分析
Kappa分析中期望计数是何意？(2009-07-07 22:33:14)有学员对MSA手册中计数型测量系统研究的交叉表（cross-tabulations）假设试验分析法中计算科恩（Cohen）Kappa时出现的期望计数不明白是何意，现做解释。
我们仍用MSA手册中的例子来做说明。
两评价人A和B分别对随机抽取的50个零件进行测量，对每个零件的测量随机地重复了3次。
设定1表示可接受的决定（即评为1类），0表示不可接受的决定（即评为0类）。
测量结果用以下交叉表列出。
科恩（Cohen）给出的Kappa计算公式为：MSA手册中定义P0为对角栏框中（观测）计数占总计数的比例，P e为对角栏框中期望计数占总计数的比例。
（第三版中文MSA手册中翻译有误，这里是按英文版翻译过来的）（观测）计数容易理解，如对角栏框中的44表示A和B都评为0类的测量次数，97表示A和B都评为1类的测量次数，而6则表示A评为0类但B评为1类的测量次数，3则表示A评为1类但B评为0类的测量次数。
因此，，P0也就是评价人A和B在测量中实际一致性的比率。
那期望计数是指什么呢？假如这两位评价人都是任意地（猜测）将50个零件判定为可接受或不可接受，其结果也会达到一定程度的一致，不过这里的一致是偶然达到的，这种偶然达到的一致性比率称为偶然一致性比率，也就是Kappa计算中的Pe。
当评价人A与B随机地作评价时，此两人行动一定是独立的，互不影响，从而两人同评为0类的概率为P0+×P+0，两人同评为1类的概率为P1+×P+1。
（这里P0+表示A评价人评为0类的测量次数占总测量次数的比率，P1+表示A评价人评为1类的测量次数占总测量次数的比率；同理P+0、P+1分别表示B评价人评为0类的测量次数占总测量次数的比率，和B评价人评为1类的测量次数占总测量次数的比率。
这时偶然一致性比率Pe = P0+×P+0+ P1+×P+1。
遥感图像分类结果评估的定量指标与定性方法
遥感图像分类结果评估的定量指标与定性方法遥感图像分类是将遥感图像中的像素点根据其特征和属性进行分类的过程。
而遥感图像分类结果的评估是非常重要的，它可以帮助我们了解分类结果的准确性和可靠性。
本文将介绍遥感图像分类结果评估的定量指标和定性方法。
一、定量指标1. 精度评价指标精度评价指标是最常用的定量评价方法之一。
常见的精度评价指标有生产者精度、用户精度、总体精度和Kappa系数。
生产者精度指标评估了分类结果中被正确分类的样本所占的比例。
它可以帮助我们了解分类结果的可信度。
用户精度指标评估了分类结果中被错误分类的样本所占的比例。
它可以帮助我们了解分类结果中的错误分类情况。
总体精度是衡量分类结果准确性的重要指标。
它可以帮助我们了解分类结果的整体准确性。
Kappa系数是衡量分类结果与随机分类结果之间一致性的指标。
它可以帮助我们了解分类结果与随机分类结果的差异。
2. 信息评价指标信息评价指标是衡量分类结果信息量的指标。
常见的信息评价指标有信息熵、互信息和综合分类信息量指标。
信息熵反映了分类结果的信息不确定性。
它可以帮助我们了解分类结果的不确定性程度。
互信息衡量了分类结果与真实分类之间的相似程度。
它可以帮助我们了解分类结果与真实分类之间的差异。
综合分类信息量指标综合了信息熵和互信息指标，用于评估分类结果的信息量。
二、定性方法1. 可视化分析可视化分析是对分类结果进行目视分析的方法。
通过将分类结果与原始遥感图像进行对比，我们可以直观地了解分类结果的准确性。
2. 空间一致性分析空间一致性分析是评估分类结果空间连续性的方法。
通过对分类结果进行空间统计和空间分布分析，我们可以评估分类结果的空间一致性。
3. 统计分析统计分析是对分类结果进行统计学处理的方法。
通过计算分类结果的均值、方差、标准差等统计量，我们可以评估分类结果的稳定性和一致性。
4. 专家判断专家判断是一种主观评价的方法。
通过请相关领域的专家对分类结果进行评估和判断，我们可以得到有关分类结果的专业意见和建议。
kappa统计值与分类精度的对应关系(举例说明)
遥感图像分类的精度评价精度评价是指比较实地数据与分类结果，以确定分类过程的准确程度。
分类结果精度评价是进行土地覆被/利用遥感监测中重要的一步，也是分类结果是否可信的一种度量。
最常用的精度评价方法是误差矩阵或混淆矩阵（Error Matrix ）方法（Congalton ，1991；Richards ，1996；Stehman ，1997），从误差矩阵可以计算出各种精度统计值，如总体正确率、使用者正确率、生产者正确率（Story 等，1986），Kappa 系数等。
误差矩阵是一个n ×n 矩阵（n 为分类数），用来简单比较参照点和分类点。
一般矩阵的行代表分类点，列代表参照点，对角线部分指某类型与验证类型完全一致的样点个数，对角线为经验证后正确的样点个数（Stehman ，1997）。
对分类图像的每一个像素进行检测是不现实的，需要选择一组参照像素，参照像素必须随机选择。
Kappa 分析是评价分类精度的多元统计方法，对Kappa 的估计称为KHAT 统计，Kappa 系数代表被评价分类比完全随机分类产生错误减少的比例，计算公式如下：2N.(.)K=(.)r ii i i ii i x x x N x x ++∧++--∑∑∑式中 K ∧ 是Kappa 系数，r 是误差矩阵的行数，x ii 是i 行i 列（主对角线）上的值，x i +和x +i 分别是第i 行的和与第i 列的和，N 是样点总数。
Kappa 系数的最低允许判别精度0.7（Lucas 等，1994）表1 kappa 统计值与分类精度对应关系 (Landis and Koch 1977)Table1 classification quality associated to a Kappa statistics value举例说明：。