混淆矩阵精度评价

混淆矩阵是用来表示精度评价的一种标准格式。混淆矩阵是n 行n 列的矩阵，其中n 代表类别的数量，一般可表达为以下形式，如下表所示。该矩阵的列为参考影像信息，行为被评价影像分类结果信息，行与列相交的部分概括了分类到与参考类别有关的某一特定类别中的样本数目，样本数可以为像元数目、或者分割对象数目。

矩阵的主对角元素（1122,,

nn x x x ）为被分到正确类别的样本数，对角

线以外的元素为遥感分类相对于参考数据的错误分类数，最右边一列是每类别在分类图上的总数量，而底部的一行显示的是每类别在参考图上的总数量。其中，ij x 是分类数据中第i 类和参考数据类型第j 类的分类样本数；

1

n i ij j x x +==∑为分类所得到的第i 类的总和；1

n

j ij i x x +==∑为参考数据的第j 类的

总和；N 为评价样本总数。

混淆矩阵表

基于混淆矩阵，可以统计一系列评价指标对分类提取结果进行评价，基本的评价指标如下：

（1）总体分类精度（Overall Accuracy ）：

1

OA n

kk k x N

==∑

总体分类精度是具有概率意义的一个统计量，表述的是对每一

个随机样本，所分类的结果与参考数据所对应区域的实际类型相一致的概率。

（2）用户精度（对于第i 类，User Accuracy ）：

UA ii

i x x +=

用户精度表示从分类结果中任取一个随机样本，其所具有的类

型与地面实际类型相同的条件概率。

（3）制图精度（对于第j 类，Producer Accuracy ）：

PA jj

j

x x +=

制图精度表示相对于参考数据中的任意一个随机样本，分类图上同一地点的分类结果与其相一致的条件概率。土地利用分类中常用的属性精度即为制图精度。

总体精度、用户精度和制图精度从不同的侧面描述了分类精度，是简便易行并具有统计意义的精度指标。与这些统计量相关联的度量还有经常提到的漏分与错分概率。

（4）错分率（对于第i 类，commission ）

FR=

i ii

i x x x ++-

错分率表示从分类结果中任取一个随机样本，其所具有的类型与地面实际类型不相同的条件概率。即错分的像元（对象）指本身属于分类结果中的某一类，而实际属于其他类。 （5）漏分率（对于第j 类，omission ）

MR j jj

j x x x ++-=

漏分率表示相对于参考数据中的任意一个随机样本，分类图上同一地点的分类结果与其不一致的条件概率。即漏分的像元（对象）指本身属于地表参考数据类别，而没有被分类器分到相应类别中。

漏分率与制图精度互补，而错分率与用户精度为互补。 （6）Kappa 分析

总体精度、用户精度或制图精度指标的客观性依赖于采样样本以及方法，在用这些指标分析后，仍需要一个更客观的指标来评价分类质量。Kappa 分析是一种定量评价遥感分类图与参考数据之间一致性或精度的方法，它采用离散的多元方法，更加客观地评价分类质量，克服了混淆矩阵过于依赖样本和样本数据的采集过程。Kappa 分析产生的评价指标被称为

hat κ统计，是一种测定两幅图之间吻合度或精度的指标。

()

()

1

1

hat 21

κn n

ii i i i i n

i i i N x x x N x x ++==++=-=

-∑∑∑式中，n 是混淆矩阵中总列数（即总的类别数）；ii

x 是混淆矩阵中第i 行、第i 列上样本数量，即正确分类的样本数目；i x +和i x +分别是第i 行和第i 列的总样本数量；N 是总的用于精度评估的样本数量。长期以来不少学者对于分类精度的评价进行了研究，研究结论认为，hat κ值>表示分类图和地面参考信息间的一致性很大或精度很高，hat κ值在表示一致性中等，hat κ值小于表示一致性很差。任何负的hat κ值都表示分类效果差，但负值的范围取决于待评价的混淆矩阵，因此负值大小并不能表示分类效果。

Koukoulas 等人认为混淆矩阵和Kappa 系数不能很好地指示分类精度，并针对性地提出了对特定类别（或一组类别）和分类中引入误差敏感的分

类精度评价指标。

分类成功指数（Classification Success Index, CSI ）适用于全部类别的精度评估，它能够总体评价分类的有效性，计算公式为：

1

1100n

i i

i Ce Oe CSI n =⎛⎫⎛⎫+ ⎪

⎪ ⎪ ⎪=-⨯ ⎪

⎪ ⎪ ⎪⎝

⎭⎝⎭

∑ 式中，i Ce 为类别i 的错分率，i Oe 为类别i 的漏分率，n 为类别数目。 单类分类成功指数（Individual Classification Success Index, ICSI ）适用于针对特定类别的分类精度评价，即适用于单类分类问题或专题信息提取问题，计算公式为：

1()ICSI Oe Ce =-+

组分类成功指数（Group Classification Success Index, GCSI ）在自然环境分类应用中，常常只要求精确表示若干感兴趣地物类型，而其余类别则不需要加以考虑。GCSI 则适用于对一组感兴趣类别的分类精度评价问题，其计算公式为：

1n

i i GCSI ICSI ==∑

式中，n 为感兴趣类别的数目。