基于ROC曲线的边缘检测算法性能评估

非边缘点； Dj1 与 Dj0 分别表示边缘检测图 Dj 中的边缘点与非边缘
点（背景）。
最 后 ， 计 算 出 CGTi 对 应 的 检 测 概 率 Ｔ Ｐ Ｒ 和 虚 警 概 率 Ｆ Ｐ Ｒ
TPRCGTi
=
TPCGTi P


FPRCGTi
=
FPCGTi 1− P
（３）
式中： P = TPCGTi + FN CGTi ， 1 − P = FPCGTi + TN CGTi 。 ２．２．２ 基于卡方检验的最佳阈值求解
均为边缘检测点； FPCGTi ,Dj 表示该像素在ＣＧＴ ｉ中为边缘检测点，在Ｄｊ 中 为 背 景 点 ； TNCGTi ,D j 表 示 该 像 素 在 Ｃ Ｇ Ｔ ｉ 和 Ｄ ｊ 中 均 为 背 景 点 ； FNCGTi ,Dj 表 示 该 像 素 在 Ｃ Ｇ Ｔ ｉ中 为 背 景 点 ， 在 Ｄ ｊ中 为 边 缘 检 测 点 。
摘 要： 提出了一种定量的边缘检测算法性能评估方法。该方法不需要边缘基准图等先验知识， 通过引入Ｒ Ｏ Ｃ 曲线技术， 合成边缘参考图，
并将Ａ Ｕ Ｃ 指标作为定量参数而完成待评估边缘检测算法的性能评估。初步的实验结果表明， 本文方法的结论与相关判断相吻合。该方法
自动化程度高， 评价结果客观合理， 有较强的工程应用性。
果 也 就 是 边 缘 检 测 的 结 果 。为 了 能 够 在 任 何 比 例 分 布 和 任 何 错 误
代价比的情况下直接比较多个分类器，必须使用具体的指标来量
化 分 类 器 性 能 。目 前 常 用 的 方 法 是 计 算 Ｒ Ｏ Ｃ 曲 线 下 面 积 （ Ａ ｒ ｅ ａ
Ｕ ｎ ｄ ｅ ｒ Ｃ ｕ ｒ ｖ ｅ ， Ａ Ｕ Ｃ ） 。Ａ Ｕ Ｃ 是 曲 线 下 区 域 与 单 位 面 积 的 比 ， 它 的 值
代 表 真 实 正 例 ， ｎ 代 表 真 实 负 例 。利 用 已 知 分 类 器 对 样 例 进 行 分 类 ，
得 到 分 类 预 测 类 别｛ Ｙ，Ｎ ｝ ， Ｙ代 表 分 类 正 例， Ｎ 代 表 分 类 负 例 ，共得
到图１的 混 淆 矩 阵 所 表 示 的 四 种 结 果，其中 TP 代 表 真 实 正 例 被 分 类为正例的个数， FN 代表真实正例被分类为负例的个数， FP 代表 真实负例被分类为正例的个数， TN 代表真实负例被分类为负例的 个 数 。P = TP + FN 为 真 实 正 例 的 总 个 数， N = FP + TN 为 真 实 负 例 的总个数。
计 算 上 述 指 标 的 概 率 TPCGTi 、FPCGTi 、TN CGTi 、FN CGTi ：
∑ ∑ ∑ ∑ TPCGTi

=
1 N
N
TPCGTi , Dj
j =1
=
1 N
N1 j=1 ( K ⋅ L
K k =1
L l =1
CGTi1
∩ Dj1)
∑ ∑ ∑∑

FPCGTi

=
1 N
等 级 。卡 方 检 验 是 现 代 统 计 学 的 创 始 人 之 一 、英 国 人 Ｋ ． Ｐ ｅ ａ ｒ ｓ ｏ ｎ 提
出的一种具有广泛用途的假设检验方法。可以分为成组比较（ 不配
对资料）和个别比较（配对，或同一对象两种处理的比较）两类。
２ ． ３ 基于 Ａ Ｕ Ｃ 指标的性能评估
将待评估的边缘检测算子看作是一个二分类器，其分类的结
①基金项目：江苏省高校自然科学研究面上项目（编号：１０ＫＪＢ４２０００）。
１２８ 科技创新导报 Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｎｏｖａｔｉｏｎ Ｈｅｒａｌｄ
图３ 边缘检测算法的ＲＯＣ曲线图
工 程 技 术
概率的改变而发生变化；（２）ＲＯＣ曲线的建立与错误分类代价无关， 而现实中错误分类代价很难获取；（３）在测试数据的类别分布比例 相差很大时，能准确表达分类器的性能。
K k =1
L l =1
CGTi 0
∩ Dj0)
（２）
N j =1
(
1 K⋅
L
K k =1
L l =1
CGTi0
∩ Dj1)
式中： K, L 为图像的宽度与高度； N 为边缘检测图 Dj 的总幅
数； CGTi1 与 CGTi0 分 别 表 示 候 选 边 缘 检 测 结 果 CGTi 中 的 边 缘 点 与
值发生改变时， 这 些 指 标 数 值 也 会 随 之 发 生 变 化 。因 此， 基于单个
指标的评估方法对类别先验概率和门限都不具有稳健性，其应用
也受到很大的限制。
１．２ ＲＯＣ 曲线
受试者工作特征分析技术（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ，
简称ＲＯＣ）在五十年代起源于统计决策理论，用来说明分类器正确
正确检测率，也就是对应ＲＯＣ空间中的一个工作点。这 样， ｎ个 阈 值
即能得到ｎ个工作点，将其连接并计算ＡＵＣ评估指标，即可得到该边
缘 检 测 算 子 的 整 体 性 能 。工 作 点 越 多 ， Ａ Ｕ Ｃ 评 估 指 标 计 算 的 越 精 确 。
由混淆矩阵可直接计算虚警率 RFP 与正确检测率 RTP 等分类性 能评估指标

RFP

RTP
= =
FP
FP + TN TP
TP + FN
= =
FP N TP P
（１）
RFP 与 RTP 等 指 标 是 在 某 个 分 类 算 法 的 固 定 阈 值 下 求 得 ， 当阈
每 个 候 选 边 缘 检 测 结 果 CGTi 均 具 有 一 对 统 计 指 标 参 数 ， 即检 测 概 率 ＴＰＲ 和 虚 警 概 率Ｆ Ｐ Ｒ。为 了 确 定 最 佳 候 选 边 缘 检 测 结 果 ， 使
得边缘检测参考图在具有较高正确检测率的同时能保证虚警概率
相对较低，本文引入卡方检验（Ｃｈｉ－ｓｑｕａｒｅ ｔｅｓｔ）方法求解最佳边缘
完成对具体边缘检测算法的性能评估。
２ ． ２ 边缘参考图的合成
２．２．１ ＲＯＣ分类。
将边缘检测问题看作是仅考虑目标（边缘点）和非目标（非边缘
点 ） 的 二 分 类 的 目 标 识 别 问 题 。针 对 输 入 的 具 体 边 缘 等 级 i
（ i = 1, 2,L , N ），分别用 TPCGTi ,Dj 、FPCGTi ,D j 、TNCGTi ,Dj 、FNCGTi ,Dj 来表示混 淆 矩 阵 中 的 四 种 分 类 情 况 。其 中 TPCGTi ,Dj 表 示 该 像 素 在Ｃ Ｇ Ｔｉ和Ｄｊ中
科技创新导报 ２０１１ ＮＯ．１９ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｎｏｖａｔｉｏｎ Ｈｅｒａｌｄ
工 程 技 术
基于 Ｒ Ｏ Ｃ 曲线的边缘检测算法性能评估①
邓国荣１ 杨朝辉２ （ １ ． 苏州武大影像信息工程研究院有限责任公司 江苏苏州 ２ １ ５ １ ６ ３ ；
２ ． 苏州科技学院环境科学与工程学院 江苏苏州 ２ １ ５ ０ １ １ ）
检 测 率 和 虚 警 率 之 间 的 关 系 ， 目前在医学、模 式 识 别 、机 器 学 习 等
领域得到了广泛的应用。
ＲＯＣ曲 线 是 以 RFP 为 横 轴 、RTP 为 纵 轴 形 成 的 一 个 二 维 空 间 ，在 此空间中将不同阈值对应的（ RFP ， RTP ）点标出，并用直线连接各相 邻 点 构 建 而 成 的 一 条 曲 线 。它 能 够 揭 示 当 算 法 阈 值 发 生 变 化 时 虚
关键词：边缘检测 性能评估 ＲＯＣ 曲线 卡方检验
中图分类号： Ｔ Ｐ ３ ９ １
文献标识码： Ａ
文章编号： １ ６ ７ ４ － ０ ９ ８ Ｘ （ ２ ０ １ １ ） ０ ７ （ ａ ） － ０ １ ２ ８ － ０ ２
边缘是图像中最重要的特征之一，它表示信号的突变情况，反 映 了 图 像 的 大 量 信 息 。边 缘 检 测 的 结 果 直 接 影 响 了 后 续 的 目 标 识 别、图像分割和图像匹配等研究。因此， 边缘检测一直是图像处理、 机器视觉等领域最活跃的研究课题之一。由于实际图像中的边缘类 型不尽相同，同时还存在的不同类别的噪声，因此边缘检测又是一 个 困 难 的 问 题 。经 典 的 边 缘 检 测 方 法 包 括 Ｒ ｏ ｂ ｅ ｒ ｔ ｓ 算 子 、Ｓ ｏ ｂ ｅ ｌ 算 子 、 Ｐｒｅｗｉｔｔ算子、Ｋｉｒｓｃｈ算子、Ｌａｐｌａｃｉａｎ算子、ＬＯＧ算子、Ｃａｎｎｙ算子等。近 年来随着数学理论及人工智能的发展， 又涌现出许多新的边缘检测 方法，如小波变换的边缘检测法与基于神经网络等边缘检测方法。
间 的 关 联 性 ， 据 此 得 到 最 佳 边 缘 等 级 ， 从 而 得 到“ 理 想 ”的 边 缘 检 测
参考图；（４）将某边缘检测算法在不同阈值下的边缘检测图与边缘
检测参考图进行分析，得到多个工作点的正确提取率（检测率）与虚
警率，并连接成为ＲＯＣ曲线图；（５）计算ＲＯＣ曲线的ＡＵＣ评估参数，
２ 评估方法的实现
２ ． １ 主要流程
评估方法的主要工作流程如下所示（参见图２）。
（１）将待评估的边缘检测算子，分别按一定的间隔设置不同的
阈值（范围覆盖常用的取值区域）对输入影像进行检测，分别得到边
缘检测结果；（２）对边缘检测结果集进行统计分析，得到候选边缘检
测图；（３）计算不同等级的候选边缘检测图与整个边缘检测图集之
N
FPCGTi , Dj
j =1
=
1 N
N1 j=1 ( K ⋅ L
K k =1
L l =1
CGTi1 ∩
Dj0)

∑ ∑ ∑ ∑ TNCGTi


∑ ∑ ∑∑
FN
CGTi
=
1 N
=
1 N
N
TNCGTi ,Dj
j =1
=
1 N
N
FNCGTi ,Dj
j =1
=
1 N
N1 j=1 ( K ⋅ L
本文提出一种客观定量的评估方法，利用ＲＯＣ曲线技术计算 性能度量指标， 从而完成对边缘检测算法的性能评估。该方法不直 接需要边缘参考图等先验知识，并直接对真实影像进行评估测试， 满足了实际工程的需要。
１ ＲＯＣ 分析技术 １ ． １ 混淆矩阵
以两类别分类问题为例，设任意样例Ｉ的真实类别为｛ｐ，ｎ｝，ｐ
适 合 作 为 分 类 评 价 标 准 。ＡＵＣ 的 算 法 并 不 复 杂 ， 通 常 使 用 如 式 （ ６ ）
所示的微元法通过累加曲线下梯形的面积来近似计算。显然， 工作
点越多，近似程度越好。
∑
S AUC
=
N −1 (TPRi
i =1
+ TPRi+1)(FPRi+1 2
警率和检测率的折衷关系，全面直观的揭示了该算法在多个阈值
下 的 整 体 性 能 ，与 虚 警 率 、检 测 率 等 单 指 标 相 比 具 有 如 下 优 点 ： （ １ ）
ＲＯＣ曲线反映了虚警率和检测率的折衷关系，其形状不会随先验
图１ 二类别混淆矩阵
（ ａ ） 原始ｓ ｐ ｏ ｔ 影像 （ ｂ ） 边缘检测参考图 图２ 实验影像
边缘检测结果易受到测试图像类型与检测阈值等因素的影 响，因此不同的边缘检测算法有着各自的适用环境，有必要建立一 个可以统一定量的评估标准， 完成对各类检测算法的性能评估。目 前，常见的边缘检测性能评估主要分为主观判定法和客观判定法。 主观判定法由人工判断边缘检测质量，该方法缺乏客观定量的评 估 标 准， 评 估 结 果 也 因 人 而 异 。客 观 判 定 法 又 可 分 为 两 小 类： 一是 存在边缘基准图的方法，这种方法大多采用模拟图像进行实验；二 是直接根据检测边缘的形态来评定其质量，这类方法不需要边缘 基准图，但是在实际应用中不能准确评估边缘的定位误差。
科技创新导报 ２０１１ ＮＯ．１９
Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｎｏｖａｔｉｏｎ Ｈｅｒａｌｄ
在０．０～１．０之间，反映了识别算法正确区分真假目标能力的大小，
并且等于任意选取的目标样本特征值大于任意选取的非目标样本
Hale Waihona Puke Baidu
特 征 值 的 概 率 。Ｂ ｒ ａ ｄ ｌ ｅ ｙ 通 过 大 量 的 比 较 实 验 认 为 Ａ Ｕ Ｃ 比 准 确 度 更
−
FPRi )
（６）
i 式 中 ： N 为 工 作 点 的 总 个 数 ， TPRi 为 第 工 作 点 的 正 确 检 测
率， FPRi 为第 i 工作点的虚警率。
对某一待评估边缘检测算子， 采用不同的阈值得到原始影像的
边缘检测结果，对应前文得到的边缘参考图，可计算得到虚警率与