基于CRF-MR的自顶向下显著性目标检测方法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
自底向上显著性目标检测常采用图像的底层特征如颜色、 纹理、方向等或较高层特征，通过局部对比或全局对比的方法 来模拟人类视觉系统对观察对象注意力的竞争、选择机制，从 而得到目标的显著 性 图 ［２～８］。与 自 底 向 上 显 著 性 目 标 检 测 不 同的是，自顶向下显著性目标检测方法是通过学习目标的高层 语义特征，通过判别得到指定目标的显著性图，本文着重研究 的是自顶向下显著性目标检测方法。
自顶向下显著性目标检测包含两个至关重要的研究内容： 特征学习和显著性计算［９］。特征学习即预先提取目标特征通 过学习训练获得相关的先验知识，显著性计算即利用模型在图 像上得到突出指定目标的显著性图。近年来，涌现出包括字典 学 习［１０］、独 立 成 分 分 析 （ｉｎｄｅｐｅｎｄｅｎｔｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ， ＩＣＡ）［１１］、条件随机场（ｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍ ｆｉｅｌｄ，ＣＲＦ）［１２］、支持 向量机（ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ＳＶＭ）［１３］、贝叶斯模型 等 ［１４］ 优
秀的特征学习和显著性计算方法，因此自顶向下的显著性目标 检测方法被 不 断 地 深 入 研 究。其 中，Ｋａｎａｎ等 人 ［１５］提 出 利 用 ＩＣＡ方法学习目标特征，并通过训练后的 ＳＶＭ判别显著性目 标，构造最初的自顶向下显著性目标检测方法，但得到的显著 性图中显著区域通常比较分散，显著性目标很难被集中突出。 造成这个问题的原因体现了自顶向下显著性目标检测在目标 外观多变、环境背景复杂等情况下普遍面临的检测难题。关于 目标外观的多变以及结果目标分散的问题，Ｙａｎｇ等人［１６］提出 基于字典学习与 ＣＲＦ的自顶向下显著性目标检测方法，在图 像块节点特征 获 取 过 程 中，采 用 字 典 学 习 的 稀 疏 编 码 （ｓｐａｒｓｅ ｃｏｄｉｎｇ，ＳＣ）方式学 习 目 标 特 征，提 高 特 征 的 判 别 能 力，避 免 对 外观多变目标的漏检，再通过 ＣＲＦ模型体现目标的结构信息， 得到紧凑、集中的显著 性 目 标 结 果。 文 献 ［１７］在 文 献 ［１６］稀 疏编码 的 约 束 部 分 增 加 了 局 部 线 性 约 束 （ｌｏｃａｌｌｉｎｅａｒｃｏｎ ｓｔｒａｉｎｔ，ＬＬＣ），提高类内 的 聚 合 性，降 低 类 间 的 耦 合 性，进 一 步 增强稀疏编码阶段获得特征的判别能力。文献［１８］考虑到文 献［１６，１７］方法对邻域的上下文信息利用不充分，在文献［１７］ 的稀疏约束项中又加入了上下文约束（ｌｏｃａｌｉｔｙｃｏｎｓｔｒａｉｎｅｄｃｏｎ ｔｅｘｔｕａｌｓｐａｒｓｅｃｏｄｉｎｇ，ＬＣＣＳＣ），使 特 征 编 码 与 邻 域 保 持 最 小 的 差异，防止个别误检点被突出，获得相对平滑的视觉显著图，同 时提高了准确率。
第 ３５卷第 ８期 ２０１８年 ８月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ３５Ｎｏ８ Ａｕｇ．２０１８
基于 ＣＲＦＭＲ的自顶向下 显著性目标检测方法
崔丽群，吴晓冬，赵 越
（辽宁工程技术大学 软件学院，辽宁 葫芦岛 １２５０００）
摘 要：针对自顶向下显著性目标检测边界模糊及准确率低的问题，提出一种结合条件随机场（ｃｏｎｄｉｔｉｏｎａｌｒａｎ ｄｏｍｆｉｅｌｄ，ＣＲＦ）和流行排序（ｍａｎｉｆｏｌｄｒａｎｋｉｎｇ，ＭＲ）的自顶向下显著性目标检测方法。首先对图像进行超像素分 割，以超像素块特征为节点建立无向图；然后输入具有目标先验的 ＣＲＦ中得到节点的显著值，并通过边缘背景 先验 ＭＲ修改显著值；最后扩展初步显著性目标得到最终显著性图。实验结果表明，在行人、汽车和自行车类目 标检测中目标边界明确，与基于 ＣＲＦ的方法相比，该方法在保证运算效率的同时具有更好的鲁棒性。 关键词：自顶向下显著性目标检测；超像素分割；条件随机场；流行排序 中图分类号：ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１００１３６９５（２０１８）０８２５３５０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０８．０７４
引言
随着对人类视觉注意机制研究的逐步深入，显著性目标检 测受到了计算机视觉研究者的广泛关注。显著性目标检测克 服了传统目标检测方法对目标框的匹配、融合等繁杂过程，通 过模拟人类的视觉注意机制，突出包含目标的不规则显著性区 域，快速识别图像中的显著性目标。显著性目标检测分为以底 层特征为依据的自底向上显著性目标检测和以指定目标为驱 动的自顶向下显著性目标检测两种方式［１］。
ＴｏｐｄｏｗｎｓａｌｉｅｎｃｙｔａｒｇｅｔｄｅｔｅｃｔｉｏｎｄａｓｅｄｏｎＣＲＦＭＲ
ＣｕｉＬｉｑｕｎ，ＷｕＸｉａｏｄｏｎБайду номын сангаас，ＺｈａｏＹｕｅ
（ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅ，ＬｉａｏｎｉｎｇＴｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，ＨｕｌｕｄａｏＬｉａｏｎｉｎｇ１２５０００，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｔａｃｋｌｅｔｈｅｐｒｏｂｌｅｍｓｏｆｔｈｅｔａｒｇｅｔｂｏｕｎｄａｒｙｆｕｚｚｙａｎｄｔｈｅｌｏｗａｃｃｕｒａｃｙｏｆｔｈｅｔｏｐｄｏｗｎｓａｌｉｅｎｃｙｔａｒｇｅｔｄｅ ｔｅｃｔｉｏｎｍｅｔｈｏｄ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｔｏｐｄｏｗｎｓｉｇｎｉｆｉｃａｎｃｅｔａｒｇｅｔｄｅｔｅｃｔｉｏｎｍｅｔｈｏｄｃｏｍｂｉｎｉｎｇｔｈｅｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍ ｆｉｅｌｄ （ＣＲＦ）ａｎｄｍａｎｉｆｏｌｄｒａｎｋｉｎｇ（ＭＲ）．Ｆｉｒｓｔｏｆａｌｌ，ｉｔｓｕｐｅｒｐｉｘｅｌｓｅｇｍｅｎｔｅｄｔｈｅｉｍａｇｅａｎｄｕｓｅｄｔｈｅｆｅａｔｕｒｅｆａｃｔｏｒｅｘｔｒａｃｔｅｄｆｒｏｍ ｔｈｅｓｕｐｅｒｐｉｘｅｌｂｌｏｃｋａｓｔｈｅｎｏｄｅｔｏｅｓｔａｂｌｉｓｈｔｈｅｕｎｄｉｒｅｃｔｅｄｇｒａｐｈｍｏｄｅｌ．Ｔｈｅｎ，ｉｔｇｏｔｓａｌｉｅｎｃｙｖａｌｕｅｏｆｔｈｅｎｏｄｅｔｈｒｏｕｇｈｔｈｅ ｒａｎｄｏｍｆｉｅｌｄｗｉｔｈｔｈｅｔａｒｇｅｔｐｒｉｏｒａｎｄｍｏｄｉｆｉｅｄｂｙｔｈｅｍａｎｉｆｏｌｄｒａｎｋｉｎｇｗｉｔｈｔｈｅｅｄｇｅｂａｃｋｇｒｏｕｎｄｐｒｉｏｒ．Ｆｉｎａｌｌｙ，ｉｔｅｘｐａｎｄｅｄｔｈｅ ｉｎｉｔｉａｌｓａｌｉｅｎｃｙｔａｒｇｅｔｔｏｇｅｔｔｈｅｆｉｎａｌｓａｌｉｅｎｃｙｍａｐ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｔａｒｇｅｔｂｏｕｎｄａｒｙｉｓｃｌｅａｒｉｎｔｈｅｔａｒｇｅｔｄｅ ｔｅｃｔｉｏｎｏｆｐｅｄｅｓｔｒｉａｎｓ，ｃａｒｓａｎｄｂｉｃｙｃｌｅｓ．ＣｏｍｐａｒｅｄｗｉｔｈｔｈｅＣＲＦｂａｓｅｄｍｅｔｈｏｄ，ｔｈｉｓｍｅｔｈｏｄｈａｓｂｅｔｔｅｒｒｏｂｕｓｔｎｅｓｓｗｈｉｌｅｅｎｓｕ ｒｉｎｇｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｏｐｅｒａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｔｏｐｄｏｗｎｓａｌｉｅｎｃｙｔａｒｇｅｔｄｅｔｅｃｔｉｏｎ；ｓｕｐｅｒｐｉｘｅｌｓｅｇｍｅｎｔａｔｉｏｎ；ｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍ ｆｉｅｌｄ（ＣＲＦ）；ｍａｎｉｆｏｌｄｒａｎ ｋｉｎｇ（ＭＲ）
自顶向下显著性目标检测包含两个至关重要的研究内容： 特征学习和显著性计算［９］。特征学习即预先提取目标特征通 过学习训练获得相关的先验知识，显著性计算即利用模型在图 像上得到突出指定目标的显著性图。近年来，涌现出包括字典 学 习［１０］、独 立 成 分 分 析 （ｉｎｄｅｐｅｎｄｅｎｔｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ， ＩＣＡ）［１１］、条件随机场（ｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍ ｆｉｅｌｄ，ＣＲＦ）［１２］、支持 向量机（ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ＳＶＭ）［１３］、贝叶斯模型 等 ［１４］ 优
秀的特征学习和显著性计算方法，因此自顶向下的显著性目标 检测方法被 不 断 地 深 入 研 究。其 中，Ｋａｎａｎ等 人 ［１５］提 出 利 用 ＩＣＡ方法学习目标特征，并通过训练后的 ＳＶＭ判别显著性目 标，构造最初的自顶向下显著性目标检测方法，但得到的显著 性图中显著区域通常比较分散，显著性目标很难被集中突出。 造成这个问题的原因体现了自顶向下显著性目标检测在目标 外观多变、环境背景复杂等情况下普遍面临的检测难题。关于 目标外观的多变以及结果目标分散的问题，Ｙａｎｇ等人［１６］提出 基于字典学习与 ＣＲＦ的自顶向下显著性目标检测方法，在图 像块节点特征 获 取 过 程 中，采 用 字 典 学 习 的 稀 疏 编 码 （ｓｐａｒｓｅ ｃｏｄｉｎｇ，ＳＣ）方式学 习 目 标 特 征，提 高 特 征 的 判 别 能 力，避 免 对 外观多变目标的漏检，再通过 ＣＲＦ模型体现目标的结构信息， 得到紧凑、集中的显著 性 目 标 结 果。 文 献 ［１７］在 文 献 ［１６］稀 疏编码 的 约 束 部 分 增 加 了 局 部 线 性 约 束 （ｌｏｃａｌｌｉｎｅａｒｃｏｎ ｓｔｒａｉｎｔ，ＬＬＣ），提高类内 的 聚 合 性，降 低 类 间 的 耦 合 性，进 一 步 增强稀疏编码阶段获得特征的判别能力。文献［１８］考虑到文 献［１６，１７］方法对邻域的上下文信息利用不充分，在文献［１７］ 的稀疏约束项中又加入了上下文约束（ｌｏｃａｌｉｔｙｃｏｎｓｔｒａｉｎｅｄｃｏｎ ｔｅｘｔｕａｌｓｐａｒｓｅｃｏｄｉｎｇ，ＬＣＣＳＣ），使 特 征 编 码 与 邻 域 保 持 最 小 的 差异，防止个别误检点被突出，获得相对平滑的视觉显著图，同 时提高了准确率。
第 ３５卷第 ８期 ２０１８年 ８月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ３５Ｎｏ８ Ａｕｇ．２０１８
基于 ＣＲＦＭＲ的自顶向下 显著性目标检测方法
崔丽群，吴晓冬，赵 越
（辽宁工程技术大学 软件学院，辽宁 葫芦岛 １２５０００）
摘 要：针对自顶向下显著性目标检测边界模糊及准确率低的问题，提出一种结合条件随机场（ｃｏｎｄｉｔｉｏｎａｌｒａｎ ｄｏｍｆｉｅｌｄ，ＣＲＦ）和流行排序（ｍａｎｉｆｏｌｄｒａｎｋｉｎｇ，ＭＲ）的自顶向下显著性目标检测方法。首先对图像进行超像素分 割，以超像素块特征为节点建立无向图；然后输入具有目标先验的 ＣＲＦ中得到节点的显著值，并通过边缘背景 先验 ＭＲ修改显著值；最后扩展初步显著性目标得到最终显著性图。实验结果表明，在行人、汽车和自行车类目 标检测中目标边界明确，与基于 ＣＲＦ的方法相比，该方法在保证运算效率的同时具有更好的鲁棒性。 关键词：自顶向下显著性目标检测；超像素分割；条件随机场；流行排序 中图分类号：ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１００１３６９５（２０１８）０８２５３５０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０８．０７４
引言
随着对人类视觉注意机制研究的逐步深入，显著性目标检 测受到了计算机视觉研究者的广泛关注。显著性目标检测克 服了传统目标检测方法对目标框的匹配、融合等繁杂过程，通 过模拟人类的视觉注意机制，突出包含目标的不规则显著性区 域，快速识别图像中的显著性目标。显著性目标检测分为以底 层特征为依据的自底向上显著性目标检测和以指定目标为驱 动的自顶向下显著性目标检测两种方式［１］。
ＴｏｐｄｏｗｎｓａｌｉｅｎｃｙｔａｒｇｅｔｄｅｔｅｃｔｉｏｎｄａｓｅｄｏｎＣＲＦＭＲ
ＣｕｉＬｉｑｕｎ，ＷｕＸｉａｏｄｏｎБайду номын сангаас，ＺｈａｏＹｕｅ
（ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅ，ＬｉａｏｎｉｎｇＴｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，ＨｕｌｕｄａｏＬｉａｏｎｉｎｇ１２５０００，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｔａｃｋｌｅｔｈｅｐｒｏｂｌｅｍｓｏｆｔｈｅｔａｒｇｅｔｂｏｕｎｄａｒｙｆｕｚｚｙａｎｄｔｈｅｌｏｗａｃｃｕｒａｃｙｏｆｔｈｅｔｏｐｄｏｗｎｓａｌｉｅｎｃｙｔａｒｇｅｔｄｅ ｔｅｃｔｉｏｎｍｅｔｈｏｄ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｔｏｐｄｏｗｎｓｉｇｎｉｆｉｃａｎｃｅｔａｒｇｅｔｄｅｔｅｃｔｉｏｎｍｅｔｈｏｄｃｏｍｂｉｎｉｎｇｔｈｅｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍ ｆｉｅｌｄ （ＣＲＦ）ａｎｄｍａｎｉｆｏｌｄｒａｎｋｉｎｇ（ＭＲ）．Ｆｉｒｓｔｏｆａｌｌ，ｉｔｓｕｐｅｒｐｉｘｅｌｓｅｇｍｅｎｔｅｄｔｈｅｉｍａｇｅａｎｄｕｓｅｄｔｈｅｆｅａｔｕｒｅｆａｃｔｏｒｅｘｔｒａｃｔｅｄｆｒｏｍ ｔｈｅｓｕｐｅｒｐｉｘｅｌｂｌｏｃｋａｓｔｈｅｎｏｄｅｔｏｅｓｔａｂｌｉｓｈｔｈｅｕｎｄｉｒｅｃｔｅｄｇｒａｐｈｍｏｄｅｌ．Ｔｈｅｎ，ｉｔｇｏｔｓａｌｉｅｎｃｙｖａｌｕｅｏｆｔｈｅｎｏｄｅｔｈｒｏｕｇｈｔｈｅ ｒａｎｄｏｍｆｉｅｌｄｗｉｔｈｔｈｅｔａｒｇｅｔｐｒｉｏｒａｎｄｍｏｄｉｆｉｅｄｂｙｔｈｅｍａｎｉｆｏｌｄｒａｎｋｉｎｇｗｉｔｈｔｈｅｅｄｇｅｂａｃｋｇｒｏｕｎｄｐｒｉｏｒ．Ｆｉｎａｌｌｙ，ｉｔｅｘｐａｎｄｅｄｔｈｅ ｉｎｉｔｉａｌｓａｌｉｅｎｃｙｔａｒｇｅｔｔｏｇｅｔｔｈｅｆｉｎａｌｓａｌｉｅｎｃｙｍａｐ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｔａｒｇｅｔｂｏｕｎｄａｒｙｉｓｃｌｅａｒｉｎｔｈｅｔａｒｇｅｔｄｅ ｔｅｃｔｉｏｎｏｆｐｅｄｅｓｔｒｉａｎｓ，ｃａｒｓａｎｄｂｉｃｙｃｌｅｓ．ＣｏｍｐａｒｅｄｗｉｔｈｔｈｅＣＲＦｂａｓｅｄｍｅｔｈｏｄ，ｔｈｉｓｍｅｔｈｏｄｈａｓｂｅｔｔｅｒｒｏｂｕｓｔｎｅｓｓｗｈｉｌｅｅｎｓｕ ｒｉｎｇｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｏｐｅｒａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｔｏｐｄｏｗｎｓａｌｉｅｎｃｙｔａｒｇｅｔｄｅｔｅｃｔｉｏｎ；ｓｕｐｅｒｐｉｘｅｌｓｅｇｍｅｎｔａｔｉｏｎ；ｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍ ｆｉｅｌｄ（ＣＲＦ）；ｍａｎｉｆｏｌｄｒａｎ ｋｉｎｇ（ＭＲ）