基于频率域的显著性区域提取方法_于振洋
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
收 稿 日 期 :2011-08-19 基 金 项 目 :江 苏 省 属 高 校 自 然 科 学 研 究 资 助 项 目 (11KJD520003);淮 安 市 科 技 支 撑 计 划 资 助 项 目 (HAG2010030) 作 者 简 介 :于 振 洋 (1976- ),男 ,江 苏 淮 安 人 ,淮 阴 工 学 院 讲 师 ,主 要 从 事 智 能 信 息 处 理 方 面 的 研 究 .
Abstract:General visual salient region extraction methods can not consistently highlight sa- lient region and give well-defined boundaries of salient objects.Therefore,a salient region extraction method based on the frequency domain is proposed.This method uses a combina- tion of DoG filters to retain more frequency content from the original images,and uses color and brightness information to estimate the center-surround contrast in the frequency do- main.This method not only outputs full-resolution salient map,but also solves the above two problems.This method outperforms on the ground-truth evaluation and on the segmen- tation task by achieving both higher precision and better recall than the multi-scale analysis method and Itti’s method. Key words:saliency map;level set;spectral residual;image segmentation;recall
中 图 分 类 号 :TP391.41
文 献 标 识 码 :A
Frequency domain based on salient region extraction
YU Zhen-yang
(School of Computer Engineering,Huaiyin Institute of Technology,Huai’an 223003,China)
用 wlc 代 表 低 频 截 断 阈 值,whc 代 表 高 频 截 断 阈值.为了克服多尺度 分 析 方 法 的 缺 点,突 出 大 的 显著性目标,需 要 考 虑 原 始 图 像 对 应 的 非 常 低 的 频率,也 就 是 wlc 要 低.wlc 低 有 助 于 一 致 地 突 出 显 著性目标,不会只突出 目 标 的 一 部 分.为 了 获 得 明 确的边界,需要保持原 始 图 像 对 应 的 高 频 信 息,也 就是 whc 要 高.然 而,为 了 避 免 噪 声、纹 理、阻 挡 物 体的高 频 信 息 的 干 扰,需 要 去 除 最 高 的 频 率.因 此,显著图应该包含较 大 范 围 的 频 率,所 以 一 些 带 通 滤 波 器 [wlc ,whc]的 组 合 是 非 常 必 要 的 . 2.1 高 斯 差 分 滤 波 器 带 通 滤 波 器 组 合
Vol.8 No.3 Sep.2011
基于频率域的显著性区域提取方法
于振洋
(淮阴工学院 计算机工程学院,江苏 淮安 223003)
摘 要:一般的视觉显著性区域提取方法都不能一致 地 突 出 显 著 性 区 域 和 给 出 显 著 目 标 定 义 明 确 的 边 界 ,
因此提出一种基于频率域的显著性区域提取方法.该方 法 使 用 高 斯 差 分 滤 波 器 的 组 合 来 保 持 原 图 像 更 多 的
(a) 玩具熊
(b) 图(a)的显著图
图 2 多 尺 度 分 析 方 法 的 显 著 图 Fig.2 The saliency image of multi-scale
analysis method
2 基 于 频 率 域 的 显 著 图 计 算 方 法
本方法基于颜色和亮度来估计中心-周围像 素对比度.它有三大优 势:一 致 地 使 显 著 性 区 域 突 出,并且 使 该 区 域 具 有 明 确 的 边 界;完 整 的 分 辨 率 ;计 算 简 单 .
点的目标肯 定 能 被 三 个 滤 波 器 检 测 到,而 大 点 的
目标只能被 大 点 的 滤 波 器 检 测 到.因 为 最 终 的 显
第8卷第3期
于 振 洋 :基 于 频 率 域 的 显 著 性 区 域 提 取 方 法
85
著图是这三个特征图(对 应 着 三 个 滤 波 器 的 检 测) 之和的平均值,较小的 目 标 始 终 能 很 好 的 突 出.这 个从图2可 以 看 出,玩 具 熊 的 眼 睛 比 它 的 其 他 部 分更突出.因此,多尺度 分 析 方 法 不 能 统 一 地 突 出 显著性区域,只能突出 较 小 的 目 标.本 研 究 介 绍 的 方法能够解 决 这 个 问 题,有 效 地 输 出 完 整 分 辨 率 的显著图.
1 多 尺 度 分 析 方 法 的 原 理
显著度是 由 图 像 区 域 与 其 周 围 区 域 (选 取 不 同的大小范围)的对比 度 所 决 定 的.在 多 尺 度 分 析 方法中,由图 像 区 域 各 像 素 的 特 征 向 量 均 值 与 其 邻域特征向量的距离得到此区域的显著度.
图1(a)中 区 域 R1(颜 色 较 深 区 域)为 一 个 固 定大小的区域,区域 R2(颜色较 浅 区 域)为 包 含 区 域 R1 的一个 大 小 可 变(多 尺 度)区 域.图 1(b)中 区域 R1 的大小可以为一个像 素,但 是 当 图 像 中 噪 声比较 大 时,R1 可 以 设 定 为 一 个 较 小 的 区 域,如: 9×9 等像 素 块 大 小;而 区 域 R2 大 小 有 3 个 尺 度 (h/8,h/4,h/2,h ≤ w).图1(c)中通过由左到右、 由上到下遍历整 幅 图 像,计 算 R1 和 R2 的 特 征 距 离,并把特征距离转化 到 0 ~ 255 范 围 内,由 此 得 到灰度显著图.因为 R2 有3个尺度,计算R1 和R2 的特征距离作 为 显 著 度,这 样 共 得 到 3 幅 灰 度 显 著图.对3幅显著图对 应 像 素 点 的 灰 度 值 求 和、求 平 均 ,就 得 到 与 原 图 像 一 样 大 小 的 显 著 图 .
频率信息,在频率域里利用颜色和亮度信息来预测中间-周围对比度.该方法不仅能输出完整分辨率的显 著
图,而且解决了上述两个问题.对真实数据试验结果表 明,该 方 法 分 割 的 查 准 率 和 查 全 率 都 好 于 多 尺 度 分 析
方 法 和 Itti方 法 .
关 键 词 :显 著 图 ;频 率 域 ;多 尺 度 分 析 ;图 像 分 割 ;查 全 率
图像 R1显著度可以表示为:
N1
N2
[( ) ( )] ∑ ∑ cij = D
1 N1
Vp
p=1
,
1 N2
Vq
q=1
. (1)
式 中:N1 和 N2 分别为区域R1和区域R2中像素的
个数;V 为 区 域 R1 和 区 域 R2 中 各 像 素 的 特 征 向
量;D 为欧氏距离.
ຫໍສະໝຸດ Baidu
为了方便计 算,由 于 在 CIELab 颜 色 空 间 中,
84
长 沙 理 工 大 学 学 报 (自 然 科 学 版 )
2011 年 9 月
基于视觉特征 的 方 法 最 具 代 表 性 的 是Itti等 人 提 [1] 出 的 显 著 图 方 法.这 种 方 法 利 用 了 神 经 生 理 学 中 的 感 受 野 、侧 抑 制 神 经 网 络 等 研 究 成 果 ,模 拟了人的视 觉 注 意 力 机 制,认 为 像 素 与 背 景 的 对 比是吸引人注意 的 重 要 因 素,并 把 这 种 对 比 定 义 为该点的显 著 值.综 合 考 虑 颜 色、亮 度、方 向 等 多 种特征的显著值 得 到 图 像 的 显 著 图,然 后 再 根 据 显著图确定图像的显 著 区 域.在 此 基 础 上,很 多 人 也提 出 了 不 同 的 显 著 性 分 析 方 法,如:图 论 GB- VS[2]和频谱残差 SR[3]等.国 内 在Itti方 法 的 基 础 上提 出 了 多 尺 度 分 析 方 法 检 [4] 测 效 果 比 较 好,而 且 保 持 了 图 像 的 完 整 分 辨 率 ,防 止 信 息 丢 失 .
第8卷第3期 2011 年 9 月
长 沙 理 工 大 学 学 报 (自 然 科 学 版 ) Journal of Changsha University of Science and Technology(Natural Science)
文 章 编 号 :1672-9331(2011)03-0083-06
(3)
式中:mij是显著图 M 的像素所对应的显著度值.
多尺度分 析 方 法 保 持 了 图 像 的 分 辨 率,根 据
多尺度分析 方 法 的 原 理,小 于 滤 波 器 尺 寸 的 目 标
可以检测出 来,但 大 于 滤 波 器 尺 寸 的 目 标 只 能 部
分检测出来.能 被 最 小 滤 波 器 很 好 检 测 到 的 小 一
人所感觉的颜色差距近似 为 欧 氏 距 离,因 此 式 (1)
中D 可以表示为:
D = ‖v1 -v2‖.
(2)
式中:v1=[L1,a1,b1]T;v2= [L2,a2,b2]T 分 别 为
区域 R1和区域 R2的平均特征向量. 最终的显著图 M 在多种尺度s 下显著图的显
著度值的和为:
∑ mij = cij. S
对于一 幅 图 像 来 说,用 户 一 般 只 对 图 像 中 的 会选择不同 的 区 域 作 为 显 著 区 域.常 用 的 方 法 是 部分区域感 兴 趣,这 部 分 感 兴 趣 的 区 域 代 表 了 用 利用人的注 意 力 机 制 为 基 础 计 算 图 像 的 显 著 度. 户的查询意 图,而 多 数 剩 余 的 不 感 兴 趣 区 域 则 与 认知心理学 的 研 究 表 明,图 像 中 有 些 区 域 能 显 著 用户查询意 图 无 关.显 著 区 域 是 图 像 中 最 能 引 起 地吸引人的注意,这些 区 域 含 有 较 大 的 信 息 量.认 用户兴趣、最 能 表 现 图 像 内 容 的 区 域.事 实 上,显 知科学家已经提出了许 多 数 学 模 型 来 模 拟 人 的 注 著区域的选 择 是 非 常 主 观 的.由 于 用 户 任 务 和 知 意力机制.由 于 利 用 了 图 像 认 知 过 程 中 的 一 般 规 识背景的不同,对于同 一 幅 图 像,不 同 的 用 户 可 能 律,这样提取的显著区域比较符合人的主观评价.
作者借鉴多尺度分析方法的思想提出一种基 于频率域的图像 显 著 区 域 的 提 取 方 法,并 与 多 尺 度 分 析 方 法 和Itti方 法 进 行 了 对 比 .为 此 ,下 面 首 先简要介绍一下 多 尺 度 分 析 方 法 的 原 理,在 此 基 础上详 细 阐 述 了 本 研 究 提 出 的 显 著 区 域 提 取 方 法,并通过 实 验 对 比 了 本 研 究 提 出 的 方 法 与 Itti 方 法 、多 尺 度 分 析 方 法 的 性 能 好 坏 和 分 割 效 果 .
w
R2
R1
h/2
h
h/2
(a) 对比度滤波器里的内部区域 R1 和 R2 (b) 当 R1 大小固定时,不同尺度对应的 R2 的大小
(c) 计算显著图的遍历顺序
图 1 多 尺 度 分 析 方 法 流 程 示 意 图 Fig.1 The flow diagram of multi-scale analysis method
Abstract:General visual salient region extraction methods can not consistently highlight sa- lient region and give well-defined boundaries of salient objects.Therefore,a salient region extraction method based on the frequency domain is proposed.This method uses a combina- tion of DoG filters to retain more frequency content from the original images,and uses color and brightness information to estimate the center-surround contrast in the frequency do- main.This method not only outputs full-resolution salient map,but also solves the above two problems.This method outperforms on the ground-truth evaluation and on the segmen- tation task by achieving both higher precision and better recall than the multi-scale analysis method and Itti’s method. Key words:saliency map;level set;spectral residual;image segmentation;recall
中 图 分 类 号 :TP391.41
文 献 标 识 码 :A
Frequency domain based on salient region extraction
YU Zhen-yang
(School of Computer Engineering,Huaiyin Institute of Technology,Huai’an 223003,China)
用 wlc 代 表 低 频 截 断 阈 值,whc 代 表 高 频 截 断 阈值.为了克服多尺度 分 析 方 法 的 缺 点,突 出 大 的 显著性目标,需 要 考 虑 原 始 图 像 对 应 的 非 常 低 的 频率,也 就 是 wlc 要 低.wlc 低 有 助 于 一 致 地 突 出 显 著性目标,不会只突出 目 标 的 一 部 分.为 了 获 得 明 确的边界,需要保持原 始 图 像 对 应 的 高 频 信 息,也 就是 whc 要 高.然 而,为 了 避 免 噪 声、纹 理、阻 挡 物 体的高 频 信 息 的 干 扰,需 要 去 除 最 高 的 频 率.因 此,显著图应该包含较 大 范 围 的 频 率,所 以 一 些 带 通 滤 波 器 [wlc ,whc]的 组 合 是 非 常 必 要 的 . 2.1 高 斯 差 分 滤 波 器 带 通 滤 波 器 组 合
Vol.8 No.3 Sep.2011
基于频率域的显著性区域提取方法
于振洋
(淮阴工学院 计算机工程学院,江苏 淮安 223003)
摘 要:一般的视觉显著性区域提取方法都不能一致 地 突 出 显 著 性 区 域 和 给 出 显 著 目 标 定 义 明 确 的 边 界 ,
因此提出一种基于频率域的显著性区域提取方法.该方 法 使 用 高 斯 差 分 滤 波 器 的 组 合 来 保 持 原 图 像 更 多 的
(a) 玩具熊
(b) 图(a)的显著图
图 2 多 尺 度 分 析 方 法 的 显 著 图 Fig.2 The saliency image of multi-scale
analysis method
2 基 于 频 率 域 的 显 著 图 计 算 方 法
本方法基于颜色和亮度来估计中心-周围像 素对比度.它有三大优 势:一 致 地 使 显 著 性 区 域 突 出,并且 使 该 区 域 具 有 明 确 的 边 界;完 整 的 分 辨 率 ;计 算 简 单 .
点的目标肯 定 能 被 三 个 滤 波 器 检 测 到,而 大 点 的
目标只能被 大 点 的 滤 波 器 检 测 到.因 为 最 终 的 显
第8卷第3期
于 振 洋 :基 于 频 率 域 的 显 著 性 区 域 提 取 方 法
85
著图是这三个特征图(对 应 着 三 个 滤 波 器 的 检 测) 之和的平均值,较小的 目 标 始 终 能 很 好 的 突 出.这 个从图2可 以 看 出,玩 具 熊 的 眼 睛 比 它 的 其 他 部 分更突出.因此,多尺度 分 析 方 法 不 能 统 一 地 突 出 显著性区域,只能突出 较 小 的 目 标.本 研 究 介 绍 的 方法能够解 决 这 个 问 题,有 效 地 输 出 完 整 分 辨 率 的显著图.
1 多 尺 度 分 析 方 法 的 原 理
显著度是 由 图 像 区 域 与 其 周 围 区 域 (选 取 不 同的大小范围)的对比 度 所 决 定 的.在 多 尺 度 分 析 方法中,由图 像 区 域 各 像 素 的 特 征 向 量 均 值 与 其 邻域特征向量的距离得到此区域的显著度.
图1(a)中 区 域 R1(颜 色 较 深 区 域)为 一 个 固 定大小的区域,区域 R2(颜色较 浅 区 域)为 包 含 区 域 R1 的一个 大 小 可 变(多 尺 度)区 域.图 1(b)中 区域 R1 的大小可以为一个像 素,但 是 当 图 像 中 噪 声比较 大 时,R1 可 以 设 定 为 一 个 较 小 的 区 域,如: 9×9 等像 素 块 大 小;而 区 域 R2 大 小 有 3 个 尺 度 (h/8,h/4,h/2,h ≤ w).图1(c)中通过由左到右、 由上到下遍历整 幅 图 像,计 算 R1 和 R2 的 特 征 距 离,并把特征距离转化 到 0 ~ 255 范 围 内,由 此 得 到灰度显著图.因为 R2 有3个尺度,计算R1 和R2 的特征距离作 为 显 著 度,这 样 共 得 到 3 幅 灰 度 显 著图.对3幅显著图对 应 像 素 点 的 灰 度 值 求 和、求 平 均 ,就 得 到 与 原 图 像 一 样 大 小 的 显 著 图 .
频率信息,在频率域里利用颜色和亮度信息来预测中间-周围对比度.该方法不仅能输出完整分辨率的显 著
图,而且解决了上述两个问题.对真实数据试验结果表 明,该 方 法 分 割 的 查 准 率 和 查 全 率 都 好 于 多 尺 度 分 析
方 法 和 Itti方 法 .
关 键 词 :显 著 图 ;频 率 域 ;多 尺 度 分 析 ;图 像 分 割 ;查 全 率
图像 R1显著度可以表示为:
N1
N2
[( ) ( )] ∑ ∑ cij = D
1 N1
Vp
p=1
,
1 N2
Vq
q=1
. (1)
式 中:N1 和 N2 分别为区域R1和区域R2中像素的
个数;V 为 区 域 R1 和 区 域 R2 中 各 像 素 的 特 征 向
量;D 为欧氏距离.
ຫໍສະໝຸດ Baidu
为了方便计 算,由 于 在 CIELab 颜 色 空 间 中,
84
长 沙 理 工 大 学 学 报 (自 然 科 学 版 )
2011 年 9 月
基于视觉特征 的 方 法 最 具 代 表 性 的 是Itti等 人 提 [1] 出 的 显 著 图 方 法.这 种 方 法 利 用 了 神 经 生 理 学 中 的 感 受 野 、侧 抑 制 神 经 网 络 等 研 究 成 果 ,模 拟了人的视 觉 注 意 力 机 制,认 为 像 素 与 背 景 的 对 比是吸引人注意 的 重 要 因 素,并 把 这 种 对 比 定 义 为该点的显 著 值.综 合 考 虑 颜 色、亮 度、方 向 等 多 种特征的显著值 得 到 图 像 的 显 著 图,然 后 再 根 据 显著图确定图像的显 著 区 域.在 此 基 础 上,很 多 人 也提 出 了 不 同 的 显 著 性 分 析 方 法,如:图 论 GB- VS[2]和频谱残差 SR[3]等.国 内 在Itti方 法 的 基 础 上提 出 了 多 尺 度 分 析 方 法 检 [4] 测 效 果 比 较 好,而 且 保 持 了 图 像 的 完 整 分 辨 率 ,防 止 信 息 丢 失 .
第8卷第3期 2011 年 9 月
长 沙 理 工 大 学 学 报 (自 然 科 学 版 ) Journal of Changsha University of Science and Technology(Natural Science)
文 章 编 号 :1672-9331(2011)03-0083-06
(3)
式中:mij是显著图 M 的像素所对应的显著度值.
多尺度分 析 方 法 保 持 了 图 像 的 分 辨 率,根 据
多尺度分析 方 法 的 原 理,小 于 滤 波 器 尺 寸 的 目 标
可以检测出 来,但 大 于 滤 波 器 尺 寸 的 目 标 只 能 部
分检测出来.能 被 最 小 滤 波 器 很 好 检 测 到 的 小 一
人所感觉的颜色差距近似 为 欧 氏 距 离,因 此 式 (1)
中D 可以表示为:
D = ‖v1 -v2‖.
(2)
式中:v1=[L1,a1,b1]T;v2= [L2,a2,b2]T 分 别 为
区域 R1和区域 R2的平均特征向量. 最终的显著图 M 在多种尺度s 下显著图的显
著度值的和为:
∑ mij = cij. S
对于一 幅 图 像 来 说,用 户 一 般 只 对 图 像 中 的 会选择不同 的 区 域 作 为 显 著 区 域.常 用 的 方 法 是 部分区域感 兴 趣,这 部 分 感 兴 趣 的 区 域 代 表 了 用 利用人的注 意 力 机 制 为 基 础 计 算 图 像 的 显 著 度. 户的查询意 图,而 多 数 剩 余 的 不 感 兴 趣 区 域 则 与 认知心理学 的 研 究 表 明,图 像 中 有 些 区 域 能 显 著 用户查询意 图 无 关.显 著 区 域 是 图 像 中 最 能 引 起 地吸引人的注意,这些 区 域 含 有 较 大 的 信 息 量.认 用户兴趣、最 能 表 现 图 像 内 容 的 区 域.事 实 上,显 知科学家已经提出了许 多 数 学 模 型 来 模 拟 人 的 注 著区域的选 择 是 非 常 主 观 的.由 于 用 户 任 务 和 知 意力机制.由 于 利 用 了 图 像 认 知 过 程 中 的 一 般 规 识背景的不同,对于同 一 幅 图 像,不 同 的 用 户 可 能 律,这样提取的显著区域比较符合人的主观评价.
作者借鉴多尺度分析方法的思想提出一种基 于频率域的图像 显 著 区 域 的 提 取 方 法,并 与 多 尺 度 分 析 方 法 和Itti方 法 进 行 了 对 比 .为 此 ,下 面 首 先简要介绍一下 多 尺 度 分 析 方 法 的 原 理,在 此 基 础上详 细 阐 述 了 本 研 究 提 出 的 显 著 区 域 提 取 方 法,并通过 实 验 对 比 了 本 研 究 提 出 的 方 法 与 Itti 方 法 、多 尺 度 分 析 方 法 的 性 能 好 坏 和 分 割 效 果 .
w
R2
R1
h/2
h
h/2
(a) 对比度滤波器里的内部区域 R1 和 R2 (b) 当 R1 大小固定时,不同尺度对应的 R2 的大小
(c) 计算显著图的遍历顺序
图 1 多 尺 度 分 析 方 法 流 程 示 意 图 Fig.1 The flow diagram of multi-scale analysis method