一种基于视觉注意的小目标检测方法_谢文亮
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[7]
3
暗目标检测
对比度可以表征图像平均灰度与其周围背景的差别
程度。局部对比度反应了图像中局部区域的反差特性。 选取局部对比度作为衡量候选区域视觉显著性的图像特 征， 在对图像进行预处理后， 建立如下模型：
f ′( x y) = (m b - f ( x y)) ´ Contrast ( x y)
小目标检测是图像处理与分析领域的一个重要内 容。所谓小目标指的是目标的成像尺寸属性， 就是指目标 在图像中所占的像素面积小， 根据国际组织 SPIE 的定义， 小目标为在 256×256 的图像中目标面积小于 80 个像素， 即 小于 256×256 的 0.12% 就为小目标。由于目标在图像中出 现的位置未知， 因此必须对整幅图像所有区域进行相同处 理， 导致算法的运算量较大而影响了其实用性。视觉选择 注意 （visual selective attention） 机制是灵长类动物处理视 觉信息的本质特征。人类视网膜对图像是非均匀采样的， 这是视觉选择注意机制的生物基础； 同时， 由于高层视觉 处理只是对初始传感器信息的一个子集进行处理， 因此需 要对初始得到的视觉信息进行选择。由此可知， 人类视觉 能够对输入的信息进行处理并分配优先级， 使感知具备选
Computer Engineering and Applications 计算机工程与应用
2013， 49 （12）
125
一种基于视觉注意的小目标检测方法
2 谢文亮 1， ， 朱
丹 2， 佟新鑫 2
2 XIE Wenliang1， , ZHU Dan2, TONG Xinxin2
1.中国科学院 研究生院， 北京 100049 2.中国科学院 沈阳自动化研究所， 沈阳 110016 1.Graduate University of Chinese Academy of Sciences, Beijing 100049, China 2.Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China XIE Wenliang, ZHU Dan, TONG Xinxin. Small target detection method based on visual attention. Computer Engineering and Applications, 2013, 49 （12） ： 125-128. Abstract： A small target detection method based on visual attention is presented aiming at easily and quickly marking the targets in the image. In this method, Itti’ s common visual attention computational model has been improved and the target detection process is divided into bright target detection and dark target detection. In bright target detection, a simplified Itti’ s model is put to use, and in dark target detection, this paper mainly builds a lateral inhibition network model. It can synthetize the two saliency maps formed in bright target detection and dark target detection to get the final saliency map. After that a threshold is set to get the pre-attention region in the image. In order to mark each target relatively integral, fuzzy C-means algorithm is used for image segmentation. It shows that the proposed algorithm can detect the targets to be detected effectively. Key words： visual attention; small target detection; saliency map; image segmentation 摘 要： 为了方便而快速地在图像中标出目标， 提出了一种基于视觉注意的小目标检测方法。该方法对 Itti 通用视觉注
（ f x， y）
ln
FFT
H （u， v）
IFFT
exp
g （x， y）
其中，f ( x y) 为图像中坐标为 ( x y) 处的像素灰度值，m b 为由像素 f ( x y) 所决定的邻域区域的灰度均值， 它反映了
意计算模型作了改进， 将目标检测过程分为亮目标检测和暗目标检测。其中亮目标检测采用了简化的 Itti 模型， 暗目标 检测主要采用侧抑制网络模型， 将亮目标检测与暗目标检测各自生成的显著图合成得到最终的显著图。通过设定一阈 值得到图像的预注意区域， 采用模糊 C- 均值算法进行图像分割， 以便相对完整地标出每个目标。结果表明， 算法能够有 效地检测待检测目标。 关键词： 视觉注意； 小目标检测； 显著图； 图像分割 文献标志码： A 中图分类号： TP391 doi： 10.3778/j.issn.1002-8331.1110-0357
择能力。如果能将这种注意机制引入机器视觉算法中， 优 先处理容易引起观察者注意的区域， 必将提高目前目标检 测算法的效率。 视觉注意机制可由计算模型实现， 在视觉注意计算模 型中， 用显著图 （saliency map） 来表示视觉区域的显著 性。显著图不仅表达视觉区域每个位置的显著性， 并且通 过显著性的空间分布来引导注意区域的选择。显著图最 初由 Koch 和 Ullman 在 1985 年提出 [1]， 其模型利用颜色、 方 向特征信息构造出一组特征图， 由各种特征图融合的显著 图来引导视觉注意， 采用返回抑制 （Inhibition of Return） 机 制 [2] 和 WTA （Winner-Take-All） 机 制 [3] 来 实 现 注 意 点 转 移。 Itti 在 Koch 和 Ullman 模型的基础上， 提出一个适合自 然图像的计算模型， 首先采用高斯金字塔结构对输入图像
126
2013， 49 （12）
ຫໍສະໝຸດ Baidu
Computer Engineering and Applications 计算机工程与应用 数来增强图像的对比度。
进行多尺度表示， 利用亮度、 颜色和方向信息来引导注意， 采用中央 -外周的计算策略在每种特征图内部进行竞争， 然 后通过线性组合得到总的显著图来引导注意， 最后采用 WTA 机制控制注意转移 [4-5]。 对于一些像素灰度值相对较小的目标， 可以采用基 于 侧抑制的原理， 抑制背景， 增强目标。侧抑制现象是由 Hartline 及其同事们用海洋生物作视觉仿生实验时发现的。 随后的生物信息处理研究表明， 侧抑制现象是视觉信息处 理的一个基本原则 [6]。侧抑制指的是相邻神经元之间能够 彼此抑制对方兴奋的现象。可以将图像中的每个像素理 解为视觉神经单元， 结合其邻域区域中像素的性质， 构建 侧抑制网络， 进行局部对比度增强处理， 以抑制背景， 增强 目标。 由于小目标缺乏形状、 尺寸、 纹理等特征， 故在研究时 主要考虑其亮度特性， 即目标的灰度信息。本文针对真实 场景中的图像序列， 将图像中待检测目标分为亮目标和暗 目标， 其中亮目标是指灰度均值高于附近背景均值的小目 标， 即小目标在图像中表现为亮的区域， 暗目标则是指灰 度均值低于附近背景均值的小目标。在亮目标检测过程 中， 对 Itti 提出的视觉注意计算模型 [4] 作了简化。同时由于 图像中暗目标与背景差异不够明显， 使用 Itti 模型无法使暗 目标所对应的像素点在显著图中具有较大的显著性值， 因 此将 Itti 模型作了改进， 对暗目标分开进行检测并生成显著 性图。暗目标检测过程中， 通过建立侧抑制网络模型， 将 模型中每个像素点处的输出作为显著性图， 之后与亮度显 著性图中对应像素点的显著性值相加， 得到最终的显著 图。显著图生成后， 选取显著性值最大的点作为初始注视 点， 一旦某个物体被注视过了， 则其显著性值降为零， 使用 WTA （Winner-Take-All） 策略在显著图中转移。同时为了 尽可能将各个目标较完整地检测出来， 采用了模糊 C-均值 （FCM） 算法对图像进行分割， 最终在图像中标记各待检测 目标。
作者简介： 谢文亮 （1986 —） ， 男， 硕士， 研究方向为实时图像处理； 朱丹 （1962 —） ， 男， 研究员， 硕士生导师， 中国宇航学会光电专业技术 委员会委员， 研究方向为实时图像处理、 模式识别。 E-mail： wlxie@sia.cn 收稿日期： 2011-10-18 修回日期： 2011-12-23 文章编号： 1002-8331 （2013） 12-0125-04 CNKI 出版日期： 2012-03-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120321.1734.016.html
2
亮目标检测
图像特征是对图像对象某个方面的视觉属性描述。
选择和提取合适的图像特征是将图像内容转化为定量的 可计算的信息描述形式的重要手段。在 Itti 建立的通用自 底向上的视觉注意计算模型中， 利用了图像的颜色、 亮度 和方向等早期视觉特征。由于该算法针对的是灰度图像 中的小目标， 不具有方向性， 因此只选取图像的亮度特征 作为基本特征。 亮度特征是由对暗中央亮周边或亮中央暗周边敏感 的神经元来检测的。在 Itti 模型中， 通过对原始图像进行低 通滤波和降采样得到高斯金字塔图像， 然后对建立的高斯 金 字 塔 图 像 进 行 中 央 -周 边 操 作 来 提 取 图 像 的 特 征 映 射 图。本文在 Itti 模型的基础上作了改进， 将与原始图像尺寸 成一定比例的一幅图像作为 “中央” 尺度， 通过改变高斯卷 积核的标准差大小来获取 “周边” 尺度， 算法模拟了 Itti 模型 中中央 -周边差算子思想， 计算特征图中视点中央与周围部 分的差值， 突出图像中 “与众不同” 的部分。主要计算步骤 如下： （1） 在多尺度上提取亮度特征。分别对原图像进行双 线性插值和降采样操作， 得到图像的大小分别为原图像的 4 倍和 1/4， 然后对此三幅图像提取其亮度特征， 得到亮度 特征图。 （2） 对所得到的三个特征图分别计算其显著性。主要 操作包括： 特征图与高斯核作二维卷积运算； 上一步结果 与特征图之差作平方运算。 （3） 跨尺度融合和归一化， 得到最终的亮度显著图。其 中归一化算子的具体操作步骤为： ①归一化特征图至一个固定范围 [0， 1， …， M ] 内， 其中 M 是该特征图中的最大像素值； ②计算除全局最大值外所有局部极大值的均值 m ˉ；
2 ③用 ( M - m ˉ ) 乘以特征图。
1
图像预处理
图像预处理是在对图像进行正式操作前的加工， 其目
的就是对质量下降的图像进行改善处理， 提高图像在视觉 上或系统处理上的质量。为了增强待检测目标与周围背 景的对比度， 先对图像利用同态系统进行增强处理。同态 滤波的图像增强是把图像的照明反射模型作为频域处理 的基础， 利用压缩亮度范围和增强对比度来改善图像的一 种处理技术 。同态滤波的过程如图 1 所示。
3
暗目标检测
对比度可以表征图像平均灰度与其周围背景的差别
程度。局部对比度反应了图像中局部区域的反差特性。 选取局部对比度作为衡量候选区域视觉显著性的图像特 征， 在对图像进行预处理后， 建立如下模型：
f ′( x y) = (m b - f ( x y)) ´ Contrast ( x y)
小目标检测是图像处理与分析领域的一个重要内 容。所谓小目标指的是目标的成像尺寸属性， 就是指目标 在图像中所占的像素面积小， 根据国际组织 SPIE 的定义， 小目标为在 256×256 的图像中目标面积小于 80 个像素， 即 小于 256×256 的 0.12% 就为小目标。由于目标在图像中出 现的位置未知， 因此必须对整幅图像所有区域进行相同处 理， 导致算法的运算量较大而影响了其实用性。视觉选择 注意 （visual selective attention） 机制是灵长类动物处理视 觉信息的本质特征。人类视网膜对图像是非均匀采样的， 这是视觉选择注意机制的生物基础； 同时， 由于高层视觉 处理只是对初始传感器信息的一个子集进行处理， 因此需 要对初始得到的视觉信息进行选择。由此可知， 人类视觉 能够对输入的信息进行处理并分配优先级， 使感知具备选
Computer Engineering and Applications 计算机工程与应用
2013， 49 （12）
125
一种基于视觉注意的小目标检测方法
2 谢文亮 1， ， 朱
丹 2， 佟新鑫 2
2 XIE Wenliang1， , ZHU Dan2, TONG Xinxin2
1.中国科学院 研究生院， 北京 100049 2.中国科学院 沈阳自动化研究所， 沈阳 110016 1.Graduate University of Chinese Academy of Sciences, Beijing 100049, China 2.Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China XIE Wenliang, ZHU Dan, TONG Xinxin. Small target detection method based on visual attention. Computer Engineering and Applications, 2013, 49 （12） ： 125-128. Abstract： A small target detection method based on visual attention is presented aiming at easily and quickly marking the targets in the image. In this method, Itti’ s common visual attention computational model has been improved and the target detection process is divided into bright target detection and dark target detection. In bright target detection, a simplified Itti’ s model is put to use, and in dark target detection, this paper mainly builds a lateral inhibition network model. It can synthetize the two saliency maps formed in bright target detection and dark target detection to get the final saliency map. After that a threshold is set to get the pre-attention region in the image. In order to mark each target relatively integral, fuzzy C-means algorithm is used for image segmentation. It shows that the proposed algorithm can detect the targets to be detected effectively. Key words： visual attention; small target detection; saliency map; image segmentation 摘 要： 为了方便而快速地在图像中标出目标， 提出了一种基于视觉注意的小目标检测方法。该方法对 Itti 通用视觉注
（ f x， y）
ln
FFT
H （u， v）
IFFT
exp
g （x， y）
其中，f ( x y) 为图像中坐标为 ( x y) 处的像素灰度值，m b 为由像素 f ( x y) 所决定的邻域区域的灰度均值， 它反映了
意计算模型作了改进， 将目标检测过程分为亮目标检测和暗目标检测。其中亮目标检测采用了简化的 Itti 模型， 暗目标 检测主要采用侧抑制网络模型， 将亮目标检测与暗目标检测各自生成的显著图合成得到最终的显著图。通过设定一阈 值得到图像的预注意区域， 采用模糊 C- 均值算法进行图像分割， 以便相对完整地标出每个目标。结果表明， 算法能够有 效地检测待检测目标。 关键词： 视觉注意； 小目标检测； 显著图； 图像分割 文献标志码： A 中图分类号： TP391 doi： 10.3778/j.issn.1002-8331.1110-0357
择能力。如果能将这种注意机制引入机器视觉算法中， 优 先处理容易引起观察者注意的区域， 必将提高目前目标检 测算法的效率。 视觉注意机制可由计算模型实现， 在视觉注意计算模 型中， 用显著图 （saliency map） 来表示视觉区域的显著 性。显著图不仅表达视觉区域每个位置的显著性， 并且通 过显著性的空间分布来引导注意区域的选择。显著图最 初由 Koch 和 Ullman 在 1985 年提出 [1]， 其模型利用颜色、 方 向特征信息构造出一组特征图， 由各种特征图融合的显著 图来引导视觉注意， 采用返回抑制 （Inhibition of Return） 机 制 [2] 和 WTA （Winner-Take-All） 机 制 [3] 来 实 现 注 意 点 转 移。 Itti 在 Koch 和 Ullman 模型的基础上， 提出一个适合自 然图像的计算模型， 首先采用高斯金字塔结构对输入图像
126
2013， 49 （12）
ຫໍສະໝຸດ Baidu
Computer Engineering and Applications 计算机工程与应用 数来增强图像的对比度。
进行多尺度表示， 利用亮度、 颜色和方向信息来引导注意， 采用中央 -外周的计算策略在每种特征图内部进行竞争， 然 后通过线性组合得到总的显著图来引导注意， 最后采用 WTA 机制控制注意转移 [4-5]。 对于一些像素灰度值相对较小的目标， 可以采用基 于 侧抑制的原理， 抑制背景， 增强目标。侧抑制现象是由 Hartline 及其同事们用海洋生物作视觉仿生实验时发现的。 随后的生物信息处理研究表明， 侧抑制现象是视觉信息处 理的一个基本原则 [6]。侧抑制指的是相邻神经元之间能够 彼此抑制对方兴奋的现象。可以将图像中的每个像素理 解为视觉神经单元， 结合其邻域区域中像素的性质， 构建 侧抑制网络， 进行局部对比度增强处理， 以抑制背景， 增强 目标。 由于小目标缺乏形状、 尺寸、 纹理等特征， 故在研究时 主要考虑其亮度特性， 即目标的灰度信息。本文针对真实 场景中的图像序列， 将图像中待检测目标分为亮目标和暗 目标， 其中亮目标是指灰度均值高于附近背景均值的小目 标， 即小目标在图像中表现为亮的区域， 暗目标则是指灰 度均值低于附近背景均值的小目标。在亮目标检测过程 中， 对 Itti 提出的视觉注意计算模型 [4] 作了简化。同时由于 图像中暗目标与背景差异不够明显， 使用 Itti 模型无法使暗 目标所对应的像素点在显著图中具有较大的显著性值， 因 此将 Itti 模型作了改进， 对暗目标分开进行检测并生成显著 性图。暗目标检测过程中， 通过建立侧抑制网络模型， 将 模型中每个像素点处的输出作为显著性图， 之后与亮度显 著性图中对应像素点的显著性值相加， 得到最终的显著 图。显著图生成后， 选取显著性值最大的点作为初始注视 点， 一旦某个物体被注视过了， 则其显著性值降为零， 使用 WTA （Winner-Take-All） 策略在显著图中转移。同时为了 尽可能将各个目标较完整地检测出来， 采用了模糊 C-均值 （FCM） 算法对图像进行分割， 最终在图像中标记各待检测 目标。
作者简介： 谢文亮 （1986 —） ， 男， 硕士， 研究方向为实时图像处理； 朱丹 （1962 —） ， 男， 研究员， 硕士生导师， 中国宇航学会光电专业技术 委员会委员， 研究方向为实时图像处理、 模式识别。 E-mail： wlxie@sia.cn 收稿日期： 2011-10-18 修回日期： 2011-12-23 文章编号： 1002-8331 （2013） 12-0125-04 CNKI 出版日期： 2012-03-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120321.1734.016.html
2
亮目标检测
图像特征是对图像对象某个方面的视觉属性描述。
选择和提取合适的图像特征是将图像内容转化为定量的 可计算的信息描述形式的重要手段。在 Itti 建立的通用自 底向上的视觉注意计算模型中， 利用了图像的颜色、 亮度 和方向等早期视觉特征。由于该算法针对的是灰度图像 中的小目标， 不具有方向性， 因此只选取图像的亮度特征 作为基本特征。 亮度特征是由对暗中央亮周边或亮中央暗周边敏感 的神经元来检测的。在 Itti 模型中， 通过对原始图像进行低 通滤波和降采样得到高斯金字塔图像， 然后对建立的高斯 金 字 塔 图 像 进 行 中 央 -周 边 操 作 来 提 取 图 像 的 特 征 映 射 图。本文在 Itti 模型的基础上作了改进， 将与原始图像尺寸 成一定比例的一幅图像作为 “中央” 尺度， 通过改变高斯卷 积核的标准差大小来获取 “周边” 尺度， 算法模拟了 Itti 模型 中中央 -周边差算子思想， 计算特征图中视点中央与周围部 分的差值， 突出图像中 “与众不同” 的部分。主要计算步骤 如下： （1） 在多尺度上提取亮度特征。分别对原图像进行双 线性插值和降采样操作， 得到图像的大小分别为原图像的 4 倍和 1/4， 然后对此三幅图像提取其亮度特征， 得到亮度 特征图。 （2） 对所得到的三个特征图分别计算其显著性。主要 操作包括： 特征图与高斯核作二维卷积运算； 上一步结果 与特征图之差作平方运算。 （3） 跨尺度融合和归一化， 得到最终的亮度显著图。其 中归一化算子的具体操作步骤为： ①归一化特征图至一个固定范围 [0， 1， …， M ] 内， 其中 M 是该特征图中的最大像素值； ②计算除全局最大值外所有局部极大值的均值 m ˉ；
2 ③用 ( M - m ˉ ) 乘以特征图。
1
图像预处理
图像预处理是在对图像进行正式操作前的加工， 其目
的就是对质量下降的图像进行改善处理， 提高图像在视觉 上或系统处理上的质量。为了增强待检测目标与周围背 景的对比度， 先对图像利用同态系统进行增强处理。同态 滤波的图像增强是把图像的照明反射模型作为频域处理 的基础， 利用压缩亮度范围和增强对比度来改善图像的一 种处理技术 。同态滤波的过程如图 1 所示。