图像序列的显著性目标区域检测方法

（１）
～
～
～
式中， Ｉ 代表亮度显著图，Ｃ 代表颜色显著图，Ｏ
７７０
中国光学
第 ８ 卷
代表方
向
显
著
图，
～
Ｍ
代 表 运 动 显 著 图， α， β， γ， λ
是权重系数，满足 α＋β＋γ＋λ＝１，通过提出的多
通道参数估计方法得到，具体算法详见下节内容。
３ 视觉显著性特征提取方法
３．１ 静态特征提取 静态显著性特征的提取是在 Ｉｔｔｉ 视觉注意模
型基础上进行的。 本文在方向特征提取上进行了 改进，使融合后的静态显著图更有利于和动态显 著图融合。 对输入图像用 ９ 层高斯金字塔进行滤 波，提取亮度、颜色、方向特征，由于视觉神经元一 般对于视觉场景中一小段范围最敏感，而对于它 的周围有局部的抑制作用，因此这里对于亮度和 颜色，采用中央－外围（ Ｃｅｎｔｅｒ－Ｓｕｒｒｏｕｎｄ） 算子进行 差分，它是基于 ＤｏＧ（Ｄｉｆｆｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉｏｎｓ）方式：
Ｇ（ ｘ，ｙ）
＝ １ ｅ２ －（ ｘ２２σ＋２１ｙ２） ２πσ１
－ ２
１ πσ２２
ｅ
－（
ｘ２２σ＋２２ｙ２）
．（２）
当 σ１ ＜σ２ 时，Ｇ（ｘ，ｙ）称为二维 ＯＮ 型 ＤｏＧ 算 子；当 σ１ ＞σ２ 时，Ｇ（ｘ，ｙ）称为二维 ＯＦＦ 型 ＤｏＧ 算 子。 σ１ 的作用是控制 Ｃｅｎｔｅｒ（ 中央凹） 的敏感区， 而 σ２ 的作用是控制 Ｓｕｒｒｏｕｎｄ（外围）的敏感区。
图 １ 融入运动特征的视觉显著性模型 Ｆｉｇ．１ Ｖｉｓｕａｌ ｓａｌｉｅｎｃｙ ｍｏｄｅｌ ｆｕｓｅｄ ｗｉｔｈ ｍｏｔｉｏｎ ｆｅａｔｕｒｅｓ
本文生成全局显著图，将亮度显著图、颜色显
著图、方向显著图和运动显著图进行多尺度融合。
全局显著图 Ｓ 的计算公式如下，
～
～
～
～
Ｓ ＝αＩ ＋βＣ ＋γＯ ＋λＭ，
第５ 期
柯洪昌，等：图像序列的显著性目标区域检测方法
７６９
ｐｅｒｉｍｅｎｔ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ａｖｅｒａｇｅ ｓｉｍｉｌａｒｉｔｙ ｏｆ ｆｏｃｕｓ ｏｆ ａｔｔｅｎｔｉｏｎ ｉｓ ０畅８７．Ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｃａｎ ｍｏｒｅ ｅｆｆｉｃｉｅｎｔｌｙ ａｎｄ ａｃｃｕｒａｔｅｌｙ ｌｏｃａｔｅ ｔｈｅ ｒｅｇｉｏｎ ｗｈｅｒｅ ｔｈｅ ｓｅａｒｃｈｅｄ ｔａｒｇｅｔ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ａｎｄ ｃａｎ ｉｍｐｒｏｖｅ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｔａｒｇｅｔ ｓｅａｒｃｈｉｎｇ． Ｋｅｙ ｗｏｒｄｓ： ｖｉｓｕａｌ ｓａｌｉｅｎｃｙ；ｔｏｐ－ｄｏｗｎ；ｔａｒｇｅｔ ａｒｅａ ｄｅｔｅｃｔｉｏｎ；ｓａｌｉｅｎｃｙ ｍａｐ
Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｃｈｕｎ １３００１２，Ｃｈｉｎａ） 倡Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｕｔｈｏｒ， Ｅ－ｍａｉｌ：ｋｅｈｏｎｇｃｈａｎｇ１９８１＠１６３．ｃｏｍ
Ａｂｓｔｒａｃｔ： Ｆｏｒ ｔｈｅ ｌａｃｋ ｏｆ ｔｏｐ－ｄｏｗｎ ｔａｓｋ ｇｕｉｄａｎｃｅ ａｎｄ ｄｙｎａｍｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｏｆ ｔｒａｄｉｔｉｏｎａｌ ｖｉｓｕａｌ ｓａｌｉ－ ｅｎｃｙ ｍｏｄｅｌ， ａ ｖｉｓｕａｌ ｓａｌｉｅｎｃｙ ｍｏｄｅｌ ｆｕｓｅｄ ｗｉｔｈ ｔｈｅ ｍｏｔｉｏｎ ｆｅａｔｕｒｅｓ ｉｓ ｄｅｓｉｇｎｅｄ ａｎｄ ｉｍｐｌｅｍｅｎｔｅｄ．Ｔｈｅ ｓｔａｔｉｃ ｆｅａｔｕｒｅｓ ａｎｄ ｍｏｔｉｏｎ ｆｅａｔｕｒｅｓ ａｒｅ ｅｘｔｒａｃｔｅｄ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｏｄｅｌ．Ｔｈｅ ｓｔａｔｉｃ ｆｅａｔｕｒｅｓ ａｒｅ ｅｘｔｒａｃｔｅｄ ｆｒｏｍ ｔｈｅ ｉｎｔｅｎｓｉｔｙ， ｃｏｌｏｒ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｃｈａｎｎｅｌ ｏｆ ｔｈｅ ｃｕｒｒｅｎｔ ｆｒａｍｅ ｉｍａｇｅ．Ｔｈｅ ｍｏｔｉｏｎ ｆｅａｔｕｒｅｓ ａｒｅ ｅｘｔｒａｃｔｅｄ ｂａｓｅｄ ｏｎ ｔｈｅ ｍｕｌｔｉ－ｓｃａｌｅｓ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ．Ｔｈｅ ｓａｌｉｅｎｃｙ ｍａｐｓ ｏｆ ｆｏｕｒ ｃｈａｎｎｅｌｓ ｃａｎ ｂｅ ｏｂｔａｉｎｅｄ ｂｙ ｆｉｌｔｅｒｉｎｇ ａｎｄ ｄｉｆｆｅｒｅｎｃｅ．Ｂａｓｅｄ ｏｎ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｏｄｅｌ ａ ｍｅｔｈｏｄ ｏｆ ｐａｒａｍｅｔｅｒ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｍｕｌｔｉ ｃｈａｎｎｅｌ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｃａｌｃｕｌａｔｅ ｔｈｅ ｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎ ｔｈｅ ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔｉｎｇ ｏｆ ｃｕｒｒｅｎｔ ｉｍａｇｅ ａｎｄ ｔｈｅ ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔｉｎｇ ｏｆ ｅｙｅｓ ｍｏｖｅｍｅｎｔ， ｔｈｅｎ ｇｕｉｄｅ ｔｏ ｇｅｎｅｒａｔｅ ｔｈｅ ｇｌｏｂａｌ ｓａｌｉｅｎｃｙ ｍａｐ， ｗｈｉｃｈ ｃａｎ ｐｒｏｖｉｄｅ ａ ｃａｌｃｕｌａｔｉｏｎ ｍｅｃｈａｎｉｓｍ ｆｏｒ ａｃ－ ｃｕｒａｔｅ ｌｏｃａｔｉｏｎ ｏｎ ｉｍａｇｅｓ．２０ ｇｒｏｕｐｓ ｏｆ ｖｉｄｅｏ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ（５０ ｉｍａｇｅｓ ｐｅｒ ｇｒｏｕｐ） ａｒｅ ｓｅｌｅｃｔｅｄ ｆｏｒ ｔｈｅ ｅｘ－
本文在前人工作的基础上，设计并实现了一 个融入运动特征的视觉显著性模型，基于这个模 型，提出一种基于多尺度差分的运动特征提取方 法，在指导全局显著图的生成时，基于多通道参数 估计方法计算各通道在整合时的权重，从而能准 确定位目标在图像上的位置。
本文首先提取当前帧图像的亮度、颜色和方 向信息，通过高斯金字塔和小波分解滤波，然后归 一化处理计算得到多尺度特征，生成各个通道的 显著图；在得到运动显著图时，要对当前帧和前一 帧图像分别滤波提取动态特征，然后对两帧图像 的特征图进行多尺度的差分，再融合为运动显著 图；最终通过多通道加权方法生成全局显著图，采 用 ＷＴＡ 机制来最终得到感兴趣区域，即注意焦 点。 融入运动特征的视觉显著性模型如图 １ 所 示。
同理，输入图像 Ｉ 的颜色特征 Ｃ（ ｃ，ｓ） 也可用 尺度差分得到：
Ｃ（ｃ，ｓ） ＝｜Ｃ（ｃ） 磓 Ｃ（ｓ） ｜． （４）
由于输入图像场景中要提取的注意焦点存在 运动特征，因此图像的方向特征提取与亮度和颜 色特征提取方式不同，通过小波变换的 Ｍａｌｌａｔ 算 法进行 ９ 个尺度的小波分解，其中将小波分解中 的三个高频分量组成方向金字塔， 则方向特征 Ｏ（ｃ，ｓ，θ） 在 ４ 个 方 向 上 进 行 尺 度 差 分 得 到 Ｏ（ σ，θ） ：
因此
Ｉσ
的宽度
ｗσ ｋ
和高度
ｈ
σ ｋ
满足：
ｗσ ｋ
≤
ｗσ－１ ｋ ２
＋１
．
ｈ
σ ｋ
≤
Ｏ（ ｃ，ｓ，θ） ＝｜Ｏ（ｃ，θ） 磓 Ｏ（ ｓ，θ） ｜， （５）
式中，ｃ 代表 Ｃｅｎｔｅｒ 的某一尺度，ｃ∈｛２，３，４｝，即 ９ 层中的第 ２，３，４ 层，θ∈｛０，π／４，π／２，３π／４｝，代 表 ４ 个方向。 ３．２ 基于多尺度差分的运动特征提取
运动特征的提取并没有采用传统的帧差法来 处理，本文提出一种基于多尺度差分的运动特征 提取方法，方法原理为：对相邻两帧图像进行不同 尺度的滤波，可得到图像 Ｉσ，其中 σ∈｛０，１，２，３， ４｝，代表 ５ 个尺度，设当前帧图像为 Ｉｔ（ｘ，ｙ），前一 帧图像为 Ｉｔ －１ （ｘ，ｙ），图像 Ｉｔ（ ｘ，ｙ） 金字塔中的每一 层图像可 以 通 过 上 一 层 的 图 像 通 过 差 分 迭 代 生 成，同理我们可以得到其他层图像金字塔。 如式 （６ ） 所示。
对于输入图像 Ｉ 的亮度特征 Ｉ（ ｃ，ｓ），可以用 尺度差分得到：
Ｉ（ｃ，ｓ） ＝｜Ｉ（ｃ） 磓 Ｉ（ｓ） ｜，
（３）
式中，ｃ 代表 Ｃｅｎｔｅｒ 的某一尺度，ｃ∈｛２，３，４｝，即 ９ 层中的第 ２，３，４ 层；其中 ｓ 代表 Ｓｕｒｒｏｕｎｄ 的某一 尺度，ｓ∈｛３，４｝，即 ９ 层中的第 ３，４ 层， 代表两个 特征图的每个像素作差分。
当前有些学者将协同感知理论［１２］ 、多尺度分 析和编组、多尺度熵理论应用到视觉注意的整合 阶段［１３－１４］ ，并取得了较好的效果。 但是这些模型 仅是基于空间注意，并且在处理动态信息时略显 不足。 并且大部分模型往往都存在计算复杂性过 高的问题。 一些关于心理学及神经科学的研究成 果表明，在视觉通路中，对于亮度、颜色和方向等 特征的提取通常并不需要同等对待，往往都会随 着自顶向下给出任务的不同而不同，这种特征权 重随任务而改变的视觉信息处理机制使得人们能 够快速有效地定位目标［１５－１６］ 。 因此，需要根据任 务情境的不同计算相应通道的特征权重值，来指 导全局显著图的生成，进而准确地定位目标。
Ａ ｓａｌｉｅｎｃｙ ｔａｒｇｅｔ ａｒｅａ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｉｍａｇｅ ｓｅｑｕｅｎｃｅ
ＫＥ Ｈｏｎｇ－ｃｈａｎｇ倡 ， ＳＵＮ Ｈｏｎｇ－ｂｉｎ （ Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈａｎｇｃｈｕｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ
１ 引 言
２ 视觉显著性模型及其原理
视觉注意机制可以快速定位到当前图像中的 一些显著性区域。 视觉注意计算机模型可以不用 人工参与快速查找到图像中感兴趣区域，对图像 处理和图像复原等技术提供理论支持［１－５］ 。 １９９８ 年，Ｉｔｔｉ 和 Ｋｏｃｈ 等人建立了基于显著的空间注意 计算机模型［６－７］ ，该模型在提取特征向量时采用多 通道和多尺度的滤波器对图像进行滤波，在提取 特征后，用中央－外围（ Ｃｅｎｔｅｒ－Ｓｕｒｒｏｕｎｄ） 算子来模 拟细胞的感受野特性，从而获得显著图；然后根据 生成的显著图，用胜者全胜（ＷＴＡ） 机制来确定显 著性区域，从而得到待检测目标［８－１１］ 。
第 ８ 卷 第 ５ 期 ２０１５ 年 １０ 月
中国光学
Ｃｈｉｎｅｓｅ Ｏｐｔｉｃｓ
Ｖｏｌ．８ Ｎｏ．５ Ｏｃｔ．２０１５
文章编号 ２０９５－１５３１（２０１５）０５－０７６８－０７
图像序列的显著性目标区域检测方法
柯洪昌倡 ，孙宏彬
（长春工程学院 计算机技术与工程学院，吉林 长春 １３００１２）
摘要：针对传统视觉显著性模型在自顶向下的任务指导和动态信息处理方面的不足，设计并实现了融入运动特征的视觉 显著性模型。 利用该模型提取了图像的静态特征和动态特征，静态特征的提取在图像的亮度、颜色和方向通道进行，运 动特征的提取采用基于多尺度差分的特征提取方法实现，然后各通道分别通过滤波、差分得到显著图，在生成全局显著 图时，提出多通道参数估计方法，计算图像感兴趣区域与眼动感兴趣区域的相似度，从而可在图像上准确定位目标位置。 针对 ２０ 组视频图像序列（每组 ５０ 帧）进行了实验，结果表明：本文算法提取注意焦点即目标区域的平均相似度为 ０畅８７， 使用本文算法能够根据不同任务情境，选择各特征通道的权重参数，从而可有效提高目标搜索的效率。 关 键 词：视觉显著性；自顶向下；目标区域检测；显著图 中图分类号：ＴＰ３９１．４ 文献标识码：Ａ ｄｏｉ：１０．３７８８ ／ＣＯ．２０１５０８０５．０７６８
Ｉσ（ ｘ，ｙ）
＝
１ ４
Ｉσ－１ （２ｘ，２ｙ）
＋１ ８
［Ｉσ－１ （２ｘ
＋
Baidu Nhomakorabea
γ，２ｙ） ＋Ｉσ－１ （２ｘ，２ｙ ＋γ）］ ＋ ， （６）
１ １６
Ｉ
σ－１
（
２ｘ
＋γ，２ｙ
＋γ）
式中，σ代表金字塔的尺度，γ的值取 １， －１。
式（７） 为
ｘ
和
ｙ
的范围，满足
０
≤２
ｘ
≤ｗ
σ－１ ｋ
，０
≤２ｙ≤ｈσ ｋ －１ 。
收稿日期：２０１５－０７－１２；修订日期：２０１５－０９－２０ 基金项目： 国家高技术研究发展计划（８６３ 计划） 资助项目（ Ｎｏ．２０１２ＡＡ０４０１０４）；吉林省科技厅资助项 目 （ Ｎｏ．
２０１２０３３２） ；吉林省发改委资助项目（ Ｎｏ．２０１３Ｃ０４８） ；吉林省科技厅国际合作资助项目（ Ｎｏ．２０１４０１０５） ；吉 林省教育厅资助项目（ Ｎｏ．２０１３０４３４，Ｎｏ．２０１４００３２）