视觉显著性算法概述.

AIM模型
• AIM（Attention-based on Information Maximization ）模型利用香农的自信息度量，将图像的特征平 面变换到对应于视觉显著性的维度上。 • AIM假设：一个视觉特征的显著性就是该特征相 对于它周围其他特征提供的信息的差别度。 • 根据香农定理，图像特征对应的自信息通过下面 的公式进行计算
q(t ) f1 (t ) f 2 (t ) 2 f1 (t ) M (t ) RG(t ) 1 f 2 (t ) BY (t ) I (t ) 1
r (t ) g (t ) r (t ) g (t ) Y (t ) b(t ) 2 2
PQFT模型
• 类似于人类视觉系统，对立颜色通道定义为
RG(t ) R(t ) G(t ), BY (t ) B(t ) Y (t )
• 亮度通道和运动通道定义为
r (t ) g (t ) b(t ) I (t ) 3 M (t ) I (t ) I (t )
• 其中 I 为图像特征的几何平均向量， I hc 为对原始 图像的高斯模糊，采用 5 的二项式核。 5 为 L2 范数， x, y为像素点坐标 。
SR模型
• SR（Spectral Residual）模型是由Hou等人提出 来的，基于空间频域分析的算法之一，显著 R( f ) 图通过对剩余谱 做傅里叶逆变换得到。 • 剩余谱 定义为
研究现状
• 显著性检测一般分为两类
– 自下而上基于数据驱动的显著性区域突现 – 自上而下任务驱动的目标突现
• 本报告只关注自下而上的显著性检测算法
研究现状
• Achanta 将这些算法分成三类
– 基于低层视觉特征，代表性算法是文献[1]中提出的模 拟生物体视觉注意机制的选择性注意算法(Itti 算法) – 没有基于任何生物视觉原理的纯数学计算方法，如 Achanta 等[4] 提出的全分辨率算法(AC 算法) 和Hou 等 [5] 提出的基于空间频域分析的剩余谱算法 (Spectralresidual approach, SR) – 将前两种进行融合的方法，代表性算法是Harel 等[6] 提 出的基于图论的算法(Graph-based visual saliency， GBVS)
• 其中 为使用者设定的延迟因子。
PQFT模型
• 四元组图像可以表示为下列形式
q(t ) M (t ) RG(t )1 BY (t )2 I (t )3
其中 i , i 1,2,3，满足 i2 1 ，2 3 , 1 3 , 3 12 1 2 , q(t ) 可以写成如下形式
FTS模型
• FTS（Frequency-Tuned Saliency）模型是由Achanta 等人提出的一种自底向上的显著性检测方法，通 过局部颜色和亮度特征的对比多尺度方法求像素 点显著值。 • 将原始图像由SRGB颜色空间转化成CIE颜色空间， 然后显著性映射定义为
S ( x, y ) I I hc
PQFT模型
t 1,2,, T， T • 假设 F (t ) 表示时间t时刻的输入图像， 为所有图像帧的总数。 F (t ) 分为红、绿、蓝三个颜 色通道，表示为 r (t ), g (t ),b(t ) ，那么，可以将三 个颜色通道扩展为四个广义的颜色通道：
g (t ) b(t ) 2 r (t ) b(t ) G (t ) g (t ) 2 g (t ) r (t ) B(t ) b(t ) 2 R(t ) r (t )
R( f )
ቤተ መጻሕፍቲ ባይዱ
R( f ) log(A( f ) hn ( f ) * log(A( f ))) • 其中， 为原图二维傅里叶变换得到的频域 A( f ) 空间， 为局部平均滤波器（一般n取3）
hn ( f )
PQFT模型
• PQFT（Phase Spectrum of Quaternion Fourier Transform）模型是由Guo等人在Spectral Residual基础之上提出的，该方法通过计算图像 的四元傅里叶变换的相位谱得到图像的时空显著 性映射。 • 事实上，图像的相位谱即图像中的显著性目标。 图像中的每一个像素点都用四元组表示：颜色， 亮度和运动向量。 • PQFT模型独立于先验信息，不需要参数，计算 高效，适合于实时显著性检测
I ( x ) log( p ( x )) 为特征的概率密度函数。
p( x)
GBVS模型
• GBVS（Graph-Based Visual Saliency）模型是 在Itti的模型基础之上运用马尔可夫随机场 的特点构建二维图像的马尔可夫链，通过 求其平衡分布而得到显著图 • 算法步骤：
– 特征的提取：与Itti 算法类似 – 显著图生成 ：马尔可夫链方法
关于自底向上的显著性方法的综述
报告人：周静波
2012年08月30日
报告提纲
一．研究现状
二．算法模型介绍
三．实验结果及分析 四．结论
研究现状
研究现状
• 基于视觉注意的显著性区域检测对于图像 分析过程有着非常重要的意义。注意是人 类信息加工过程中的一项重要的心理调节 机制，它能够对有限的信息加工资源进行 分配，使感知具备选择能力。如果能够将 这种机制引入图像分析领域，将计算资源 优先分配给那些容易引起观察者注意的区 域，这样必将极大的提高现有的图像处理 分析方法的工作效率。显著性区域检测正 是在这个基础上提出并发展起来的。
研究现状
• Goferman将显著性分析算法分成以下三类
– 考虑局部特征的，如Itti 算法和GBVS 算法
– 考虑整体性的，如SR 算法和Achanta 等[3] 提出 的算法(IG 算法) – 局部与整体结合的，如Goferman等[7]和Liu 等 提出的算法
算法模型介绍
Itti模型
• Itti 模型中, 显著值是像素点在颜色、亮度、方向 方面与周边背景的对比值。该模型包括两个步骤: – 特征提取 – 显著图生成