视觉显著性算法概述

AIM模型
• AIM（Attention-based on Information Maximization ）模型利用香农的自信息度量，将图像的特征平 面变换到对应于视觉显著性的维度上。 • AIM假设：一个视觉特征的显著性就是该特征相 对于它周围其他特征提供的信息的差别度。 • 根据香农定理，图像特征对应的自信息通过下面 的公式进行计算
PQFT模型
t 1,2,, T， T • 假设 F (t ) 表示时间t时刻的输入图像， 为所有图像帧的总数。 F (t ) 分为红、绿、蓝三个颜 色通道，表示为 r (t ), g (t ),b(t ) ，那么，可以将三 个颜色通道扩展为四个广义的颜色通道：
g (t ) b(t ) 2 r (t ) b(t ) G (t ) g (t ) 2 g (t ) r (t ) B(t ) b(t ) 2 R(t ) r (t )
q(t ) f1 (t ) f 2 (t ) 2 f1 (t ) M (t ) RG(t ) 1 f 2 (t ) BY (t ) I (t ) 1
PQFT模型
• 将图像中每一个像素点表示为 q(n, m, t ) ，(n, m) 为空间坐标， t为时间坐标。四元傅里叶图像变化 写成 Q[u, v] F1[u, v] F2[u, v]2
SDSR模型
• 对于像素点i，与之对应的特征矩阵 Fi ，给 定像素点i周围相邻的像素点特征矩阵 Fj ， 显著性映射为
Si

N j 1
exp(
1 1 ( Fi , F j )

2
)
Fi Fj • 其中 ( Fi , Fj )为矩阵 和 的余弦相似性， 为局部权重参数。局部特征矩阵的列表示 局部指导核的输出
研究现状
• Goferman将显著性分析算法分成以下三类
– 考虑局部特征的，如Itti 算法和GBVS 算法
– 考虑整体性的，如SR 算法和Achanta 等[3] 提出 的算法(IG 算法) – 局部与整体结合的，如Goferman等[7]和Liu 等 提出的算法
算法模型介绍
Itti模型
• Itti 模型中, 显著值是像素点在颜色、亮度、方向 方面与周边背景的对比值。该模型包括两个步骤: – 特征提取 – 显著图生成
PQFT模型
• 可将 q(t ) 表示为 Q(t ) 的极坐标形式
Q(t ) Q(t ) e(t )
• 其中 (t ) 为Q(t ) 的相位谱。设定 Q(t ) 1 ，则只剩 下相位信息q(t ) 。计算逆相位信息 q' (t ) 可得到
q' (t ) 0 (t ) 1 (t )1 2 (t )2 3 (t )3
• 时空显著性映射为 sM (t ) g * q ' (t )
2
• 其中g表示二维高斯平滑滤波。当输入为静态图像 M (t ) 0 。 时，
SDSR模型
• SDSR（Saliency Detection by SelfResemblance）模型由Seo等人提出的，通过 计算感兴趣像素点的特征矩阵与其相邻的 像素点的特征矩阵之间的相似性，来确定 像素点的显著性映射。 • 每一个像素点的局部图像结构表示成一个 局部描述子（局部回归核）矩阵；然后， 利用矩阵余弦相似计算量化每一个像素点 和它相邻的像素点对应的局部描述子矩阵 之间的相似性。
det(Ci ) ( xl xi )T Cl ( xl xi ) K ( xl xi ) exp( ) 2 2 h 2h
SDSR模型
SUN模型
• SUN（Saliency Using Natural Statistics）模型由Zhang 等人提出的，模仿视觉系统检测潜在的目标。 • 假设z代表视觉区域中的一个点。二值随机变量C代 表该点是否属于目标，L表示该点的坐标位置，F表 示该点的视觉特征。 定义为 ， sz p(C 1 | F f z , L lz ) 分别表示点z的特征和坐标。根据贝叶斯定理
FTS模型
• FTS（Frequency-Tuned Saliency）模型是由Achanta 等人提出的一种自底向上的显著性检测方法，通 过局部颜色和亮度特征的对比多尺度方法求像素 点显著值。 • 将原始图像由SRGB颜色空间转化成CIE颜色空间， 然后显著性映射定义为
S ( x, y ) I I hc
• 其中 I 为图像特征的几何平均向量， I hc 为对原始 图像的高斯模糊，采用 5 的二项式核。 5 为 L2 范数， x, y为像素点坐标 。
SR模型
• SR（Spectral Residual）模型是由Hou等人提出 来的，基于空间频域分析的算法之一，显著 R( f ) 图通过对剩余谱 做傅里叶逆变换得到。 • 剩余谱 定义为
Self inf ormation ( bottom up saliency) Log likelihood ( top down knowledge of appearance )

log p(C 1 | L lz )
Location prior ( top down knowledge of t arg et ' s location)
I ( x ) log( p ( x )) 为特征的概率密度函数。
p( x)
GBVS模型
• GBVS（Graph-Based Visual Saliency）模型是 在Itti的模型基础之上运用马尔可夫随机场 的特点构建二维图像的马尔可夫链，通过 求其平衡分布而得到显著图 • 算法步骤：
– 特征的提取：与Itti 算法类似 – 显著图生成 ：马尔可夫链方法
R( f )
R( f ) log(A( f ) hn ( f ) * log(A( f ))) • 其中， 为原图二维傅里叶变换得到的频域 A( f ) 空间， 为局部平均滤波器（一般n取3）
hn ( f )
QFT模型
• PQFT（Phase Spectrum of Quaternion Fourier Transform）模型是由Guo等人在Spectral Residual基础之上提出的，该方法通过计算图像 的四元傅里叶变换的相位谱得到图像的时空显著 性映射。 • 事实上，图像的相位谱即图像中的显著性目标。 图像中的每一个像素点都用四元组表示：颜色， 亮度和运动向量。 • PQFT模型独立于先验信息，不需要参数，计算 高效，适合于实时显著性检测
( bottom up saliency) T arg et dependent ( top down saliency)
• 对上式两边同时取对数，由于对数函数是单调增 加的，因此不会影响各点的显著值排列
log sz log p( F f z ) log p( F f z | C 1)
S (Ik )
• 其中D( I k , Ii )为像素在Lab空间的颜色距离度量。如果 忽略空间关系，使得具有相同颜色的像素归到一起 ，得到每一个颜色的显著性值
S ( I k ) S (cl ) f j D(cl , c j )
f z , lz
sz p(C 1 | F f z , L lz ) p( F f z , L lz | C 1) p(C 1) p( F f z , L l z )
SUN模型
• 假设特征和坐标相互独立，那么
sz p( F f z , L lz ) p( L lz | C 1) p(C 1) p( F f z ) p( L lz ) 1 p( F f z | C 1) p(C 1 | L lz ) p( F f z ) Likelihood Location prior T arg et independent
SUN模型
•
log p( F f z只依赖于点 ) z的视觉特征，独立于任何
先验信息。在信息论中，该项实际上求随机变量F 取值为时的 f自信息。 z log p(F f z C 体现了目标的先验信息。比如，当知 1) • 道目标物体为绿色时，那么该项的值在遇到绿色点 时比遇到蓝色点要大。 log p(C 1 L l独立于视觉特征，反映了目标物体位 • z) 置的先验信息。一般情况下，我们并不知道目标的 位置信息和目标的视觉特征，于是我们省略后两项 ，只剩下自信息这一项
研究现状
• 显著性检测一般分为两类
– 自下而上基于数据驱动的显著性区域突现 – 自上而下任务驱动的目标突现
• 本报告只关注自下而上的显著性检测算法
研究现状
• Achanta 将这些算法分成三类
– 基于低层视觉特征，代表性算法是文献[1]中提出的模 拟生物体视觉注意机制的选择性注意算法(Itti 算法) – 没有基于任何生物视觉原理的纯数学计算方法，如 Achanta 等[4] 提出的全分辨率算法(AC 算法) 和Hou 等 [5] 提出的基于空间频域分析的剩余谱算法 (Spectralresidual approach, SR) – 将前两种进行融合的方法，代表性算法是Harel 等[6] 提 出的基于图论的算法(Graph-based visual saliency， GBVS)
r (t ) g (t ) r (t ) g (t ) Y (t ) b(t ) 2 2
PQFT模型
• 类似于人类视觉系统，对立颜色通道定义为
RG(t ) R(t ) G(t ), BY (t ) B(t ) Y (t )
• 亮度通道和运动通道定义为
r (t ) g (t ) b(t ) I (t ) 3 M (t ) I (t ) I (t )