ASIFT算法

1. 绪论目标识别是在图像或视频中寻找目标的过程。

在目标识别的应用中，特征提取和特征选择是第一个步骤，而且也是决定最后效果最重要的一个步骤之一。

如果说一个完整应用是一个系统的话，那么特征就代表着由输入数据转化而来的，传送给系统其它部分的数据。

很多时候最终能否得到一个理想的结果，在很大程度上依赖于能否找到最具代表性的特征。

好的特征将会较大地降低后续工作的难度;不好的特征则会对系统后续处理产生干扰甚至使系统产生错误的输出。

良好的特征也降低了系统后续处理的复杂度，为其广泛应用提供了可能。

SIFT(Scale-Invariant Feature Transform, 尺度不变特征转换)特征是一个检测和描述图像局部特征的算法，这种算法具有优良的特性，能较准确地用于特征匹配。

它具有广泛的用途，包括目标识别，三维重建、表情识别以及视频和运动追踪。

SIFT基于两个大的组成部分，并使用了多种改进技术以改善各项指标。

这里简要介绍经典SIFT算法和基于SIFT的目标识别应用。

为后面介绍ASIFT算法作铺垫。

SIFT是一种检测与描述图像局部特征的方法。

为了识别和描述图像中的目标，需要从图像中提取出与目标相联系的特征。

利用这些特征可以从众多背景目标中识别出所需目标。

为了确保准确无误地识别出目标，要求在各种视角、光照、距离以及噪声条件下仍然可以准确地进行匹配。

SIFT使用不同的技术解决以上问题。

对物体距离远近，大小和噪声条件的适应由高斯尺度空间来完成，而视角、光照等条件则对应于特征描述符。

SIFT并不是一开始就以解决上述问题为设计目标，而是先提出一种算法，而后发现它有诸多优良的性质。

在SIFT算法提出以前，若干技术已经趋于成熟，而SIFT则成功地把它们整合为一个整体，并包括一些创新点。

SIFT的两个主要组成部分是尺度空间检测和特征描述符。

图像的特征点一般都比周围的点显著，比如位于极值点或灰度值变化加速率大的位置。

特征的类型一般包括点、块、边缘、脊等。

SIFT主要检测块状特征。

借助一种旋转不变微分算子，SIFT可以在尺度空间中检测到特征点的所在位置和尺度。

虽然存在很多其它的微分算子，SIFT却依赖于LoG算子。

其原因之一是实现方便，原因之二是LoG检测的特征比较稳定性。

块状特征位于尺度空间的极值点，它们的一阶导数为零，而LoG算子并不是为了检测这些特征。

LoG算子检测的是像素灰度值变化加速率极大和极小的位置。

因为有些尺度空间上的极值点满足LoG的检测条件，所以SIFT检测到的特征既有块状特征，也有非块状特征。

基于以上的分析可以看出，SIFT检测的特征点的标准比较严格，因而特征点也比较稳定，可以免受一定程度的外在影响。

通过使用高斯差分空间(DoG)，可以相对较快地寻找到特征点位置。

SIFT特征也具有尺度和旋转无关特性，也就是说，不管图像中的对象如何改变大小和旋转，其SIFT特征都是不变的。

这两种不变性是由特征检测和特征描述共同完成的。

首先，基于尺度空间的LoG算子可以检测到任意方向、大小的特征，并且获得检测尺度参数。

SIFT的特征描述算法通过统计一阶微分向量的方向、大小来找到一个主方向，而后根据特征的检测尺度选择邻域范围，并产生描述符。

SIFT特征的描述符是基于一阶微分，能应对相当程度的光照及视角的变化。

为了获得最佳效果，SIFT将特征邻域分成4x4区域，并根据方向、大小作一阶向量的直方图统计。

SIFT 描述符覆盖的范围与LoG检测尺度有关，半径大概为检测尺度的6倍，因此能包括与特征有关的绝大多数信息。

这个原则在工业界也称为6σ准则。

为了区别不同位置的重要性，SIFT用高斯窗口对各一阶微分向量的长度进行加权，使得远离特征中心的位置所占权重较小。

传统上SIFT的匹配是通过最近邻方法查找的。

为了加快查找速度，Lowe提出一种称为Best Bin First的近似方法，大大加快了匹配速度。

在获得了大量的特征点以后，可以使用Hough变换和线性最小平方验证目标。

目标识别是利用计算机在图像或视频序列中识别目标的任务。

人类和动物可以利用视觉轻易地识别各种目标，包括物体、图像、绘画、影片等。

人类可以在不同视角、大小、位移和旋转角的情况下，轻易地在图像中识别出多个物体。

用机器来实现人类这种识别能力是一个前沿课题，目前利用特征来进行目标识别是一个主流的研究方向。

图像和目标经常会经历各种变化，但特征一般保持相对的稳定性，这使得利用特征研究目标识别问题成为了可能。

基于特征的目标识别是伴随着计算机视觉的发展而出现的一种应用。

基于图像特征的目标识别研究最近受到了广泛的关注。

很多在某一方面性能出色的特征都被推广到一般的目标识别，这时其局限性也就显现了。

这使得SIFT在目标识别方面的研究日益引起人们的注意。

基于SIFT的目标识别，是一种利用SIFT特征在图像中识别目标的应用。

其目的是利用SIFT特征，根据视觉库提供的信息，从图像或视频中快速找出查询目标的过程。

之所以“基于SIFT”是因为SIFT特征具有一系列优点，它在准确性和速度较其它特征有明显的优势。

通过对视觉信号逐层进行处理、分解和综合，获得所需目标并根据它进行识别。

作为一个通用的特征，SIFT综合了各方面的优点。

在SIFT提出之前，很多其它的方法利用目标的信息，比如形状、颜色、大小等进行识别。

以往与应用紧密相关的特征方案不能明确保留图像的主要信息，要求人工调整参数来获得理想的结果，所以常常无法满足实时化、自动化和灵活性等方面的使用要求。

为了满足以上目标识别要求，就要求特征能够尽量保留图像有关的信息量。

换句话说，图像内容所传达的关于目标的信息更为重要。

这就要求在提取特征的过程中去伪存真。

这也需要详细研究目标成像的过程，以提取相关信息。

同时采取措施抵消成像过程中造成的不利影响。

为了利用特征识别目标，需要解决若干问题。

首先是特征的表示。

在目标经历各种位置、大小、角度、背景、光照之后，特征仍能正确表示目标。

这个问题由SIFT 特征部分地解决了。

第二个问题是有了特征以后，如何识别目标。

针对这方面的研究，主要可以分为两类。

第一类是利用传统的SIFT特征在图像之间直接进行匹配，然后通过广义Hough变换或线性最小平方来计算目标形状，并删除离群值。

很多其它方法都是在此基础上进行的推广。

第二类是将SIFT特征进行向量量化，并用量化值来识别目标，比如通过直方图、分类器等方法。

2．ASIFT算法的基本原理2.1 算法概述由于相机正面拍摄物体时，相机的光轴方向可能发生变化，带来扭曲，所以第一步是对每张图片进行变换，模拟所有可能的仿射扭曲。

这些扭曲由两个参量决定：水平角度φ和垂直角度θ。

将图像旋转φ度由倾斜度参数t 完成：t = 1 cosθ。

设原始图像为u ( x , y )，原始图像在X 轴上倾斜度为t 的变换由u ( x , y ) →u (t x , y)得到。

对数字图像来说，倾斜图像由具有方向性的t 倍二次采样(t-subsampling)得到。

它要求之前在X 轴上有一次抗走样处理(antialiasing filter)，最大限度的减少图像失真。

该滤波由标准差为c12t的高斯卷积完成。

在文献[1]中Lowe 建议该值取c = 0.8。

文献[15]中证明了该取值图像失真度较小。

对图像进行旋转变换和倾斜变换可以模拟有限的一些不同水平角度，垂直角度拍摄图像。

对这些参数进行采样能保证模拟图像在不同的φ和θ引起的视角变换下保持近似。

所有模拟倾斜后的图像将由SIFT 算法进行匹配比较。

2.2 水平和垂直采样ASIFT 算法中水平角度和垂直角度的采样方式规定如下：垂直角度θ的抽样：垂直倾斜程度依次取几何级数：1,a, a2,,…..,a n,(a>1)。

在文献[12]中，Morel 指出 a = 2时，匹配的精确度和稀疏度达到较好的折衷。

n 值可以是5 或者更大。

在随之发生的斜率转换中，倾斜度t 可以达到32 或者更大。

水平角度φ所对应的每个倾斜度是一组等差数列：0, b / t ,...k b / t ,当 b 72度时取得较好的折衷，k 为当kb / t <180度时的最大整数。

图3-5 显示了ASIFT 算法概貌：正方形A,B 分别代表被比较的图像u 和v。

ASIFT 算法模拟了所有相机视轴坐标方向变化引起的扭曲。

图中的平行四边形代表模拟扭曲后的图像，该图像将运用SIFT 进行后续的匹配计算。

2.3 采样范围倾斜度参数 t 的采样范围非常关键。

只有当目标是一个完美的二维平面，或者是个反射光强弱完全相同的物体时，才有可能在任何倾斜视角下做到目标识别。

现实中找不到这样的物体。

因此，需要通过实验比较室内外拍摄的图片对，并找出可行的 t 的上界。

每对图片由正面视角拍摄的图片和倾斜角度拍摄的图片组成。

文 献[12]给 出 倾 斜 度 t 的 上 限 是t min ≈42， 对 应 的 视 角 最 大 值 为θmax =arccos t max 1≈80度。

t max =42的最大采样范围意味着 ASIFT 算法可以在)24(2= 32的范围内保持倾斜尺度不变性。

2.4 采样步骤:为使 ASIFT 算法对任何仿射变换具有不变性，倾斜度t 和角度φ 必须具有较高精度。

采样间隔由自然图像的多次实验得到。

在较大的θ 下，较小的 Δθ改变便能使图像产生较大的扭曲。

对t 进行几何级数的采样可满足这一需求。

一般来说，采样比率 Δt=t t n n 1+应与角度φ无关。

文献[12]中提出，倾斜度最佳采样间隔应是 Δt =2。

同样的，对水平采样来说，当 θ = arccos1/t 增加时，水平采样的精度必须增加。

在较大的垂直角度θ下，图像水平角度 Δφ 较小的变化即能使图像产生较大扭曲。

文献[12]中提出，水平最佳采样间隔应是 Δφ =t 度72。

经过采样间隔 Δt=2和 Δφ =t 度72生成的模拟倾斜图像将放入SIFT 算法进行匹配。

图 3-6 说明了不规则采样参数 θ = arccos1/t 和φ 在半球体上的显示情况。

采样点集中在赤道区域。

图 3-6 按照参数 θ = arccos1/t 和φ 进行抽样。

黑色为采样点。

左图为半球体沿Y 轴半球体透视图。

右图为沿 Z 轴的半球体透视图。

θ 值如图所示。

2.5 针对不同图像分辨率的计算在实际应用中，可能会存在不同分辨率下的图像匹配问题。

ASIFT 遇到不同分辨率的图像时可归结到低分辨率下去实现。

首先，程序选择低分辨率搜索下会产生匹配对的仿射变换，然后在原始查询图像以及搜索图库中模拟所选的仿射变换，最后运用 SIFT 算法比较模拟仿射变换后的图片。

两种不同分辨率下的解决办法如下所述：（1）、采用系数 K × K 二次采样查询图片 u 和待搜索图片 v 。