基于LDA的SIFT算法在图像配准中的应用

基于LDA的SIFT算法在图像配准中的应用
丁湘楠;谢正忠;宋晓宁
【摘要】针对SIFT算法复杂程度高,实时性差,在维数较高的图像配准中并不实用的问题,提出了一种基于线性鉴别分析(LDA)的SIFT算法(SIFT-LDA).首先利用SIFT 算法提取出图像的特征点向量,然后用LDA方法对其进行特征抽取并降维.通过高维自然图像和单幅人脸图像进行实验,实验结果表明SIFT-LDA算法在保证匹配精度的同时,实时性要优于传统的SIFT算法,其匹配时间相对于传统SIFT算法缩短了将近一半.
【期刊名称】《电子设计工程》
【年(卷),期】2013(021)011
【总页数】4页(P186-189)
【关键词】图像配准;SIFT;LDA;特征抽取
【作者】丁湘楠;谢正忠;宋晓宁
【作者单位】江苏科技大学计算机科学与工程学院,江苏镇江212003;江苏科技大学计算机科学与工程学院,江苏镇江212003;江苏科技大学计算机科学与工程学院,江苏镇江212003
【正文语种】中文
【中图分类】TP391.41
SIFT（Scale-invariant Feature Transform）是一种基于特征的配准方法[1]。

SIFT特征匹配算法是由David G.Lowe于2004年在总结了现有的基于不变量技
术的特征检测方法的基础上提出的。

SIFT算法能提取稳定的特征，也可以处理两
幅图像之间发生旋转、平移、视角变换、仿射变换、光照变换等情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而能够实现两幅差异较大的图像之间的特征的匹配。

因此这种算法很适合应用于图像配准。

此方法具有精确度高、匹配能力强的特点。

虽然此算法具有许多优点，但是算法本身复杂度高，匹配时间久，尤其对于数据量较大的遥感影像的处理，应用SIFT算法时处理速度会明显降低，过于耗时。

因此，将SIFT算法直接应用于遥感影像的处理并不实用，在实际生活中也未能使用这种算法处理遥感影像[2]。

但是SIFT算法具有其他图像配准算法难以媲美的优点，有着非常好的应用前景。

为此，我们通过大量研究提出了一种基于SIFT算法的改进方案。

即在SIFT算法的特征提取中加入线性鉴别分析方法（Linear Discriminant Analysis，LDA），以
减少 SIFT 特征提取的维度。

此方案既能保持SIFT算法本身的精确度高、匹配能
力强的特点，又能提高匹配的效率，实时性强。

非常适合将其应用于维数高的图像配准，例如自然图像配准、单幅人脸图像比对等领域。

此改进算法具有广泛的应用前景。

1 SIFT算法特征原理
SIFT特征匹配算法主要包括2个部分[3]：首先是生成SIFT算法中所需的特征描
述子，即从待匹配图像中提取出特征向量；其次是匹配SIFT算法的特征向量。

1）尺度空间极值检测
一幅图像 I（x，y）的尺度空间定义为 L（x，y，σs），如图 1所示，是由不同尺度的高斯函数 G（x，y，σ）与原图像卷积运算生成的[4]。

相邻尺度的图像相减就得到一组DOG（Difference of Gaussian）图像 G（x，y，σ），设σ 是尺度空
间因子，（x，y）是图像 I（x，y）的空间坐标，公式如下：
其中：
检测尺度空间极值时，所检测像素需要跟同尺度的8个像素和上下相邻尺度的
9×2个像素，共26个像素进行比较，确保二维图像空间和尺度空间都检测到局部极值。

图1 DOG尺度空间极值检测示意图Fig.1 Extrema detection in scale space
2）确定关键点位置及其所在尺度
把尺度空间图像当做一个曲面，按照特征点周围的像素点的梯度分布情况，通过拟合三维二次函数确定关键点的尺度和位置，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配的稳定性[5]。

3）确定关键点方向参数
利用关键点邻域像素的梯度方向的分布特性为每个关键点指定方向参数，使得算子具有旋转不变性的特点。

通过公式（3）和（4）可计算出像素梯度的模m（x，y）和方向θ（x，y）：
在实际运用和计算中，我们在以关键点为中心的邻域窗口采取样本，同时利用直方图统计邻域像素的梯度方向。

其中，梯度直方图的范围是0～360度，以每10度
为一个柱，共计36个柱。

关键点的方向的选取是通过直方图的峰值，即该关键点处邻域梯度的主方向。

图2所示是采用7个柱时利用梯度直方图为关键点确定主
方向，箭头所指直方图的峰值即为关键点的方向。

图2 由梯度方向直方图确定主梯度方向示意图Fig.2 Determine the direction of keypoint
在梯度方向直方图中，当有另外一个能量相当于主峰值能量的80%的峰值存在时，
则可以认为该关键点的辅方向即为该方向。

一个关键点可能在同时会被指定具有多个方向（一个主方向，及多个辅方向），这样可以增强图像匹配的鲁棒性。

此时，图像关键点特征检测已全部完成，每个关键点有3个特征：方向、位置及其尺度。

通过以上步骤就可确定一个SIFT向量的特征区域[6]。

4）生成SIFT特征向量
特征描述符是通过统计特征点邻域的梯度信息得到的。

如图3（a）所示，圆的中
心点是一个关键点，最小格代表关键点邻域所在的尺度空间的一个像素，长度代表梯度的模值，箭头的方向代表梯度的方向。

每个种子点由在4×4的区域上计算8
个方向的梯度直方图，然后再绘制其累加值，即可得到。

对于图3（b），图中标
出的红色的关键点由4个种子点组成，每个种子点都有8个方向的向量信息。

由此，一个关键点可产生32个数据，形成一个32维的特征向量。

实际计算中，为了增强匹配的稳健性，Lowe建议对每个关键点采用4×4共16个种子点进行描述，这样每个关键点就可以产生128个数据，即形成128维的SIFT 特征向量（见图3）。

此时SIFT特征向量已经去除了旋转、尺度变化等几何形变
因素的影响，再继续将特征向量的长度进行归一化，就可以去除光照变化的影响。

图3 由关键点邻域梯度信息生成特征向量Fig.3 Features vector based on key-points grads information
5）关键点相似性判定
当通过以上步骤生成两幅图的SIFT特征描述子以后，可使用关键点特征描述符的
欧式距离作为两幅图像中关键点的相似性判定度量。

取一幅图像中的某个关键点，找出另一幅图像中欧式距离最近的两个关键点，在这两个关键点中，若最近距离除以次近距离少于某个比例阈值，则可以接受该匹配点。

若要使匹配结果更加稳定，可以降低阈值，但同时会减少SIFT的特征点数。

通过对SIFT算法的描述能够看出，此算法虽然匹配能力较强，但是参数较多，耗
时久，计算复杂度高。

将其应用于数据量大的影像时效率会偏低，需要对此算法进行改进。

2 LDA-based SIFT方法
2.1 线性鉴别分析法
线性鉴别方法（LDA）属于监督的模式分类方法，LDA从数据分类的角度考虑问题。

在信息繁多的高维特征空间中，LDA能够从中提取出最具有鉴别能力的低维
特征，通过这些提取出来的低维特征[9]，可以帮助我们聚集同一类别的所有样本，并且最大程度的将不同类别进行分开处理，同时它选择使样本类间离散度和样本类内离散度的比值最大的特征[8]。

样本类间离散度矩阵定义为：
其中，ui是Ci类的均值，u是所有样本的均值，pi是先验概率。

样本类内离散度矩阵定义为：
其中，
希望通过投影后，使得最大程度上的不同类别的样本在低维空间能够尽量分开，同时希望我们得到的每个类别内部样本信息尽量密集[10]，也就是说，样本类内离散度越小越好，样本类间离散度越大越好。

因此，如果Sw是非奇异矩阵，最优的投影方向Wopt就是使得样本类间离散度矩阵和样本类内离散度矩阵的行列式比值
最大的那些正交特征向量。

因此Fisher准则函数定义为：
其中，Wopt是下式的解：
也就是对应于矩阵S-1wSb较大的特征λi值的特征向量。

2.2 LDA-based SIFT算法步骤
本节提出的LDA-based SIFT方法的主要思想是：在利用SIFT算法提取出图像中的特征向量后，利用LDA算法从中提取出最具有鉴别能力的特征向量，即用较少维数的特征向量尽量完整的描述图像，在匹配时既可以保证准确性，又大大缩短了匹配时间。

利用SIFT-LDA算法进行图像配准的主要步骤如下：
1）对待匹配图像进行预处理；
2）通过SIFT算法提取出待匹配图像的特征点的特征向量；
3）通过LDA方法从SIFT提取的特征向量中进一步提取出最具有鉴别能力的特征向量；
4）进行特征向量的匹配。

以上就是LDA-based SIFT算法进行图像匹配的一般步骤。

实现了在不显著降低SIFT的鲁棒性和独特性的前提下，尽量降低其特征点的维数。

既能保证匹配的准确度，又缩短了匹配的时间。

3 实验结果及分析
我们将本文提出的改进方案用于两个实验，一是配准自然图像，如图4所示。

图4 自然图像匹配Fig.4 Registration of natural image
其中（a）图是参考图像，（b）图是待配准图像，将两幅图像分别用SIFT算法处理后取得的有效关键点分别如图（c）和图（d）所示，再对图像进行LDA降维处理后得到的自然图像的配准效果如图（e）所示。

另一个实验是用于人脸图像的对比，如图 5所示。

其中（a）图是参考图像，（b）图是待配准图像，将两幅图像运用本文提出的方法，即对SIFT算法加入LDA降维后的匹配效果如图5（c）所示。

传统的SIFT算法与本论文提出的算法对于提取的特征向量维数比较如表1所示，其中N为特征点个数。

通过这两组图像以及表1可以看出，本文提出的把传统的
SIFT算法与LDA降维方法相结合的方案在保证SIFT算法本身的高匹配性的前提下，又能有效的提高匹配速度，提高效率，实时性强。

4 结论
SIFT算法本身精确度高、匹配能力强，但由于算法自身较复杂，在匹配过程中过于耗时、实时性差，很大程度的限制了它的实际应用。

我们通过大量研究提出了这种基于SIFT算法的改进方案，在保证了它的高匹配能力的前提下，同时大大缩短了算法的匹配时间，提高了匹配效率，增强了实时性。

使得改进后的SIFT算法更有利于解决实际问题，有着更广泛的应用前景。

图5 人脸图像比对Fig.5 Registration of face image
表1 SIFT算法与本文算法匹配特征向量维数及匹配时间比较Tab.1 Comparison of the two methodsSIFT算法本文方法匹配时间/s自然图像 N*128 N*64 0.51/0.34人脸图像 N*128 N*48 0.47/0.27
【相关文献】
[1]YU L，ZHANG D R，Holden E J.A fast and fully automatic registration approach based on point features for multi-source remote sensing images[J].Journal of Digital Imaging，2010，23（3）:287-300.
[2]Xu Y P，Hu K N，Tian Y.Classification of hyperspectral imagery using SIFT for spectral matching[J].Congress on Image and Signal Processing，2008，2（10）:704-708.
[3]MA Chao-jie，GUAN Ping.Image automatic mosaic method based on phase and SIFT feather correlation[J].Laser&Infrared，2011，41（4）:470-473.
[4]宋蓓蓓.图像的多尺度多方向变换及其应用研究 [D].西安:西安电子科技大学，2008.
[5]李杰.图像的方向多尺度分析及其应用研究 [D].成都:电子科技大学，2007.
[6]DENG Rong-feng，LI Xi-ying.Robust image mosaic algorithm based on SIFT feature matching[J].Journal of Computer Applications，2009，29（3）:219-221.
[7]宋枫溪，高秀梅，刘树海.统计模式识别中的维数削减与低损降维[J].计算机学报，2005（11）:1915-1922.SONG Feng-xi，GAO Xiu-mei，LIU Shu-hai.Dimensionality reduction in
statistical pattern recognition and low loss dimensionality reduction[J].Chinese Journal of Computers，2005（11）:1915-1922.
[8]Zhao Z X，Yu S Q，Wu X Y.A multi-target tracking algorithm using texture forreal-time surveillance[C]//Proceedingsofthe IEEE InternationalConference on Robotics and Biomimetics， Bangkok， Thailand:IEEE，2009:2150-2155.
[9]吴柯，牛瑞卿，王毅.基于PCA与EM算法的多光谱遥感影像变化检测研究[J].计算机科学，2010，37（3）:282-284.WU Ke，NIU Rui-qing，WANG Yi.Change detection of multi-spectral remote sensed images based on PCA and EM algorithm[J].Computer Science，2010，37（3）:282-284.
[10]陈莉.文档挖掘与降维技术[J].西北大学学报，2003，33（3）:267-271.CHEN Li.Text mining and technology of dimensionality reduction[J].Journal of Northwest University，2003，33（3）:267-271.。