图像局部特征描述子研究分析(未完-待续)

研究背景在日常生活中，我们主要依赖于视觉来感知外界的信息，比起听觉，视觉能给我们更加丰富的描述。

人们一直想通过计算机视觉来描述视觉信息中有意义和有用的东西。

首先，我们必须回答什么类型的信息是我们想要的？如何提取这样的特征信息？有人定义视觉为发现图像是什么和在哪里的过程，这强调了视觉是一个信息处理任务[]。

而如何构建一个视觉系统来进行这样的信息处理任务是很多学者研究的问题之一。

其中，达成统一共识是利用不同的特征层来构建这一个视觉模型系统，最简单的三层体系结构为低层、中层、高层。

而本文基于最基本的图像描述方法——尺度的概念，利用尺度空间表示法来分析最低层图像数据。

尺度空间方法是一种尺度参数连续、不同尺度空间下采样保持一致性的视觉多尺度分析。

视觉多尺度分析是一种新的视觉信息处理方法，其基本思想是：当我们用眼睛观察物体且物体和观察者之间的距离（将距离视为尺度参数）不断变化时，视网膜将感知到不断变化的图像信息，分析和综合这些不同尺度下的视觉信息以获得被观察物体的本质特征，这种视觉分析方法即称为视觉多尺度分析。

尺度空间方法的基本思想是：在视觉信息（图像信息）处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。

尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态分析框架中，因此更容易获得图像的本质特征。

为什么要研究尺度空间？可以从以下几个通俗的描述来说明：1）现实世界的物体由不同尺度的结构所组成；2）在人的视觉中，对物体观察的尺度不同，物体的呈现方式也不同；3）对计算机视觉而言，无法预知某种尺度的物体结构是有意义的，因此有必要将所有尺度的结构表示出来；4）从测量的角度来说，对物体的测量数据必然是依赖于某个尺度的，例如温度曲线的采集，不可能是无限的，而是在一定温度范围进行量化采集。

温度范围即是选择的尺度；5）采用尺度空间理论对物体建模，即将尺度的概念融合入物理模型之中。

尺度空间数学定义表示如下：设多尺度分析的初始图像为0()u x （x ， 为图像区域），(,)u x t 为多尺度分析用于图像所获得的在尺度(0)t t 时的图像，称0:()(,)t T u x u x t 为尺度空间算子，尺度空间算子族 0t t T 为尺度空间，并称为0:()(,)t h T u x t u x t h 尺度由t 变化到t h 的尺度空间算子。

依据尺度空间公理，尺度空间算子应满足如下定义的视觉不变性：定义2 设t T 为尺度空间算子，称t T 具有1） 灰度不变性，如果对任意常数c ，()()t t T u c T u c ；2） 对比度不变性，如果对任意非降实函数f ，(())(())t t T h u h T u ；3） 平移不变性，如果对任意常数h ，(())(())t h h t T u T u ，其中()()h u u x h ；4） 尺度不变性，如果对于任意正实数 和尺度参数t ，存在'(,)0t t ，使得't t H T T H ，其中()H u u x ；5） 欧基里德不变性，如果对于任意正交矩阵R , ()()t t T R u R T u ，其中，()()()R u x u R x ；6） 仿射不变性，如果对于任意仿射变换A 和任意尺度参数t ，存在'(,)0t A ，使得't t AT T A 。

上述诸不变性定义的视觉解释如下：当我们用眼睛观察物体时，一方面，当物体所处背景的光照条件变化时，视网膜感知图像的亮度水平和对比度是不同的，因此要求尺度空间算子对图像的分析不受图像的灰度水平和对比度变化的影响，即满足灰度不变性和对比度不变性；另一方面，相对于某一固定坐标系，当观察者和物体之间的相对位置变化时，视网膜所感知的图像的位置、大小、角度和形状（三维物体投影到视网膜上的二维图像轮廓，通常对应于图像的仿射变换）是不同的，因此要求尺度空间算子对图像的分析与图像的位置、大小、角度以及仿射变换无关，即满足平移不变性、尺度不变性、欧基里德不变性以及仿射不变性。

按照上面公理得出的条件，唯一可能的尺度空间函数核为高斯函数[]，不同高斯核组成的尺度空间是规范的和线性的，并且满足以下若干性质，即平移不变性、半群结构、非增局部极值、尺度不变性和旋转不变性等。

最为基础的四类尺度空间依次为：线性尺度空间、非线性尺度空间、形尺度空间和数学形态学尺度空间。

本文主要研究线性尺度空间即高斯尺度空间下的局部不变特征检测与描述，同时也针对局部不变特征匹配存在的问题进行了研究。

目前图像特征提取是图像处理、模式识别以及计算机视觉等领域的一个重要研究内容，它是许多问题的基础，例如图像配准、图像拼接、物体识别、数字水印、动态跟踪、基于图像内容的检索以及视频镜头检测等。

这些问题都可以通过特征的提取与匹配来实现。

在计算机视觉中，有很多可供引用的图像特征，如按提取特征的区域大小可分为局部特征和全局特征；按特征在图像上的表现形式可分为点特征、线特征和面特征等。

图像局部特征是由一些亮度变化很大的像素点组成的局部结构，这些局部结构包含有丰富的图像信息，具有较强的代表性。

近年来，一类基于提取图像局部不变特征的方法在计算机视觉领域得到了广泛地应用。

这类局部特征，一方面不受平移、旋转、尺度、视角、光照变化以及模糊等因素的影响；另一方面可以很大程度地摒弃以往全局特征容易受到背景杂乱及目标遮挡等影响的缺点。

因而，与其它类型的特征相比，局部不变特征在稳定性、可重复性和独特性方面具有较大的优势，是近年来研究的热点。

局部特征描述是许多方法的基础，因此也是目前计算机视觉研究中的一个热点，每年视觉领域顶级会议ICCV/CVPR/ECCV 上都有高质量的特征描述论文发表。

但是该类方法提取的局部不变特征能够承受图像旋转、尺度、视角、光照及模糊等变换的程度仍然有待提高，并且还没有任何一种局部不变特征能够针对所有的图像变换具备良好的稳定性。

因此，如何使得局部不变特征具有更高的稳定性和可重复性是巫待解决的问题。

在具体应用过程中，发现了几个共同的问题，这些问题尚待研究解决。

比如：1） 在宽基线匹配情况下（图像之间存在较大的模糊、视角、旋转、缩放、尺度、光照等变化），数字摄影测影（近景摄影时）图像匹配、图像重构等会出现以下问题：由于光照条件不同，目标表明光亮度、对比度将会改变，使得基于灰度影像相关匹配的算法效果较差；物体与摄像机的距离不同，图像具备不同分辨率，即尺度不同；影像存在较大的旋转度，使得目标形状发生变化，目标图像存在仿射变形；2） 图像拼接应用时则会出现下列问题：来自不同传感器或者不同视角的同一场景的两幅或者多幅图像的匹配，主要难点是拍摄时间、角度、环境以及传感器性能的不同，都给图像带来了不可避免的噪声，同时还存在不同程度的灰度失真以及几何畸变。

3） 目标跟踪时则会遇到如下问题：光照变化：在不同的光照条件下，目标的特征会呈现明显的差异。

尤其复杂光照环境下，目标特征会发生强烈的变化；姿态和形状变化：目标的平面旋转，轴旋转以及与摄影设备距离变化都将导致目标图像的仿射变化和投射变化；部分遮挡：当跟踪目标被部分遮挡时，部分特征信息无法获取，就有可能跟踪失败或者偏移；4） 目标识别是计算机视觉中的一个非常具有挑战性的课题，主要遇到的问题描述如下： 如对于人类来说，即使是小孩也能轻松的在复杂图像中找到所需目标，即便这个目标被部分遮挡了，或者物体形状、大小发生变化等，但是对于计算机来说，非常具有挑战性，其核心问题就是用什么样的特征来描述物体。

这些实际应用问题本质反映了图像之间存在尺度、视角、光照、旋转、缩放、遮挡等变化，因此很难有通用的解决所有仿射变化的图像局部不变特征算法。

因此，本文重点研究如何提高局部不变特征的稳定性、可重复性等问题。

局部不变特征局部特征数学描述：图像函数表示为(,)f x y ，()g f 为定义在图像局部邻域 上的特征函数，()H f 表示对图像进行的各种变换。

特征函数()g f 对变换H 具有不变性是指对任意的图像函数f 满足：()(())g f g H f (1)特征函数()g f 对变换H 具有不变性时提取的特征为局部不变特征，其中特征不变性的自由度由H 的自由度决定。

物理意义及思想：局部不变特征是指局部特征的检测或描述对图像的各种变化，例如几何变换、光度变换、卷积变换、视角变化等保持不变。

局部不变特征的基本思想是提取图像内容的本质属性特征，这些特征与图像内容的具体表现形式无关或具有自适应性(即表现形式变化时特征提取自适应的变化以描述相同的图像内容)。

局部不变特征性质局部特征两个最重要的属性是：不变性（鲁棒性/重复性）和可区分性。

当然，还有其他几个属性：局部性、（特征点）数量大、准确性、效率。

由于使用局部图像特征描述子的时候，通常是为了鲁棒地处理各种图像形变的情况，因此，在设计图像特征描述子的时候，鲁棒性问题就是最优先考虑的问题。

在宽基线匹配中，视角不变性（viewpoint invariance）、尺度不变性（scale invariance）、旋转不变性（rotation invariance）、光照不变性（illumination invariance）等属性在构建特征描述子时需要考虑。

而在物体识别中，需要考虑特征描述子对物体形状的不变性。

局部不变特征研究现状一、SIFT类描述子在诸多的局部图像特征描述子中，SIFT（Scale Invariant Feature Transform）是其中应用最广的，它在1999年由David Lowe[1][2]首次提出，至2004年得到完善，SIFT算法是基于局部不变量的图像特征提取、匹配方法，SIFT的提出也是局部图像特征描述子研究领域一项里程碑式的工作。

由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性，自它提出以来，很快在物体识别、宽基线图像匹配、三维重建、图像检索中得到了应用，局部图像特征描述子在计算机视觉领域内也得到了更加广泛的关注。

但是，经过实际的应用和评测，SIFT算法有几个严重的缺陷：1.不完全的仿射变化；2.计算复杂度较高，实时性不强；3.光照变化大、视角变化大、物体自身有相似或周期性结构时匹配点对过少甚至匹配失败；4.匹配点对错误率较高；5. Sift是一种只利用到灰度性质的算法，忽略了色彩信息。

因此，其突出的性能以及缺陷使得大批学者投入到该算法的研究当中。

1.对SIFT算法进行降维的改进降维的目的和意义：SIFT类算法中在特征描述符的生成过程中采用主方向旋转并统计梯度直方图的方式生成128 维特征向量计算量相当大，，而且在完成图像的配准时对128 维向量进行特征匹配的计算开销也较大，这是影响SIFT 算法实时性的主要原因，因此，改进算法的思想主要是减少生成特征描述符计算量和提高特征匹配速度。