基于SURF特征提取的多光谱遥感图像配准_鲁云飞
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这种方法由于在变换域中进行处理，所以对噪声具有 较好的适应性。但对于其它不具有傅里叶变换特性的复杂 变换，此种方法无能为力。所以，这种方法在图像配准中
978-1-4244-6782-2/10/$26.00 ©2010 IEEE 632
较为少用。 (3) 基于图像特征的图像配准方法
此方法是目前图像配准领域中最为普遍的一种方法。 从 Harris 于 1988 年提出由 Moravec 算子发展而来的角点检 测方法，到 Lindeberg[6]将 Hessian 矩阵引入到特征点检测 中来，以及随后的复杂滤波，SUSAN 等，算法层出不穷。 直到 2004 年，David G. Lowe[7]提出了 SIFT。SIFT 具有旋 转不变性，尺度不变性，亮度不变性，很好的抗噪声能力。 文献[8]指出，SIFT 的性能比以上各种算法都好。
2010 International Conference on Circuit and Signal Processing
Multi-Spectral Remote Sensing Image Registration Based on SURF
Yunfei Lu, Haimeng Zhao, Bo Li, and Lei Yan* Institute of Remote Sensing & Geographic Information System, Beijing Key Lab of Spatial Information Integration & Its Applications, Peking University,
第三步要建立尺度空间。尺度空间的建立是通过空间 内分阶，阶内再分层来实现的。各个尺度的检测不需要其
633
它尺度的配合，即无迭代关系，彼此之间相互独立，只通 过增大滤波器尺寸便可直接在原图上生成新尺度下的图 像。从而，大大提高了算法效率，同时也保证了算法的尺 度不变性。继而，在尺度空间中一个 3*3*3 的邻域内寻找 极值点，每一个采样点要和它本身以及相邻层邻域内的共 26 个点比较，以确保在尺度空间和二维图像空间都检测到 局部极值[9]。
2．SURF 特征提取算法
SURF 是一种快速鲁棒性特征提取算法。它具有尺 度不变性，旋转不变性。并且，相对于其它的主要特征 提取算法，它的计算速度更快，更重要的是，它对亮度 变化有很好的适应性。SURF 特征提取算法主要分为两 个部分：特征检测和特征描述。特征检测中的积分图像 决定了 SURF 算法的快速，而特征描述中的哈尔小波响 应决定了 SURF 算法对亮度很好的适应性。
图 1 积分图像对矩形区域求和示意图
(2) 特征检测
积分图像计算完成后，进行特征检测， SURF 算法的 检测是基于 Hessian 矩阵的，因为其在检测精度方面有很大 的优势。图像 I 中的一点 x = ( x, y ) ，在尺度 σ 上，点 x 的 Hessian 矩阵 H( x,σ ) 定义为：
Keywords—image registration, Remote Sensing, multi-spectral, SURF(Speeded-Up Robust Features)
基于 SURF 特征提取的多光谱遥感图像配准
鲁云飞 赵海盟 李博 晏磊*
北京大学遥感与地理信息系统研究所，空间信息集成与 3S 工程应用北京市重点实验室，北京，中国
图 2 9×9 的方框滤波器[9]
图 2 中的方框滤波器为对σ = 1.2 的高斯函数的近似 。 方框滤波器与图像卷积后的值分别为 Dxx ， Dxy 和 Dyy 。进而 得到 Hessian 矩阵的 Δ 表达式：
Δ( Happrox ) = Dxx Dyy − ( wDxy )2
(3)
式中的 w 表示滤波器响应的相对权重，在σ = 1.2 时， w 近似等于 0.9。
关键词 图像配准，遥感，多光谱，SURF
1．引言
图像配准是图像处理领域里的经典问题，同时也是图 像分析过程中的关键一步[1]。图像配准是在不同时间、不 同视角、不同传感器拍摄的图像间建立坐标转换关系的过 程，它在图像融合、图像拼接、变化检测和目标识别等方 面都发挥着至关重要的作用。因此，图像配准广泛应用于 遥感中的图像分类、环境监测、气象预报，医学中的白内 障监测、肿瘤生长、CT、疗法验证，军事中的信息集成系 统，制图学中的地图更新，计算机视觉中的目标定位等众 多方面[1]-[3]。于是，近几十年，许多研究者都致力于图像 配准技术的研究并获得了大量成果。但图像自动配准仍旧 是个图像处理领域中的难题。
其次是为特征点建立特征描述符。SURF 算法的特征描 述符是一个 4 维的描述向量：
v = ( ∑ dx ,∑ d y ,∑ dx ,∑ d ຫໍສະໝຸດ Baidu ) 。
其中， dx 为水平方向的哈尔小波响应， d y 为竖直方向 的哈尔小波响应， dx 和 dy 为响应的绝对值[10]。
从而特征点描述完毕，由于其中包含主方向及哈尔小 波响应的描述，所以使得 SURF 算法具有了旋转不变性和 亮度不变性，这对于多光谱图像中，不同波段亮度差异大 以及图像的旋角变化等具有了良好的适应性。
摘 要 随着遥感应用的推广与深入，各行各业乃至大众对遥感的需求愈发强烈，这就给了遥感技术发展以十足的动力。但在遥 感走向应用的过程中，往往先需要图像处理才能达到良好的应用目的。而图像配准在遥感图像处理中扮演了重要的角色。现有传感器 越来越多，而多光谱传感器始终占据着不可替代的位置，多光谱遥感图像的应用领域也甚广。与此同时，如何能快速精确地实现多光 谱遥感图像的配准，便成了急需解决的问题。本文通过对不同平台获得的多光谱图像进行配准实验，验证了 SURF 特征提取算法在多 光谱遥感图像配准中的可行性，特别针对遥感图像数据量大、多光谱图像的亮度变化可以发挥很好的作用。
Beijing, China (lyan@pku.edu.cn)
Abstract—As remote sensing breaking into all fields of professions, the needs of it are increasing, which give power to its development. However, before using the images, we must process them first. And image registration plays an significant role in remote sensing image processing. Now more and more sensors appeard, multi-spectral remote sensing images are used in widely application all the way. At the same time, for its characteristics of mass data and illumination variation, it is extremely urgent to find a way to register multi-spectral remote sensing images automatically and accurately. SURF is a kind of feature extraction algorithm with scale-invariation, rotation-invariation, illumination-invariation and speediness. This paper applied SURF on multi-spectral image registration in different platforms, and got satisfied results, which verifies the feasibility of SURF in multi-spectral image registration.
并且，为了简化高斯函数，便于计算，所以采用方框
滤波器来近似替代二阶高斯滤波器。这在保证了性能的同
时，还提高了速度，进一步有利于遥感海量数据的处理。
1
1
-1
-2
1
-2
1
-1
1
1
2.1 快速性 (1) 积分图像
在 SURF 进行特征检测前，首先要计算积分图像。积 分图像在点 x = ( x, y )T 的值表示输入图像的原点到点 p 之间 的矩形区域内所有像素灰度值之和[9]。即：
积分图像、Hessian 矩阵、尺度空间的建立都通过各自 的解决方法保证了算法的效率，从而确保了多光谱遥感图 像在大数据量的前提下，进行配准的计算效率。
参考图像
待配准图像
2.2 亮度不变及旋转不变
SURF 算法的亮度不变性及旋转不变性主要在特征描 述这一步骤中实现。
进行特征描述的第一步是要确定主方向，这是为了达 到旋转不变的目的。方法为在特征点周围的一个圆形区域 内计算 x 和 y 方向上的 Haar 小波响应。并给这些响应值赋 高斯权重系数，距离特征点越近，响应的贡献越大，反之 则贡献越小；其次将 60°范围内的响应相加以形成新的矢 量，遍历整个圆形区域，选择最长矢量的方向为该特征点 的主方向[9]。由于小波响应对亮度具有不变性，从而保证 了 SURF 算法在提取特征点时对亮度的不变性。
H(
x ,σ
)
=
⎡L
⎢ ⎣
L
xx ( xy (
x ,σ x ,σ
) )
L xy( x,σ )⎤ L yy( x,σ )⎥⎦
(2)
其 中 L xx( x,σ ) 是 图 像 I 在 点 x 与 高 斯 二 阶 导 数
∂2 ∂x2
g(σ
) 的卷积，
L xy(
x ,σ
)
和L
yy (
x ,σ
) 与之类似[9]。
i≤x j≤y
I∑ (x) = ∑ ∑ I (i, j)
(1)
i=0 j=0
如图 1 所示，积分图像在点 4 处即为 A+B+C+D，在点 5 处为 A+B+E。所以，在积分图像计算完成后，至多只需 要三次加法运算，即可求出任意一点的像素值。例如，E 的 像 素 值 可 以 用 I∑(5) − I∑(2) 表 示 ， F 的 像 素 值 为
国家高技术研究发展计划（863）项目支持（课题编号： 2007AA12Z111）
通常，根据图像信息的不同，图像配准方法分为三类： 一是基于像素值的图像配准，第二种是基于变换域的图像 配准，第三种是基于图像特征的图像配准[4][5]。 (1) 基于像素值的图像配准方法
这是最早的图像配准方法。由于图像统计结果通常来 源于灰度值，所以这种方法很容易受到亮度变化、旋转等 因素的影响，并且计算时间长。另外，对于噪声的鲁棒性 也较差[2]。 (2) 基于变换域的图像配准方法
I∑ (6) + I∑ (2) − I∑ (5) − I∑ (4) 。从而，可以达到运算时间与区 域大小无关的目的[9]。这样，在尺度空间生成时，大尺寸 的滤波器不会对计算时间产生影响。这点，对于遥感图像 的大数据量特点尤为重要，大大提高了算法的效率。
不过，无论哪种算法都需要在不同图像间寻找相似之 处。尽管如此，没有一种通用算法可以适用于所有类型的 图像。随着遥感技术的快速发展，遥感图像处理成为了遥 感领域中一个重要的研究方向。遥感图像具有自己的特点。 并且遥感平台也多种多样，其中有两种是最常见的，即航 天遥感平台和航空遥感平台。多光谱遥感图像通常就是在 不同的遥感平台上搭载成像光谱仪，其具有数据量大，不 同波段灰度差异大等特点，SIFT 算法虽然可以适应亮度变 化，但其计算速度较慢，对于海量数据来说，这成了影响 配准效率的关键问题。所以，多光谱遥感图像对图像配准， 尤其是自动配准提出了更高的要求。
配准图像
初匹配
剔除误匹配后
(2) 对无人机航拍的不同波段图像进行配准。
参考图像
待配准图像
3．实验分析与结果
首先，通过 SURF 算法在参考图像和待配准图像上 提取特征点，用最近邻匹配法对其进行匹配，再结合 RANSAC 和最小二乘法剔除误匹配点得到变换关系，最 后，使用双线性插值得到配准图像。本文中的实验都在 以下环境中进行：CPU，GHz，512M 内存的 PC 机； Windows XP 操作系统，MATLAB7.1，VC6.0。
978-1-4244-6782-2/10/$26.00 ©2010 IEEE 632
较为少用。 (3) 基于图像特征的图像配准方法
此方法是目前图像配准领域中最为普遍的一种方法。 从 Harris 于 1988 年提出由 Moravec 算子发展而来的角点检 测方法，到 Lindeberg[6]将 Hessian 矩阵引入到特征点检测 中来，以及随后的复杂滤波，SUSAN 等，算法层出不穷。 直到 2004 年，David G. Lowe[7]提出了 SIFT。SIFT 具有旋 转不变性，尺度不变性，亮度不变性，很好的抗噪声能力。 文献[8]指出，SIFT 的性能比以上各种算法都好。
2010 International Conference on Circuit and Signal Processing
Multi-Spectral Remote Sensing Image Registration Based on SURF
Yunfei Lu, Haimeng Zhao, Bo Li, and Lei Yan* Institute of Remote Sensing & Geographic Information System, Beijing Key Lab of Spatial Information Integration & Its Applications, Peking University,
第三步要建立尺度空间。尺度空间的建立是通过空间 内分阶，阶内再分层来实现的。各个尺度的检测不需要其
633
它尺度的配合，即无迭代关系，彼此之间相互独立，只通 过增大滤波器尺寸便可直接在原图上生成新尺度下的图 像。从而，大大提高了算法效率，同时也保证了算法的尺 度不变性。继而，在尺度空间中一个 3*3*3 的邻域内寻找 极值点，每一个采样点要和它本身以及相邻层邻域内的共 26 个点比较，以确保在尺度空间和二维图像空间都检测到 局部极值[9]。
2．SURF 特征提取算法
SURF 是一种快速鲁棒性特征提取算法。它具有尺 度不变性，旋转不变性。并且，相对于其它的主要特征 提取算法，它的计算速度更快，更重要的是，它对亮度 变化有很好的适应性。SURF 特征提取算法主要分为两 个部分：特征检测和特征描述。特征检测中的积分图像 决定了 SURF 算法的快速，而特征描述中的哈尔小波响 应决定了 SURF 算法对亮度很好的适应性。
图 1 积分图像对矩形区域求和示意图
(2) 特征检测
积分图像计算完成后，进行特征检测， SURF 算法的 检测是基于 Hessian 矩阵的，因为其在检测精度方面有很大 的优势。图像 I 中的一点 x = ( x, y ) ，在尺度 σ 上，点 x 的 Hessian 矩阵 H( x,σ ) 定义为：
Keywords—image registration, Remote Sensing, multi-spectral, SURF(Speeded-Up Robust Features)
基于 SURF 特征提取的多光谱遥感图像配准
鲁云飞 赵海盟 李博 晏磊*
北京大学遥感与地理信息系统研究所，空间信息集成与 3S 工程应用北京市重点实验室，北京，中国
图 2 9×9 的方框滤波器[9]
图 2 中的方框滤波器为对σ = 1.2 的高斯函数的近似 。 方框滤波器与图像卷积后的值分别为 Dxx ， Dxy 和 Dyy 。进而 得到 Hessian 矩阵的 Δ 表达式：
Δ( Happrox ) = Dxx Dyy − ( wDxy )2
(3)
式中的 w 表示滤波器响应的相对权重，在σ = 1.2 时， w 近似等于 0.9。
关键词 图像配准，遥感，多光谱，SURF
1．引言
图像配准是图像处理领域里的经典问题，同时也是图 像分析过程中的关键一步[1]。图像配准是在不同时间、不 同视角、不同传感器拍摄的图像间建立坐标转换关系的过 程，它在图像融合、图像拼接、变化检测和目标识别等方 面都发挥着至关重要的作用。因此，图像配准广泛应用于 遥感中的图像分类、环境监测、气象预报，医学中的白内 障监测、肿瘤生长、CT、疗法验证，军事中的信息集成系 统，制图学中的地图更新，计算机视觉中的目标定位等众 多方面[1]-[3]。于是，近几十年，许多研究者都致力于图像 配准技术的研究并获得了大量成果。但图像自动配准仍旧 是个图像处理领域中的难题。
其次是为特征点建立特征描述符。SURF 算法的特征描 述符是一个 4 维的描述向量：
v = ( ∑ dx ,∑ d y ,∑ dx ,∑ d ຫໍສະໝຸດ Baidu ) 。
其中， dx 为水平方向的哈尔小波响应， d y 为竖直方向 的哈尔小波响应， dx 和 dy 为响应的绝对值[10]。
从而特征点描述完毕，由于其中包含主方向及哈尔小 波响应的描述，所以使得 SURF 算法具有了旋转不变性和 亮度不变性，这对于多光谱图像中，不同波段亮度差异大 以及图像的旋角变化等具有了良好的适应性。
摘 要 随着遥感应用的推广与深入，各行各业乃至大众对遥感的需求愈发强烈，这就给了遥感技术发展以十足的动力。但在遥 感走向应用的过程中，往往先需要图像处理才能达到良好的应用目的。而图像配准在遥感图像处理中扮演了重要的角色。现有传感器 越来越多，而多光谱传感器始终占据着不可替代的位置，多光谱遥感图像的应用领域也甚广。与此同时，如何能快速精确地实现多光 谱遥感图像的配准，便成了急需解决的问题。本文通过对不同平台获得的多光谱图像进行配准实验，验证了 SURF 特征提取算法在多 光谱遥感图像配准中的可行性，特别针对遥感图像数据量大、多光谱图像的亮度变化可以发挥很好的作用。
Beijing, China (lyan@pku.edu.cn)
Abstract—As remote sensing breaking into all fields of professions, the needs of it are increasing, which give power to its development. However, before using the images, we must process them first. And image registration plays an significant role in remote sensing image processing. Now more and more sensors appeard, multi-spectral remote sensing images are used in widely application all the way. At the same time, for its characteristics of mass data and illumination variation, it is extremely urgent to find a way to register multi-spectral remote sensing images automatically and accurately. SURF is a kind of feature extraction algorithm with scale-invariation, rotation-invariation, illumination-invariation and speediness. This paper applied SURF on multi-spectral image registration in different platforms, and got satisfied results, which verifies the feasibility of SURF in multi-spectral image registration.
并且，为了简化高斯函数，便于计算，所以采用方框
滤波器来近似替代二阶高斯滤波器。这在保证了性能的同
时，还提高了速度，进一步有利于遥感海量数据的处理。
1
1
-1
-2
1
-2
1
-1
1
1
2.1 快速性 (1) 积分图像
在 SURF 进行特征检测前，首先要计算积分图像。积 分图像在点 x = ( x, y )T 的值表示输入图像的原点到点 p 之间 的矩形区域内所有像素灰度值之和[9]。即：
积分图像、Hessian 矩阵、尺度空间的建立都通过各自 的解决方法保证了算法的效率，从而确保了多光谱遥感图 像在大数据量的前提下，进行配准的计算效率。
参考图像
待配准图像
2.2 亮度不变及旋转不变
SURF 算法的亮度不变性及旋转不变性主要在特征描 述这一步骤中实现。
进行特征描述的第一步是要确定主方向，这是为了达 到旋转不变的目的。方法为在特征点周围的一个圆形区域 内计算 x 和 y 方向上的 Haar 小波响应。并给这些响应值赋 高斯权重系数，距离特征点越近，响应的贡献越大，反之 则贡献越小；其次将 60°范围内的响应相加以形成新的矢 量，遍历整个圆形区域，选择最长矢量的方向为该特征点 的主方向[9]。由于小波响应对亮度具有不变性，从而保证 了 SURF 算法在提取特征点时对亮度的不变性。
H(
x ,σ
)
=
⎡L
⎢ ⎣
L
xx ( xy (
x ,σ x ,σ
) )
L xy( x,σ )⎤ L yy( x,σ )⎥⎦
(2)
其 中 L xx( x,σ ) 是 图 像 I 在 点 x 与 高 斯 二 阶 导 数
∂2 ∂x2
g(σ
) 的卷积，
L xy(
x ,σ
)
和L
yy (
x ,σ
) 与之类似[9]。
i≤x j≤y
I∑ (x) = ∑ ∑ I (i, j)
(1)
i=0 j=0
如图 1 所示，积分图像在点 4 处即为 A+B+C+D，在点 5 处为 A+B+E。所以，在积分图像计算完成后，至多只需 要三次加法运算，即可求出任意一点的像素值。例如，E 的 像 素 值 可 以 用 I∑(5) − I∑(2) 表 示 ， F 的 像 素 值 为
国家高技术研究发展计划（863）项目支持（课题编号： 2007AA12Z111）
通常，根据图像信息的不同，图像配准方法分为三类： 一是基于像素值的图像配准，第二种是基于变换域的图像 配准，第三种是基于图像特征的图像配准[4][5]。 (1) 基于像素值的图像配准方法
这是最早的图像配准方法。由于图像统计结果通常来 源于灰度值，所以这种方法很容易受到亮度变化、旋转等 因素的影响，并且计算时间长。另外，对于噪声的鲁棒性 也较差[2]。 (2) 基于变换域的图像配准方法
I∑ (6) + I∑ (2) − I∑ (5) − I∑ (4) 。从而，可以达到运算时间与区 域大小无关的目的[9]。这样，在尺度空间生成时，大尺寸 的滤波器不会对计算时间产生影响。这点，对于遥感图像 的大数据量特点尤为重要，大大提高了算法的效率。
不过，无论哪种算法都需要在不同图像间寻找相似之 处。尽管如此，没有一种通用算法可以适用于所有类型的 图像。随着遥感技术的快速发展，遥感图像处理成为了遥 感领域中一个重要的研究方向。遥感图像具有自己的特点。 并且遥感平台也多种多样，其中有两种是最常见的，即航 天遥感平台和航空遥感平台。多光谱遥感图像通常就是在 不同的遥感平台上搭载成像光谱仪，其具有数据量大，不 同波段灰度差异大等特点，SIFT 算法虽然可以适应亮度变 化，但其计算速度较慢，对于海量数据来说，这成了影响 配准效率的关键问题。所以，多光谱遥感图像对图像配准， 尤其是自动配准提出了更高的要求。
配准图像
初匹配
剔除误匹配后
(2) 对无人机航拍的不同波段图像进行配准。
参考图像
待配准图像
3．实验分析与结果
首先，通过 SURF 算法在参考图像和待配准图像上 提取特征点，用最近邻匹配法对其进行匹配，再结合 RANSAC 和最小二乘法剔除误匹配点得到变换关系，最 后，使用双线性插值得到配准图像。本文中的实验都在 以下环境中进行：CPU，GHz，512M 内存的 PC 机； Windows XP 操作系统，MATLAB7.1，VC6.0。