图像拼接方法及其应用研究

内蒙古科技大学
本科生毕业设计说明书（毕业论文）
题目：图像拼接方法及其应用研究
学生姓名：***
学号：**********
专业：电子信息工程
班级：电信二班
指导教师：***
图像拼接方法及其应用研究
摘要
图像拼接技术顾名思义就是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术，在遥感技术领域、虚拟现实领域、医学图像处理领域等都有广泛的应用。

本文首先分析了目前主流科研图像配准和图像融合的算法，重点研究了SIFT算法和Harris算子，RANSAC算法的图像拼接，并对其中的一些问题做出了改进和个人的分析。

在本文中对于图像的隐试信息，采取了多尺度表示的图像方法解决，在对于图像的各种操作时都是考虑这些基本问题，其中尺度不变的特征用来图像匹配和物体的识别，本文中对sift算法在图像拼接中的问题做了详细的概述。

基于特征点的图像拼接中，在提取特征点和检测中做了一些详细的研究，在图像的特点上，本文中提出了一种基于Harris算法结合鲁棒性较高RANSAC算法提纯匹配点，其主要的思想在于去除经典Harris算法中出现的特征点聚集，这样大大减少了RANSAC 算法进行图像配准的运算时间。

关键词：图像拼接；图像配准；特征提取；图像融合
Research on the application of image mosaic method
Abstract
Image stitching technology is as the name suggests the number of images into overlapping part of a large seamless high resolution image technology, In the field of remote sensing technology, the field of virtual reality, the field of medical image processing and is widely used in.
This paper analysis of the current mainstream algorithms and image fusion, focuses on the SIFT algorithm and Harris algorithm, RANSAC algorithm for image stitching.
In this paper for the image of implicit information, solve the image method adopted a multiple solutions representation for various operations, in the image are considered these basic questions, including the scale invariant features for image matching and object recognition, in this paper, the image matching problem of SIFT algorithm to do a detailed overview.
Based on the feature points of the image stitching. This to do some detailed research on the feature extraction and detection, image features, this paper proposes a Harris algorithm based on RANSAC algorithm with high robustness, which greatly reduced the RANSAC algorithm for image registration computing time.
Keywords: image mosaic, image registration, feature extraction, image fusion.
目录
摘要 (I)
ABSTRACT (II)
第一章绪论 (1)
1.1图像拼接的研究背景 (1)
1.2图像拼接的研究意义 (2)
1.3图像拼接应用领域和研究现状 (2)
1.3.1应用领域 (3)
1.3.2 研究现状 (4)
1.4图像拼接的特点 (6)
1.5 本文章节的安排 (6)
第二章图像拼接关键技术的研究介绍 (8)
2.1图橡拼接技术的基本流程介绍 (8)
2.2图像拼接的信息采集和处理 (9)
2.3图像拼接的配准 (10)
2.3.1图像配准的原理 (10)
2.3.2图像配准的方法 (11)
2.4图像的融合与合成 (15)
第三章基于SIFT图像拼接算法 (18)
3.1 SIFT算法的基本原理 (18)
3.1.1 多尺度空间理论 (18)
3.1.2检测极值点 (19)
3.1.3稳定关键点 (21)
3.1.4 局部特性描述 (22)
3.1.5拼接融合 (22)
3.2改进算法分析实例 (23)
第四章基于Harris算法的图像拼接研究 (26)
4.1角点提取算子 (26)
4.2 Harris角点检测原理 (26)
4.2.1柱面投影生成 (27)
4.2.2 Harris角点提取 (27)
4.3 RANSAC算法的原理 (29)
4.4拼接算法的实例分析 (30)
4.5本文两种拼接算法的对比 (33)
第五章总结与展望 (34)
5.1本文总结 (34)
5.2工作展望 (34)
致谢 (36)
参考文献 (36)
附录 (39)
第一章绪论
图像拼接应用广泛的数字图像处理的技术。

根据不同特征点的之间的相互匹配，就可以将很多张小视角的数字图像拼接成为一张大视角的图像，拼接之后与原始图像很接近，失真较小。

开始源于人们的摄影技术，如果相机的视野远小于人们的视野的时候，我们首先想到的是将多个不同的地点的图像拼接成一幅全景图。

由于科学技术的脚步不断前进，拼接技术在数字图像处理、卫星图像处理、医学图像处理等领域都有广泛的使用。

在上个世纪80年代图像拼接技术开始应用于航天技术和宇航照片的处理之上。

1.1 图像拼接的研究背景
图像拼接在科学技术的各个行业中都有着至关重要的角色，从1965年往后，电子技术和计算机技术的快速发展，图像处理技术也进入了一个高速发展的时期，现在广泛应用于医学，军事，航天技术等各个领域。

在日常生活中，摄影技术的发展使得我们不满足于图像大小，在争取全景图的同时，往往限制于图像分辨率的问题，种种的情况使得图像的大小和图像分辨率之间存在冲突。

当今医学界，图像处理更是无处不在，在CT 等医学技术到细胞图形学等，医学对于图像的品质和一些处理手段要求是雨来越高，这其中也在医学中促进的图像处理的发展。

现代的医学成像系统中的应用也为医生的诊断提供了医疗诊断依据。

在一些患者的诊断中，由于图像的距离和角度上发生变化，所以就需要对图像进行配准，用图像拼接技术使得他们的信息综合在一起，这就为医学上的诊断和生理结构和功能提供了更多的信息。

在一些外科医学领域中视网膜的激光手术一直是一个医学难题，一些科学家就提出来利用图像拼接的技术来解决这个难题，他们利用相机的镜头运动和平移没有变化，并且将视网膜看经验主义的研究方法做一个二维的曲面，通过变化矩阵间的变换将视网膜的图像拼接成一个完整的全景图，这个在医学方面做出了巨大的贡献。

在环境质量检测中也广泛的用到图像拼接技术，通过卫星或者是航空拍到的某一个场景的图片来实现对这一场景的整体检测，比如河流、耕地或者是虫害等一些情况进行整体的检测和实时的监控。

在当今的军事作战模式下地理位置和地形特征在战局中起到至关重要的地位，当然这其中涉及到一种红外线的图像拼接技术，根据热成像的基本原理，物体自然发射出来的红外射线他是可以转变成可以看得见的热图像，也不会受硝烟、
大雾、雪的影像，也有良好的识别伪装能力。

另外信息多媒体技术的高速发展，多媒体技术也慢慢的网络化了，比如说视频的点播，网上的购物和一些多媒体的访问，多媒体资源慢慢的引起了人们的极大关注。

但这些数据中包含了很多的杂乱信息，当然其中也包括一些静止的场景。

为了去除这些数据的杂乱信息，便于多媒体的传输。

也涉及到了图像拼接技术，上述技术的应用能够让图像处理更快的步入到商业化和实用化，也为我们的生活带了诸多方便。

1.2 图像拼接的研究意义
近些年来随着高新科技的告诉发展和一些相机和摄像产品的普及，更多的涉及到图像处理这项技术了，在早期，用相机来拓宽视野经常需要调整相机的焦距来获得相对完整的图像，但伴随着问题是产生的图像的分辨率会比较低，当然是用一些高档的相机也可以避免这个问题，但是往往这些设备比较昂贵，也不容易操作。

在普通的家庭中不适合是用。

当我们用到图像拼接技术的时候，这个问题就可以轻松的解决，消除我们的一些盲区，同时也能得到一幅大型的无缝高分辨率的问题。

这些年来，图像拼接技术的告诉发展也改变我们对于传统的测量的认识，所应用的技术和成熟度也较以往有了直观的改变。

图像处理的方法也是实现比较准确、快速将多个场景拼接在一起，让我们感受到真是的感觉。

图像拼接是图像处理当中一个重要的研究分支，也是计算机图像学等领域的重点研究课题，其中还涉及到科学技术的多个方面，包括地质的勘探、视频的传输和检索以及数学的建模等都有广泛的应用。

就目前来说，图像拼接的一个成功的应用案例就是虚拟现实技术，它是用计算机生成一幅三维的图像，可以使用户通过专门的设备技术在一个虚拟的环境中看到实物的整体概况，也可以进行相互的考察和控制，倒是随着这些技术的告诉发展，也滋生出更多的不足，这也在我们发现不足，改变不足中继续的创新与发展。

总体来说吧，图像的拼接技术给我们带来的不止是科学上的进步，也是我们普通人在视觉上、听觉上以及触觉上带了不一样的感受，让我们在学你中体会到真是的一种感觉。

1.3 图像拼接应用领域和研究现状
关于图像的拼接国内外研究已经有很久的时间了，应用领域也是十分的广泛，可以说是上至天文，下至地理都有图像处理的研究领域和应用领域。

本文就当前的研究现状
和应用领域做一个简短的介绍。

1.3.1应用领域
就像1.2节中提到的那样，图像拼接的应用领域十分的广泛，几乎是科学的各个行业都要涉及到图像的处理，而图像的拼接的技术在计算机图形学以及虚拟技术等方面应用更为广泛，在研究中也占有比较大的比重。

以下做一个详细的介绍。

1) 虚拟现实技术
虚拟现实技术通俗的说就是利用计算机技术自动生成具有三维的视觉、听觉和触觉环境，用户可以使用专门的设备和虚拟环境进行交互行为。

在这个技术运用于全景图生成的时候，图像处理的技术也就发挥着重要作用，其中图像的拼接更是不可少的一个重要的部分。

下图是描述生成全景虚拟图的过程
图1-1 虚拟全景图生成的过程
2) 医学图像的处理
在医学的领域，关于图像拼接的应用更是无处不在，随着高新科学技术的发展，一些高端的医疗设备出现在现实生活中，这也引发了医学图像的大发展。

在CT和X光照，还有细胞的图像，都对这些图像的处理有很高的技术要求。

这些技术也都是在处理医学问题上所解决的过程中产生的。

比如一些外科手术，早在上世纪80年代Alican Charles 和V.Stewart等就有关于利用图像的拼接技术对人的视网膜进行整体的构建。

这也为医学界做出了巨大的贡献。

另外看一下病变的几张图像和配准后的图像。

图1-2人体大脑出病变的图像拼接
图(a)和图(b)是MRI图像，但是方位不同，图(c)是两张图像特征点的匹配，图(d)是两幅图像配准拼接以后的图像。

虽然来说图像拼接几乎应用于所有的技术领域，但是其技术的发展还不是很成熟，在一些医疗和诊断上还是有不小的进步。

3) 军事领域应用
图像拼接技术在军事上也有广泛的应用，在军事上获取某一个地域的动态信息是一件很重要的事情，这也关乎到战争的胜利，比如全景图可以原来描述这个地区的动态信息，也就是在同一个区域内对目标的运动和其运动的轨迹得到一个可靠的侦测。

另外还有一些环境地域的复杂性，一些光电系统和来打侦测系统，目标存在一定的不确定性和多样性，要是只靠单一的传感器，也能是给出一部分的特征信息，所以这样就不能在军事上得到应用，随之而来的就是多传感器和多种技术同时处理也得到青睐，在获得多个对同一个事物的多种信息在军事上是很重要的一件事情。

这种技术在很多国家都有研究，例如一些欧洲国家和美国等发达国家都在研究一种适用于复杂环境下快速得到全天图像的多元信息，以备制定下一步的作战计划。

1.3.2研究现状
数字图像处理这门技术已经在国内外研究很多年了，在图像拼接的领域更是研究的热门，其实在研究的目标中可以归纳为追求更高的分辨率和更为广阔的视野。

这些年来借助计算机，在图像拼接研究方面也有了很大的突破。

在图像拼接的原理上，许多研究成果已在国内外广泛应用。

但是就目前的技术而言还是没有得到人们想象的那样快速的和高效的得到一个图形的拼接图像。

在各国科研工作者的研究中，对于图像拼接的关键技术的研究是倍受青睐，图像的特征点提取和配准一直是拼接技术的关键所在，在二十世纪70年代的时候Milgram就曾经发表过这样的文章，他是通过照相机的拼接技术来叙述了资源卫星得到的比较高的分辨率的图像拼接，有人就提出了相位相关的原理，对图
像进行傅里叶的变换，再进行配准和平移。

然而在八十年代的时候，Harris提出的角点检测方法对相位相关的方法做了改进和创新，在对提取到的角点具有平移和选择不变形，他是使用自相关来确定信号二维变化的方位，采用一阶差分运算，提高的拼接的速度和效率。

早在本世纪出就有人在前人的基础上提出了自适应的模型。

他是根据不同的技术模型来适应不同的相机，最后通过图像的分割和最后的投影和进行拼接。

这里要着重了解一个理论，这个理论的提出人也是图像拼接的奠基人，也就早在上世纪九十年代的时候，由Richard Szeliski根据全景图像的模型提出L-M算法，由于这个算法的高效性和可以处理多种变化图像拼接，也因为这也就成为图像拼接领域经典的算法，直到现在还在有人研究这个理论。

在图像的配准上面，特征法的配准也算是比较主流的方法，在具有突出性的图像中，稳定，均匀等特点和对特征点计算小，速度快的特点，也是现在特征点提取应用广泛的方法，最早在研究这个特征的图像拼接方法是上世纪90年代的BlaszkaT，Rachid Derche 等人，他们是利用二维的高斯模糊过滤来获得一些看似低级的特征图像的模型，比如定点模型，这个理论的提出也使得很多科学工作者研究基于图像特征的图像拼接研究。

后来有人就采用了多尺度小波变换的分析理论，对图像进行小波变换，然后计算出小波变换后的数值，然后在对应图片中的特征点。

在国内，关于图像研究起步还是比较晚的，但是研究的速度很快，可以说是站在巨人的肩膀上看远方。

在九十年代中后期，关于图像拼接的技术在开始成为国内科学工作者研究的热门，20世纪出我们的研究真正的达到了世界水平，也是达到了顶峰，这其中也包括了王小睿等科学者提出来的半自动的图像配准方法，还有王祖勋等人就不同传感器和不同的分辨率提出的采用多级影像技术对图像进行拼接和配准。

还有几年的国家重点实验室和中国科学院采用的模板匹配的方法来确定两张图像边缘的重叠区域，然后在得到拼接后的图像，这种方法后来运用到了医学上，就微血管的循环等医学影像研究做出了突出的贡献。

这些年来，图像拼接的研究是越发的红火，各种算法的层层出现也给了科学工作者不少的启发，也在这方面取得了不小的成效。

SIFT算法的引进、RANSACN 算法的改进，进行匹配，都很好的减少了计算，也缩小的拼接时候带来的误差，提高了拼接的稳定性。

尽管出现了各种的算法，其实在研究方向上还是区域的配准和特征的配准。

在于这么多算法的应用，还是在于灵活。

1.4 图像拼接的特点
图像的拼接涉及到多个图片的处理，需要对多种图片进行不同的处理和分析，这其中也带了各种不同的步骤和分析，所以这个问题对于图片的编码和压缩等技术都要有自己的处理方法，这随之而来的就是多样性和复杂性，还要有针对性。

下面是拼接的三个技术特点。

1、复杂性
图片的采集还有拼接，中间会有很多的技术环节，从图片特征的提取，特征点的匹配，再到最后的融合拼接，这些都是关键性的技术，这些技术也就决定图像拼接过程中的复杂程度，况且还要涉及到各种的算法和一些处理的手段等，都会是图像拼接中一些复杂的程序。

2、针对性
在图片拼接等各个技术的处理中，常常会采用的不同的算法进行对图片的处理，各个采集到的图片信息也不是不尽的相同，也这就要涉及到各个图片的特点的不同，来采取不同的算法和处理手段。

比如一些平面图像，彩色黑白色图像等等都会有不同的处理手段，更为复杂的可能涉及到二维的图像三维的图像三维拼接，像是柱面图像或者是球面图像等，都会有一些指定的算法进行处理。

所以各个的条件不同处理的手段也会有不同，存在着一定的针对性。

3、多样性
关于图片的多样性，其实就是因为各种的差异性所带来的不同可避免的变化，这其中由于事物的繁多和环境的因素，我们在从相机德奥这个失误的会后会因为一些角度或是光照条件以及事物的运动平移等因素，在同一时间和同意地点所涉及的图片都会是不一样的，相同的是在采集的时候，技术的特点和对事物的采集时环境的特点都会是对处理对象的复杂程度和不可确定因素造成影响。

因此在决定处理图像的时候，定会是考虑到图像的拼接技术的特点以及多样性都处理结果的影响。

这也需要我们有不同的算法和处理的方法。

1.5 本文章节的安排
本文针对不同算法讨论数字拼接技术的几种算法，针对图像配准和拼接的意义、应用做了简介的概述和研究，对日常应用到的方法和处理的手段做了一个详细的介绍，在
这个基础上，本文就SIFT和Harris和RANSAC算法的拼接技术提出了自己的观点和一些处理的手段。

论文的组织和结构
全文分为五章。

第一章：绪论，介绍了图像拼接的方法和特点，就国内外的研究方向以及研究的时代背景做了一个介绍。

第二章：图像拼接关键技术的研究介绍，主要工作是图像拼接的技术特点和具体的流程的介绍，就是拼接过程所涉及到的原理以及处理的流程和融合的方法以及原理。

第三章：基于SIFT图像拼接算法，研究的是SIFT算法的图像拼接，就此算法的图像配准做了一些改进，加快了处理的速度。

第四章：基于Harris和RANSAN算法的图像拼接，通过研究这两种算法的原理和理论，在这种基础上，通过两种算法的结合，是图像拼接的复杂度降低，同时运算量减少，效果更好。

最后通过对比机上涉及到的算法进行比较说明各个算法的优劣。

第五章：总结和展望，本文所作的一些研究做一个总结和当前所存在的问题进行说明，对数字图像拼接技术的发展和研究提出了期盼。

第二章图像拼接关键技术的研究介绍
图像拼接整个流程可以包括这么几个步骤：图像的预处理、特征点的提取、图像的配准、模型的建立、图像的融合。

其中核心的步骤也是热门的研究是特征点提取和图像的配准。

最终的目的就是找出具有重叠或是相似的图像。

2.1 图像拼接技术的基本流程介绍
各种拼接的方法大体流程是相差无几的，图像的拼接流程包括：预处理、特征点提取、配准、融合。

拼接的过程可以如图1-1所示：
图2-1图像拼接流程
1. 图像的预处理
图形的预处理就是对原始的图像进行处理，提高图片的质量，使其能达到图像配准的要求，不至于造成一些错误的匹配，致使原始的拼接图像几何变形，图像预处理的技术包括：原始图像的直立方图匹配，几何的矫正，平滑的过滤，噪声的处理等一些准备工作。

2. 图像的配准
图像的配准是图像拼接的核心技术，其原理就是找到原图与参考图像的特征点的位置，然后采用一定的算法在参考图像与配准的图像建立模型转换，确定两个图像的重叠的部分。

3. 建立变换模型和统一坐标变换
根据参考图像和原始图像的对应关系，结合自己实验，得到一些经验找出相对应的位置建立数学模型，把原始的图像转换到参考图像的坐标系中。

4. 图像的融合
当第三步确定了数学转换的参数后，我们根据两幅图像之间的转换关系，把重叠区域的信息拼接成一个完整的图像。

这其中可能会存在一定的匹配误差或是因光度的问题的影响，我们还需要做的是根据光度的差异对拼接图像进行混和调整，减少重叠区域的失真。

2.2 图像拼接的信息采集和处理
图像拼接的前期就是对原始图像进行数字处理，其主要的工作是对原始图像的信息采集和图像的预处理，使图片的质量能达到最后拼接的要求，以免最后拼接出现几何畸形或是误匹配。

对采集来的图像进行处理也是比较繁琐的，主要的流程有：图像的矫正、光度的处理、噪声的抑制等。

图像的矫正：图像的采集也间接的影响了最后拼接的质量，采集到的照片可能会因为失真或是变形，这样我们就要对采集到的照片进行相应的处理矫正，因此对前期进行基本的图片处理和矫正是十分的重要。

图像的矫正和处理的基本思路是我们可以使用数学方法进行处理，首先根据原始图像的具体情况，我们可以建立相应的数学模型，在原始图像中找到需要处理的位置或是提取到的信息，然后根据这个信息可以相逆的去恢复原始的图像面貌，在具体的做法中，我们可以在恢复的过程中使用过滤器，从原始的图像中得到真实的估计值，根据误差的准则可以降低误差，在最大的程度上接近于原始图像。

图像的噪声处理：噪声的处理相对来说比较繁琐，而且噪声是不可能预测的一种随机信号，而这种信号的分析也往往是通过概率分析法来进行相应的分析处理，对于噪声的处理也是很重要的，它涉及到图像拼接的大部分过程。

在图像的采集的过程中就应该重视这个问题，若是在采集图片时伴随的噪声很大的时候，这个结果必然会影响到最后输出的结果。

当然我们可以根据噪声的来源，来确定处理的方法。

噪声可以是外部噪声，也可以是内部噪声。

但因为噪声是随机出现的，不可预测的，而且是随机分布的，关于噪声的处理问题我们可以采用滤波的办法进行处理，比如说中值滤波或是均值滤波都是就可以对噪声进行相应的处理的。

关于前期图像处理存在的问题还有很多，比如说图片的边缘的锐化，灰度图像的转变，估算图像的碎片等都是在处理图片时尽可能的还原原始的图像，这样做也可以为选择后来图像选择的处理的方法和采用的算法，这样可以确定配准的时候采用的合适的算。