图像拼接技术概况

图像拼接技术概况来源：加入时间：2009-10-3

摘要

图像拼接的目的是要将多幅来自同一场景的具有一定重叠区域的小尺寸图像合成为一幅大尺寸，具有大视场角的图像，甚至是某一大型场景的全景图像，这一技术在虚拟现实领域、医学图像处理领域、遥感技术领域和军事领域中均有广泛的应用。因此，也越来越成为计算机视觉中的一个热点领域。

本文深入研究了传统的图像拼接技术的各种方法，对图像拼接技术中的关键步骤一图像的配准作了重点的分析，总结了各种方法的优缺点。在此基础上构建了一种新的图像拼接方法，该方法通过对摄像机的标定，建立图像坐标点与其世界坐标点之问的对应关系。

根据世界坐标点一致的原则，将相邻的具有重叠区域的图像的同名点联系起来，实现相邻图像特征点之间的匹配，由此实现相邻图像的拼接。采用该方法，很好的避免了传统图像拼接技术中普遍存在的计算量大，耗时长，并且容易发生误匹配等缺点。但是该方法十分依赖摄像机标定的结果，标定结果的精确与否，直接关系到拼接的成败。因此，本文先对摄像机标定技术作了深入而详细的研究，选取成熟可靠的方法进行实验，最后得到需要的摄像机参数结果。实验结果验证了该方法的有效性与可靠性。

关键字：图像拼接，图像配准，摄像机模型，摄像机标定，同名点匹配

1．1研究背景及意义

虚拟现实(Virtual Reality．VR)技术是采用以计算机技术为核心生成逼真的视、听、触觉一体化的特定范围的虚拟环境。用户借助必要的装备以自然的方式与虚拟环境中的对象进行交互作用，相互影响，从而产生身临其境，等同现实环境的感受和体验。例如：城市的真实风光，博物馆富丽堂皇的大厅，大型设备和设施(如航空母舰、核电站等)的内部及外部情况。传统上，一个虚拟现实环境是采用基于几何模型的图形绘制来实现的，它是由各类3D集合合成的。在虚拟环境中漫游，是通过实时绘铝IJ3D几何体实现的。事实上，利用我们现有的图形技术很难做到将一些实体对象模拟的和现实世界完全一致，或者由于计算量大而无法在实际中加以应用。而图像拼接技术却能相对很好的解决这一问题，并且容易实现。

所谓“图像拼接”(Image Mosaic)就是将多幅来自同一场景的有重叠区域的小尺寸图像合成为一幅大尺寸的高质量图像。图像拼接技术具有广泛的应用领域，不仅可以实现大视场图像、用于图像恢复(Image Restoration)、计算机特效(Computer Generated SpecialEffects)、视频图像压缩和视频编辑等，还可以为图像降噪、视场(Field ofView)扩展、运动物体去除、模糊消除(Blur Removing)、空间解析度(Spacial Resolution)fl勺提高利动态方位(Dynamic Range)增强提供可能性。虽然如今的摄影技术和设备都在不断的进步与发展，但是想要获得大视场图像，单纯的依靠摄影技术和设备是很难实现的，或者是因为高昂的成本限制。但在实际的科研和工程中，经常会用到超过人眼视角的高分辨率图像，而普通相机的视角往往不能满足需要。由于距离的限制，某些超大尺寸的物体无法用一张照片拍摄下来，这在航空航天照片的拍摄中显得尤为突出。利用广角镜头和扫描式相木dL(push．broomcamera)可部分解决视角不足这一问题，但这些设备都有价格昂贵和使用复杂等缺点。另外，在一幅低分辨率的图像中得到超宽视角会损失景物中物体的分辨率，而且广角镜头的图像边缘会难以避免的产生扭曲变形。另一种方法是使用目前的许多图像处理工具如Photoshop等，但这种手动拼接方法不仅拼接效果不够理想，如无法消除序列间光照差异以及图像间拼缝，而且对于多幅图像的拼接，工作量大且重复运作繁琐。自动建立大型、高分辨率的图像Mosaics技术一直是摄影测量学、计算机视觉、图像处理和计算机图形学的活跃研究领域。在计算机视觉领域中，图像拼接是近来的研究趋势，是可视景物表示研究的一部分。

完整的可视景物表示还包括深度或视差信息的恢复．在计算机图形学中，图像拼接在基．J：图像绘制领域中发挥重要作用，它的目标是由一组实际图像(或预先绘制的图像)迅速绘制具有照片真实感的新视图。在虚拟现实领域中，越来越多的实际应用是基于图像的。以宽视角的图像或360度全景图像来虚拟实际场景，通过对这一静止图像进行连续插值而实现对场景的交互式连续浏览。用这一方法代替视频图像序列可大人降低数据量，为数据的传输和保存都带来巨大便利。这些领域中所需要的特殊图像便依赖于图像的拼接技术来获得。

图像拼接技术通过将一组具有部分重盈的图像或视频图像进行无缝拼接而得到超宽视角的图像。这一类技术的出现使采集图像的设备更普通化，利用普通的摄像机和数码照相机即可得到满足要求的图像。近年来的发展趋势是利用廉价的PC机来自动生成大幅无缝的高清晰图像。因此，研究并提出一种精确而快速的图像拼接算法具有十分重要的现实意义。

1．2国内外研究现状传统的图像拼接技术可分为平面拼接、柱面拼接和球面拼接。

1．2．1平面拼接国外具有代表性的是基于运动的全景图像拼接模型。1996年，美国微软研究院的Richard Szeliski教授提出了一种基于运动的全景图像拼接模型，采用Levenberg．Marquardt迭代非线性最小化方法(简称L—M算法)，通过求出图像问的几何变换关系来进行图像配准，由于此方法效果较好，收敛速度快，且可处理具有平移，旋转，仿射等多种变换的待拼接图像，因此也成为图像拼接领域的经典算法，而Richard Szeliski也因此成为图像拼接领域的奠基人。2000年，Shmule Peleg，Benny Rousso，Alex Rav．Acha和AssafZomet在RichardSzelisld的基础上做了进一步的改进，提出了自适应的图像拼接模型，它是根据相机的不同运动，白适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。这一研究成果无疑推动了图像拼接技术的进一步发展，自适应问题也从此成为图像拼接领域研究的新热点。

在国内，国防科技大学的孙立峰、张茂车等人构建了基于全景图的虚拟现实系统。

目前，这样的系统已在国内的多家公司得到成功的商业应用。浙江大学CAD&CG国家重点实验室和中国科学院自动化所模式识别国家重点实验室利用模板匹配的方法进行搜索来确定重叠区边界或最佳匹配位，从而获得拼接图像[9jo]。该方法的优点是原理比较直观，相对来说容易实现，缺点是计算量大，容易发生误匹配。浙江大学的许霄、张恒义等利用基于傅立叶变换的相位相关法对眼底图像的拼接进行了研究。赵向阳，杜立民在2004年提出了一种基于特征点匹配的图像自动拼接算法，其中使用-fHarris算法提取角点并进行匹配。赵的算法采用了鲁棒变换估计技术，在一定程度上提高配准算法的稳健性，但是计算速度比较较慢。香港大学的Paul Bao和西北工业大学的张素等则对基．J二小波变换的图像拼接方法进行了研究。基于傅立叶变换和小波变换的方法有匹配准确率高和拼接效果好等优点，但是也有计算量大和受噪声干扰影响大的缺点。

1．2．2柱面拼接柱面拼接是指将采集到的图像数据重投影到一个以相机焦距为半径的柱面，在柱面上进行全景图的拼接。虽然柱面拼接方式在垂直方向的转动有限制，只能存一个很小的角度范围内。但是柱面拼接有其独特的优点：圆柱面可以展开成，一个矩形平面，所以可以把圆柱全景图展开成一个矩形图，像素点在柱面上可以按行列均匀排列；可以直接利用其在计算机内的图像格式进行存取。

柱面全景应用的一个经典例子就是美国苹果计算机公(Apple Company)的商业软件QuickTimeVR。它在场景中一些关键位置点生成柱面全景图，在每一个关键点，可以实现视线方向的连续变化，通过关键点间的跳转来实现场景的漫游。国防科技大学的张茂军等成功开发了一个HVS系统，这是一个基于柱面模型的虚拟现实系统，用户可在其中进行前进、后退、仰视、俯视、360度环视、近视、远视等漫游操作。

1．2．3球面拼接Sevket Gumustekin博士主要对消除在固定点旋转摄像机拍摄自然景物时形成的变形和将捕获的图像拼接为全景图进行了研究。其主要的研究成果是通过标定摄像