图像拼接

图像处理

图像拼接方法探讨

Dis cu s s io n o f im a g e m o s a ic m e th o d s

(北京科技大学)徐正光

田清张利欣

Xu,Zhengguang Tian,Qing Zhang,Lixin

现摘要: 本文系统的阐述了图像拼接技术的由来, 状, 应用领域以及拼接方法, 对图像拼接的两个主要过程: 图像配准和图像融合分别进行了详细介绍.图像配准是图像拼接的核心技术,本文还对现有的图像配准方法进行归类总结,对每个配准算法进行优缺点描述.对目前现有以及常用的图像融合方法也进行了详细的介绍.最后提出了图像拼接技术的不足. 关键词: 图像拼接; 图像配准; 图像融合中图分类号:TP391.41 文献标识码:A

Abstr act:the paper give a systemic introduction on the origin , actuality , filed of application and the mosaic methods to make a re- spective and detailed introduce to the two main process : Image registration and Image composition. Image registration is the core tech- nique of image mosaic and the paper also classify and sum up the methods of image registration. Describe the virtue and disadvan- tage of each arithmetic of registration the paper also give a detailed introduce of the methods of image composition at present and at last put forward the shortage of image mosaics technique. Key wor ds:image mosaic,image r egistr ation,image composition

1 引言

图像拼接技术可以解决由于相机等成像仪器的视角和大小的限制, 不能产生很大图片的问题.所谓"图像拼接" Image Mosaic ) 就是将两幅或者两幅以上( 相邻间具有部分重叠的图像进行无缝拼接, 生成一张具有较宽视角的高分辨率图像或者360 度视角的全景( Panorama ) 的技术, 涉及到计算机视觉, 计算机图形学, 图像处理以及一些数学工具等.该技术为图像降运动物体去除, 模糊消除噪, 视场( Field of View) 扩展, 空间解析( Spatial Resolution ) 的提高( Blur Removing) , 和动态范围( Dynamic Range ) 增强提供了可能性. 图像拼接技术最早应用于航空领域, 现已广泛应用于数字视频, 动分析, 拟现实技术, 感图像处理, 学运虚遥医图像分析等领域.

( 5) 进行图像融合, 消除拼接的接缝; ( 6) 输出拼接完的图像.其中图像拼接的一般过程又可以归纳为主要是图像配准和图像融合两个步骤.当然对于一些几何变形严重的图像需要在配准前进行图像几何校正.其中图像配准是图像拼接的核心. 柱面拼图像拼接按拼接基准可以分为:平面拼接, 接, 球面拼接和立方体拼接, 其中平面拼接最为常见.

技术创新

2.1 图像配准(image registration)

所谓的图像配准就是把同一场景在不同时刻, 不同视角,不同传感器下拍摄的图片进行空间上的对齐与灰度上的融合.图像配准的依据是图像之间的相似性.由图像的获取方式, 将配准问题大致的分为四类: ( 1) 不同的观察点获取的图像之间的配准( 多观察点配准) , 一般选用透视变换的方法, 主要应用在计算机视觉中; ( 2) 不同的时间获取的图像之间的配准( 时间序列配准) . 方法特点是需要容忍图像的差异和形变对配准造成的影响, (3) 不同传感器获取的图像之间的配准( 多模态配准) .(4)场景到模型的配准( 模板匹配) . 图像配准理论上可以定义为: 两幅待配准的图像

2 图像拼接

图像拼接的前提条件是相邻图像之间有一部分在逻辑上是相同的, 即必须有一定的重合.拼接的主要工作就是确定相邻图像在宽度,高度上的重叠程度, 去掉重叠, 进行平滑连接得到全景图像.图像拼接的一般步骤是: ( 1 ) 借助摄像设备拍摄场景图像序列; ( 2) 将所有帧图像数字化, 以便计算机进行处理; ( 3) 对图像进行几何校正( 非必须) , 使相同的景物在图像重叠所在的像具有相同的形状和一致的空间相对位置; ( 4) 确定配准算法, 用算法对图像进行配准定位; 徐正光: 教授基金项目: 教育部基金资助项目( 03021 )

《P LC 技术应用200 例》

I1(x,y)和I2(x,y), 我们称其中之一如I1(x,y)为参考图像,

另一个为待配准图像, 间的坐标位置和灰度级上的双重映射变换, 可以表示为: I2(x,y)=g(I1(f(x,y))), 这里 f 是一个二维空间的左边变换, 而g 是一个一维的灰度变换.寻找最佳的空间或几何变换参数是匹配问题的关键. 它常常被表示为两个参数变量的单值函数fx,fy:I2(x,

y)=I1(fx(x,y),fy(x,y)). 2.2 图像融合

邮局订阅号: 82-946 360 元/ 年

-255 -

图像处理

中文核心期刊《微计算机信息》管控一体化)2006 年第22 卷第10-3 期(

图像融合的主要问题是如何使拼接的两幅图像在拼接之后不出现明显的拼接接缝, 在亮度上没有明显的差别.目前图像融合的方法很多, 主要的方法有三种: ①重叠区域图像数据的拼接合并时只使用一次. ②重叠区域图像数据在合并时简单取平均; ③重叠区域图像数据在进行数据融合时采用淡入淡出的思想, 使拼接后的图像过渡区平滑自然.经典的

算量大, 精度低.②块匹配, 计算量大, 精度高.③网格匹配, 很难选择好初始步长. ( 3) 基于特征的方法可以分为四个步骤: 特征提取, 征匹配, 换模型评估, 像插值和重采样, 常特变图用的插值方法有三种: 最近邻插值, 样条插值, 和双线性插值.确定了图像配准的方法, 图像拼接的方法也就随之而确定出来了, 目前基于特征的图像拼接方法最为常见. 把基于像素的方法和基于特征的方法相结合起来是一个行之有效的方法.

Szeliski 的方法, 简单有效, 在这个方法中, 2 幅图像重合部分中任意一点P 的灰度值为: 式中: g1(x,y), gr(x' ,y' )是p 在 2 幅图像中对应点(x, y), (x' ,y' ), 的对度值, ω是线性权重函数, 在图像的中心取值为1 , 边缘取值为0 .

4 图像拼接的不足

图像拼接最重要的一点是选择一个鲁棒而快速的图像对准方法.但是很多图像对准方法都有各种缺陷, 下面综述了几种图像对准方法: ( 1 ) 基于空域匹配的方法.这种方法利用互相关函数对两幅图像进行相似性度量, 使得互相关函数值( 一般使用最小平方差函数) 最小方法简单直观, 但是很难处理镜头存在旋转和缩放的情况, 而且搜索整个图像空间, 计算代价高昂, 对图像噪声和敏感, 所以对于全景图并不适用; 轮( 2 ) 基于图像特征的方法, 这种方法提取图像边界, 廓和拐点等特征进行匹配, 构造方程组, 通过数值计算得到变换参数.该方法的缺点在于依赖于图像特征, 一旦特征提取有误差, 或者选取的特征之间匹配有误差, 那么得到的结果将会有很大的误差, 其次特征对噪声和遮蔽十分敏感, 就算有良好的特征点也往往因为遮蔽或噪声无法计算对准. 本文作者创新点:介绍图像拼接知识, 提出把图像拼接分为图像配准和图像融