航拍图像序列自动拼接技术讲解

1 航拍图像序列自动拼接技术与地图重建

航拍图像序列自动拼接是指将一组内容上相关的航拍图像自动拼接为一幅能够更为全面描述场景内容的全景图像的过程。鉴于视觉系统中存在的分辨率与视场范围之间的固有矛盾，为了保证较高的分辨率，单幅的航拍图像对应的场景区域通常较小，不利于准确、全面地观察和分析地面场景。而航拍图像自动拼接技术正是解决这一问题的有效途径。

航拍图像拼接主要包括配准和镶嵌两个步骤，其中的核心是图像配准。

人们已经提出了很多配准方法，如灰度相关法、相位相关法、基于特征的方法等。其中，基于特征的方法首先在两幅输入图像中分别提取具有不变性的特征点，然后通过搜索比较得到一组匹配的特征点对，并利用这些特征对之间的对应关系估计出全局变换参数，最后借助估算出的变换模型将两幅图像校正到同一平面上，从而实现配准。相对于其他方法，基于特征的配准方法能够容忍更大的图像差异，有助于获取稳定的配准结果。

基于特征的配准方法主要有三个步骤：提取特征点、搜索匹配点和计算转换矩阵。

1.1 坐标系统

在图像采集过程中需要将客观世界的3D 场景投影到摄像机的2D 像平面上，这个投影可以用成像变换来描述。成像变换涉及到不同坐标系之间的变换，考虑到图像采集的最终结果是要得到计算机能够处理的数字图像，这里介绍一下对3D 空间景物成像时所涉及到的坐标系统。

(1)世界坐标系也称真实或现实世界坐标系统XYZ ，表示场景点在客观世界的绝对坐标(所以也称为客观世界坐标系统)。一般的3D 空间场景都是用这个坐标系统来表示的。

(2)摄像机坐标系以摄像机(观察者)为中心制定的坐标系统xyz ，将场景点表示成以观察者为中心的数据形式，一般常取摄像机的光轴为Z 轴。因为在场景中也许有多个摄像机，而每个摄像机都会有自己的坐标系。在许多情况下，图像平面坐标系是摄像机坐标系的一部分。根据透视投影公式可建立图像坐标系与摄像机坐标系之间的转换关系式：

c c c

f x y z x y == （3－5）

用矩阵形式表示为：

00000010

101c c c c

x x f y z y f z ⎡⎤

⎡⎤⎡⎤⎢⎥

⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥

⎣⎦⎣⎦⎣⎦ （3－6）

(3)像素坐标是用来表示图像阵列中图像像素位置的坐标，它也称图像阵列坐标或网格坐标。因为摄像机采集到的图像以标准电视信号的形式输入计算机，经计算机中专用的数模转换板变换为数字图像，每幅数字图像在计算机内为M N ⨯的数组，M 行N 列的图像中每一个元素（称为像素，pixel ）的数值即是图像点的亮度（或灰度）。对于图像中每一个像素的坐标值

[],i j ，i 表示该像素在图像中的列数，j 表示该像素在图像中的行数，此时i 和

j 都是正整数。这种表示方法特别方便计算机程序对图像进行处理，因为它和计算机程序中

的数据结构二维数组对应，写起程序来相当方便。为了提高处理图像的精度，还可以引入子像素（subpixel ）的概念。所谓子像素是指像素与像素之间的点，其坐标用小数表示。

（4）图像平面坐标是用来表示场景点在图像平面上的投影的坐标系。由于在像素坐标系中每一个像素的坐标(,)u v 分别是该像素在数组中的行数与列数，并没有用物理单位表示出该像素在图像中的位置，因而需要再建立以物理单位（例如cm ）表示的图像坐标系。该坐标系以图像内某一点

1

O 为原点，x 轴与y 轴分别与,u v 轴平行，如下图所示，其中(,)

x y 表示以毫米为单位的图像坐标系的坐标。

图 1像素坐标系与图像平面坐标系的关系

其中，世界坐标系与摄像机坐标系之间是刚体转换关系。设空间中某一点P 在世界坐标系和摄像机坐标系下的坐标分别是

(,,)T

w w w x y z 与

(,,)T

c c c x y z ，其转换关系式如下：

1111c w w c w w T

c w w x x x y R

t y y z O z z ⎡⎤⎡⎤⎡⎤

⎢⎥

⎢⎥⎢⎥⎡⎤⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎣⎦

⎣⎦⎣⎦1M （3－7）

其中，R 为3⨯3旋转矩阵；t 为三维平移向量；

(0,0,0)T O =；1M 为4⨯4矩阵。合并式（3－4）、（3－6）和（3－7）得：

00001

00001

0000100

1000

110

000100

11w w c w

w x w y T

w u x dx u f R t y z v v f O z dy x u R t y v O z αα⎡⎤⎢⎥⎡⎤

⎡⎤⎡⎤⎢⎥⎢⎥⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥

⎣⎦⎢⎥⎢⎥⎢

⎥⎢⎥⎣⎦⎣⎦

⎣⎦

⎢⎥⎢⎥⎣⎦⎡⎤

⎡⎤⎢⎥⎡⎤⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦

⎣⎦12w w M M X MX T 1 （3－8）

其中，

x f dx α=，y f dy α=；X w =(x w ，y w ，z w

，1)T ；M 为3⨯4矩阵，称为投影矩

阵；M 1完全由

0,,,,v u dy dx f 决定，它们只与摄像机内部结构有关，是摄像机内部参数；

M 2完全由摄像机相对于世界坐标系的方位决定，是摄像机的外部参数。摄像机标定就是要

得到内外参数，从而确定投影矩阵M 。

1.2 成像模型

一般的成像系统通常将三维场景变换为二维灰度或彩色图像，这种变换可以用一个从三维空间到二维空间的映射来表示：

32

:

(,,)(',')

f R R x y z x y ->-> （3－9）

此种映射通常用到两种几何变换：正交投影和透视投影。透视投影是最常用的成像模型，单灭点透视投影可以用针孔成像模型来近似表示，（假设相机的焦距为f ）。设坐标系的设置如下图：

图 2