图像配准毕业论文

哈尔滨工业大学华德应用技术学院毕业设计（论文）
摘要
数字图像配准技术是将不同时间、不同传感器、不同视角及不同拍摄条件下获取的同一场景的两幅或多幅图像进行配准的处理过程，是数字图像处理中的一个基本问题。

配准的效果将直接影响到其后续图像处理工作的效果。

目前提出的图像配准算法大多可分为基于灰度的配准方法和基于特征的配准方法。

基于灰度的配准方法计算复杂度高、对图像的灰度、旋转、形变以及遮挡都比较敏感，而基于特征的配准方法可以克服这些缺点，从而在图像配准领域得到了广泛应用。

(提出本文要用什么方法,有什么好处)
关键词：图像配准灰度特征互信息
-I-
哈尔滨工业大学华德应用技术学院毕业设计（论文）
Abstract Keywords：
-I-
哈尔滨工业大学华德应用技术学院毕业设计（论文）
目录
摘要 (I)
Abstract (I)
第1章绪论 (2)
1.1 课题背景 (2)
1.2目的和意义 (2)
1.3 国内外现状 (3)
1.4 论文内容及结构安排 (3)
第2章图像配准原理 (5)
2.1 图像配准的基本过程 (5)
2.2 图像配准方法的分类 (6)
2.3 主要的图像配准方法 (7)
2.3.1 基于特征的配准方法 (7)
2.3.2 基于灰度的配准方法 (8)
2.4 本章小结 (8)
第3章图像配准算法 (9)
3.1 基于灰度信息的图像配准算法 (9)
3.1.1 互相关配准方法 (9)
3..2 互信息的概念 (10)
3.2.1熵 (10)
3.2.2 互信息 (11)
3.2.3 基于互信息的配准方法 (12)
3.3 基于点特征的图像配准 (13)
3.3.1 Moravec算子 (13)
3.3.2 Forstner (14)
3.3.3 小波变换算子 (16)
3.3.4 基于特征的图像配准 (17)
3.4 本章小节 (17)
第4章互信息图像配准的技术 (19)
4.1 插值技术 (19)
4.1.1 最近邻插值法 (19)
4.1.2 三线性插值法 (20)
4.1.3 部分体积分布插值法 (21)
4.2 出界点处理 (22)
4.3 灰度级别对配准的影响 (23)
4.4 优化算法 (25)
4.4.1 优化算法简介 (25)
-II-
哈尔滨工业大学华德应用技术学院毕业设计（论文）
4.4.2 蚁群算法 (25)
4.4 本章小结 (27)
第5章实验结果及分析 (29)
5.1 实验环境 (29)
5.2 互信息实现过程 (29)
5.3 特征点的实现 (30)
5.4 本章小结 (32)
结论 (33)
致谢 (34)
附录1 译文 (38)
附录2 英文参考资料 (41)
附录3 源程序代码 (44)
-III-
第1章绪论
1.1 课题背景
目前我们所处的时代，无论是对信息的获得、加工、处理还是应用都有了飞跃地发展。

图像作为一种十分重要的媒体和手段已越来越受到人们的重视。

随着二十世纪九十年代的第三代计算机的问世，多媒体技术得到了前所未有的迅猛发展，这极大地推动了计算机图像处理技术向更高级方向迅速发展。

同时，图像的处理技术也愈来愈广泛地应用于众多的科学和工程领域。

目前，图像处理已成为工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域学科之间学习和研究的对象。

在一些用图像进行研究和分析的领域中，常常是将图像通过打印在胶片上或挂在灯箱上等手段来进行读片，但由于图像的分辨率和对比度的差异，以及成像时空间坐标的变化，使得人们很难在脑海中精确地将这些图像综合起来。

图像配准可以利用计算机图像处理技术，将这些图像统一在公共的坐标系中，通过计算机的可视性来提供辅助。

通过图像的配准，我们可以综合从不同的传感器收集来的信息、可以在不同时间或者在不同条件下所获得的图像之间寻找变化、可以从移动的相机所拍的图像或者移动的物体的图像中收集三维信息以及进行基于模板的模式识别等。

目前，图像配准已是数据融合、图像分析、目标变化检测与识别、图像镶嵌等实际问题中的重要步骤，其应用遍及遥感、军事、医学、计算机视觉等多个领域。

由于图像配准的重要价值和广阔的应用前景，正日益受到国际上越来越多科研机构的高度重视，是图像处理领域中重点和热门的研究课题。

1.2目的和意义
数字图像配准是八十年代末+以来发转极为迅速的图像处理技术之一，它是模式识别，自动导航，医学诊断，计算机视觉，遥感图像处理的重要组成部分。

图像配准技术经过多年的研究，已经取得了众多研究成果，但由于图像配准的输入数据来源的多样性，以及不同的应用对图像配准的要求各不相同，同时由于影响图像配准的因素的多样性，以及配准问题的复杂性，图像配准的技术还有待进一步的发展。

目前国内外同行都在研究图像配准的方式与其相关的技术。

对于图像配准问题，已有一套统一的处理框架和思路，但是每一类具体的图像配准问题又有其特殊的分析，处理方法。

同时由于图像之间存在复杂多变的成像畸变，因此图像配准技术是一个非常困难的课题。

通过对图像的精确配准，将能更好的进行图像信息融合，目标定位，变化检测，高分辨率图像的重建等后续处理工作，处理结果的好坏将直接影响后续的工作质量。

所以，对图像配准进行研究，具有理
论和实践双重意义。

1.3 国内外现状
图像配准最早是在美国七十年代的飞行器辅助导航系统、武器投射系统的末制导以及寻的等应用研究中提出，并且得到军方的大力支持与赞助。

经过长达二十多年的研究，最终成功地用于潘兴Ⅱ式中程导弹巡航导弹上，使其弹着点平均圆误差半径不超过十几米，从而大大提高了导弹的命中率。

八十年代后，在很多领域都有大量配准技术的研究，如腰杆领域，模式识别，自动导航，医学诊断，计算机视觉等。

各个领域的配准技术都是对各自具体的应用背景结合实际情况度身订制的技术。

但是不同领域的配准技术之间在理论方法上又具有很大的相似性。

在某一领域的配准技术很容易移植到其他相关领域
70年代初，P.E.Anuta[1]提出了使用FFT进行相关图像检测计算的图像配准技术，以提高配准过程的速度性能；D.L.Barnea[2]等提出了利用模板子图像差值相似性测度的图像配准技术，它比使用FFT计算互相关相似性测度进行图像检测计算的图像配准方法具有更高的性能；M.Svedlow[3]等对图像配准的相似性测度和预处理方法进行了比较分析； Flussr[4]针对变形图像间的匹配又提出一个自适应映射方法，自动地对两幅遥感图像进行分割，使得分割后两幅图像中相应子块间的相似度很大，从这些子块的空间位置关系来对原来的两幅图像进行匹配。

在国内，图像配准技术起步相对较晚，但后来获得了很大的发展。

国内很多学者在图像配准方面进行了研究。

李智[5]等提出了基于轮廓相似性测度的图像配准方法，它适用于轮廓特征比较丰富的图像的配准；郭海涛[6]等提出了一种将遗传算法（Genetic Algorithm，简称 GA）用于图像配准的算法；熊兴华[7]等提出了将遗传算法和最小二乘算法相结合的，并应用于图像的子像素的配准方法。

从国内外的发展现状中可以看出，图像配准技术已经取得了很多研究成果，在图像的匹配度方面研究出了多种配准方法，但由于图像配准的输入数据来源的多样性，以及不同的应用对图像配准的要求各不相同，同时，由于影响图像配准的因素的多样性，以及配准问题的复杂性，图像配准的技术还有待于进一步发展，目前国内外同行都在研究图像配准的方式与其相关的技术，作为图像配准的最终方式，图像的自动配准技术内容也在积极的研究过程中。

1.4 论文内容及结构安排
本文将主要从以下几个部分进行阐述：
第一章，绪论。

介绍了医学图像配准的应用前景及意义和国内外的研究现状，简要叙述了本文的工作，给出了文章组织结构。

第二章介绍了图像配准的有关知识，包括图像配准的基本过程、方法分类。

第三章介绍了互信息、互相关及特征点的有关知识，包括熵和互信息的基本概念、互信息和基于特征配准法的基本步骤，以及在MATLAB平台中互信息的配准。

第四章详细讨论了插值方法、出界点处理方法、灰度级数和优化算法对配准的影
响。

提出了采用蚁群算法进行优化的互信息像配准方法。

最后对全文进行了总结，概括了主要研究成果以及有待于进一步完善和改进的问题，并对图像配准的发展前景做了展望。

第2章 图像配准原理
图像配准是指对于一幅图像寻求一种（或一系列）空间变换，使它与另一幅图像上的对应点达到空间上的一致。

配准的结果应使两幅图像上所有的点，或至少是所有具有意义的点及感兴趣的点都达到匹配[8]。

2.1 图像配准的基本过程
对在不同时间或不同条件下获取的两幅图像I(x)和J(x)配准，就是要定义一个相似性测度，并寻找一个空间变换关系，使得经过该空间变换后，两幅图像的相似性达到最大。

即使得图像I 上的每一个点在图像J 上都有唯一的点与之对应，并且这两点对应同一位置。

如：
S (T)=S(I(x) ,J(T α(x))) （2-1）
式中S 是相似性测度，T α为空间变换，α为空间变换参数。

配准过程可归结为寻求最佳空间变换：
()⎭⎬⎫⎩⎨⎧=Ta S Ta T max arg * （2-2） 一般配准的基本步骤如下[9]。

（1）图像分割与特征的提取：进行图像配准的第一步就是要进行图像分割从而找到并提取出图像的特征空间。

图像分割是按照一定的准则来检测图像区域的一致性，达到将一幅图像分割为若干个不同区域的过程，从而可以对图像进行更高层的分析和理解。

（2）变换，即将一幅图像中的坐标点变换到另一幅图像的坐标系中。

常用的空间变换有刚体变换(Rigid body transformation)、仿射变换(Affine transformation)、投影变换(Projective transformation)和非线性变换(Nonlinear transformation)。

刚体变换使得一幅图像中任意两点间的距离变换到另一幅图像中后仍然保持不变；仿射变换使得一幅图像中的直线经过变换后仍保持直线，并且平行线仍保持平行；投影变换将直线映射为直线，但不再保持平行性质，主要用于二维投影图像与三维体积图像的配准；非线性变换也称作弯曲变换(Curved transformation)，它把直线变换为曲线，这种变换一般用多项式函数来表示。

图2.1是这四种变换的示意图。

（3）寻优，即在选择了一种相似性测度以后采用优化算法使该测度达到最优值：经过坐标变换以后，两幅图像中相关点的几何关系已经一一对应，接下来就需要选择一种相似性测度来衡量两幅图像的相似性程度，并且通过不断地改变变换参数，使得相似性测度达到最优。

当然，配准的过程并不绝对按上述步骤进行，一些自动配准的方法，如采用的基于灰度信息的配准方法，其配准过程中一般都不包括分割步骤。

此外，坐标变换和寻优过程在实际计算过程中是彼此交叉进行的。

原始图像变换后图像
刚体变换
投影变换
仿射变换
非线性变换
图2.1 空间变换示意图
2.2 图像配准方法的分类
根据图像的属性不同、配准对象之间的关系不同，图像配准可有多种不同的分类方法[10]：
1.按待配准图像之间的维数的分类
不考虑配准图像是否包括时间维时，可按图像空间维数分为2D/2D、2D/3D和3D/3D配准；2D/2D配准通常指两个断层层面间的配准；2D/3D配准通常指空间图像和投影图像（或是单独的一个层面）间的直接配准；3D/3D配准指两幅三维空间图像间的配准。

在空间维数的基础上再加上时间维数，则原来的2D、3D就分别变成了3D、4D。

2.按图像特点的来源分类
包括基于外部特征的配准和基于内部特征的配准。

基于外部特征的配准通过外部标记的方法来实现配准，这种配准方法配准参数能够比较准确的计算得到，一般不需要复杂的优化方法，缺点是操作比较复杂。

基于内部特征的方法是一种可回溯性配准，成像前不
需要进行特殊处理。

3.按坐标变换的性质分类
图像之间的映射包括刚体变换、仿射变换、投影变换和非线性变换四种变换模型。

在实际的图像应用中非线性变换是比较接近现实情况的模型，但由于其求解复杂，往往在误差不大的情况下用较简单的模型取代了非线性模型。

4.按坐标变换的域分类
根据变换关系的作用域配准可分为全局变换和局部变换。

全局变换是经常要用到的，局部变换很少单独使用，通常的做法是在比较复杂的配准中，先进行全局变换，再使用局部变换以使局部细微部分能更好的吻合。

5.按配准过程中的交互性分类
包括人工的方法、半自动化的方法和全自动化的方法。

人工的方法完全由人工凭借经验进行，输入计算机后实现的只是显示工作，几乎不需要什么配准的算法；半自动化的方法需要由人工给出一定的条件；全自动化的方法不需人工干预，由计算机自动完成。

各种配准方法都试图在最小化人的参与程度、配准的速度和鲁棒性之间找到一个折中点。

6.按变换参数的计算方法分类
根据配准过程中空间变换参数的求解方式可将配准算法分为两类：直接计算求解法和优化算法搜索求解法。

直接计算求解法一般使用从两幅图像中提取到的特征集，通过联立方程直接计算得到空间变换参数。

优化搜索求解法一般是先建立一个包含空间变换参数的目标函数，然后通过优化算法搜索出最优的变换参数。

优化方法又分为局部优化方法和全局优化方法。

局部优化方法速度较快，但易陷入局部极值，全局优化方法则可以克服局部极值，收敛到全局极值处，但执行速度较慢。

7.按配准的过程分类
图像配准方法分类的标准很多，从配准工作的过程来对配准方法进行分类更能反应配准问题的本质。

基于这个思路，图像配准方法分为两类：基于特征的方法(feature based)和基于灰度的方法(intensity based)。

它们的主要区别在于是否包含分割步骤。

基于特征的方法包括图像的分割过程，用于提取图像的特征信息，然后对图像的显著特征进行配准。

基于灰度的配准方法只要进行配准基本过程中的后两个步骤的工作，无需进行图像的分割与特征的提取，直接用图像的统计信息作为配准的相似性测度。

2.3 主要的图像配准方法
2.3.1 基于特征的配准方法
此类方法利用提取出来的特征集来建立特征集之间的对应关系，由此求出配准参数，配准速度快，但是常常需要人工参与提取特征，这既有利于配准的实现，又限制了它的应用[11]。

1．基于点的方法
当两幅图像的对应点集确定以后，只要对准了这些标志点，图像也就配准了[12]。

2．矩和主轴法
借用经典力学中物体质量分布的概念，计算两幅图像像素点的质心和主轴，再通
过平移和旋转使两幅图像的质心和主轴对齐，从而达到配准的目的。

该方法对数据缺失较敏感，配准结果不太精确，但算法自动、快速、易实现，因此它主要用于图像的初步配准，以减少后续精确配准时优化算法的搜索区间和计算时间[13]。

3．基于面的方法
基于面的配准方法中最典型的算法是头帽算法。

从一幅图像中提取一个表面模型称为“头”，从另一幅图像中提取的轮廓点集称为“帽”。

用刚体变换或仿射变换将“帽”的的点集变换到“头”上，然后采用优化算法使得“帽”的各点到“头”表面的均方根距离最小[14]。

4．基于点和面特征结合的方法
这种方法是在改善迭代最近点法、表面和特征点法相结合的方法的基础上所提出的一类方法。

该方法采用表面点集和特征点集的加权法来计算两幅图像间的相关点集的距离，可以减少所使用的特征点。

2.3.2 基于灰度的配准方法
这类方法是目前研究得最多的方法，直接利用图像的灰度数据进行配准，避免了特征提取带来的误差，因而具有精度高，稳健性强、不需要预处理而能实现自动配准的特点。

用的比较多的有基于相关性的方法(Correlation based method)和基于互信息的方法(Mutual Information based method)。

1．相关法
相关法对于同一物体由于图像获取条件的差异或物体自身发生小的改变，采用使图像间相似性最大化的原理实现图像间的配准，即通过优化两幅图像间相似性准则来估计变换参数。

所使用的相似性测度可以是相关函数、相关系数、差值的平方和或差值的绝对值等。

2．最大互信息配准法
基于互信息的配准方法是近些年来图像配准研究中使用得最多的一种方法[15]。

该方法用两个变量的联合概率分布于完全独立的概率分布的广义距离来作为变量之间的相似性测度，即互信息(Mutual information, I)。

由于互信息测度无需预先假设不同成像模式下图像灰度的相关性，也不需对图像进行分割和任何预处理，精度高、稳健性强的方法，因此得到了广泛应用。

2.4 本章小结
本章主要介绍了图像配准的相关知识，包括配准的基本过程、方法分类等（介绍是什么）。

第3章 图像配准算法
迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，并产生了不少图像配准方法。

各种方法都是面向一定范围的应用领域，也具有各自的特点。

总的来说，根据图像配准利用图像信息的区别，可以将图像配准方法分为两个主要类别：基于灰度信息的图像配准方法和基于特征的图像配准方法。

3.1 基于灰度信息的图像配准算法
基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有的灰度的一些统计信息来度量图像的相似程度。

其主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，而且在最优变换的搜索过程中往往需要巨大的运算量。

假设标准参考图像为R ，待配准图像为S ，.R 大小为n m ⨯，S 大小为N M ⨯，基于灰度信息的图像配准方法的基本流程是：以参考图像R 叠放在待配准图像S 上平移，参考图像覆盖被搜索的那块区域叫子图j Si 。

i 和j 为子图左上角待配准图像S 上的坐标。

搜索范围是：
11i M n
j N n ≤≤-⎧⎨
≤≤-⎩
（3-1） 通过比较R 和j Si 的相似性，完成配准过程。

根据采用的相似性度量函数的不同，基于灰度信息的配准方法又可以分为互相关
配准方法、最大互信息配准法等多种不同的方法。

3.1.1 互相关配准方法
互相关配准方法是最基本的基于灰度统计的图像配准方法。

它要求参考图像和待匹配图像具有相似的尺度和灰度信息，并以参考图像作为模板在待匹配图像上进行遍历，计算每个位置处参考图像和待匹配图像的互相关。

互相关最大的位置就是参考图像中与待匹配图像相应的位置。

常用的互相关计算公式有如下两种：
设R(x,y)和S(x,y 分别表示参考图像和待配准图像。

()()()()()2
2
,,,,,R x y S x i y j dxdy
C i j R x y dxdy S x i y j dxdy
++=
++⎰⎰⎰⎰⎰⎰ (3-2)
()()2
2
,(,)(,),(,)(,)(,)R x y R S x i y j S i j dxdy C i j R x y R dxdy S x i y j S i j dxdy
⎡⎤⎡⎤-++-⎣⎦⎣⎦=
⎡⎤⎡⎤-++-⎣⎦
⎣⎦⎰⎰⎰⎰⎰⎰ (3-3)
式中，R 和 (),S i j 分别表示(),R x y 和(),S x i y j ++的均值。

显然，当()(),,R x y S x i y j =++时，式(3-2)和(3-3)计算的互相关系数达到最大，但实际由于噪声的存在，一般R 和S 是不完全匹配的。

因此通常将其最大值的位置作
为最佳匹配点来实现图像配准。

互相关匹配方法对于噪声的影响和不同灰度属性或对比度差异的影响缺乏鲁棒性。

3..2 互信息的概念
3.2.1熵
互信息是信息理论的一个基本概念，通常用于描述两个系统间的信息相关性，或者是一个系统所包含的另一个系统中信息的多少，它可以用熵来表示。

熵是用来测量一个信息源所包含信息量的测度，是由香农(Shannon)最早提出的。

假设一个信源A 输出N 个消息，其中n 个不同的消息，第i 个消息(i =1，2，……，n)重复hi 次，则hi/N 为每个输出消息的重复频率，故可用概率替换，即Pi ＝hi/N ，则该信源的平均信息量即熵为：
()∑=-
=n
i i
i p p A H 1
log （3-4）
因此熵表示的是一个系统的复杂性或不确定性。

对于灰度图像来说，可以将图像的灰度看作是一个随机变量，每个点的灰度值为该随机变量的一个事件，则可以根据图像的灰度信息计算出每级灰度发生的概率Pi ＝hi/N ，其中hi 为图像中灰度值等于i 的像素点的总数，N 为图像中像素总数。

如果图像中的灰度级数越多，像素灰度值分布越分散，则每级灰度的概率值越接近，或者说图像中任一点的灰度值具有很大的不确定性，我们所获得的信息量也越大，该图像的熵值也较大；反之，如果图像中的灰度值分布比较集中，则一些灰度的概率值较大，不确定性减少，熵值较小。

联合熵H(A,B)是检测随机变量A 和B 相关性的统计量。

对于两个随机变量A 、B ，它们的概率分布分别为()a p A 和()b p B ，联合概率分布为()b a p AB ,，它们的联合熵为：
()()()
∑-
=b
a AB AB
b a p b a p B A H ,,log ,, （3-5）
3.2.2 互信息
如果H(A|B)表示已知系统B 时A 的条件熵，那么H(A)与H(A|B)的差值，就代表了在系统B 中包含的系统A 的信息，即两个系统的互信息，可以用下式描述：
I(A,B)=H(A)+H(B)-H(A,B)
=H(A)-H(A|B)
=H(B)-H(B|A) （3-6）
这里，其中H(A)、H(B)和H(A,B)为随机变量A 与B 的个体熵和联合熵，H(A|B)和H(B|A)分别为系统B 已知时系统A 的条件熵和已知系统A 时系统B 的条件熵，H(A|B)的定义为：
∑-
=b
a AB AB
b a p b a p B A H ,)
|(log ),()|( （3-7）
在多模图像配准问题中，虽然两幅图像来源于不同的成像设备，但是它们基于共同的信息，所以当两幅图像的空间位置完全一致时，其中一幅图像中表达的关于另一幅图像的信息，也就是对应像素灰度的互信息应为最大。

一般用联合概率分布和完全独立时的概率分布间的广义距离来估计互信息：
()()()()()
∑
=
b
a B A AB AB
b p a p b a p b a p B A I ,,log
,, （3-8）
对于待配准的两幅图像，可以认为它们是关于图像灰度的两个随机变量集参考图像A 和浮动图像B ，a 和b 是两幅图像中相关的像素灰度值，a 和b 通过图像A 和B 之间的坐标变换相联系，联合分布()b a p AB ,可以通过归一化的联合灰度直方图h(a,b)得到：
()()
()
∑
=
b
a AB
b a h b a h b a p ,,,, （3-9）
边缘概率分布()a p A 表示为：
()(
)
∑=
b
AB A b
a p
a p , （3-10）
边缘概率分布()b p B 表示为：
()()
∑=
a
AB B b
a p
b p ,
（3-11）
互信息具有以下属性： 非负性：I(A,B)≥0 对称性：I(A,B)=I(B,A) 自信息：I(A,A) =H(A)
独立性：I(A,B)=0 ()b a p AB ,=()a p A *()b p B
有界性：I(A,B) ≤min(H(A),H(B))
≤H(A)+H(B) ≤H(A,B)
由于互信息对重叠区域的变化比较敏感，Studholme 和Maes 分别提出了两种归一化互信息的表现形式：
()()()()
B A H B H A H B A I ,,+=
（3-12）
()()()()
B H A H B A I B A EC
C +=
,2, （3-13）
归一化互信息能更好的反映配准函数的变化。

3.2.3 基于互信息的配准方法
3.2.3.1 互信息配准的基本步骤
基于互信息的图像配准就是寻找一个空间变换关系，使得经过该空间变换后两幅图像间的互信息达到最大。

其基本步骤如下：
（1）对于待配准的图像，以一幅图像作为参考图像，另一幅为浮动图像，定义一个统一的坐标系，确定图像间的空间变换形式；
（2）根据空间变换，将浮动图像中的点变换到参考图像坐标系中，对变换后的非整数坐标上的点进行灰度插值，计算两幅图像间的互信息；
（3）通过优化算法，不断改变空间变换参数的值，搜索使互信息达到最大值对应的空间变换参数。

互信息图像配准流程如图3.1所示。