图像配准

•
图像配准的分类
• 按配准图像的来源分类 --不同传感器的图像配准（多模式分析）：目的在于融合不同传感 器信息，以获取更为丰富细致的场景信息。如可见光和红外图像配 准、医学成像—CT和MRI、多波段的人脸识别； --场景与场景模型图像配准：场景模型多为场景的数字表示，如地 理信息系统（GIS）中的数字高程图等。配准场景与场景模型的目的 在于在场景中定位模型，或在模型中定位场景，或者对场景与模型 作相应的比较。应用实例：遥感—将航片或卫片与地图或GIS相配准、 计算机视觉—匹配模板图像与实时场景、医学成像—将数字解剖图 与病人的图片相比照。
等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特
征点的提取应有所不同。 --线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。 线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的 线段信息，然后利用限制条件筛选出满足条件的线段作为线特征； --面特征是指利用图像中明显的区域信息作为特征。在实际的应用中最后 可能也是利用区域的重心或圆的圆心点等作为特征。
等作为两幅图像配准的参考信息。
图像配准的分类
• 按图像配准的应用领域分类 --军事，医学，遥感，计算机视觉 按配准图像的来源分类 --不同视点的图像配准（多视点分析）：目的在于获取更大范围的 二维视角或重构被摄场景的三维信息。应用实例：遥感—被摄区域 图像镶嵌、计算机视觉—形状恢复； --不同时间的图像配准（多时段分析）：目的在于寻找并度量两幅 不同时间内拍摄的图像中场景的变化。应用实例：遥感—区域规划、 计算机视觉——运动跟踪、医学成像—肿瘤病变检测、白天和黑夜 的场景以及夏天和冬天的图像特征研究；
配准算法的一般步骤—特征匹配
• 特征描述
--对比度直方图 主要思想：将特征点周围区域的像素点与特征点的对比度形成直方 图来描述该特征点。 特点：该方法比基于梯度的描述子要快。但描述力比基于梯度的 要略微弱一点。
配准算法的一般步骤—特征匹配
• 特征描述
--DAISY特征描述子 主要思想：受SIFT算法和GLOH算法的启发，将梯度加权和用几个 高斯方向偏导滤波器与原图像进行积分代替。 特点：该描述子有和SIFT特征算子相似的优点，但是速度比 SIFT特征算子要快。
刚体变换是平移、旋转与缩放的组合，适用于具有相同视角，但 拍摄位臵不同的来自同一传感器的两幅图像的配准。刚体变换模 ( x2 , y2 ) 分别为参考图像和待配准图像中对应的 型下，若点 ( x1 , y1 ) ， 两点，则它们之间满足以下关系：
x2 cos y sin 2
配准算法的一般步骤—特征匹配
• 特征匹配
特征匹配分两步： ① 对特征作描述 现有的主要特征描述子：SIFT特征描述子， SURF特征描述 子， 对比度直方图 (CCH)，DAISY特征描述子，矩方法。
② 利用相似度准则进行特征匹配 常用的相似性测度准则有如欧氏距离、马氏距离、Hausdorff 距 离等。
配准算法的一般步骤—特征匹配
• 特征描述
--矩方法 Hu矩，zernike矩…
配准算法的一般步骤—估计变换模型
空间变换模型是所有配准技术中需要考虑的一个重要因素，各种 配准技术都要建立自己的变换模型，变换空间的选取与图像的变形特 性有关。常用的空间变换模型有：刚体变换、仿射变换、投影变换、 非线性变换。 1.刚体变换模型
H ( X , ) L ( X , ) L ( X , ) yy xy
Lyy ( X , ) Lxx ( X , ) 表示高斯二阶偏导在X处与图像I的卷积。Lxy ( X , )、 其中， 具有相似的含义。
配准算法的一般步骤—特征提取
• 点特征提取方法
图像wk.baidu.com准技术
郑雪梅
内容概要
1.图像配准介绍
2.图像配准的分类
3.图像配准的一般步骤 4.图像配准的主要方法 5.部分配准算法的实验结果 6.图像配准的评价
图像配准介绍----图像配准的定义
• 什么是图像配准？ 图像配准可以视为源图像和目标图像关于空间和灰度的映射关系：
I 2 ( x, y) g ( I1 ( f ( x, y)))
配准算法的一般步骤
• • • • 特征提取 特征匹配 估计变换模型 图像重采样及变换
配准算法的一般步骤—特征提取
特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在 两幅图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物 体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三 类。 --点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点
其中： f 为二维空间坐标变换（如仿射变换），g 为一维亮度或其 他度量值变换。 图像配准问题的关键:最佳空间变换。 图像配准的实质：不同图像中表征同一位臵的物理点一一对应。
图像配准介绍----图像配准的意义
• 图像配准是处理多源图像信息融合、目标识别等实际问题中的一个重 要步骤 。 • 其广泛应用于军事、医学、航空等多个重要科研领域 。 • 经过图像配准，可以获得质量更高、清晰度更好、定位更准确的目标 信息。
配准算法的一般步骤—特征提取
• 点特征提取方法
--Harris-Laplace Harris算子能最稳定地在图像旋转、光照变化、透视变换条 件下提取二维平面特征点，但在三维尺度空间中，Harris探测子 的重复探测性能不好，不同尺度Harris特征点存在位臵误差， Harris探测子不具有尺度和仿射不变性。而三维尺度空间中最稳 定高效的特征尺度探测算子是归一化的Laplace算子。 K.Mikolajczyk和C.Schmid结合了Harris和Laplace算子的优 点，提出了Harris-Laplace算子。Harris-Laplace特征点具有尺 度和旋转不变的特性，且对光照变换和小范围视角变化具有稳定 性。
- sin x1 t x . cos y1 t y
配准算法的一般步骤—估计变换模型
2.仿射变换模型 如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直 线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变 换保持直线间的平行关系，但由于引入了缩放参数，故它不能保持直线段 ( x2 , y2 ) 分别为参考图像和待配准图像中对应 的长度和角度 ，若点 ( x1 , y1 ) ， 的两点，则它们之间满足以下关系：
…
配准算法的一般步骤—特征提取
• 线特征提取方法 --Robert --Sobel --Prewitt --Kirsch --Gauss-Laplace --Canny
…
配准算法的一般步骤—特征提取
• 面特征提取方法
--Mser 使用不同的阈值对图像进行二值化，这个过程中，所有阈值图 像上形成的连接区域都是极小值区域，在阈值图像的变化过程中， 形成了一系列嵌套的极值区域组。在每组嵌套区域里，有一类性质 较为稳定的区域，这类区域在较大阈值范围内具有较小的变化，被 定义为“最稳定极值区域”。
x2 a00 y a 2 10 a01 x1 t x . a11 y1 t y
配准算法的一般步骤—估计变换模型
3.投影变换模型 如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上依然为直 线，但平行关系不再保持，则称这样的变换称为投影变换。投影变换具有 8个参数，可以将成像设备的运动（如平移、旋转、缩放等）描述得更为 全面。若点 ( x1 , y1 )，( x2 , y2 ) 分别为参考图像和待配准图像中对应的两点， 则它们之间满足以下关系：
图像配准介绍----图像配准的应用领域
• 计算机视觉
--视频监控----对跟踪的目标区域进行配准
--人脸识别
图像配准介绍----图像配准的应用领域
• 医学 --不同模态的（CT,MRT）----配准后进行融合可以得到 更多的信息 --单模态-----同一病人不同时间，不同病人之间的
图像配准介绍----图像配准的应用领域
配准算法的一般步骤—特征提取
• 点特征提取方法
--Susan (Susan Corner Detector) 算法 SUSAN算法使用一个圆形的模板在图像上滑动，将位于圆形模板 中心的待检测的像素点称为核心点。假设图像为非纹理,核心点的 邻域被划分为两个区域:其一为亮度值等于(或相似于)核心点亮度 的区域,称为核值相似区(Univalue Segment Assimilating Nucleus,USAN),其二为亮度值不相似于核心点亮度的区域。
• 遥感 --不同时间、不同视角，不同传感器 --信息融合、环境监视、图像拼接、天气预报以及地图 更新等
图像配准介绍----图像配准的应用领域
• 军事 --变化检测、运动目标指示、视点稳定、大视场重构、 多通道融合、 地形定位和导航
图像配准的分类
• 按图像的维数分类 --2D/2D：平面图像之间的配准 --2D/3D：平面图像与空间图像之间的配准（医学上的体数据与二维 图像数据的配准） --3D/3D：两幅三维空间图像之间的配准 如果在空间维数的基础上再加上时间维，则原来的2D、3D就分别变 成了3D、4D，这在临床医学上比较常见，主要是用来观察儿童骨骼发 育，跟踪肿瘤变换等。 • 按成像模式分类 --单模：待配准的两幅图像是用同一种成像设备获取的 --多模：待配准的两幅图像来源于不同的成像设备
配准算法的一般步骤—特征提取
• 点特征提取方法
--Harris (Harris Corner Detector) 算法 受信号处理中相关函数的启发，给出与自相关函数相联系的 矩阵M，M矩阵的特征值是自相关函数的一阶曲率，如果两个曲率 值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、 视角变化和噪声的影响具有很好的鲁棒性。
--FAST特征点提取 FAST(Features from Accelerated Segment Test) 是对SUSAN角 点提取算法的简化，通过比较一个圆上16个像素点与中心像素点的 灰度对比情况来判断中心像素点是否为特征点。
配准算法的一般步骤—特征提取
• 点特征提取方法 --Harris-Affine --Hessian-Laplace --Hessian-Affine --Moravec算子 --Forstner算子
图像配准的分类
• 按交互性分类 --人工配准 ：完全由人工凭借经验进行，输入计算机后实现的只 是显示工作，不需要复杂的配准算法。 --半自动：由人工给出一定的初始条件，如人工勾画出轮廓、控制优化参数。 --全自动：全自动化配准不需人工干预，由计算机自动完成。 • 按对图像信息的利用情况分类 --基于灰度：直接利用局部图像的灰度信息建立两幅图像之间的相似性度 量，然后采用某种搜索方法寻找使相似性度量值最大或最小的 变换模型的参数值。 --基于特征：提取各类图像中保持不变特征如边缘点，闭区域的中心
配准算法的一般步骤—特征匹配
• 特征描述
--SIFT特征描述子 主要思想：一种基于图像梯度分布的特征描述子。 特点：抗干扰性好。但维数高，计算复杂度大。
配准算法的一般步骤—特征匹配
• 特征描述
--SURF特征描述子 主要思想：将特征点的周围区域分成几个子区域，用每个子区域 内像素点的X,Y方向的偏导和及其绝对值的和组成特征点的描述子。 特点：有较好的抗亮度变化能力。但是该描述子要求使用积分图 像，限定了其应用范围。
配准算法的一般步骤—特征提取
• 点特征提取方法
--SIFT特征点提取 使用Difference of Gaussian (DoG) filter 来建立尺度空间。在 尺度空间上提取极值点。
配准算法的一般步骤—特征提取
• 点特征提取方法
--SURF特征点提取 基于Hessian矩阵，它依靠Hessian矩阵行列式的局部最大值定 位兴趣点位臵。对于图像I中的某点X在尺度空间上的Hessian矩阵定 义为: L xx ( X , ) L xy ( X , )