红外与可见光图像配准算法
基于卷积神经网络的红外与可见光图像融合算法
基于卷积神经网络的红外与可见光图像融合算法基于卷积神经网络的红外与可见光图像融合算法引言：近年来，随着红外和可见光图像获取技术的发展，红外与可见光图像融合在目标检测、夜间监测、军事侦查等领域中得到广泛应用。
红外图像能够突破可见光图像的局限性，具有辐射强度分布多变、辨识率高、适合在夜间和复杂天气条件下感知目标等优势；而可见光图像在空间和形状信息方面具有优势。
因此，将红外图像与可见光图像融合起来，可以有效地提高图像的质量和信号噪声比，从而更好地进行目标识别和目标跟踪。
方法：在红外与可见光图像融合算法中，卷积神经网络（Convolutional Neural Network，CNN）作为一种前沿的图像处理技术，在图像识别和特征提取方面具有出色的性能。
基于CNN的红外与可见光图像融合算法主要包括以下步骤：1. 数据预处理：将红外和可见光图像进行均衡化处理，使其具有相似的对比度和亮度分布。
这一步骤对于后续的特征提取和融合起到了关键作用。
2. 特征提取：使用卷积神经网络提取红外和可见光图像的特征。
卷积神经网络通过多层卷积和池化操作，可以有效地提取图像的空间特征和纹理信息，对于红外与可见光图像融合具有重要的意义。
3. 特征融合：将红外和可见光图像的特征进行融合。
融合的方法有多种，例如加权平均法、多层感知机等。
本文采用了基于CNN的特征级融合算法，该算法可以通过学习权重将红外和可见光图像的特征进行融合，得到更具有信息量的融合特征。
4. 图像重建：将融合后的特征通过反卷积操作进行重建，得到最终的融合图像。
重建的过程中可以加入一些先验知识，如红外图像的辐射分布和可见光图像的形状信息，以提高重建图像的质量。
实验结果：本文通过对红外与可见光图像数据集的实验验证，证明了基于CNN的红外与可见光图像融合算法的有效性和性能优势。
与传统的图像融合算法相比，该算法在目标识别和目标跟踪等任务中具有更好的性能和更高的准确率。
结论：基于卷积神经网络的红外与可见光图像融合算法在红外与可见光图像融合领域具有广泛的应用前景。
红外与可见光图像配准算法
Infrared and Visible Image Registration by Combination of Second-order Mutual Information and Alignment
Kuang Yabin，Wang Jindong，Li Peng （ College of Automation Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 21001结构信息的考
虑，因此二阶互信息提出通过增加相邻像素点的灰度 值或者当前像素点的梯度值等图像结构信息［1］，作为
缘梯度方向扩散的趋势，可见光图像中阶梯状边缘在 红外图像中则变成斜坡状边缘［2］，因此红外图像在边 缘处形成了边缘带。使用边缘带处的梯度信息会导致
二阶互信息的第二维信息来弥补互信息的缺陷。但是 配准结果的误差，从而降低配准算法的鲁棒性。
81
图像·编码与软件
匡雅斌，等： 红外与可见光图像配准算法
部上梯度值最大的点达到去边缘带的目的。 （ 3） 二 值 化 边 缘 连 接 和 迭 代 除 杂 边 缘［9］。 由
Hough 变换的基本原理知道，如果二值化图像中，所 需要提取的直线段连通性越好，且其他碎直线越少或 者碎直线间隔越大，则通过调整 Hough 变换的长度阈 值和最大间隔参数就越容易提取出所需要的直线段。 为此，本文对提取出的二值化图像进行边缘连接和迭 代除杂边缘的处理。在边缘连接中，高阈值图像去掉 大量噪声与杂散边缘，低阈值图像则保留了需要提取 的完整直线。这样通过边缘连接后的图像既保留了所 需提取的直线又去除了大量噪声边缘。连接后的直线 边缘不 一 定 完 全 连 接 起 来，但 此 时 可 以 通 过 调 整 Hough 变换中最大间隔参数来忽略直线间隔。最后， 为了进一步减少杂散边缘对 Hough 变换的干扰，又进 行了一次迭代去除杂散边缘。
红外与可见光图像配准算法
多模 图像配 准是对 同一 场景在 不 同时刻 、位 置 和 使用 不 同波 段摄像 头得 到 的一组 图像 之 间进行 匹配 的
过程 。二 阶互信息 是在互 信 息基础 上发展 的一 种更 为
了大量 的噪声 信息 ，由于 在红外 图像 和可见 光 图像 中 所 包含 的噪声 信号类 型不 一致 ，因此包 含红 外 与可见
ｔｒｄｂ ｄｕｔ ｇｔｅｐｏ ｏｔ ｎｏ ｉｎ ｅ ｔ ｅｒ ｅｎ ｗ ｓ ｌｒｙｆｎ ｔ ｎ ｘ ｅ ｍｅ ｔ ｅｕｔ ｄ ｍ ｎｔ ｔ ｔａ ｅｅ ｙａｊｓ ｎ ｒｐ ｒ ｏ ｆ ｇ ｍ ｎ ｔ ｃｉ ｔ ｅ ｉ ａ ｔ ｕ ｃｉ ．Ｅ ｐ ｒ ｎ ｓｌ ｅ ｏ ｓ ａ ｔ ｉ ｈ ｉ ｌ ａ ｍ ｉ ｎｈ ｍｉ ｉ ｏ ｉ ｒ ｓ ｒｅｈ
ｔ ｅｐ ｏ ｏ ｅ ｉ ｌｒｔ ｕ ｃｉｎ ｓ ｏ ｉｈ ｒａ ｃ ｒｃ ｎ ｏ ｕ ｔｅ ｓｔａ ｈ ｏ ｖ ｎ ｉｎ ｉ ｌｒｔ ｕ ｃｉｎ ． ｈ ｒｐ ｓ ｄ ｓｍ ａｉ ｆ ｎ ｔ ｈ ｗｓｈ ｇ ｅ ｃ ｕ ａ ｙ ａ ｄ ｒｂ ｓｎ ｓ ｈ ｎ ｔｅ ｃ ｎ ｅ ｔ ａ ｓｍｉａ ｙ ｆ ｎ ｔｏ ｓ ｉ ｙ ｏ ｏｌ ｉ
一种电力设备红外与可见光配准研究
随着现代电力网络的不断发展，电力设备的监测和维护变得越来越重要。
红外和可见光一直是两种常用的无损检测手段。
在电力设备监测中，红外图像技术用于检测设备的故障，而可见光图像用于检测设备的外观缺陷。
因此，如何将红外和可见光图像进行配准，并实现两种图像在同一坐标系下的统一显示，成为研究的热点之一。
一、红外与可见光图像的特点红外图像常用于检测电力设备的热力学特征，依据设备表面的温度差异实现故障检测。
而可见光图像则主要用于检测设备表面的外观缺陷。
因此，两种图像的特点和获取方式有所不同。
1.红外图像的特点红外图像是检测电力设备故障的一种有效手段，其主要特点如下：( 1)热敏感：红外图像所反映的是物体表面的热分布情况，其灵敏度高，可以检测到微小的温度变化。
( 2)非接触性：红外图像无需接触被测物体，避免了对被测物体的损伤或影响。
( 3)图像多变性：同一物体在不同的时间、环境下，其红外图像可以呈现出不同的特征，这使得红外图像在检测各种不同类型的电力设备故障时都有广泛的应用。
2.可见光图像的特点可见光图像在电力设备监测中的主要作用是检测电力设备外观缺陷，其特点如下：( 1)形象直观：可见光图像可以呈现出被测物体的真实色彩和形态特征，使得故障缺陷更加直观。
( 2)相对单一：可见光图像只能反映出物体表面的纹理和颜色，并不能检测其内部信息。
( 3)环境受限：可见光图像对环境有一定要求，例如光线、天气等因素都会影响其图像质量。
二、红外与可见光图像配准研究现状红外和可见光图像配准是将两幅或多幅图像在同一个坐标系下进行统一显示的技术，该技术可以帮助研究人员对电力设备的故障进行更准确的定位分析。
红外与可见光图像配准技术在国内外研究已经比较成熟，主要包括以下两种方法。
1.基于特征点的配准方法特征点是指图像中的一些具有特定识别性的点，这些点在图像中具有较强的唯一性，对于不同场景下的图像，其特征点的位置和数量都不相同。
基于特征点的配准方法，是通过寻找两个图像中的相同特征点，将它们在坐标系上对应起来，从而实现两幅图像的配准。
红外图像与可见光图像融合笔记
红外图像与可见光图像融合——笔记图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。
为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。
预处理理论主要包括图像去噪、图像配准和图像增强。
图像去噪目的是为了减少噪声对图像的影响。
图像配准是使处于不同状态下的图像达到统一配准状态的方法。
图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。
图像融合评价方法：主观评价和客观评价。
指标如：均值、标准差、信息熵等。
针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。
该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。
经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。
红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。
一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。
可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。
利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。
在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。
红外与可见光图像配准
本科毕业设计论文题目红外与可见光图像配准专业名称自动化学生姓名指导教师毕业时间2014.06毕业 任务书一、题目红外与可见光图像配准二、研究主要内容选题来源于科研项目。
红外与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大。
针对红外与可见光图像配准的研究，拟采用基于特征的图像配准算法。
配准算法中核心的部分在于特征的提取和特征的匹配两个部分。
特征提取拟采用Harris 角点或Susan 角点检测算法，这两种算法稳定性好，也适合实时性场合需要。
特征匹配阶段根据图像物理特性选择合适的匹配测度及匹配算法。
最终实现一种自动、快速、较高性能的配准方法。
三、主要技术指标1、开发工具采用OpenCV ；2、配准时间1秒左右，精度小于1个像素。
四、进度和要求第1-2周：初步查阅与本次毕设有关的背景知识、论文以及书籍，并进行分析、总结，理解所研究的问题。
第3-4周：学习掌握OpenCV 、图像配准的相关知识。
第5-6周：实现Harris 角点,ORB 或者BRIEF 法对图像特征进行提取。
第7-8周：确定特征匹配算法。
第9-10周：用OpenCV 实现算法的程序。
第11-12周：用OpenCV 实现算法的程序。
第13-14周：程序测试。
第15-16周：撰写毕业设计论文，准备论文答辩。
五、主要参考书及参考资料[1] 田伟刚。
基于点特征的多源遥感图像配准技术。
西北工业大学硕士学位论文，2008年设计论文[2] 苑津莎，赵振兵，高强等。
红外与可见光图像配准研究现状与展望。
激光与红外，2009，39(7)：693-699[3] C. Harris，M. Stephens．A combined corner and edge detector．In：Proceedingsof the Fourth Alvey Vision Conference．Manchester：the University of Sheffield Printing Unit，1988，pp147~151[4] S.M. Smith，J.M. Brady．SUSAN-A new approach to low level imageprocessing．Journal of Computer Vision，1997，23：pp45~78[5] S. Ranade，A. Rosenfeld．Point pattern matching by relaxation．PatternRecognition，1980，12：pp269~275[6] D. P. Huttenlocher，G. A. Klanderman，W. J. Rucklidge．Comparing images usingthe Hausdorff distance．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9)：pp850~863[7] M. P. Dubussion，A. K. Jain．A modified algorithm using robust hausdorff distancemeasures．Proc. of 12th Int. Conf. on Pattern Recognition，Jerusalem，Israel，1994：pp566~568[8] D.G. Sim，O.K. Kwon，R.H. Park．Object matching algorithm using robustHausdorff distance measures．IEEE Trans. on Image Process，1999，8(2)：425~429[9] 周成平，蒋煜，李玲玲等。
关于红外与可见光图像配准的研究
关于红外与可见光图像配准的研究赵晨 陈天华 李子伊 王聪聪北京工商大学计算机与信息工程学院摘要：在红外与可见光的配准中，可见光图像和红外图像之间存在较大的灰度差异，对同一景物所表现出的特征也不相同，这是造成配准精度不高的主要原因。
目前，对于边缘特征比较明显的图像，主要通过归一化互信息和边缘特征相结合的方法来将其配准。
这种方法的优点是容易实现，鲁棒性高；缺点是计算量大、速度慢。
因此我们比较了3种不同算法间的优缺点，能为图像的融合和配准研究提出新的研究方向和想法。
关键词：小波变换；主要成分分析；相似三角形匹配图像融合是将两幅或多幅图像组合成一幅保持重要图像特征的过程。
图像的融合通常需要从不同的图像获得原始图像的特征。
在同一场景下，通常不同的仪器或捕获技术(如多传感器、多焦点和多模态)进行取景并融合配准。
对于遥感图像，一些具有良好的光谱信息，而一些具有相对较高的几何分辨率。
因此，这些图像在许多方面都是互补的，没有一个图像能清晰展示场景的全部特征。
通过整合这些图像，充分利用这些图像的优点和各自的不同的信息，在不同的图像中看到互补的特征，从而生成相对较清晰的图像。
融合技术包括最简单的像素平均方法，更复杂的方法，有主要成分分析和小波变换融合等等。
1.三种算法的基本介绍1.1 基于相似三角形法基于相似三角形法的首要任务是将提取出来的Harris角点组成相似三角形，通过算法搜索出两副图像中最匹配的一对相似三角形即找出最匹配的三个角点并通过相似三角形的性质，计算出相关的匹配点，最后利用RANSAC算法拟合出匹配参数对图像进行配准。
1.2 主要成分分析法主要成分分析法(PCA)的主要过程是将一些相关变量转换成一些非相关变量，其核心算法是计算出经过压缩后的最优的数据组的描述。
本方法可以在保留大量信息的情况下，通过突出图片的相似点和不同点来进行匹配。
在图像融合时，PCA主要分析维度减少前后的数据，帮助减少多余的信息并且重点突出特征最为明显的成分，近一步增加信号对噪声的比例。
红外图像与可见光图像配准方法
红外图像与可见光图像配准方法引言：红外图像与可见光图像作为两种不同的图像模式，具有各自独特的特征和应用领域。
然而，在某些情况下，我们需要将红外图像与可见光图像进行配准，以实现更准确的分析与识别。
本文将介绍一些常用的红外图像与可见光图像配准方法，包括特征点匹配法、相位相关法和深度学习法。
一、特征点匹配法特征点匹配法是一种常见的红外图像与可见光图像配准方法。
该方法基于图像中的特征点，通过计算这些特征点在两个图像中的相对位置和方向，来实现图像的配准。
特征点可以是图像中的角点、边缘、纹理等突出的特征。
常用的特征点提取算法有SIFT（尺度不变特征变换）和SURF（加速稳健特征）等。
在得到特征点之后，可以采用一些算法，如RANSAC（随机一致性算法）来进行特征点的匹配和筛选。
二、相位相关法相位相关法是另一种常用的红外图像与可见光图像配准方法。
该方法利用图像的相位信息进行匹配，通过比较两幅图像的相位差异，来寻找最佳的配准变换参数。
相位信息可以通过傅里叶变换等算法来获取。
在得到相位信息之后，可以使用相关性匹配或互信息匹配等算法来计算两幅图像之间的相位差。
三、深度学习法深度学习法是近年来兴起的一种红外图像与可见光图像配准方法。
该方法通过使用深度神经网络，学习从红外图像到可见光图像的映射关系，进而实现图像的配准。
深度学习方法具有很强的自适应能力和鲁棒性，可以学习到图像内部的复杂特征，并准确地将红外图像与可见光图像对齐。
常用的深度学习模型包括卷积神经网络（CNN）和生成对抗网络（GAN）等。
四、实验结果与对比分析为了验证上述配准方法的效果，我们进行了一系列的实验。
实验使用了一组红外图像与可见光图像数据集，并使用不同的配准方法进行图像配准。
实验结果表明，特征点匹配法在准确度和速度上较为优秀，但对于图像中的纹理较少的情况效果较差；相位相关法在一定程度上能够克服纹理较少的问题，但对于大角度的旋转和缩放变换效果较差；深度学习法在处理纹理少、旋转角度大等复杂情况下效果较好，但需要较大的训练数据和计算资源。
红外与可见光图像融合算法研究
红外与可见光图像融合算法研究一、本文概述随着科技的发展，图像处理技术已经成为现代社会中不可或缺的一部分，尤其在军事、医疗、安全监控等领域，其应用日益广泛。
红外与可见光图像融合算法作为图像处理技术的一个重要分支，近年来受到了广泛关注和研究。
本文旨在深入探讨红外与可见光图像融合算法的原理、方法及其应用，为相关领域的研究和实践提供理论支持和技术指导。
本文将概述红外与可见光图像融合的基本概念，包括红外图像和可见光图像的特点、图像融合的必要性以及融合的基本原理。
在此基础上，将详细介绍目前国内外在红外与可见光图像融合领域的研究现状和发展趋势，包括各种融合算法的优势和局限性。
本文将重点研究红外与可见光图像融合的关键技术，包括图像预处理、特征提取、融合策略等。
针对这些关键技术，本文将深入分析其原理、方法及其优缺点，并结合实际案例进行具体说明。
同时，本文还将探讨如何优化融合算法，以提高融合图像的质量和效率。
本文将通过实验验证所研究的红外与可见光图像融合算法的有效性和可行性。
通过实验数据的收集、处理和分析，将评估融合算法的性能指标，如清晰度、对比度、融合度等，并与其他算法进行对比分析。
本文还将讨论融合算法在实际应用中的潜力和挑战，为未来的研究提供方向和建议。
本文将全面深入地研究红外与可见光图像融合算法的原理、方法及其应用，以期为相关领域的研究和实践提供有益参考和借鉴。
二、红外与可见光图像融合技术概述红外与可见光图像融合技术是一种多源信息融合技术，旨在将红外图像和可见光图像中的有用信息进行融合，以生成一种包含更多信息、更具可读性和可理解性的新图像。
这种技术能够结合不同传感器捕捉到的信息，利用它们各自的优点，以弥补彼此的不足。
红外图像主要反映物体的热辐射信息，对于隐蔽目标、伪装目标以及夜间目标的检测具有显著优势。
红外图像往往分辨率较低，且难以区分目标的细节和纹理。
而可见光图像则提供了丰富的色彩和纹理信息，对于场景的识别和目标的分类具有较好的效果。
基于改进SIFT特征的红外与可见光图像配准方法
基于改进SIFT特征的红外与可见光图像配准方法赵明;林长青【摘要】针对灰度弱相关的可见光和红外图像的配准问题,本文提出了一种基于改进SIFT特征的图像配准方法.该方法根据SIFT算子在仿射变换、加噪、灰度变化等情况下的性能,首先在提取特征点时设定阈值来约束受灰度弱相关影响较大的向量幅值,然后采用性能较稳定的相似四边形的精匹配方式删除粗匹配时的误匹配点对,最后使用最小二乘法求解仿射变换系数的最佳解.实验结果表明,本文提出的基于改进SIFT特征的匹配方法在匹配精度上有明显改善,复杂度上也可行.%Referring to the problem of the less correlative intensity image registration, an improved approach based on Scale Invariant Features Transform (SIFT) is proposed. First, according to the performance of SIFT in three instances: affine transform, adding Gaussian noise and different intensities, SIFT vector values which was easily affected by different intensities were constrained through given threshold when extracting SIFT feature points. Then, the false matching points were deleted by similar quadrangle in the precise math process. Finally, least squares method was employed to find optimal solutions to affine transform equations. Experimental results show that the proposed approach has a better performance than original SIFT algorithm, and can achieve a high accuracy and moderate complexity level.【期刊名称】《光电工程》【年(卷),期】2011(038)009【总页数】7页(P130-136)【关键词】图像配准;SIFT算子;灰度弱相关;相似四边形;最小二乘法【作者】赵明;林长青【作者单位】中国科学院上海技术物理研究所,上海200083;中国科学院研究生院,北京100049;中国科学院上海技术物理研究所,上海200083【正文语种】中文【中图分类】TP391.410 引言为了弥补单源探测器工作环境的局限性和频段的单一性，多种探测器结合使用已是大势所趋。
红外与可见光图像融合算法研究
红外与可见光图像融合算法研究红外与可见光图像融合算法研究摘要：随着红外与可见光图像获取技术的发展，红外与可见光图像融合技术展现了其巨大的应用潜力。
本文通过对红外与可见光图像融合算法的研究，探索其在军事、安防、医疗等领域的应用，并比较了目前常用的融合算法的特点和优劣。
关键词：红外图像、可见光图像、融合算法、应用潜力、特点、优劣一、引言红外与可见光图像融合技术是将红外与可见光图像信息相互融合，提取双方图像的优势特征，实现整体图像质量的提高与增强。
随着红外与可见光图像获取技术的不断进步，红外与可见光图像融合技术在军事、安防、医疗等领域的应用也越来越广泛。
二、红外与可见光图像融合算法的研究与应用1. 学习和融合算法学习和融合算法是常用的图像融合方法之一，它将可见光图像和红外图像作为训练样本，通过学习的方法将两种图像的特征进行融合。
该算法不仅能够提高图像的清晰度和细节表现力，还能够提高图像的目标检测和识别能力。
在军事领域，该算法被广泛应用于无人机、导弹等武器系统的目标识别与跟踪。
然而，该算法对训练样本的质量和数量要求较高，且实时性较差。
2. 基于传统方法的图像融合算法基于传统方法的图像融合算法主要包括像素级融合、小波变换融合和相关融合等。
其中像素级融合算法是最简单的一种方法，它将红外图像和可见光图像的像素进行简单的加权平均。
该算法的优点是实现简单，且实时性较好，但其融合效果较为粗糙，细节信息展示不够明显。
小波变换融合算法能够更好地提取图像的低频和高频信息，实现了对图像的多尺度分析，但其计算复杂度较高。
相关融合算法是在空间域和频域两个方向上进行融合，能够更好地保留图像的细节信息，但其对噪声比较敏感。
3. 深度学习方法近年来，深度学习方法在图像处理领域取得了巨大的突破，红外与可见光图像融合算法也采用了这一方法。
深度学习方法通过神经网络的训练，能够自动提取图像的特征信息，并实现更精确的融合效果。
例如，将红外图像和可见光图像作为输入，通过卷积神经网络进行训练，得到融合后的图像。
红外与可见光图像融合中的快速配准方法
红外与可见光图像融合中的快速配准方法曾文锋(武汉军械士官学校光电技术研究所,湖北武汉 430064) 摘要:红外与可见光传感器是目标跟踪识别系统中常用的两种传感器,对这两种传感器图像进行有效的融合能大大提高探测识别的准确性和可靠性。
快速准确地实现图像配准是图像融合的前提,为此提出了一种基于小波变换的快速算法,有利于实时准确地实现图像配准。
关 键 词: 图像配准; 图像融合; 小波变换; 特征提取中图分类号:TP391 文献标识码:A 文章编号:100722276(2002)022*******F ast registration algorithm in IR /visual im age fusionZE NG Wen 2feng(Wuhan Ordnance N oncomm issioned officers School ,Opto 2E lectronics Facility ,Wuhan 430064,China )Abstract :IR sens or and visual sens or are widely used in target detection and recognition system.The correctness and robustness of target detection and recognition can be enhanced with effective fusion of images from the tw o kinds of sens ors.Fast and accurate image registration is the key premise of image fusion.An al 2g orithm of fast image registration based on wavelet trans formation is presented which is beneficial for accurately carrying out real time image registration.K ey w ords : Image registration ; Image fusion ; Wavelet trans formation ; Feature extraction1 引 言图像融合是信息融合系统中以图像匹准为目的的技术,能对不同传感器获取的图像进行有效的综合和集成,为不同波段的探测跟踪对象的特征提供精确的信息,最大限度地解决多传感器数据共享,提高系统抗干扰性、作战指挥的准确性和可靠性[1]。
基于图像变换的红外与可见光图像配准方法
基于图像变换的红外与可见光图像配准方法基于图像变换的红外与可见光图像配准方法步骤1：问题陈述红外和可见光图像配准是将红外图像与可见光图像对齐以实现更全面的图像分析和解释的过程。
由于红外图像和可见光图像的物理特性和成像机制不同，因此它们往往具有不同的空间变换和几何失真。
本文将介绍一种基于图像变换的红外与可见光图像配准方法，以实现高精度的图像对齐。
步骤2：数据预处理首先，对红外和可见光图像进行预处理以减少噪声和增强图像质量。
这可以包括去除图像中的杂散像素、平滑图像以减少高频噪声等。
步骤3：特征提取接下来，从红外和可见光图像中提取特征点，以用于后续的图像匹配。
常用的特征点提取算法包括SIFT（尺度不变特征变换）、SURF（加速稳健特征）和ORB（Oriented FAST and Rotated BRIEF）等。
步骤4：特征匹配使用特征点匹配算法，将红外图像和可见光图像的特征点进行匹配。
目标是找到在两个图像中对应的特征点对，以建立两个图像之间的对应关系。
常用的特征匹配算法包括最近邻匹配和RANSAC（随机一致性采样）算法。
步骤5：图像变换估计通过匹配的特征点对，估计红外图像和可见光图像之间的几何变换关系，例如平移、旋转、尺度变换等。
常用的变换模型包括仿射变换和透视变换。
可以使用RANSAC算法来排除错误匹配，以获得可靠的变换参数。
步骤6：图像配准根据估计的变换参数，对红外图像进行变换以与可见光图像对齐。
根据所选择的变换模型，可以使用图像插值算法（如双线性插值）来处理变换后的图像像素值。
这样，红外图像和可见光图像将具有相同的几何结构。
步骤7：后处理最后，进行图像配准的后处理以进一步提高配准的准确性和质量。
这可以包括平滑配准后的图像以减少残留的几何失真，或者进行图像融合以获得更全面的信息。
总结：基于图像变换的红外与可见光图像配准方法是一种实现高精度图像对齐的有效方法。
通过预处理、特征提取、特征匹配、图像变换估计、图像配准和后处理等步骤，可以实现红外图像和可见光图像的准确对齐，为后续的图像分析和解释提供可靠的基础。
高效红外与可见光图像配准方法
高效红外与可见光图像配准方法高效红外与可见光图像配准方法高效红外与可见光图像配准是一种将红外图像与可见光图像进行对齐的方法，以实现两种图像之间的准确比较和分析。
以下是一种基于步骤思维的高效红外与可见光图像配准方法的详细说明：第一步：图像预处理在开始图像配准之前，需要对原始红外图像和可见光图像进行预处理。
这包括去除图像中的噪声、调整图像的亮度和对比度，并进行图像增强以提高图像质量。
第二步：特征提取在红外图像和可见光图像中提取特征点是实现图像配准的关键步骤。
可以使用常见的特征提取算法，如SIFT（尺度不变特征变换）或SURF（加速稳健特征）算法。
特征点应该具有良好的鲁棒性，能够在不同光照条件下保持一致性。
第三步：特征匹配通过将红外图像和可见光图像中提取的特征点进行匹配，可以确定它们之间的对应关系。
常用的特征匹配算法包括最近邻匹配和最佳邻域匹配。
匹配过程中，可以使用一些几何约束条件来提高匹配的准确性。
第四步：几何变换根据特征匹配的结果，可以通过计算变换矩阵来实现红外图像和可见光图像之间的几何变换。
常见的几何变换包括仿射变换和透视变换。
变换矩阵可以通过最小二乘法或RANSAC（随机抽样一致性）算法来估计。
第五步：图像配准将红外图像根据几何变换矩阵进行配准，使其与可见光图像对齐。
可以使用插值算法填充配准后的图像像素值，以确保图像平滑过渡。
第六步：图像融合配准后的红外图像和可见光图像可以通过图像融合技术进行合成。
常用的图像融合方法包括加权平均法、小波变换法和拉普拉斯金字塔法。
图像融合可以提供更丰富、更全面的信息，以帮助进一步的分析和应用。
第七步：评估和优化最后，需要对配准结果进行评估和优化。
可以使用一些评估指标，如互信息、均方误差或结构相似性指数来评估配准的质量。
如果配准结果不理想，可以通过调整预处理步骤、特征提取参数或特征匹配算法来优化图像配准的效果。
综上所述，高效红外与可见光图像配准是一个复杂的过程，涉及到图像预处理、特征提取、特征匹配、几何变换、图像配准、图像融合和评估优化等多个步骤。
红外与可见光配准的方式
红外与可见光配准的方式
红外和可见光是两种不同波段的光谱，它们具有不同的频率和能量，
因此它们在图像上表现出的特征也有所不同。
红外图像通常用于人造
物体和目标的检测，而可见光图像则主要用于自然和生物物体的识别。
将两种图像配准起来，可以提高目标探测和识别的准确性。
红外与可见光配准的方式有很多，常见的有基于特征点的配准和基于
亮度的配准两种方式。
基于特征点的配准是将两种图像中的一些特征点进行匹配，通过这些
匹配的特征点确定两张图像之间的相对位置和旋转角度。
特征点可以
是角点、边缘点等，在红外和可见光图像中的特征点数量和质量是决
定配准精度的关键因素。
一般来说，红外图像中的特征点数量较少，
可见光图像中的特征点数量较多，因此需要对特征点进行剔除和筛选，保留数量适当的、能够较好地描述图像特征的特征点。
常见的特征点
匹配算法包括SIFT、SURF、ORB等。
基于亮度的配准则是通过调整两种图像之间的亮度和对比度，使它们
在整个图像上的亮度水平、颜色和对比度达到最大一致性。
这种方式
不需要事先提取特征点，但需要对两种图像在图像亮度和对比度上的
变化进行校正。
具体操作可通过图像直方图均衡化、对数变换等方法
实现。
除了上述两种方式，还有一些结合了两种方式的混合配准方法，如基于小波变换的配准、基于图像边缘的配准等。
这些方法能够综合利用两种图像的特征，提高配准精度和稳定性。
总的来说，红外与可见光配准是一项重要的图像处理技术，它能够有效提高目标识别和探测的准确性。
选择何种方式进行配准应根据实际应用场景和数据特点进行综合分析和考虑。
红外与可见光图像自动配准算法的研究
２１ ０ ０年 ３月
红 外 技 术
Ｉ ｆａ ｅ ｅ ｈ ｏ ｏ ｙ ｎｒｒｄＴ ｃｎ ｌｇ
Ｖ １ ２ ＮＯ ３ ０３ ＿． ．
Ｍ ａ ． ２０１ ｒ ０
红外与可见光 图像 自动配准算法 的研 究
江 静 一 张雪松 ， ，
（ ． 北科技学 院机 电系 ，北京 １ １０ ；２ １华 ０ ６ １ ．中国矿业大学 （ 北京） ，北京 １０ ８ ； ００ ３
ａｇ ｒｔ ｓｕ ｅ ｏ ａ ｐ ｏ ｉ ａｅ ｔ ｅ ｇ ｏ ａ ｐ ｉ ｍ ． ｅ ｅ ｐ ｒ ｎ ａ ｅ ｕ ｔ ｓ ｏ ｔ ａ ｅ ａｇ ｒｔ ｍ ｓ ｌｏ ｉ ｍ ｈ ｉ ｓ ｄ ｔ ｐ ｒ ｘ ｍ ｔ ｈ ｌ ｂ ｌ ｔ ｏ ｍｕ Ｔｈ ｘ ｅ ｉ ｍｅ ｔ ｌ ｓ ｌ ｈ ｗ ｈ ｔｔ ｌ ｏ ｉ ｒ ｓ ｈ ｈ ｉ
ｓ ａｃ ｉ ｇ ｆ ｒ ｈ ｖ ｌｔ ａ ｎ ｔ ｄ ｘ ｍａ ｉ ｅｐ ｅ ｒ ｃ ｓ ｉ ｇ ｓｅ ， ｎ ｅ ａ ｎ ａ ｓ ｏ ｈ ｓ ｎ ａ ｅ ｒ ｈ ｎ ｏ ｅｗａ ｅ ｅ ｇ ｉ ｅｍａ ｉ ｔ ｒ ｐ ｏ ｅ ｓｎ ｔｐ ａ ｄ ｔ ｆ ｅ ｔ ｎ ｆ ｒ ｉ ｃ ｏ ｅ ｓ ｔ ｍ ｕ ｎ ｈ ｈ ｉ ｒ ｍ ｓ
ｅｆｃｅ ｔ ｆ ｉｎ． ｉ
Ｋ ｅ ｒ ｓ Ｉ ｆａ ｅ — ｉｉ ｌ ｇ ， ｔ ａ ｆ ｒ ａ ｉ ｎ ｉ ｇ ｇ ｓ ａ ｉ ｎ ｙ ｗｏ ｄ ： ｎ ｒ ｒ ｄ ｖ ｓ ｅｉ ｂ ｍａ ｅ ｍｕ ｌｎ ｏ ｕ ｉ ｍ ｔ ，ｍａ ｅｒ ｉｔ ｔ ｏ ｅ ｒ ｏ
引言
图像 配 准 作 为 多传 感 器 图像 融 合研 究 中 的～ 项
ＪＡＮＧ ｉ ，． ＺＨＡＮＧ ｅ ｓ ｎｇ ３ Ｉ ｎ Ｍｅｈｎｃ ａ ｄ ｌｃ ｉ ｔ ｎ ｉ ｅｉ ， ｒ ｈｎ Ｉｓ ｔｔｏ Ｓｉ ｃ ａ ｄＴｃ ｎ ｌ ｙ Ｂ ｉｎ ０ ６ １ Ｃ ｉａ １Ｄｅａｔ ｔｆ ｃ ａ ｉ ｎ Ｅ ｅｔｃｙＥ ｇｎ ｒ ｇ Ｎｏｔ ｉａ ｎｔｕｅ ｃｅ ｅ ｎ ｅｈ ｏ ｇ， ｅ ｉ ｍｅ ｏ ｓ ｒｉ ｅ ｎ ｈＣ ｉ ｆ ｎ ｏ ｊ ｇ１１ ０ ， ｈｎ ；
红外与可见光配准的方式
红外与可见光配准的方式红外和可见光的图像具有不同的特点，它们在图像分析和识别中具有各自的优势。
然而，在某些应用中，需要将这些图像进行配准，使得它们能够对应到同一场景，以便进行更深入的分析和处理。
下面介绍几种常见的红外和可见光配准方式：1. 特征点匹配特征点匹配是一种常见的配准方式，通过在两幅图像中提取出关键点，并计算这些关键点的特征描述符，然后使用特征描述符进行匹配，实现图像配准。
在红外和可见光图像配准中，可以通过提取图像的边缘、角点、斑点等特征点进行匹配。
2. 基于相位相关的配准方式基于相位相关的配准方式是一种高效的配准方法。
它利用傅里叶变换将两幅图像变换到频域，然后计算它们的互相关函数，通过最大化互相关函数来实现图像的配准。
相位相关配准方式对图像的取样率和分辨率要求较高，但可以实现子像素级的配准精度。
3. 基于投影变换的配准方式基于投影变换的配准方式是一种简单实用的配准方法。
它基于图像的几何形状特征，通过对图像进行平移、旋转、缩放等变换来实现图像的配准。
在红外和可见光图像配准中，可以利用建筑物、道路等地物特征进行投影变换。
4. 基于深度学习的配准方式近年来，基于深度学习的配准方式得到了广泛应用。
它利用卷积神经网络（CNN）等深度学习模型进行特征提取和匹配，实现高效精准的图像配准。
深度学习配准方式可以自动学习图像的特征，具有很强的适应性和鲁棒性，但需要大量的训练数据和计算资源。
总之，红外与可见光图像配准是图像处理领域的重要问题，不同的配准方法适用于不同的应用场景。
在实际应用中，需要根据具体需求选择合适的配准方式，实现有效的图像配准和后续处理。
红外与可见光图像配准技术研究
Abstract
Abstract
The infrared and visible images are very different in grey level and image features according to a same scene, which make it difficult to design proper registration algorithms and to ensure the precision between them. The registration algorithm which is combining the mutual information-based image registration and edge feature-based image registration to images who have obvious edge features can implement simply and can improve the robust of the registration processing, since it can make full use of the edge features so that the differences of the gray level and the features of the image has been reduced. The compute-cost of mutual information is too large, so we bring forward a new algorithm based on wavelet. This algorithm speed registration process through matching images layer by layer which is obtained by wavelet analysis technology. Experimental results show that our combined algorithm solve the registration problem with infrared and visible images which have great differences in grey level and image features, and make registration time one magnitude faster than traditional algorithms due to the adoption of the wavelet transform. Simultaneously, the registration results achieve a high accuracy and stability. Keyword: image registration decomposition mutual information edge feature wavelet
基于相似三角形匹配的红外与可见光图像配准方法
ｃｌｅ ｙｔｅｎｔｒ ｆｈ ｉ ｌ ａｇｅ． ｉ ｌ ｇ ｔ ｔｎｐ ａ ｅｅ ｒ ｂ ｓｍａ ｄｂ Ａ Ｓ Ｃ ａ ｏ ｔｍ． ｕａ ｄｂ ａ ｅｏ ｅｓ ａ ｔ ｎｌｓＦｎ ｌ ｒｉ ｒ ｉ ａ ｍ ｔｒ ａｅ ｅｅｔ ｔ ｙＲ Ｎ Ａ ｇｒｈ ｔ ｈ ｕ ｔ ｍｉｒ ｒ ｉ ａｙ ｅ ｓａｏ ｒ ｓ ｉ ｅ ｌ ｉ
ｕ ｅ ｏ ｓ ａｃ ｅ ｓｍｉａ ｒａ ｌｓｗｈｃ ｅ ｔ ｅ ｔｍａｃ ｎ ｎ ｈｅ ｏ ｅａ ｅ ｔ ａｃ ｉ ｇ ｐ ｉ ｓ ａｅ ｂ ａ — ｓ ｄ ｓ ｔｈｉｇ ａ ｄ ｔ ｎ ｓ ｍｅ ｒ ｌｔｄ ｈｅｍ ｔ ｈ ｎ ｏｎｔ ｒ ｅ ｃ ｒ ｈ ｒ ｉ ｒ ｌ
Ｆｒ ， ａ ｉ ｃｒｅ ｉ ｅｅｔ ｃ ｄｔ ｃｎｔｕｅｔ ａｇｅ． ｅｏｄ ｔｅｓａｃ ｇｒｈ ｉ ｐ ｐｒ ｒｐｓｄｉ ｂ ｉｔＨ ｒ ｓ ｏｎｒ ｌｂ ｘ ａｔ ｏｓ ｔ ｅｔ ｎ ｓＳｃｎ ， ｅ ｈａ ｏｉ ｍ ｔ ｓ ａｅ ｏｏｅ ｅ ｓ ｒ ｗｌ ｒ ｅ ｏ ｉｔ ｈ ｒ ｌ ｉ ｈ ｒ ｌ ｔ ｈ ｐ ｓ
ＣＨＥ ｉ Ｆ ｏ ｇ ｍｅ Ｌ Ｕ Ｙａ Ｎ Ｊｅ ， Ｕ Ｄ ｎ — ｉ ， Ｉ ｎ
（ ． ｃｏｌ ｆ ｎｏ ｔ ｎＥ ｇ ｅｒ ｇＵ ｉｅｓｙｏ ｃ ｎｅａ ｄＴ ｃｎｌｇ ｅ ｉｇＢ ｉｎ ００ ３ Ｃ ｉ ； １ Ｓｈｏ ｏ ｆ ｍａｏ ｎ ｉ ｅ ｎ ， ｎｖｒｔ ｆ ｉ ｃ ｎ ｅｈ ｏ ｙＢ ｉｎ ，ｅ ｉｇ１０ ８ ，ｈｎ Ｉ ｒ ｉ ｎ ｉ ｉ Ｓｅ ｏ ｊ ｊ ａ ２ Ｎ ｔ ｎｌ ｅ ａ ｏａ ｒ ｆ ｅ ａ ｕ ｃ ｒ ｇＡ ａｅ ｙｏ ｒ ｏｅ ｏｃｓ ｎ ｉｅｒ ｇ Ｂ ｉｎ ０ ０ ２ Ｃ ｉａ ． ａｉ ａ Ｋ ｙＬｂ ｒｔ ｙ ｏ Ｒ ｍ ｆ ｔ ｉ ， ｃｄｍ ｆ ｍ ｒｄＦ ｒｅ ｇ ｅ ｎ ， ｅ ｉ １０ ７ ， ｈ ） ｏ ｏ ｒ ｎ ａｕｎ Ａ Ｅ ｎ ｉ ｊｇ ｎ
基于似然函数最速下降的红外与可见光图像配准
第40卷第3期2011年3月光 子 学 报ACTA PH OT ON ICA SINICAV ol.40N o.3M arch 2011基金项目:国家自然科学基金(No.61007008)和基础科研项目(No.k1402060311)资助第一作者:侯晴宇(1982-),男,博士,主要研究方向为目标探测与识别及红外图像处理.Email:houqingyu @收稿日期:20101118;修回日期:20110107文章编号:1004 4213(2011)03 0433 5基于似然函数最速下降的红外与可见光图像配准侯晴宇a ,武春风b ,赵明a ,逯力红a ,张伟a(哈尔滨工业大学a.空间光学工程研究中心;b.控制科学与工程系,哈尔滨150001)摘 要:为了实现红外与可见光图像的自动配准,提出了基于似然函数最速下降迭代的图像配准算法.该算法以图像边缘作为配准点特征,将异源图像配准转化为边缘点集配准.基于点集的高斯混合模型建立了边缘点集配准似然函数,以该函数作为目标函数,仿射变换参量作为优化变量,利用最速下降方法进行最优变换参量求解,从而实现边缘点集配准.同时,将多分辨率金字塔引入迭代配准框架下,实现了高分辨率图像配准的加速.实验结果表明:该算法精度高,运算速度快,可以很好地完成可见光与红外图像的自动配准.关键词:信息处理技术;图像配准;仿射变换;最速下降中图分类号:T P391 文献标识码:Adoi :10.3788/gzx b20114003.04330 引言图像配准是使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅异源图像在空间上进行对准,并确定几何变换参量的过程.图像配准已在军事、医学、计算机视觉等领域得到了广泛的发展和应用,而红外与可见光图像配准在飞行器自主导航、目标识别方面又是一项核心技术.红外与可见光图像反映的地物物理特性不同,使得二者灰度相关性较小,因此需要采用基于特征相关的图像配准算法,其关键技术为共性特征提取、配准目标函数的建立以及变换模型参量估计.目前应用于配准的点特征包括边缘点[1]以及关键点[2],关键点又包括H ar ris 角点、SIFT 角点[3]、SU RF 角点[4]等.在特征点的组合匹配上,文献[5 6]分别利用特征点组成的直线段和三角形用于配准.配准目标函数的建立与选择的特征有关,对于点特征可以采用最邻近点距离之和作为目标函数[7],对于直线段可以采用配对直线的夹角作为目标函数[5],而对于三角形可以采用匹配质量数作为目标函数.而后,采用迭代近邻点(Iterativ e Closest Point,ICP)算法的思想,重复进行 确定特征对应关系 计算目标函数最大或者最小情况下的最优变换 的过程,直到满足收敛条件.上述这些算法在某些特定的图像上表现出了良好的配准性能.但是,在实际应用中,由于待配准的红外和可见光图像物理特性不同,并且存在视角、分辨率差异,同名关键点、SIFT 等特征点提取的难度较大.因此,为了降低共性特征提取的难度,在此类应用中多采用图像边缘作为配准特征.但是,在边缘图像配准过程中,还存在以下几个难点:1)由于待配准图像之间存在几何变换,初始状态不充分接近,因此ICP 算法受到了一定的限制,此时要求配准算法在不能确定严格的特征对应关系的情况下,具有特征集配准的鲁棒性能;2)高分辨率图像配准中边缘点数量较大,变换参量迭代求解过程计算复杂,增加了迭代次数,降低了配准速度.因此要求配准算法具有较低的计算代价,适合于实际应用.为了解决上述问题,本文将边缘图像配准问题转化为点集配准问题,提出了基于似然函数最速下降的红外与可见光图像配准算法.1 边缘点集配准似然函数边缘图像可以看作是二维点集,边缘图像配准即为二维点集配准.点集配准可以看作是变换参量的极大似然(Max imum Likelihoo d,M L )估计问题[8].本文即采用这种实现思路,利用模板点集中的点表征高斯混合模型(Gauss Mix ture M odel,GMM )各分量的中心,数据点集中的点作为GM M 分布中的数据点.最优仿射变换情况下,数据点集的GMM 后验概率最大.令模板点集为Y =(y 1, ,y n , ,y N )T,数据点集为X =(x 1, ,x m , ,x M )T,其中x m 与y n 为2 1向量.数据点集中点的GMM 概率密度函数为[9]p (x m )= Nn =1n p (x m |n)式中光 子 学 报40卷p (x m |n)=12 2ex p - x m -By n -t222为高斯概率密度函数.对于所有的GM M 成分(n =1,1, ,N ),采用相同的各向同性协方差 2和相同的先验概率 n =1/N.B 2 2为仿射变换矩阵,t 2 1为平移向量.根据极大似然估计的基本原理可知,通过最小化式(1)的负对数似然函数对参量 ={B,t, 2}进行估计,估计得到的B 、t 即为点集配准参量.E( )=-ln p (X | )=-ln Mm =1 Nn =1n p (x m |n)(1)基于负对数似然函数最小化的点集配准过程可以解释为: 表征了模板点集中的点的作用域大小,大的 值表明数据点集中的点与模板点集中的多点相关联,为点集配准的初始阶段;优化求解过程中, 逐渐减小,趋向于零,此时负对数似然函数趋向于最小,优化过程趋向于最优,数据点集中的点与模板点集中的同名点对应,达到了点和点之间的匹配,即实现了点集配准.2 似然函数最速下降优化2.1 点集归一化处理对于点集X=(x 1, ,x m , ,x M )T,其归一化点集为X =x 1-xl X , ,x m -x l X , ,x M -x l X T (2)式中x = Mm =1x m /M ,l X = Mm =1 x m -x 2/M 为尺度因子.对于点集Y=(y 1, ,y n , ,y N )T 采用同样的处理得到Y =y 1-y l Y , ,y m -y l Y , ,y M -yl YT(3)式中y = Nn =1y m /M,l Y = Nn =1y m -y 2/N .由于 值表征了模板点集中的点的作用域大小,因此可以利用归一化模板点集与归一化数据点集之间的平均距离予以表征,具体表达形式为2=12MN M m =1 Nn =1 x m -x l X -y n -y l Y2(4)将式(2)~(3)带入式(4),并经过简化处理,得到 =1.可见,任意两点集归一化处理后,其平均距离为固定值1,因此可以将1作为归一化点集迭代配准中参量 的初值.2.2 线性搜索最速下降仿射变换参量估计为了求取式(3)最小化情况下的仿射变换参量,本文采用最速下降无约束最优化方法.最速下降法是一个最基本而重要的方法.它具有迭代计算简单,占用内存空间少,在远离极值点时收敛速度快等优点.求解无约束最优化问题min x Rnf (x )时,最速下降法按基本迭代格式xk +1=x k+ d k 迭代,即从点x k的负梯度方向d k=- f (x k)进行搜索,其中 为迭代步长,一般情况下0< <1. 为线性搜索系数,线性搜索主要解决接近代价函数极值点时原始最速下降算法步长过长导致的非收敛问题.根据最速下降法的基本原理,令式(1)对B 、t 、 分别求导得P(B,t , )= E( ) B = Mm =1 Nn =1n ex p -122 x m -By n -t 2[t -(x m -By n )]y T n 2 Nn =1 n exp -122 x m -By n -t 2(5)Q (B,t, )= E( ) t = M m =1 N n =1 n exp -122 x m -By n -t 2[t -(x m -Byn )] 2Nn =1 n ex p -12 2 x m -By n -t 2(6)w (B,t , )= E ( )= M m =1 Nn =1 n ex p -12 2 x m -By n -t 22 - x m -By n -t 22 Nn =1 n exp -122 x m -B y n -t 2(7)如将优化变量表示为F =[B 11,B 12,B 21,B 22,t 11,t 21, ]则式(4)~(6)表示为梯度向量为 F =[P 11,P 12,P 21,P 22,Q 11,Q 21,w ]则负梯度方向为F =- FF 2那么最速下降算法可以表示为F k +1=F k + F k 得到B k +1=F k +1(1)F k +1(2)F k +1(3)F k +1(4)(8)4343期侯晴宇,等:基于似然函数最速下降的红外与可见光图像配准t k +1=F k +1(5)F k +1(6)(9) k +1=F k +1(7)(10)3 多分辨率金字塔配准加速为了实现高分辨率图像配准的加速,本文采用多分辨率金字塔的方法.3.1 金字塔变换参量传递多分辨率金字塔利用多层不同分辨率图像表征一副原始高分辨率图像.高分辨率图像为金字塔的底层,即第0层,利用尺度因子s i 对高分辨率图像进行降采样获得第i 层图像,直到达到金字塔的顶部,即n -1层.多分辨率金字塔具有两个主要优势:首先,经过降分辨率处理,能够明显减少边缘点的数量,进而减小算法迭代的次数,提高算法计算效率;其次,金字塔处理具有平滑图像的作用,利用Canny 算子能够有效提取图像的结构边缘,提高迭代配准的精度和收敛速度.迭代配准算法首先在高层边缘图像上进行,将得到的配准参量经过尺度因子处理作为低一层图像配准参量的估计值.令相邻层低层到高层之间的尺度缩放因子为s ,则有x i =s x i +1y i =s y i +1(11)式中x i 及y i 分别为第i 层数据点集与第i 层模板点集中同名点的坐标.由于在配准之前需要对待配准边缘图像进行归一化处理,因此有xi =1l i x(x i -ix )yi=1l i y (y i - iy )(12)及xi +1=1l i +1x(x i +1- i +1x )yi +1=1li +1y(yi +1- i +1y)(13)式中 为均值向量,l 为尺度因子.迭代配准过程求解的为xi 与yi 之间的仿射变换关系,因此有x i =B i yi +ti xi +1=Bi +1yi +1+ti +1将式(11)~(13)带入上式中,得到第i 层归一化图像的配准参量的初始值为Bi=Bi +1l i y l i +1y l i +1x l i x(14)t i=1l ix Bi +1l i +1x l i +1y ( i y -s i +1y )+sl i +1x t i +1+1l i x(s i +1x- i x )(15)式(14)~(15)给出了经过归一化的金字塔边缘图像配准过程中的仿射变换参量在层与层之间的传递过程,即已知第i +1层归一化边缘图像间的仿射变换参量,可以推算得到第i 层归一化边缘图像间的仿射变换参量.3.2 边缘点集配准算法步骤1)对待配准图像进行金字塔分解,并进行边缘提取,利用式(2)~(3)对点集进行归一化处理;2)对金字塔i +1层归一化边缘图像与对应的模板归一化边缘图像进行配准,配准步骤为:(a)最速下降初始化;0={B 0=I ,t 0=[0;0], 0=1},其中I 为单位阵,迭代次数k =1;(b)迭代,直至收敛;i .计算式(8)~(9),得到B k +1、t k +1、 k +1,此时的负对数似然函数值为E k +1.如果E k +1 E k , = ,返回1);如果E k +1<E k ,转到ii ;ii .如果 k ,迭代终止,B opt =B k +1,t opt =t k +1;如果 k > ,转到ii;iii .k =k +1,转到i ;(c)金字塔变换参量传递;对金字塔低分辨率归一化图像进行配准.根据最速下降点集配准算法得到第i +1层的配准参量为Bi +1、ti +1,根据式(14)与式(15)得到第i 层归一化图像的配准参量的初始值为B i、ti;3)进行第i 层归一化图像的最速下降配准,以此类推,最终得到最高分辨率归一化边缘图像配准参量为B 0、t0;4)根据原始边缘图像与归一化边缘图像之间的关系得到原始图像与模板之间的变换参量为B tot=B 0l 0x l 0y ,t tot =l 0y t 0+ 0x -l 0x l 0y B0 0y 4 实验与分析4.1 第一组实验仿真实验1数据源如图1,为红外相机和可见光相机拍摄的地面同一场景的图像,由于相机姿态以及高度不同,两图像之间存在一定的仿射变换.SIFT 特征多用于图像配准,该特征对图像的缩放、旋转、光照强度和摄像机观察视角的改变以及噪435光 子 学 报40卷声扰动具有很好的稳定性[10],文中首先测试SIFT在红外与可见光图像配准上的性能.图1给出了对于实验1中两幅图像的SIFT 特征匹配结果.可以看出,红外图像的SIFT 特征点数量较多,而可见光图像中的SIFT 特征点较少,根据SIFT 匹配算法确定的匹配点如图所示.由于异源特性差异,SIFT 特征点匹配错误,说明将SIFT 用于红外图像与可见光图像配准的局限性较大.图1 SIF T 匹配结果F ig.1 M atching r esults o f SI FT将可见光金字塔图像的边缘图像作为模板点集,红外金字塔图像的边缘点集作为数据点集.利用本文算法得到的迭代配准过程如图2所示,其中 O 表示模板点集, * 表示数据点集.从图中可以看出,算法能够实现边缘点集的配准.实验中发现,在不采用金字塔处理时,采用原始分辨率边缘图像以及相应分辨率的边缘模板进行似然函数最速下降迭代配准的迭代次数为15次,每次迭代高分辨率边缘点集都参与计算,计算代价较大;而采用金字塔处理后,如图2所示,迭代次数降低为9次,并且每次迭代的计算量明显减小.可见,这种处理与直接对高分辨率图像配准相比,降低了的配准计算量,提高了算法执行速度.经过算法处理得到的两幅图像之间的仿射变换参量为B tot =0.71020.0831-0.13190.6846,ttot=-1.7318-4.3234,配准结果如图3.图2 实验1的迭代配准过程Fig.2 Iterat ion reg istr at ion process of ex per iment 1图3 实验1配准结果Fig.3 Reg istr at ion result o f experiment14.2 第二组实验为了进一步验证本文算法的有效性,以下对两组待配准图像进行了实验.实验源图像以及配准结果如图4.可以看出,算法具有精确配准红外与可见光图像的性能.图4 实验2的数据源及配准结果F ig.4 Input imag e and reg istr at ion result o f experiment 24363期侯晴宇,等:基于似然函数最速下降的红外与可见光图像配准5 结论本文针对红外与可见光图像的配准问题,提出了边缘点集配准似然函数,并应用最速下降迭代算法求取负对数似然函数最小情况下的仿射变换参量.该过程不需要求取边缘点之间的对应关系,具有较好的全局配准鲁棒性能.同时,金字塔处理减小了最速下降的迭代次数与每次迭代的计算量,提高了算法的执行速度.文中利用实测图像数据验证了算法的有效性.但是实验中发现,如果红外与可见光图像的重叠区域小于一定比例,算法经常失效.继续研究算法的性能容限以及融入其它的配准特征对算法进行改进,将是后续的主要研究内容.参考文献[1] KIM Y S,LEE J H,RA J B.M u lti s ens or image regis trationb as ed on in tensity and edge orientation information[J].Patte rnR ecognition,2008,41(11):3356 3365.[2] W ANG A Ni,M A Cai w en,LIU S huang,e t al.Infrared visualim ages automatic registration b as ed on corn ers[J].Ac ta Ph otonica Sinica,2009,38(12):3328 3332.王阿妮,马彩文,刘爽,等.基于角点的红外与可见光图像自动配准方法[J].光子学报.2009,38(12):3328 3332.[3] M IKOLAJCZYK K,S CHM ID C.A Performance evaluation oflocal descriptors[J].I EE E T ransactions on P atter n A nalysisand M achine I ntellig ence,2005,27(10):1615 1630.[4] BAY H,Es s A,T uytelaars T,et al.S peeded up r obu st featu res(surf)[J].C omp uter Vision and I mage Und erstanding,2008, 110(3):346 359.[5] GAO Fen g,W EN Gong jian,LV Jin jian.An optimal algorithmfor IR/vis ual image registration based on m ain line pairs[J].Chinese J our nal of Compu ter s,2007,30(6):1014 1021.高峰,文贡坚,吕金建.基于干线对的红外与可见光最优图像配准算法[J].计算机学报,2007,30(6):1014 1021.[6] COIRAS E,SAN TAM ARIA J,M IRAVET C.Segmen t basedregistration techniqu e for visual infrared images[J].Op ticalE ngineer ing,2000,39(1):282 289.[7] LI Shi fei,W ANG Ping,SH EN Zhen k ang.A s urvey ofiterative clos est point algorithm[J].S ignal P rocessing,2009, 25(10):1582 1588.李世飞,王平,沈振康.迭代最近点算法研究进展[J].信号处理,2009,25(10):1582 1588.[8] LUO B,H ANCOCK E R.A u nified fram ew ork for alignmentan d corresponden ce[J].Comp uter Vision and I mag e Und erstanding,2003,92(1):26 55.[9] ANDRIY M,XU BO S.Point set registration:coh erent pointdrift[J].I EEE T ransac tions on P attern Analysis and M achineI ntelligence,2010,32(12):2262 2275.[10] ZIT OVA B,FL USSE R J.Image registration methods:asur vey[J].I mag e and Vision Comp uting,2003,21(11):977 1000.IR/Visible Image Registration Based on the Steepest Descentof the Likelihood FunctionH OU Qing Yu a,WU Chun Feng b,ZH AO M ing a,LU Li H ong a,ZH ANG W ei a(a.Resear ch Center f or Sp ace O p tical Engineer ing;b.D ep ar tment o f Contr ol Science and Eng ineer ing,H ar bin I ns titute o f T echnology,H ar bin150001,China)Abstract:In o rder to realize automatic image r eg istratio n fo r infrar ed im ag e and visible image,an image registration algor ithm based on the steepest descent of the likeliho od function w as proposed.Imag e edge w as selected as the registration po int,and thus the im ag e registration w as transferred to edge point set registration.The likelihoo d function of edge sets registr ation w as established o n the basis of Gauss M ix ture Mo del(GM M)o f point sets.In o rder to r esolve the optimum transform ation par am eter by using the steepest descent m ethod,the likelihood function w as r eg ar ded as objectiv e function and the affine tr ansform ation parameter w as reg arded as the optimization variance.M eanw hile,the multi reso lution py ram id w as induced into iteration registration and the speed of r eg istratio n algor ithm for hig h reso lution image w as increased.The exper im ent results show that the alg orithm can w ell co mplete auto matic registration of infrared image and visual imag e at hig h registration accur acy and fast registr ation speed. Key words:Information processing technolog y;Imag e registration;Affine tr ansform;Steepest descent437。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（ 1） 维信息。针对领域像素点均值代表的图像结构信息不
σ2 2，1
（
n）
∑ =
1 H2 （ n）
（
I2（ x，y）
I1 （
x，y）
－ E（ 2，1） （ n） ） 2 （ 2）
足的问题，本文引入一致性边缘对齐度，从而增加图 像边缘信息在配准过程中的作用。p（ i，j，k，l） 可由 四维灰度联合直方图统计。归一化二阶互信息定义为
（ 1） 均值滤波。为了滤除图像中的噪声，采用均值 滤波器对原图像进行噪声滤除。相比高斯滤波器会造成 原图像的过度光滑或者缓变边缘容易丢失的效果而言， 采用均值滤波比采用高斯滤波后的图像边缘变得更加平 滑和连续，而且免去了选取高斯模板宽度的工作［6 －7］。
（ 2） 边缘细化并去除假边缘。由于红外图像存在边 缘带，并且经过均值滤波器之后，使得边缘带会进一步 加宽。由 Hough 变换原理可知，直线边缘带经过 Hough 变换后会在两侧检测出两条直线。由此计算得到的对齐
对齐度最 初 是 在 对 医 学 图 像 配 准 领 域 中 开 始 使
用，由于医学图像不同光谱下各组织内部灰度值单
一，且噪声很小。因此，直接对灰度图像进行计算对
齐度能够起到理想的效果。而在红外与可见光图像配
准时，红外图像在同一区域内部可能出现灰度值反
转，因此对灰度图像计算对齐度容易导致配准失败。Байду номын сангаас
本文将利用图像中的边缘求取对齐度，虽然红外与可
本文是基于图像间的边缘来计算对齐度的，为更 好地计算红外与可见光图像之间的对齐度，本文采用 对二值化图像进行 Hough 变换［5］提取图像中一致性 较高的主要直线边缘。为保证所提取边缘的一致性， 在进行 Hough 变换提取一致性直线段前，进行了以下 几步预处理优化边缘提取：
2 基于对齐度的二阶互信息基本原理
（ 8） 其中，p（ i，j，k，l） 中 i 表示图像 A 中灰度值 i 的像
度曲线将变得不尖锐而且存在大量局部极值，因此必须 首先对边缘带进行细化处理［8］，然后采用非极大值抑制
素点； k 表示图像 B 中与图 A 中像素值为的 i 像素点 的思想，进一步细化全局梯度图中的屋脊带，保留在局
www. dianzikeji. org
Infrared and Visible Image Registration by Combination of Second-order Mutual Information and Alignment
Kuang Yabin，Wang Jindong，Li Peng （ College of Automation Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 210016，China）
进行矫正，使得优化时的矫正后曲线可以使局部极值
大大减少，此时 K 应该取 0 ～ 0. 5 之间。
3 对齐度的合理计算
在一些主要轮廓线具有较好的一致性。因此，本文在 提取边缘图像的基础上，通过 Hough 变换选取红外和 可见光图像中一致性较高的直线段作为对齐度计算时 的边缘，减少边缘之间的差异所引起的对齐度计算的 偏差。然后与原有的二阶互信息结合，形成新的相似 性测度，以提高配准的准确性和鲁棒性。
Keywords IR； visible； image registration； second-order mutual information； alignment metric； Hough transform
多模图像配准是对同一场景在不同时刻、位置和 了大量的噪声信息，由于在红外图像和可见光图像中
图像中总体温度均衡的情况下，使用二阶互信息能够
得到比较尖锐的互信息曲线，且曲线的局部极值比较
少，因此增大二阶互信息所占比例，K 应该取 0. 5 ～ 1
之间。当红外图像中总体温度不均衡，且有大量噪声
存在的情况下二阶互信息就会存在很多局部极值，在
进行后续优化的处理时很有可能陷入局部极值当中，
所以此时应当增加对齐度的比例以对二阶互信息曲线
图像·编码与软件
2011 年第 24 卷第 5 期 Electronic Sci. ＆ Tech. / May. 15，2010
红外与可见光图像配准算法
匡雅斌，王敬东，李 鹏
（ 南京航空航天大学 自动化学院，江苏 南京 210016） 摘 要 提出把二阶互信息与对齐度相结合作为相似度函数，通过 Hough 变换提取两幅图像中一致性较高的直 线，计算它们的对齐度，最后针对不同的图像特点，调整对齐度在新相似度函数中所占比例进行配准。实验结果表 明，新算法与其他几种测度函数相比有更高的精确性和鲁棒性。 关键词 红外； 可见光； 图像配准； 二阶互信息； 对齐度； Hough 变换 中图分类号 TN219； TP391. 41 文献标识码 A 文章编号 1007 － 7820（2011）05 － 080 － 05
大，增加相邻点灰度值作为第二维信息不能提供足量 的结构信息。（ 2） 而增加当前点梯度值作为第二维信
的对齐度，再与二阶互信息相结合实现多模图像配准。 对齐度［3］的概念源自于人眼对两幅图像内容对齐
息时，由于梯度对噪声非常敏感，得到的梯度值包含 的认识； 当判断两幅图像内容对齐的时候，意味着图
像之间重叠之后像素值之间非对齐的区域最小、对齐
设有 I1 ，I2 两幅图像，E（ 1，2） （ n） ，E（ 2，1） （ n） 分别 为两幅图像中一幅图像相对与另一幅图像灰度为 n 的
80
www. dianzikeji. org
匡雅斌，等： 红外与可见光图像配准算法
图像·编码与软件
对应像素集合的灰度均值。H1 （ n） 和 H2 （ n） 代表像素 灰度值为 n 的个数。P1 （ n） ，P2 （ n） 表示在两幅图中 像素值为 n 的像素点概率。
见光图像中的有些边缘会存在较大差异，但依然会存
NMI2
=
H2 （ A） H2 （
+ H2 （ A，B）
B）
（ 9）
将二阶互信息和边缘图像对齐度相结合构成一个
新的相似性测度
AMNMI2 = K × NMI2 + （ 1 － K） × AM （ 10） 其中，K 为比例值，K 的取值范围为［0，1］，当红外
∑ σ 2 1，2
=
P1 （
n）
σ2 1，2
（
n）
（ 3）
∑ σ 2 2，1
=
P2 （
n）
σ2 2，1
（
n）
（ 4）
CI［I1 ，I2］=
σ2 1，2 σ22
+
σ2 2，1 σ21
（ 5）
CI 的取值范围为［0，2］。为了描述方便，取 CI
的倒数为对齐度 AM，即
AM = 1 / CI
（ 6）
当两幅图像之间配准时，对齐度 AM 值为最大。
使用不同波段摄像头得到的一组图像之间进行匹配的 所包含的噪声信号类型不一致，因此包含红外与可见
过程。二阶互信息是在互信息基础上发展的一种更为 光图像中噪声信息的像素点梯度值所代表的图像结构
有效的多模图像配准算法。互信息只反映了图像中每 信息之间就可能存在很大的差异。（ 3） 从红外图像本
一对像素点灰度值的统计特性，它忽略了不同位置像 身的特点出发，物体在图像中边缘处像素值呈现向边
缘图片中会形成许多短的杂散边缘，或出现边缘像素 点聚成一团，为了避免其对 Hough 变换造成干扰，在 Hough 变换前对两幅图像分别做一次形态学细化。
5 图像配准过程
4 Hough 变换的参数选择
本文采用的 Hough 变换函数有 5 个参数： 距离精 度 rho； 角度精度 theta； 长度阈值参数 threshold； 最 小碎线段长度 param1 和碎线段最大间隔值 param2。
素点间的相关性并且缺少对图像空间结构信息的考
虑，因此二阶互信息提出通过增加相邻像素点的灰度 值或者当前像素点的梯度值等图像结构信息［1］，作为
缘梯度方向扩散的趋势，可见光图像中阶梯状边缘在 红外图像中则变成斜坡状边缘［2］，因此红外图像在边 缘处形成了边缘带。使用边缘带处的梯度信息会导致
二阶互信息的第二维信息来弥补互信息的缺陷。但是 配准结果的误差，从而降低配准算法的鲁棒性。
收稿日期： 2010-12-31 作者简介： 匡 雅 斌 （ 1985 － ） ，男，硕 士 研 究 生。研 究 方 向： 计算机测控和图像处理。王敬东（ 1966 － ） ，男，硕士生导师。 研究方向： 计算机测控和图像处理。李鹏（ 1977 － ） ，男，讲 师。研究方向： 计算机测控。
的区域越大。从微观上来说，这表示着一幅图像的每 个灰度级在像素位置上所对应的另一幅图像的灰度级 最稳定，而在数学上体现为方差最小。
81
图像·编码与软件
匡雅斌，等： 红外与可见光图像配准算法
部上梯度值最大的点达到去边缘带的目的。 （ 3） 二 值 化 边 缘 连 接 和 迭 代 除 杂 边 缘［9］。 由
Hough 变换的基本原理知道，如果二值化图像中，所 需要提取的直线段连通性越好，且其他碎直线越少或 者碎直线间隔越大，则通过调整 Hough 变换的长度阈 值和最大间隔参数就越容易提取出所需要的直线段。 为此，本文对提取出的二值化图像进行边缘连接和迭 代除杂边缘的处理。在边缘连接中，高阈值图像去掉 大量噪声与杂散边缘，低阈值图像则保留了需要提取 的完整直线。这样通过边缘连接后的图像既保留了所 需提取的直线又去除了大量噪声边缘。连接后的直线 边缘不 一 定 完 全 连 接 起 来，但 此 时 可 以 通 过 调 整 Hough 变换中最大间隔参数来忽略直线间隔。最后， 为了进一步减少杂散边缘对 Hough 变换的干扰，又进 行了一次迭代去除杂散边缘。