红外与可见光图像配准算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
设有 I1 ，I2 两幅图像，E（ 1，2） （ n） ，E（ 2，1） （ n） 分别 为两幅图像中一幅图像相对与另一幅图像灰度为 n 的
80
www. dianzikeji. org
匡雅斌，等： 红外与可见光图像配准算法
图像·编码与软件
对应像素集合的灰度均值。H1 （ n） 和 H2 （ n） 代表像素 灰度值为 n 的个数。P1 （ n） ，P2 （ n） 表示在两幅图中 像素值为 n 的像素点概率。
收稿日期： 2010-12-31 作者简介： 匡 雅 斌 （ 1985 － ） ，男，硕 士 研 究 生。研 究 方 向： 计算机测控和图像处理。王敬东（ 1966 － ） ，男，硕士生导师。 研究方向： 计算机测控和图像处理。李鹏（ 1977 － ） ，男，讲 师。研究方向： 计算机测控。
的区域越大。从微观上来说，这表示着一幅图像的每 个灰度级在像素位置上所对应的另一幅图像的灰度级 最稳定，而在数学上体现为方差最小。
Abstract In this paper，a registration algorithm that combines second-order mutual information with alignment as a similarity function is proposed． Firstly，the consistency lines are extracted from visible / IR images by using Hough transform． Secondly the alignment metric of consistency lines is calculated． Finally，these different images are registered by adjusting the proportion of alignment metric in the new similarity function． Experiment results demonstrate that the proposed similarity function shows higher accuracy and robustness than the conventional similarity functions．
二阶互信息也存在局限性，因为在一些特定应用场合 下增加相邻点灰度值或梯度值作为第二维信息，并不
1 边缘对齐度的引入
能提供足够的图像结构信息，有时甚至会提供错误的
为了克服二阶互信息的缺点，本文引入边缘对齐度
结构信息： （ 1） 在军事中使用的红外图像模糊、噪声 的概念，利用图像的某些一致性较高的边缘信息求图像
图像中总体温度均衡的情况下，使用二阶互信息能够
得到比较尖锐的互信息曲线，且曲线的局部极值比较
少，因此增大二阶互信息所占比例，K 应该取 0. 5 ～ 1
之间。当红外图像中总体温度不均衡，且有大量噪声
存在的情况下二阶互信息就会存在很多局部极值，在
进行后续优化的处理时很有可能陷入局部极值当中，
所以此时应当增加对齐度的比例以对二阶互信息曲线
进行矫正，使得优化时的矫正后曲线可以使局部极值
大大减少，此时 K 应该取 0 ～ 0. 5 之间。
3 对齐度的合理计算
在一些主要轮廓线具有较好的一致性。因此，本文在 提取边缘图像的基础上，通过 Hough 变换选取红外和 可见光图像中一致性较高的直线段作为对齐度计算时 的边缘，减少边缘之间的差异所引起的对齐度计算的 偏差。然后与原有的二阶互信息结合，形成新的相似 性测度，以提高配准的准确性和鲁棒性。
Keywords IR； visible； image registration； second-order mutual information； alignment metric； Hough transform
多模图像配准是对同一场景在不同时刻、位置和 了大量的噪声信息，由于在红外图像和可见光图像中
对应的灰度值为 k 的像素点； j 表示图 A 中的定义的 第二维信息； l 则表示图 B 中定义的第二维信息。第 二维信息可以是邻域像素点的灰度值或者是当前点的
∑ σ2 1，2
（
n）
=
1 H1 （ n）
（
I1（ x，y）
I2 （
x，y）
－ E（ 1，2） （ n） ） 2
梯度值。由于梯度作为第二维信息容易受到噪声的影 响，因此采用 3 × 3 领域中像素点灰度均值作为第二
图像·编码与软件
2011 年第 24 卷第 5 期 Electronic Sci. ＆ Tech. / May. 15，2010
红外与可见光图像配准算法
匡雅斌，王敬东，李 鹏
（ 南京航空航天大学 自动化学院，江苏 南京 210016） 摘 要 提出把二阶互信息与对齐度相结合作为相似度函数，通过 Hough 变换提取两幅图像中一致性较高的直 线，计算它们的对齐度，最后针对不同的图像特点，调整对齐度在新相似度函数中所占比例进行配准。实验结果表 明，新算法与其他几种测度函数相比有更高的精确性和鲁棒性。 关键词 红外； 可见光； 图像配准； 二阶互信息； 对齐度； Hough 变换 中图分类号 TN219； TP391. 41 文献标识码 A 文章编号 1007 － 7820（2011）05 － 080 － 05
81
图像·编码与软件
匡雅斌，等： 红外与可见光图像配准算法
部上梯度值最大的点达到去边缘带的目的。 （ 3） 二 值 化 边 缘 连 接 和 迭 代 除 杂 边 缘［9］。 由
Hough 变换的基本原理知道，如果二值化图像中，所 需要提取的直线段连通性越好，且其他碎直线越少或 者碎直线间隔越大，则通过调整 Hough 变换的长度阈 值和最大间隔参数就越容易提取出所需要的直线段。 为此，本文对提取出的二值化图像进行边缘连接和迭 代除杂边缘的处理。在边缘连接中，高阈值图像去掉 大量噪声与杂散边缘，低阈值图像则保留了需要提取 的完整直线。这样通过边缘连接后的图像既保留了所 需提取的直线又去除了大量噪声边缘。连接后的直线 边缘不 一 定 完 全 连 接 起 来，但 此 时 可 以 通 过 调 整 Hough 变换中最大间隔参数来忽略直线间隔。最后， 为了进一步减少杂散边缘对 Hough 变换的干扰，又进 行了一次迭代去除杂散边缘。
缘图片中会形成许多短的杂散边缘，或出现边缘像素 点聚成一团，为了避免其对 Hough 变换造成干扰，在 Hough 变换前对两幅图像分别做一次形态学细化。
5 图像配准过程
4 Hough 变换的参数选择
本文采用的 Hough 变换函数有 5 个参数： 距离精 度 rho； 角度精度 theta； 长度阈值参数 threshold； 最 小碎线段长度 param1 和碎线段最大间隔值 param2。
Infrared and Visible Image Registration by Combination of Second-order Mutual Information and Alignment
Kuang Yabin，Wang Jindong，Li Peng （ College of Automation Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 210016，China）
∑ σ 2 1，2
=
P1 （
n）
σ2 1，2
（
n）
（ 3）
∑ σ 2 2，1
=
P2 （
n）
σ2 2，1
（
n）
（ 4）
CI［I1 ，I2］=
σ2 1，2 σ22
+
σ2 2，1 σ21
（ 5）
CI 的取值范围为［0，2］。为了描述方便，取 CI
的倒数为对齐度 AM，即
AM = 1 / CI
（ 6）
当两幅图像之间配准时，对齐度 AM 值为最大。
二阶熵的计算公式［4］如下
H2 （ A） = － ∑∑p（ i，j） logp（ i，j）
（ 7）
ij
其中，p（ i，j） 为同一图像中相邻像素（ 灰度值分别为
i，j） 灰度值的联合概率分布，可由 2D 联合灰度直方
图统计。同时，定义两幅图像间的二阶联合熵为
H2 （ A，B） = － ∑∑∑∑p（ i，j，k，l） logp（ i，j，k，l） i jkl
见光图像中的有些边缘会存在较大差异，但依然会存
NMI2
=
H2 （ A） H2 （
+ H2 （ A，B）
B）
（ 9）
将二阶互信息和边缘图像对齐度相结合构成一个
新的相似性测度
AMNMI2 = K × NMI2 + （ 1 － K） × AM （ 10） 其中，K 为比例值，K 的取值范围为［0，1］，当红外
（ 1） 维信息。针对领域像素点均值代表的图像结构信息不
σ2 2，1
（
n）
∑ =
1 H2 （ n）
（
I2（ x，y）
I1 （
x，y）
－ E（ 2，1） （ n） ） 2 （ 2）
足的问题，本文引入一致性边缘对齐度，从而增加图 像边缘信息在配准过程中的作用。p（ i，j，k，l） 可由 四维灰度联合直方图统计。归一化二阶互信息定义为
使用不同波段摄像头得到的一组图像之间进行匹配的 所包含的噪声信号类型不一致，因此包含红外与可见
过程。二阶互信息是在互信息基础上发展的一种更为 光图像中噪声信息的像素点梯度值所代表的图像结构
有效的多模图像配准算法。互信息只反映了Байду номын сангаас像中每 信息之间就可能存在很大的差异。（ 3） 从红外图像本
一对像素点灰度值的统计特性，它忽略了不同位置像 身的特点出发，物体在图像中边缘处像素值呈现向边
大，增加相邻点灰度值作为第二维信息不能提供足量 的结构信息。（ 2） 而增加当前点梯度值作为第二维信
的对齐度，再与二阶互信息相结合实现多模图像配准。 对齐度［3］的概念源自于人眼对两幅图像内容对齐
息时，由于梯度对噪声非常敏感，得到的梯度值包含 的认识； 当判断两幅图像内容对齐的时候，意味着图
像之间重叠之后像素值之间非对齐的区域最小、对齐
（ 1） 均值滤波。为了滤除图像中的噪声，采用均值 滤波器对原图像进行噪声滤除。相比高斯滤波器会造成 原图像的过度光滑或者缓变边缘容易丢失的效果而言， 采用均值滤波比采用高斯滤波后的图像边缘变得更加平 滑和连续，而且免去了选取高斯模板宽度的工作［6 －7］。
（ 2） 边缘细化并去除假边缘。由于红外图像存在边 缘带，并且经过均值滤波器之后，使得边缘带会进一步 加宽。由 Hough 变换原理可知，直线边缘带经过 Hough 变换后会在两侧检测出两条直线。由此计算得到的对齐
对齐度最 初 是 在 对 医 学 图 像 配 准 领 域 中 开 始 使
用，由于医学图像不同光谱下各组织内部灰度值单
一，且噪声很小。因此，直接对灰度图像进行计算对
齐度能够起到理想的效果。而在红外与可见光图像配
准时，红外图像在同一区域内部可能出现灰度值反
转，因此对灰度图像计算对齐度容易导致配准失败。
本文将利用图像中的边缘求取对齐度，虽然红外与可
（ 8） 其中，p（ i，j，k，l） 中 i 表示图像 A 中灰度值 i 的像
度曲线将变得不尖锐而且存在大量局部极值，因此必须 首先对边缘带进行细化处理［8］，然后采用非极大值抑制
素点； k 表示图像 B 中与图 A 中像素值为的 i 像素点 的思想，进一步细化全局梯度图中的屋脊带，保留在局
www. dianzikeji. org
素点间的相关性并且缺少对图像空间结构信息的考
虑，因此二阶互信息提出通过增加相邻像素点的灰度 值或者当前像素点的梯度值等图像结构信息［1］，作为
缘梯度方向扩散的趋势，可见光图像中阶梯状边缘在 红外图像中则变成斜坡状边缘［2］，因此红外图像在边 缘处形成了边缘带。使用边缘带处的梯度信息会导致
二阶互信息的第二维信息来弥补互信息的缺陷。但是 配准结果的误差，从而降低配准算法的鲁棒性。
本文是基于图像间的边缘来计算对齐度的，为更 好地计算红外与可见光图像之间的对齐度，本文采用 对二值化图像进行 Hough 变换［5］提取图像中一致性 较高的主要直线边缘。为保证所提取边缘的一致性， 在进行 Hough 变换提取一致性直线段前，进行了以下 几步预处理优化边缘提取：
2 基于对齐度的二阶互信息基本原理
80
www. dianzikeji. org
匡雅斌，等： 红外与可见光图像配准算法
图像·编码与软件
对应像素集合的灰度均值。H1 （ n） 和 H2 （ n） 代表像素 灰度值为 n 的个数。P1 （ n） ，P2 （ n） 表示在两幅图中 像素值为 n 的像素点概率。
收稿日期： 2010-12-31 作者简介： 匡 雅 斌 （ 1985 － ） ，男，硕 士 研 究 生。研 究 方 向： 计算机测控和图像处理。王敬东（ 1966 － ） ，男，硕士生导师。 研究方向： 计算机测控和图像处理。李鹏（ 1977 － ） ，男，讲 师。研究方向： 计算机测控。
的区域越大。从微观上来说，这表示着一幅图像的每 个灰度级在像素位置上所对应的另一幅图像的灰度级 最稳定，而在数学上体现为方差最小。
Abstract In this paper，a registration algorithm that combines second-order mutual information with alignment as a similarity function is proposed． Firstly，the consistency lines are extracted from visible / IR images by using Hough transform． Secondly the alignment metric of consistency lines is calculated． Finally，these different images are registered by adjusting the proportion of alignment metric in the new similarity function． Experiment results demonstrate that the proposed similarity function shows higher accuracy and robustness than the conventional similarity functions．
二阶互信息也存在局限性，因为在一些特定应用场合 下增加相邻点灰度值或梯度值作为第二维信息，并不
1 边缘对齐度的引入
能提供足够的图像结构信息，有时甚至会提供错误的
为了克服二阶互信息的缺点，本文引入边缘对齐度
结构信息： （ 1） 在军事中使用的红外图像模糊、噪声 的概念，利用图像的某些一致性较高的边缘信息求图像
图像中总体温度均衡的情况下，使用二阶互信息能够
得到比较尖锐的互信息曲线，且曲线的局部极值比较
少，因此增大二阶互信息所占比例，K 应该取 0. 5 ～ 1
之间。当红外图像中总体温度不均衡，且有大量噪声
存在的情况下二阶互信息就会存在很多局部极值，在
进行后续优化的处理时很有可能陷入局部极值当中，
所以此时应当增加对齐度的比例以对二阶互信息曲线
进行矫正，使得优化时的矫正后曲线可以使局部极值
大大减少，此时 K 应该取 0 ～ 0. 5 之间。
3 对齐度的合理计算
在一些主要轮廓线具有较好的一致性。因此，本文在 提取边缘图像的基础上，通过 Hough 变换选取红外和 可见光图像中一致性较高的直线段作为对齐度计算时 的边缘，减少边缘之间的差异所引起的对齐度计算的 偏差。然后与原有的二阶互信息结合，形成新的相似 性测度，以提高配准的准确性和鲁棒性。
Keywords IR； visible； image registration； second-order mutual information； alignment metric； Hough transform
多模图像配准是对同一场景在不同时刻、位置和 了大量的噪声信息，由于在红外图像和可见光图像中
对应的灰度值为 k 的像素点； j 表示图 A 中的定义的 第二维信息； l 则表示图 B 中定义的第二维信息。第 二维信息可以是邻域像素点的灰度值或者是当前点的
∑ σ2 1，2
（
n）
=
1 H1 （ n）
（
I1（ x，y）
I2 （
x，y）
－ E（ 1，2） （ n） ） 2
梯度值。由于梯度作为第二维信息容易受到噪声的影 响，因此采用 3 × 3 领域中像素点灰度均值作为第二
图像·编码与软件
2011 年第 24 卷第 5 期 Electronic Sci. ＆ Tech. / May. 15，2010
红外与可见光图像配准算法
匡雅斌，王敬东，李 鹏
（ 南京航空航天大学 自动化学院，江苏 南京 210016） 摘 要 提出把二阶互信息与对齐度相结合作为相似度函数，通过 Hough 变换提取两幅图像中一致性较高的直 线，计算它们的对齐度，最后针对不同的图像特点，调整对齐度在新相似度函数中所占比例进行配准。实验结果表 明，新算法与其他几种测度函数相比有更高的精确性和鲁棒性。 关键词 红外； 可见光； 图像配准； 二阶互信息； 对齐度； Hough 变换 中图分类号 TN219； TP391. 41 文献标识码 A 文章编号 1007 － 7820（2011）05 － 080 － 05
81
图像·编码与软件
匡雅斌，等： 红外与可见光图像配准算法
部上梯度值最大的点达到去边缘带的目的。 （ 3） 二 值 化 边 缘 连 接 和 迭 代 除 杂 边 缘［9］。 由
Hough 变换的基本原理知道，如果二值化图像中，所 需要提取的直线段连通性越好，且其他碎直线越少或 者碎直线间隔越大，则通过调整 Hough 变换的长度阈 值和最大间隔参数就越容易提取出所需要的直线段。 为此，本文对提取出的二值化图像进行边缘连接和迭 代除杂边缘的处理。在边缘连接中，高阈值图像去掉 大量噪声与杂散边缘，低阈值图像则保留了需要提取 的完整直线。这样通过边缘连接后的图像既保留了所 需提取的直线又去除了大量噪声边缘。连接后的直线 边缘不 一 定 完 全 连 接 起 来，但 此 时 可 以 通 过 调 整 Hough 变换中最大间隔参数来忽略直线间隔。最后， 为了进一步减少杂散边缘对 Hough 变换的干扰，又进 行了一次迭代去除杂散边缘。
缘图片中会形成许多短的杂散边缘，或出现边缘像素 点聚成一团，为了避免其对 Hough 变换造成干扰，在 Hough 变换前对两幅图像分别做一次形态学细化。
5 图像配准过程
4 Hough 变换的参数选择
本文采用的 Hough 变换函数有 5 个参数： 距离精 度 rho； 角度精度 theta； 长度阈值参数 threshold； 最 小碎线段长度 param1 和碎线段最大间隔值 param2。
Infrared and Visible Image Registration by Combination of Second-order Mutual Information and Alignment
Kuang Yabin，Wang Jindong，Li Peng （ College of Automation Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 210016，China）
∑ σ 2 1，2
=
P1 （
n）
σ2 1，2
（
n）
（ 3）
∑ σ 2 2，1
=
P2 （
n）
σ2 2，1
（
n）
（ 4）
CI［I1 ，I2］=
σ2 1，2 σ22
+
σ2 2，1 σ21
（ 5）
CI 的取值范围为［0，2］。为了描述方便，取 CI
的倒数为对齐度 AM，即
AM = 1 / CI
（ 6）
当两幅图像之间配准时，对齐度 AM 值为最大。
二阶熵的计算公式［4］如下
H2 （ A） = － ∑∑p（ i，j） logp（ i，j）
（ 7）
ij
其中，p（ i，j） 为同一图像中相邻像素（ 灰度值分别为
i，j） 灰度值的联合概率分布，可由 2D 联合灰度直方
图统计。同时，定义两幅图像间的二阶联合熵为
H2 （ A，B） = － ∑∑∑∑p（ i，j，k，l） logp（ i，j，k，l） i jkl
见光图像中的有些边缘会存在较大差异，但依然会存
NMI2
=
H2 （ A） H2 （
+ H2 （ A，B）
B）
（ 9）
将二阶互信息和边缘图像对齐度相结合构成一个
新的相似性测度
AMNMI2 = K × NMI2 + （ 1 － K） × AM （ 10） 其中，K 为比例值，K 的取值范围为［0，1］，当红外
（ 1） 维信息。针对领域像素点均值代表的图像结构信息不
σ2 2，1
（
n）
∑ =
1 H2 （ n）
（
I2（ x，y）
I1 （
x，y）
－ E（ 2，1） （ n） ） 2 （ 2）
足的问题，本文引入一致性边缘对齐度，从而增加图 像边缘信息在配准过程中的作用。p（ i，j，k，l） 可由 四维灰度联合直方图统计。归一化二阶互信息定义为
使用不同波段摄像头得到的一组图像之间进行匹配的 所包含的噪声信号类型不一致，因此包含红外与可见
过程。二阶互信息是在互信息基础上发展的一种更为 光图像中噪声信息的像素点梯度值所代表的图像结构
有效的多模图像配准算法。互信息只反映了Байду номын сангаас像中每 信息之间就可能存在很大的差异。（ 3） 从红外图像本
一对像素点灰度值的统计特性，它忽略了不同位置像 身的特点出发，物体在图像中边缘处像素值呈现向边
大，增加相邻点灰度值作为第二维信息不能提供足量 的结构信息。（ 2） 而增加当前点梯度值作为第二维信
的对齐度，再与二阶互信息相结合实现多模图像配准。 对齐度［3］的概念源自于人眼对两幅图像内容对齐
息时，由于梯度对噪声非常敏感，得到的梯度值包含 的认识； 当判断两幅图像内容对齐的时候，意味着图
像之间重叠之后像素值之间非对齐的区域最小、对齐
（ 1） 均值滤波。为了滤除图像中的噪声，采用均值 滤波器对原图像进行噪声滤除。相比高斯滤波器会造成 原图像的过度光滑或者缓变边缘容易丢失的效果而言， 采用均值滤波比采用高斯滤波后的图像边缘变得更加平 滑和连续，而且免去了选取高斯模板宽度的工作［6 －7］。
（ 2） 边缘细化并去除假边缘。由于红外图像存在边 缘带，并且经过均值滤波器之后，使得边缘带会进一步 加宽。由 Hough 变换原理可知，直线边缘带经过 Hough 变换后会在两侧检测出两条直线。由此计算得到的对齐
对齐度最 初 是 在 对 医 学 图 像 配 准 领 域 中 开 始 使
用，由于医学图像不同光谱下各组织内部灰度值单
一，且噪声很小。因此，直接对灰度图像进行计算对
齐度能够起到理想的效果。而在红外与可见光图像配
准时，红外图像在同一区域内部可能出现灰度值反
转，因此对灰度图像计算对齐度容易导致配准失败。
本文将利用图像中的边缘求取对齐度，虽然红外与可
（ 8） 其中，p（ i，j，k，l） 中 i 表示图像 A 中灰度值 i 的像
度曲线将变得不尖锐而且存在大量局部极值，因此必须 首先对边缘带进行细化处理［8］，然后采用非极大值抑制
素点； k 表示图像 B 中与图 A 中像素值为的 i 像素点 的思想，进一步细化全局梯度图中的屋脊带，保留在局
www. dianzikeji. org
素点间的相关性并且缺少对图像空间结构信息的考
虑，因此二阶互信息提出通过增加相邻像素点的灰度 值或者当前像素点的梯度值等图像结构信息［1］，作为
缘梯度方向扩散的趋势，可见光图像中阶梯状边缘在 红外图像中则变成斜坡状边缘［2］，因此红外图像在边 缘处形成了边缘带。使用边缘带处的梯度信息会导致
二阶互信息的第二维信息来弥补互信息的缺陷。但是 配准结果的误差，从而降低配准算法的鲁棒性。
本文是基于图像间的边缘来计算对齐度的，为更 好地计算红外与可见光图像之间的对齐度，本文采用 对二值化图像进行 Hough 变换［5］提取图像中一致性 较高的主要直线边缘。为保证所提取边缘的一致性， 在进行 Hough 变换提取一致性直线段前，进行了以下 几步预处理优化边缘提取：
2 基于对齐度的二阶互信息基本原理