红外与可见光图像配准和融合中的关键技术 (1)

１０红外与激光工程：光电信息处理技术第３５卷式中：坛ｒ为标准方差；Ｂ，ｑ。。。为＠’ｙ）处沿第ｆ和第（（ｆ砌）ｍｏｄ２ｍ）方向的方向方差。图像被均匀划分

为２ｍ个方向。上面的方差都是在以＠，ｙ）为中心的窗口内计算的。

②选择邻域内有最高兴趣值的点为待选特征点。如两待选特征点之间的距离小于最小距离门限，则有较小兴趣值的待选特征点被扔掉。

③如待选特征点的数目仍然大于预定数目，则按兴趣值由大到小的顺序依次选择预定数目的特征点作匹配。

其兴趣值计算的是局部区域的标准方差与方向方差（即边缘强度）之比的最小值的乘积，因而兴趣值具有以下特点：１）易选择局部区域信息多的点；２）计算的是多方向的方向方差，易选择角点而非直线上的点；３）兴趣值对灰度值不敏感，能克服红外图像和可见光图像灰度特性不一致的问题。

图２由一维最大类间方差，ＳＣ和综合分割算法得到的分割结果，直方图和平滑直方图

ｒｅｓｕｌｔｓ，ｍｓｔｏｇ姗强ｄｓｍ００也ｍｓｔ０铲锄ｆ幻ｍ１一Ｄｌａｒｇｅｓｔｉｎ位卜ｃｌ弱ｓｖａｒｉ觚ｃｅ，ＳＣ锄ｄｃｏｍｐｏｓｉｔｅａｌｇｏｒｉｍｍｓＦｉｇ．２Ｓｅｇｍ蛐嘶ｏｎ

３．３特征点的匹配及误匹配的消除

红外图像和可见光图像由于其固有的特征不一致性，特别要求只选择两幅图像都有的特征点，严格要求消除误匹配及误匹配的剔除。

经过特征点提取后，得到特征匹配点集Ａ（红外图像）和Ｂ（可见光图像），需在Ａ和Ｂ中确定同名点对，利用同名点对求解变换模型参数。本文拟对模板相关配准中的交叉相关迭代法进行改进用作匹配。改进后的交叉相关迭代匹配的优点有：可以有效地降低误匹配；在特征点上滑动搜索，大大减小了运算量，有利于算法的快速实现；随着未匹配上，目标窗口不断缩小，减小了运算量，有利于算法的快速实现；在求解变换模型参数时，有大的变换误差的特征点对被进一步剔除。

３．４新型的基于区域的树状小波活性测度计算

基于树状小波变换的图像融合【７１由于它不仅仅将低频信息进行分解，而是根据图像的特征按子带图像的能量自适应地对各个子带信息进行分解，因而它的融合效果要优于传统的金字塔形小波图像融合，进而广泛应用于可见光和红外图像融合。

常用的树状小波分解采用基于窗口的活性测度。设两组树状小波分解系数的活性测度分别为Ａ（Ｐ）和厶（Ｐ），窗口模板系数为：

增刊蒋宏等：红外与可见光图像配准和融合中的关键技术

则活性测度为：

删＝ｌｉ；｝溅（２）

Ａ（Ｐ）＝∑烈ｓ，ｆ）ｌＤ，（ｆ＋Ｊ，歹＋ｆ，七，ｚ）Ｉ，，＝１，２（３）

＊Ｓ．拒ｒ

式中：Ｄ，（ｉ，．，，忌，Ｚ）为树状小波分解系数，（ｆ’．，）为分解系数的空间位置，足为分解层数，ｚ为子带频段（扛ｌ，２，３，４）。

作者运用了一种新的基于区域多分辨率分割的区域图像融合方法，其主要特点是多分辨率分割。它首先对源图像进行基于小波变换的多分辨率分解，然后对每一层图像都进行区域分割，最后用分割得到的区域信息来指导每一层的融合。因为更多地考虑了像素的邻域特性，所以无论从理论上或者仿真实验上，基于区域的图像融合方法优于基于窗口的融合方法。为此，本文拟参考这一点，把在树状小波分解中基于窗口的活性测度扩展到基于区域的活性测度计算。

３．５自生成神经网络的产生，优化，剪枝及简化

由于红外和可见光图像的灰度特性差异，模糊图像融合方法常被应用于两者的融合。近几年来，一种基于自生成神经网络ｓＧＮＮ（ｓｅｌｆ－ｇｅｎｅｒａｔｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋ）的模糊图像融合方法㈣有所报道。

ＳＧＮＮ是一种非监督学习的神经网络【９】，它不用预先设定类的数目（如自组织特征映射ＳＯＦＭ），适应性好，因其树型结构而适于聚类或分类。自生成神经网络的产生在国内文献中尚未见详细报道，而其优化，剪枝及简化国内外文献都未见报道。

ｓＧＮＮ网络生成法则以一套训练样本为输入，以生成的ＳＧＮＮ网络为输出。每个训练样本都是一个实数向量，神经元的权向量与训练样本具有相同的维数和定义域。在最终生成的ＳＧＮＴ中，所有叶子神经元的权值为训练样本的矢量值，而所有非叶子神经元的权值则是以它为根的子树的所有叶子权值的平均值。以下是本文所作的用ｓＧＮＮ对图像聚类的实验。

图３和图４分别为要分类的原图和分类的结果。通过此界面可以看到原图像分类的结果：分类类数（６类），网络的总节点数（２３０），叶子节点数（１３０），中间节点数（１００），并可通过杏询知道每个节点的祖辈和孩子。

图３要分类的原图

Ｆｉｇ．３ｏｒｉｇｉｎａｌｆｉｇｕｒｅｆｂｒｃｌ勰ｓｉｆｉｃ撕ｏｎ

图４原图被ＳＧＮＮ分类的结果

Ｆｉｇ．．４Ｃｌ船ｓｉｆｉｃａｔｉｏｎｒｅｓｕｎｂｙＳＧＮＮ

以上所生成的网络还存在一些弱点：网络在形状上并没有达到最优；可能存在死结点，即某些结点将永远不能被以后的训练样本访问到。因而需要对以上所生成的ＳＧＮＮ网络进行更深入的优化，剪枝等研究。

优化过程是对以上生成的网络进行结构上的调整，主要是分别检测水平方向与垂直方向上神经元是否放

红外与可见光图像配准和融合中的关键技术

作者：蒋宏， 任章， JIANG Hong， REN Zhang

作者单位：北京航空航天大学,自动化学院,北京,100083

刊名：

红外与激光工程

英文刊名：INFRARED AND LASER ENGINEERING

年，卷(期)：2006,35(z4)

被引用次数：1次

1.毛士艺;赵巍多传感器图像融合技术综述[期刊论文]-北京航空航天大学学报 2002(05)

2.CHEN H M Automatic two-stage IR and MMW image registration algorithm for concealed weapons detection 2001(04)

3.章毓晋图像分割 2001

4.XUE Z;BLUMR LI Y Fusion of visual and IR images for concealed weapon detection 2002

5.钮永胜多传感器图像自动配准技术研究[期刊论文]-光学技术 1999(01)

6.WEN W C Self-generating neural networks 1992

7.覃征数字图像融合 2004

8.李树涛基丁树状小波分解的多传感器图像融合[期刊论文]-红外与毫米波学报 2001(03)

9.LI H H A wavelet-based point feature extractor for multi-sensor image registration 1996

1.蒋宏.任章红外与可见光图像配准和融合中的关键技术[会议论文]-2006

2.王鲲鹏.徐一丹.于起峰.WANG Kun-peng.XU Yi-dan.YU Qi-feng红外与可见光图像配准方法分类及现状[期刊论文]-红外技术2009,31(5)

3.曾文锋红外与可见光图像融合中的快速配准方法[期刊论文]-红外与激光工程2002,31(2)

4.李振华.敬忠良.孙韶媛.刘刚.LI Zhen-Hua.JING Zhong-liang.SUN Shao-yuan.LIU Gang基于目标检测的红外和可见光动态图像融合[期刊论文]-上海交通大学学报2005,39(8)

5.王阿妮.马彩文.刘爽.柳丛.赵欣.WANG A-ni.MA Cai-wen.LIU Shuang.LIU Cong.ZHAO Xin基于角点的红外与可见光图像自动配准方法[期刊论文]-光子学报2009,38(12)

6.舒丽霞.彭晓明.周成平.丁明跃一种新颖的红外与可见光图像自动配准算法[期刊论文]-华中科技大学学报(自然科学版)2003,31(6)

7.刘贵喜.赵曙光.陈文锦红外与可见光图像融合的多分辨率方法[期刊论文]-光电子·激光2004,15(8)

8.刘卫光.郭师红.周利华红外与可见光图像实时配准融合系统[期刊论文]-红外技术2004,26(5)

9.王春华.马国超.马苗.WANG Chun-hua.MA Guo-chao.MA Miao基于目标提取的红外与可见光图像融合算法[期刊论文]-计算机工程2010,36(2)

10.张宇.付冬梅.李晓刚.孔维功.ZHANG Yu.FU Dong-mei.LI Xiao-gang.KONG Wei-gong基于特征的多层次红外与可见光图像融合方法[期刊论文]-计算机应用研究2009,26(4)

1.陈玉波.陈乐.曲长征.石艳霞红外制导技术在精确打击武器中的应用[期刊论文]-红外与激光工程 2007(z2)