红外-可见光双目系统像素级快速融合方法

第46卷第6期2020年12月
空间控制技术与应用
A e r o s p a c e C o n tro l a n d A p p lic a t io n
Vol.46 No.6
Dec.2020
D O I：10.3969/j.issn. 1674-1579.2020.06.01 1
红外-可见光双目系统像素级快速融合方法*
贺盈波4，王伟华，李连升，陈树琪，王嘉捃，孙海添
摘要：红外-可见光双目系统既能感知目标的温度，又能获取目标的颜色、纹理信息，在日常生活和工业产生中获得较多的应用.红外相机由于和可见光相机成像机制的不同，在标定过程中往往需要使用不同的靶标.本文提出了 一种红外-可见光双目系统像素级的快速标定融合方法，通过设计了一种圆孔形靶标，实现了一步法标定，在可见光相机像素坐标系下像素质心标定精度小于丨个像素，可用于大批量的低成本的民用红外标定产品系统.
关键词：红外-可见光双目系统；相机标定；圆孔把标；图像融合
中图分类号：TN219 文献标志码：A文章编号：1674-1579(2020)06-0073-06
A Fast Pixel-Level Fusion Method for Infrared-Visible Binocular System
HE Yingbo,WANG Weihua,LI Liansheng,CHEN Shuqi,WANG Jiajun,Sun Haitian Abstract：An infrared-visible binocular camera can not only perceive the temperature of the targets,but also obtain the color and texture information of them,which has gotten more and more application in daily life and industrial production.Considering the different imaging mechanism between infrared and visible camera,different calibration targets are needed in general calibration.In this paper,we propose a pixel-level fast calibration method for the infrared-visible binocular system.By designing a unique circular tar­get rig,one-step calibration is realized.The calibration precision is below 1pixel in visible camera pixel coordinate system.This method can be used to the large batch and low cost civil infrared production cali­bration system.
Keywords：infrared-visible binocular system；camera calibration；circular target rig；image fusion
0引言
红外传感器通过对物体的热感应进行响应成像，可用于火灾预警、工业生产线异常检测、公共场所人体温度排查等.在2020年初受疫情影响的特殊时期，红外测温装置得到了大范围的使用.然而，由于红外探测器本身固有的特性，存在着对比度低、分辨率差、目标纹理信息不足等缺点〜1.因此，在 实际使用时通常附加可见光相机，可见成像探测器通过感知物体的反射光线或者发光物体的光谱线
收稿日期：2020-10-丨9;录用日期：2020-丨丨-22.
Manuscript received Oct. 19,2020； accepted Nov. 22,2020.
空间光电测量与智能感知实验室资助项目（LahSOMP-2018*02).
Lab of Space Optoelectronic & Perception (LabSOMP-2018-02 ).
北京控制工程研究所，北京丨00190.
Beijing Institute of Control Engineering, Beijing 100190, China.
* 通信作者.E-mail: yhhe86@ 126. coni.而形成图像，其具有成像分辨率本领高、边缘细节轮廓清晰等特点，可用于对目标的提取与追踪等.
红外-可见光双目系统集成各自的优点，既能感知目标的温度，同时又能提取目标的边缘和纹理信息，在诸多领域得到了广泛的应用+81.
国内外关于单目可见光相机标定方法应用比较多的是张正友的平面标定法，典型的如棋盘格标定法，其标定精度在0. 1~〇. 5像素.对于红外相机，由于其感知的是目标的热辐射，因此标定过程多采用恒温的热靶标，如平面圆孔热靶标，其标定过程也采用摄像机针孔模型，标定精度在0. 1〜0.5像素.而对于红外-可见光双目视觉系统，目前 的融合方法可分为两大类：基于靶标的标定方法，以及基于图像特征提取的图像域融合方法[9'121.对 于靶标标定法[<M°],由于红外与可见光成像原理不同，无法采用普通的标定物一次完成系统标定.通常会采用带有圆孔的靶标，红外和可见光相机分别提取圆孔的中心，在不同的距离和姿态条件下，
• 74•
空间控制技术与应用第46卷
获取一系列的特征点坐标数据，最终通过求解超定方程组获取相应的旋转和平移矩阵.而图像域融合法1M2主要是通过对红外和可见图像明显的边缘特征点进行提取，然后对一系列的特征点进行对齐，最终实现像素的对齐.标定法精度高，但 需依赖一定的硬件资源；而图像融合法所需资源较少，但其精度不高，需依赖于图像中明显的特征点.
本文采用靶标标定法，对红外-可见光双目系统在像素级上进行融合.由于在实际使用中，红 外和可见光探测器焦距、像素以及像元尺寸的不同，常常面临一个红外像素对应多个可见光像素的情况，如本文中采用的低成本红外探测器1X 1像素约对应可见光像素10 x 10,从误差估计的角度，标定精度1个像素（可见光相机坐标系下）可 满足需求.因此，从标定成本和使用需求的角度考虑，本文提出了一种简单快速的红外-可见光双目系统的像素级标定方法，设计了一种圆孔标定靶标，可同时提取红外和可见光标定点的坐标，有效实现像素级的融合，融合精度在1个像素以下.
1双目相机像素级融合方法
1.1 常规标定方法
双目相机的标定包含两大步骤:13\第一，各个单H相机内参和外参矩阵的确定；第二，根据对应关系，将两个相机的外参矩阵进行转换.双目相机的标定涉及像素坐标系、相机坐标系以及世界坐标系，如图1所示.
丨冬11相机标定涉及的像素坐标系、相机坐标系以及
世界坐标系
Fig. 1C a m e r a calibration related pixel coordinate system, camera coordinate system and world coordinate system
一般地，单目相机的成像过程可采用针孔模型
来描述，单目相机像素坐标系和世界坐标系的关系
可用正定矩阵进行描述，如式（！）所示：
V7 V
r Y 1
y u
r y~1
八R.
Yt t
Z=0 /, r〇[/? T]
H
二m,m2
-1 _-0 0 1 -
-1-1-
式中：（\,\)表示像素坐标系下的像素值表示
空间点在相机坐标系下的坐标；（U,,,)表示世界坐标系下的空间点坐标；（/t,/,)表示相机在;c,：>•两个方向的等效焦距，理想成像系统下二者数值相等；y表示U，y)坐标系的非正交程度，理想值为0; (x。

，)表示像素坐标系相对相机坐标系的平移量；与图像坐标系相关的参数可川内参矩阵M,表示. [尺r]表示世界坐标系相对于相机坐标系的旋转和平移矩阵，可用外参矩阵表示.单目相机内参、外参的标定方法，可采用间距同定的棋盘格或者圆形靶标，在不同距离、姿态条件下采集一系列图像，提取出相应的坐标点，然后代入式（1)方程中进行求解.
当求得两个相机的内外参矩阵后，如分别用尺,，心表示左右相机的旋转矩阵，7",,7；表示左右相机的平移矩阵.利用投影关系可以确定两相机之间的位置关系.对于空间任一点，世界坐标系、左右相机坐标系的坐标分别为,p,,它们之间的关系为：
= R p+ T'(2)
(P, = HP,.+T
消去式（2)中的参数n j•得：
p,= R R；p r + r, - R,T(3)那么两相机的相对外参旋转和平移矩阵的关系和表示为：
(R r21- R R'
(4)
V= T, -R R,'T,
1.2简化改进的标定方法
实际使用中的红外-可见光双目相机往往具有如下两个特点：一般可认为是固定距离工作模式，如人体测温装置工作距离0.5 ~ 1m;考虑探测器的性价比，一般红外探测器比可见光探测器分辨率要低很多.例如，本文所使用的红外和可见光相机相关参数如表1
所示.
第6期贺盈波等：红外-可见光双目系统像素级快速融合方法
• 75•
表1红外和可见光相机相关参数于同一世界坐标点，则有: Tab. 1The param eters of visible and infrared cam era
相机名称分辨率视场/
(°)
像素尺寸/
(xm
焦距/
m m
安装位置/
m m
红外32 x323310052
可见光640 x 48055 3.2 2.560
本文红外-可见光双目系统是供家庭使用的红外热像仪，从成本、需求和市场的角度考虑，采用低成本的红外探测器.如表i所示，红外探测器分辨率32 x32,可见光探测器640 x480.考虑两者的公共视场，通过计算，约10 x 10可见光像素坐标点对应于1x l的红外像素点.安装后的红外相机和可见光相机视线方向平行，红外相机安装位置相对可见光在Z方向有2 m m的偏移（以镜头前端为正向）.
影响红外-可见光双目系统标定结果的因素如下：红外、可见光相机各自光学系统的畸变，对最终成像效果的影响.而光学系统的畸变引起的误差在〇.I个像素以下，而本文标定的低成本相机，标定结果只要满足I个像素即满足使用需求，从标定的简洁性和使用性，不考虑相机光学系统成像畸变对标定结果的影响；最终需要标定的结果是红外相机像素坐标系到可见光相机像素坐标系的旋转和平移矩阵.因此，在标定过程中，不需要额外标定各个相机的内参，其相关的参数在标定过程中已耦合到最终的旋转和平移矩阵，极大地简化了标定过程.
因此，在以下的标定中，不考虑相机的畸变，相 机的内参不做标定，采用厂家提供的焦距参数.
对于此类低成本的探测器，可对标定方法做一些简化.以可见光相机为例，将可见光镜头主面作为原点，建立相机坐标系，并把相机坐标系和世界坐标系重合，考虑成像过程中的旋转和平移，则有：
•r(5)
Jp= Y~(T2\^c + r22^r)+
式中：U,.表示世界坐标点；分别为探测器方向单位距离的像素点个数，与像素尺寸成反比关系，本文s,和\相等，记为$;「|1，『12，「2,，「22分别 表示二维旋转矩阵对应的元素；A分别为方
向平移量；/表示焦距.S，/数值可由表1中对应的参数计算得出.
利用式（5)可分别求出可见光相机和红外相机像素坐标系相对世界坐标系的旋转和平移矩阵.对
C:(
6)
=r p+ r
I p；；= R'"p,+ T"
式中：分别表示可见光相机和红外相机像素坐标系下，世界坐标对应的点；■R'r'分别表示可见光相机像素坐标系相对世界坐标系的旋转和平移矩阵；f，：r分别表示红外相机像素坐标系相对世界坐标系的旋转和平移矩阵，消去式（6)中的 则有：
\p"n x= R"- R r,{R,n)-'T"'+TU
■R1= R"(R in)^(7) =_ /r(«'")—'r"+ r’
式中：/r2"表示红外相机像素坐标系到可见光相机像素坐标系的旋转矩阵；r2'为平移矩阵.通过式（7)，可以求出和r2'.同理，可见光相机像素坐标系到红外相机像素坐标系原理与之类似.
2标定系统方案设计
根据1.2简化的标定方法，靶标和双目相机的距离采用固定距离，为=510mm.根据式（5)分 别求出红外相机和可见光相机的/?、r矩阵，然后利 用式（7)求出红外相机像素点坐标到可见光相机像素点坐标的旋转和平移7^矩阵，从而完成标定.
(a)标定靶标二维示意图(b)靶标实物图
黑体靶标双目相机
(c)标定系统实物图
图2标定靶标及标定系统示意图
Fig. 2 Th e
calibration rig and calibration system sketch
• 76 •
空间控制技术与应用第46卷
标定误差/pixel 图4
标定误差统计结果
Fig. 4 The statistics of calibration errors
3.2 像素级融合效果
使用标定好的相机进行实际测试实验，如图5 为人手融合效果图，其中图5(a )为红外相机人手 图，图5(b )为可见光人手图.可见光和红外图像融 合方法如下：首先，对红外图像进行伪彩色处理，变 为R ,G ,B 三通道图像；以可见光图像为直流背景， 分别与红外伪彩色每个通道对应的像素进行叠加, 如式（8)所示.对于红外像素融合系数a ,当a 取0 时，融合后的图像全部表现为可见光图像信息；当a =1时，融合后的图像全部表现为红外图像信息.从 人眼视觉角度考虑，红外伪彩色图像信息更加丰 富，一般适宜于较大的比重，便于人眼辨別，a 可从 0.6 ~0. 9进行选取.本文选取红外像素融合系数
2 4 6 8 10 12 14 16
序号
(c)红外-可见光融合效果图
（d )标定结果质心误差
图3双目系统标定实验结果
Fig. 3 The binocular system calibration results.
0.25
标足误差统计结果
m a a m m
o y o g i I r i "
⑷可见光图像
(b )红外图像
如图2所示，是标定实验所米用的标定靶标以 及桌面标定系统实物图.图2(a )是标定靶标二维结 构图，圆孔直径为30 mm ,相邻圆孔间隔为60 mm ， 总共4 x 4 = 16个圆孔标记.靶标的相关参数设置原 则是保证双目相机在510 m m 工作时，靶标图像尽 量填充满视场.近似地，510 m m 外的目标可认为为 无穷远.后期的实验证明，使用该方法标定的相机 参数在300 ~ 1500 m m 的工作距离段内均具有较好 的融合效果.图2(b )是标定靶标实物图，对可见光 和红外相机可同时成像.图2(c )是标定桌面系统实 物图，从左到右分别是恒温黑体、圆孔靶标、待标红 外-可见光双目系统.恒温黑体作为热源，其温度恒 定保持在40^，温度误差小于0. 1T .
在标定过程中，由于恒温黑体是黑色的，因此 在可见光相机进行标定时，需在标定靶后方加一白 色挡板，在红外相机进行标定时抽走白色挡板，已 使得可见光相机和红外相机均能够清晰成像.
3标疋系统结果
3.1 标定结果及精度分析
图3展示了红外-可见光双目系统的标定结果. 图3(a )和（b )分别为可见光相机和红外相机在图2 (b )靶标下所采集的图像，图像边缘已做裁剪处理， 只留取可见光相机和红外相机图像可能重合的区 域.图中用16个红色方框标记出靶标的区域，中心 点的蓝色星号（图3a )或者黑色加号（图3b )分别表 示对应圆孔的质心位置.图中可明显看出红外图像 的分辨率要远低于可见光图像，丨x l 个红外像素约 对应10 x 10个可见光像素.图3(c )是采用本文2.2 介绍的标定方法，把靶标红外图像转移到可见光图 像下，转移后的图像以可见光作为背景，红外图像 进行伪彩色处理进行叠加，红外像素系数为0.7,如 式（8)所示.可以发现红外图像和可见光图像融合 效果较好，二者在可见光图像下质心坐标基本完成 重合.图3(d )展示了红外图像融合进可见光图像坐 标系下，对应16个圆孔质心位置的差异，可以发现, 二者的误差在1个像素以下.
通过对128组标定实验结果进行统计，红外-可 见光双目系统的z 方向质心误差和y 方向质心误 差统计结果如图4所示.可以看出，95%以上的标定 结果，其像素E 配误差精度在1个像素以下，证明本 文所介绍方法的普适性.此种标定方法简单可靠, 便于推广于大批量的产品标定.
a •
_
h .
04
#
第6期贺盈波等：红外-可见光双目系统像素级快速融合方法• 77.
a=0.7是结合实验标定过程中的经验，选取的经验参数，以便于从人眼视觉的角度检测标定效果的好坏，g卩：红外和可见光图像的边缘是否吻合对齐.
(x,y,c)= a x I"'(x,y,c)+(1- a)x /"*(x,y)
(8)
图6展示的是红外-可见光融合后的效果图.其中图6(a)采用的是本文的标定方法，从人手指的边缘轮廓来看，红外图像和可见光图像手指边缘吻合度较好.而图6(b)则显示的是一个未标定好的红外-可见光双目系统融合后的图像，可以明显看出，可见光信息（偏绿色的部分）的手指轮廓与红外信息（偏红色部分）的手指轮廓边缘不吻合，表明二者融合效果不好，指示的不为同一区域.结合图5 -6相关的内容，可以验证本文所提标定方法的有效性，可见光信息和红外信息能够较好的融合.
(a)红外相机人手图（h)可见光相机人手图
图5 人手图像
Fig. 5 T he hand figures
(a)融合效果较好（b)融合效果较差
图6红外-可见光融合效果图
Fig. 6 Infrared-visible binocular system fusion results
4结论
本文提出了一种红外-可见光双目系统像素级快速融合标定方法，采用固定工作距离的标定方式，利用恒温黑体作为热源，使用圆孔靶标对双目相机进行标定.圆孔靶标使用固定间距为60 mm,圆 孔尺寸为30 mm,实现了红外相机和可见光相机对同一靶标同时标定.标定方法简单实用，标定精度在可见光像素坐标系下，质心误差精度在1个像素以下.在红外相机分辨率远低于可见光分辨率条件下（红外相机I x 1像素对应可见光相机10 x 10像 素），完全满足产品实用需求，适合于大批量的低成本产品的标定.
参考文献
[1]孙兴龙，韩广良，郭立红，等.采用轮廓特征匹配的
红外-可见光视频自动配准[J].光学精密T程，
2020,28(5)：1140-1151.
S U N X L, H A N G L, G U O L H,et al. Infrared-visible
video automatic registration with contour feature m atc­
hing J.Optics and Precision Engineering, 2020,28
(5) ：1140-1151.
[2 ]王谭，王磊磊，张卫国，等.基于张正友标定法的红
外靶标系统[J].光学精密工程，2019,27(8) :1828-
1835.
W A N G T, W A N G L L, Z H A N G W G,et al. .Design
of infrared target system with Z h a n g Zhengyou calibration
method [J]. Optics and Precision Engineering,2019,
27(8)：1828-1835.
[3]王建军，黄晨，李舰艇.空间目标红外辐射测量系统
标定技术[门.红外与激光工程，2016,45(4 ):
0404002-1 ：5.
W A N G J J, H U A N G C, LI J T. Calibration technology
of infrared radiation measurement for space object [J ].
Infrared and Laser Engineering, 2016,45(4)：0404002-
1：5.
[4 ]蒋宏，任章.红外与可见光图像配准和融合中的关
键技术[J].红外与激光工程，2006,35(z4)，7-12.
J I A N G H,R E N Z. K ey technologies in registration and
fusion for infrared and visible images J ]. Infrared and
Laser Engineering, 2006,35(z4) ,7-12.
[5]T I A N T, M E I X,Y U Y,et al. Automatic visible and
infrared face registration based on silhouette matching
and robust transformation estimation [J ].Infrared Phy s­
ics & Technology. 2015,69：145 - 154.
[6 ]B I L O D E A U G A,T O R A B I A,M O R I N F. Visible and
infrared image registration using trajectories and c o m p o s­
ite foreground images[J]. Image and Vision Computing,
2011 ,29：41-50.
[7 ]唐聪，凌永顺，杨华，等•基于深度学习的红外与可
见光决策级融合检测[J].红外与激光工程，2019,48
(6) ：0626001-1 ：15.
T A N G C, L I N G Y S, Y A N G H,et al. Decision-level
fusion detection for infrared and visible spectra based on
• 78•空间控制技术与应用第46卷
deep learning [ J ]. Infrared and Laser Engineering,
2019,48(6)：0626001-1 ：15.
[8]曾祥通，张玉珍，孙佳嵩，等.颜色对比度增强的红
外与可见光图像融合方法[J].红外与激光工程，
2015,44(4)：1198-1202.
Z E N G X T, Z H A N G Y Z H,S U N J S, et al. O n e color
contrast enhanced infrared and visible image fusion
method [J _ .Infrared and Laser Engineering, 2015,44
(4) ：1198-1202.
[9 ]S T-L A U R E N T L, P R6V0S T I)，M A L D A G U E X. Fast
and accurate calibration-based thermal/colour sensors
registration [ C ] //T h e10'h International Conference on
Quantitative Infra R e d T h e r m o g r a p h y,C a n a d a：Q I R T,
2010.
[10]李斌，吴海英，王文涛，等，一种简易红外标定系统的
设计[J].红外与激光工程，2014，43 (2) : 458463.
LI B, W U H Y,W A N G W T, et al. Design of a simple
infrared calibration system ^J ] .Infrared and Laser E n­
gineering, 2014,43(2)：458^63.
[11]M A J Y,M A Y,LI C H.Infrared and visible image fusion
methods and applications：A survey [J」.Information
[11] H U T T E N L O C H E R D P, K L A N D E R M A N G A,R U C K-
I J D G E W J. Comparing images using the hausdorff dis­
tance [J ] .I E E E Transactions on Pattern Analysis & M a­
chine Intelligence, 1993, 15 (9)：850-863.
[12] F E L Z E N S Z W A L B P F, H U T T E N L O C H E R D P. Dis-
tance transforms of sampled functions [ J ].Theory of
Computing, 2004, 8 (19)： 415-428.
[13]张玥.月球表面地形数据分析及仿真研究[D].长
沙：国防科学技术大学，2008.
Z H A N G Y. Analysis and simulation about luna surface
terrain data [ D]. Changsha ：Master Thesis of National
University of Defense Technology, 2008.
[14]邢琰，刘祥，滕宝毅，等.月球表面巡视探测自主局
部避障规划[J].控制理论与应用，2019, 36 ( 12):
2042-2046.
X I N G Y,L IU X,T E N G B Y,et al. Autonomous local
Fusion, 2019(45)：153-178.
[12]郑红，郑晨，闰秀生，等.基于剪切波变换的可见光
与红外图像融合算法[J].仪器仪表学报，2012,33
(7) ：1613-1619.
Z H E N G H,Z H E N G C, Y A N X S, et al. Visible and
infrared image fusion algorithm based on shearlet trans­
form J ]. Chinese Journal of Scientific Instrument,
2012,33(7)：1613-1619.
13] Z H A N G Z H Y. A flexible n ew technique for camera cal­ibration [J. Pattern Analysis and Machine Intelligence,
I E E E Transactions O n,2000,22( 11 )：1330-1334.
作者简介：贺盈波（ 1989—），男，工程师，研究方向为
视觉敏感器设计与标定、图像处理算法；王伟华
(1984—），男，高级丁程师，研究方向为红外光学敏
感器的研制、算法处理；李连升（1981 —)，男，高级工
程师，研究方向为空间光学敏感器设计；陈树琪
( 1992—），男，工程师，研究方向为空间光学成像敏
感器；王嘉琚（ 1995—），男，助理工程师，研究方向为
空间光学成像敏感器；孙海添（1995 _)，男，助理T.
程师，研究方向为空间光学成像敏感器.
obstacle avoidance path planning of Lunar surface explo­
ration rovers [ J」.Control Theory and Applications,
2019, 36 ( 12) ：2042-2046.
[15]李国庆.行星表面障碍检测与地形相关导航方法研
究[D].哈尔滨：哈尔滨工业大学，2018.
LI G Q. Research on methods of autonomous hazard de­
tection on planetary surface and terrain relative naviga­
tion [D].Haerbin ：Doctoral Dissertation of Harbin Insti­
tute of Technology, 2018.
作者简介：周相坡（1997—），男，硕士研究生，研究方
向为环境智能感知与运动规划；周依尔（1996—），
女，硕士研究生，研究方向为激光雷达点云处理与环
境智能感知；徐立军（1968—），男，教授，研究方向为
过程层析成像、激光测试与诊断、激光雷达等；李小
路（1981 —），女，副教授，研究方向为激光雷达系统
与探测技术.
(上接第49页）。