基于可见光图像的红外场景仿真

合集下载

红外场景仿真系统设计与开发说明书

本科毕业设计说明书（论文）（2017届）论文题目基于Unity3D的红外场景仿真系统设计与开发作者姓名黄可蒙指导教师张繁学科(专业) 软件工程所在学院健行学院提交日期2017年6月摘要随着计算机性能水平的提高以及3D仿真技术的发展，红外成像仿真技术在红外成像系统性能评估，军事模拟训练，灾害救援演习，游戏视觉体验以及其他军事和民用领域具有重要的应用价值。

但是，由于计算机硬件和软件等多方面的条件限制，针对大场景的红外成像仿真系统在适用性和准确性等方面存在较多问题，而其在国防军事的红外制导模拟训练等方面具有重要的应用价值，故此针对大场景，即同时仿真海陆空以及多种地形地貌，针对不同季节时间条件下的仿真系统具有重大意义。

本文通过对红外物理基础理论和自然场景仿真理论的研究，在前人红外成像仿真的研究基础上，整合了海洋陆地红外成像仿真场景，更正修改了部分数学计算模型，使得仿真结果更为精确，同时，利用当下流行的GPU编程语言，通过GPU 编程，对仿真算法进行并行加速计算，在此基础上实现新的红外仿真计算架构：以基于红外特性的物理材质为仿真单位，借助GPU的并行计算能力，在GPU中，对不同场景对象多角度下的红外辐射灰度进行并行计算。

通过该计算框架，可以构建包含多种目标对象的红外场景，包括植被，房屋建筑以及舰船，并且在不低于三十个目标对象的前提下保证仿真系统的实时性。

利用功能强大的Unity3D游戏引擎，完成仿真场景编辑和实现仿真系统的逻辑功能，并实现场景的实时渲染。

通过对重建的三维场景的仿真效果图与实地拍摄的真实的红外场景图像进行比对分析，表明该仿真系统能够高效动态实现多种条件下的较为可信的红外仿真视景。

关键词：红外成像，实时仿真，大场景，计算架构，对比分析ABSTRACTWith the improvement of computer performance and the development of 3D simulation technology, infrared imaging simulation technology has important application value in infrared imaging system performance evaluation, military exercise, disaster rescue exercise, game visual experience and other military and civilian fields. However, due to the limitations of computer hardware and software, the infrared imaging simulation system for large scenes has many problems in applicability and accuracy, and it is important in the infrared guidance simulation training of national defense and military Application value, so for large scenes, that is, at the same time simulation of land, sea and air and a variety of topography, for different season time under the conditions of the simulation system is of great significance.Based on the research of infrared physics basic theory and natural scene simulation theory, this paper integrates the simulation scene of marine terrestrial infrared imaging on the basis of previous research on infrared imaging simulation, and corrects some mathematical calculation models to make the simulation result more accurate. At the same time, using the popular Cg programming language, through the GPU programming, the simulation algorithm is optimized. Thus, a new infrared simulation computing architecture is realized, which can build infrared scenes that contain multiple audiences, including vegetation, housing, and ships, and ensure the real-time performance of the simulation system without less than thirty objects.Utilize the powerful Unity3D game engine to complete the simulation scene editing and realize the logic function of the simulation system and realize the real-time rendering of the scene. By comparing the simulation results of the reconstructed 3D scene with the real infrared scene images recorded in the field, it shows that the simulation system can realize the more reliable infrared simulation scene under various conditions.Key words: infrared imaging, real-time simulation, large scene, computational architecture, comparative analysis.目录摘要 (I)ABSTRACT (II)目录 (III)图目录 (V)表目录 (VI)第一章绪论 (1)1.1 研究工作的背景与意义 (1)1.2 相关工作 (1)1.3 本文的主要贡献与创新 (3)1.4论文组织结构 (4)第二章红外基础物理和数学模型的研究 (5)2.1 引言 (5)2.2 理论背景 (5)2.2.1 辐射的基本概念 (5)2.2.2 红外辐射规律 (5)2.2.3 黑体辐射 (6)2.2.4 傅立叶定律 (7)2.3 零视距离辐射计算模型 (7)2.3.1 自身辐射 (7)2.3.2 反射辐射 (12)2.3.3 热平衡方程 (12)2.4 大气传输模型 (14)2.5 设备仿真模型 (15)2.5.1 成像模糊模型 (15)2.5.2 成像噪声模型 (16)2.6 海洋仿真模型 (17)2.6.1 海面波形仿真 (17)2.6.2 海面折射和反射的仿真 (19)2.6.3 海面浪花仿真 (21)2.6.4 开尔文尾迹仿真 (22)2.7 热源仿真模型 (22)2.7.1 热源设置 (23)2.7.2 效果渲染 (23)2.8 本章总结 (25)第三章相关技术点概述分析 (26)3.1 系统逻辑架构 (26)3.1.1 数据逻辑 (26)3.1.2 系统功能概述 (28)3.2 场景组织 (29)3.2.1 Unity3D功能概述 (29)3.2.2 场景编辑 (30)3.3 场景渲染 (31)3.3.1 渲染流水线 (31)3.3.2 顶点着色器 (33)3.3.3 像素着色器 (34)3.4 本章小结 (34)第四章仿真系统实现和结果分析 (35)4.1 仿真系统实现 (35)4.1.1 算法实现 (35)4.1.2 地形红外仿真 (36)4.1.3 目标对象红外仿真 (39)4.2 仿真结果分析 (39)4.3 真实结果对比 (43)4.4 本章小结 (45)第五章全文总结与展望 (47)5.1 全文总结 (47)5.2 后续工作展望 (48)参考文献 (49)致谢 (52)图目录图2 - 1太阳运动轨迹示意图 (9)图2 - 2光波频率大气透过率分布图 (14)图2 - 3模糊效果总体流程图 (15)图2 - 4模糊效果图 (16)图2 - 5噪声算法流程图 (16)图2 - 6白噪声贴图 (17)图2 - 7噪声效果图 (17)图2 - 8海面波形图 (19)图2 - 9海面折射算法流程图 (19)图2 - 10海面反射算法流程图 (20)图2 - 11海面反射折射效果图 (21)图2 - 12海面浪花效果图 (22)图2 - 13立体相机结构示意图 (23)图2 - 14仿真热源贴图 (24)图2 - 15热源仿真效果图 (25)图3 - 1数据逻辑流程图 (26)图3 - 2系统功能概述图 (28)图3 - 3地形高度效果图 (31)图3 - 4相机视锥体示意图 (32)图4 - 1热平衡方程求解源码示例图 (35)图4 - 2系统实现流程图 (36)图4 - 3地形贴图编辑界面图 (37)图4 - 4地形splat纹理贴图 (37)图4 - 5多材质地形红外仿真效果图 (38)图4 - 6放置热源对象模型效果图 (39)图4 - 7轿车正午红外场景仿真侧视图 (40)图4 - 8轿车午夜红外场景仿真侧视图 (40)图4 - 9轿车午夜红外场景仿真正视图 (41)图4 - 10舰船海面红外尾迹仿真效果图 (41)图4 - 11长时间行驶坦克红外效果图 (42)图4 - 12长时间静止状态坦克红外效果图 (42)图4 - 13向阳面建筑表面红外效果图 (42)图4 - 14深夜0:00时实拍（左）与仿真（右）红外图像对比图 (43)图4 - 15凌晨4:00时实拍（左）与仿真（右）红外图像对比图 (43)图4 - 16早上8:00时实拍（左）与仿真（右）红外图像对比图 (43)图4 - 17正午12:00时实拍（左）与仿真（右）红外图像对比图 (43)图4 - 18傍晚16:00时实拍（左）与仿真（右）红外图像对比图 (44)图4 - 19夜晚20:00时实拍（左）与仿真（右）红外图像对比图 (44)图4 - 20水泥地24小时温度变化仿真实测对比图 (44)图4 - 21草地24小时温度变化仿真实测对比图 (45)图4 - 22车门24小时温度变化仿真实测对比图 (45)表目录表2 - 1风速对照表 (11)表2 - 1风速对照表（续） (12)表2 - 2 MODTRAN不同条件下大气透过率计算值表 (14)表3 - 1红外特性参数表 (26)表3 - 1红外特性参数表(续) (27)第一章绪论1.1 研究工作的背景与意义当物体温度大于绝对零度的时候，物体就会对外产生红外辐射，即向外发射红外电磁波，红外电磁波是电磁波中，波长范围介于可见光波和微波之间的电磁波，波长范围大约是0.76~1000μm。

可见光图像的典型目标场景红外图像反演研究

应用科技可见光图像的典型目标场景红外图像反演研究白茯宁(北京理工大学光电学院，北京市100081)(}商耍]为了方便快捷的得到典型地物的红外图像，提出了一种利用可见光图像反演红外图像的新方法。

通过,ef-究两种典型目标的特性，运用图像处理的相关知识得出可见图光图像和红外图像的灰度分布的关系，建立红外图像的反演模型。

最后，由二者的映射关系，得到仿真的红外图像。

实验结果表明。

此方法可有效地提高反演效果。

具有较强的实用性。

陕键词]图像处理；图像分割；红外图像仿真；温度常用的红外图像仿真的生成包括红外辐射物理学、传热学、大气辐射物理学、计算机图形学等多学科领域。

本文基于可见光图像反演的典型目标场景对红外成像仿真进行研究，希望可以通过对目标图像和可见光圈像进行研究，得出二者在目标相同位置的规律，利用这个规律进而得出一般l青况下可见光图像的红外图像，达到仿真的效果。

1典型地物的特点由于时间限制，本文只完成最普遍的两种目标，绿色植物和建筑物。

首先分析、材料反射率、辐射率、相糙度、环境温度等特性。

1．1绿色植物的特点植被是生长于地球表层的各种植物类型的总称，在地球系统中扮演着重要的角色，它是地球表层内重要的再生资源。

植被是全球变化中最活跃、最有价值的影响要素和指示因子。

健康植物的反射光谱特征：健康植物的波谱曲线有明显的特点，在可见光的0．557m附近有一个反射率为10％～20％的小反射峰。

在0．457m和0．657m附近有两个明显的吸收谷。

在近红外波段Q8～13m1之间形成—个高的，反射率可达40％或更大的反射峰。

植物的辐射发射率：植物的发射特征主要表现在热红外和微波谱段。

植物在热红外谱段的发射特征，遵循普朗克(P l anck)黑体辐射定律。

健康绿色植物的发射率一般在0．96—0．99范围内，常取0．97～098：干植物的发射率变幅较大，一般为0．88～O．940植物粗糙度的影响：植物的雷达后向散射强度与其介电常数和表面粗糙度有关。

基于SE-Workbench-IR的红外图像仿真

行匹配，则在降低匹配难度的同时还能提高匹配准模型以及材料数据库等红外仿真图像生成所需的条
确度和精度。但仅依靠场外实地获取红外基准图，
件，可以缩短红外仿真图像生成的时间、扩大红外
收稿日期：２０１５—１２一ｌ９；修订日期：２０１６－０２．２８．
０引言红外成像制导具有灵敏度高、隐蔽性好、抗干
不仅耗费大量的人力物力财力，还很难获得复杂环境、恶劣气候下目标的红外图像。因此，通过红外成像仿真技术来获得红外基准图具有重要意义。
扰能力强等优良特性，因此采用红外成像制导可以提高武器的生存能力和精确打击能力。但是受当前国情和保障能力的限制，红外成像制导中基准图多为可见光图像，实时图为红外图像。由于红外与可见光图像成像机理不同，两者存在较大的特征差异，进而加大了图像匹配难度。如果改用红外基准图进
摘要：可见光图像仿真生成红外基准图，对提高红外成像制导武器命中精度具有重要意义。针对实地获取红外基准图成本高、难度大的问题，借助ＳＥ—Ｗｏｒｋｂｅｎｃｈ—ＩＲ平台，实现了由可见光图像到红外基准图的仿真。首先通过Ｐｈｏｔｏｓｈｏｐ软件对图像进行分层，并在ｓＥ—ｃＬＡｓｓＩＦＩｃＡＴＩＯＮ模块对各图层的地物分别赋予对应的材质，实现纹理分类；之后，在红外可视化面板设定生成红外图像的环境参数，运行软件获得红外仿真图像。仿真之后，用红外仿真基准图进行模板匹配，并通过匹配误差、均方根误差和交叉熵来评价仿真效果。实验结果证明：指定背景环境下的红外成像仿真的效果很好。关键词：红外成像仿真；ＳＥ—Ｗｏｒｋｂｅｎｃｈ—ＩＲ；模板匹配；均方根误差中图分类号：ＴＰ３９１．９文献标识码：Ａ文章编号：１００１—８８９ｌ（２Ｏｌ６）０８—０６８３—０５

一种实时红外场景仿真方法研究的开题报告

一种实时红外场景仿真方法研究的开题报告
引言：
红外仿真是现代红外技术应用领域中的一项重要技术。

它通过对红外特性进行模拟，能够大大缩短新产品研发周期，提高产品研发成功率。

目前，红外仿真技术已经在很多领域得到应用，比如红外成像、红外检测、红外遥感等。

由于红外仿真技术所使用的物理模型和算法十分重要，在实际应用中需要不断地研究和优化，以满足各种实际应用场景的需求。

本文主要研究一种实时红外场景仿真方法，通过对红外相机成像原理的分析，建立红外场景仿真模型，研究并优化实时仿真算法的实现方法，从而实现红外场景的即时仿真。

本论文的成果将可用于红外技术的教育培训、系统研发及应用等方面。

论文结构：
本文共分为五个章节，具体如下：
第一章：绪论，主要介绍论文研究的背景意义、目的、意义和研究现状。

第二章：红外场景成像原理分析，介绍红外相机的成像原理，包括热辐射定理、辐射计算、热传输计算等。

第三章：红外场景仿真模型建立，通过对不同红外目标的特征分析，建立多种红外目标模型，并构建出红外场景仿真模型。

第四章：实时场景仿真算法研究，介绍实时仿真所需要的基础知识和算法，并对仿真过程中可能遇到的问题及解决方法进行探讨。

第五章：实验与分析，通过实验验证实时仿真方法的可行性与有效性，并对研究成果进行分析和评估。

论文预期成果：
1. 了解红外场景成像的原理和应用；
2. 建立多种红外目标模型，包括有实物模型和计算机模型两种；
3. 优化实时红外场景仿真算法，实现红外场景的实时仿真；
4. 验证实时仿真方法的可行性和有效性，为红外技术的产品研发与应用提供支持。

基于可见光图像的红外图像反演研究

红外技术
ＩｒｒｄＴｅｈｎｆａｅｃｎｏｌｙｏｇ
、０．３Ｎ０．Ｏ，１３１
０ｃ．２ｌｔ０ｌ
基于可见光图像的红外图像反演研究
武国军，白廷柱，白茯宁
（电成像技术与系统教育部重点实验室，北京理工大学光电学院北京１０８）光００１
当时气象条件下的红外图像，并不能表达其它气象条
件下的红外场景，若全部实拍需要耗费很长的时间及大量的人力物力。红外成像仿真技术可为解决这类问
题提供一种极为有效、经济的途径，对现代精确制导
ቤተ መጻሕፍቲ ባይዱ
引言
红外成像制导具有目标识别能力强、全天候打击、制导精度高、很强的抗干扰能力等特点，己成为
１两大类地物的反演
１１建筑物的反演—— 最小二乘法数据拟合．
根据建筑物本身的特性，各种材料之间反射率、辐射率等特点在灰度图像上呈现出不同的特性。针对
然而现场实拍得到的只是目标建筑物和背景分离再根据建筑目标不同材料之当时气象条件下的红外图像并不能表达其它气象条间可分割成不同的区域i2然后将这些分割后的不同件下的红外场景若全部实拍需要耗费很长的时间及区域读入计算机中形成多个局部数组进而采用数据大量的人力物力
第３卷第ｌ期３０２１年ｌ月０１Ｏ
ｂｃｒｕｎｓＴｈｎｇｔｔｉａｋｇｏｄ．ｅ，ｅｓｍｕｌｔｄｉｒａｅｍａｓｏｆｔａｏｄｉｏｎｄｒｔｉｐｉｇｒｌｔｏｓｉｈｅａｅｎｆｒｄｉｇｅｓｍｅｃｎｔｎｕｅｈｓｍａｐｎｅａｉｎｈｐ．ｈｅｉＦｉａｌ，ｅｔｎｄｔｐｉｇｒｌｔｓｉｏｄｆｅｅｔｗａｅａｄ，ｄｆｅｅｔｗｅｔｅｏｉｉｎ，ａｄｄｉｅｅｔｎｌｙｘｅｈｅｍａｐｎｅａｉｈｐｔｉｒｎｖｂｎｏｎｉｒｎａｈｒｃｎｄｔｏｓｎｆｒｎｉｇｉｉｔｎｅｔｈａｂｅｓｏｔａｔｓｍａｎｇｄｓａｃ．Ｉｓｅｎｈｗｎｈｔｈｉｍｅｈｏａｅｅｔｌｉｔｄｃｎｆｃｉｙｍｐｒｅｈｉｆａｅｉｌｔｏｖｅｏｖｔｅｎｒｄｓｍｕａｉｎｒｃｎｉｉｎｗｈｃｄｈｅｏｅａｉｎｅｓｎｄｐａｔｃ１ｏｄｔｏ，ｉｈｍａｅｔｐｒｔｏａｙａｒｃｉａ．Ｋｅｒ：ｉｆａｅｉａｉｎ，ｖｓｂｌ，ｉｒｒｄ，ｉｖｒｉｎｙｗｏｄｓｎｒｒｄｓｍｕｌｔｏｉｉｅｎｆａｅｎｅｓｏ

目标与场景的红外特性建模与仿真软件的发展

第37卷，增刊红外与激光工程2008年6月V ol.37SupplementInfrared and Laser EngineeringJun.2008收稿日期：2008-04-13作者简介：范晋祥(66)，男，山西太原人，研究员，主要研究方向为红外系统与应用技术研究。

：f jx 5@63目标与场景的红外特性建模与仿真软件的发展范晋祥，岳艳军（中国航天科技集团公司八院八部，上海200233）摘要：目标与场景的红外特性建模与仿真是红外成像仿真与红外成像系统性能评估的一项关键的支撑技术。

近20多年来国外已经系统地建立了对各种目标和背景环境及干扰的红外辐射特性的建模、仿真方法，并开发了多种专用软件和商用软件。

综述了国外近年来发展的主要的目标与场景的红外辐射特性建模与仿真软件。

关键词：红外成像系统；红外成像仿真；红外特性；建模与仿真中图分类号：T N216;TP391.9;TJ765.3+33文献标识码：A文章编号：1007-2276(2008)增(红外)-0389-08Development of software for modeling and simulation of targetand scene ′s infr ared signatureFAN Jin-xiang,YUE Yan-jun(The Eighth System Design Department of the Ei ghth Research Academy of CASC,Shanghai 200233,China)Abstr act:The modeling and simulation of target and scene ′s infrared signature is a key technology for infrared imaging simulation and infrared imaging system ′s performance e valuation.In recent twenty years,various modeling and simulation methods as well as software for target and scene ′s infrared signature have been established abroad.In this paper,the current status of modeling and sim ulation methods are reviewed,software for target and scene ’s infrared signature been developed recently abroad.Key wor ds:Infrared imaging system ;Infrared im aging simulation;Infrared signature;Modeling and simulation0引言红外成像仿真涉及到目标与场景的红外特性建模与仿真技术、红外场景投影器技术、实时场景生成计算机技术等关键技术。

场景红外成像仿真原理和应用

第21卷第1期计算机仿真2004年1月文章编号:1006-9348(2004)01-0096-03场景红外成像仿真原理和应用姚涛,李一凡(中科院沈阳自动化所,辽宁沈阳110016)摘要:根据红外成像理论,分析了各种因素对红外辐射的影响,提出了红外图像计算机仿真的原理与方法,给出了红外辐射的计算公式。

介绍了一种红外图像的计算机软件,并给出了仿真结果。

关键词:红外辐射;红外图像;仿真中图分类号:TP391.9 文献标识码:A1 引言红外制导系统根据不同背景下的目标红外辐射来跟踪目标,对红外制导系统进行性能评价,需进行大量试验。

但是这种试验既费钱又费时,而且不能经历各种可能的应用场合,所以有必要通过计算机实现红外系统的在线实物仿真。

其中如何生成一个准确逼真而且能够反映各种气象条件、各种红外电磁干扰的红外场景图像,是整个仿真系统的关键环节。

与可见光图像的成像机理不一样,红外探测器通过接收场景的红外辐射(主要在3~5微米或者8~14微米波段的范围内)成像。

影响红外成像的因素很多,包括大气辐射、环境辐射、大气对红外辐射的衰减等等,这些决定了红外图像的仿真的难度和复杂的计算度。

本文分析了红外成像的原理,研究了一般情况下的背景辐射,给出了辐射计算公式,结合SensorVision仿真软件介绍了红外场景的生成方法,并给出了仿真结果。

2 红外成像的仿真原理自然界中的一切物体,只要它的温度高于绝对温度(-273 )就存在分子和原子无规则的运动,其表面就不断地辐射红外线。

红外线是一种电磁波,它的波长范围为0.78~ 1000 m,实际物体的辐射度除依赖于温度和波长外,还与构成该物体的材料性质及表面状态等因素有关,其红外辐射可由基尔霍夫定律求得。

到达地面的太阳辐射是由太阳直接辐射和散射辐射两部分组成。

太阳的大部分辐射落在光谱的可见光部分,在短波紫外线区急剧地下降,而在红外线区则下降得非常缓慢。

太阳辐射经过大气层时,一部分被大气层中的水蒸气、二氧化碳和尘埃等物质吸收,导致低空大气层产生热辐射;一部分被云层中的尘埃、冰晶及微小水珠等反射和折射,形成散射辐射;而太阳辐射中的绝大部分是沿直线透过大气层到达地球表面,形成直接辐射。

基于仿生视觉机制的红外与可见光图像融合

第39卷　第3期吉林大学学报(信息科学版)Vol.39　No.32021年5月Journal of Jilin University (Information Science Edition)May 2021文章编号:1671⁃5896(2021)03⁃0276⁃06基于仿生视觉机制的红外与可见光图像融合收稿日期:2021⁃01⁃15基金项目:国防科工局稳定支持经费基金资助项目作者简介:陈松(1981 ),男,西安人,中国兵器工业试验测试研究院副研究员,主要从事武器外弹道光电测试技术研究,(Tel)86⁃138********(E⁃mail)8708733@;通讯作者:王西泉(1983 ),男,山东菏泽人,中国兵器工业试验测试研究院工程师,主要从事靶场测控总体技术㊁雷达外弹道测试技术及遥测技术研究,(Tel)86⁃139********(E⁃mail)wxq_1003@㊂陈　松,王西泉,陈俊彪(中国兵器工业试验测试研究院测试技术研究中心,陕西华阴714200)摘要:为实现红外图像与可见光图像的融合,设计了以响尾蛇的视觉成像机制为基础的红外图像与可见光图像融合神经网络结构㊂首先根据双模式细胞的6种响应模式,得到红外和可见光图像的6种响应结果,然后以视觉感受野数学模型为基础,将6种双模式细胞响应输入到由ON 对抗系统和OFF 对抗系统组成的双层网络结构中,最后输出R㊁G 和B 3个通道的映射值及伪彩色图像增强结果㊂分别对4组经过配准的红外和可见光图像进行融合,将该方法融合结果与经典的Waxman 方法融合结果进行了对比,实验结果表明,所设计的网络结构得到的融合图像效果较好,信息熵和平均梯度均优于经典的Waxman 方法融合结果㊂关键词:仿生;红外图像;可见光图像;图像融合中图分类号:TN911.73文献标识码:AInfrared and Visible Image Fusion Based on Bionic Vision Imaging MechanismCHEN Song,WANG Xiquan,CHEN Junbiao(Test Technology Research Center,Norinco Group Testing and Research Institute,Huayin 714200,China)Abstract :In order to realize the fusion of infrared image and visible image,a neural network structure of infrared image and visible image fusion based on the visual imaging mechanism of rattlesnake is designed.Firstly,according to the six response modes of dual⁃mode cells,six response results of infrared and visible image are obtained.Then,based on the mathematical model of visual receptive field,the neural network structure of infrared image and visible image fusion is designed,and six kinds of dual⁃mode cell responses are input into a two⁃layer network structure composed of on countermeasure system and off countermeasure system.Finally,the mapping values of R,G and B channels and the pseudo color image enhancement results are output.Four groups of registered infrared and visible images are fused respectively.And the fusion results are compared with the classical Waxman method.The experimental results show that the fusion image effect of the designed network structure is better,and the information entropy and average gradient are better than the classical Waxman method.Key words :bionics;infrared image;visible image;image fusion0　引　言传统的图像融合技术研究主要集中在像素级㊁特征级和决策级算法的探索上㊂为追求更好的融合效果,研究者不断加大算法的复杂度,同时寻求更加合适的数学理论作为融合的依据[1⁃3]㊂生物学的进步为图像融合的研究提供了新思路㊂1953年Kuffler [4]证明了两种基本受域类型的存在:ON 中心OFF 环绕(ON⁃Center /OFF⁃Surround )受域和OFF 中心ON 环绕(OFF⁃Center /ON⁃Surround )受域㊂1978年Hartline 等[5]通过电生理方法全面研究了蝮蛇(响尾蛇属于蝮亚科)的视觉与红外感知能力,指明了可见光和红外感知神经元在其视顶盖的分布位置并确定了双模式细胞的存在㊂Hodgkin [6]提出了描述中心⁃环绕对抗受域神经网络的被动膜方程㊂响尾蛇的视顶盖不仅接收视网膜传来的信息,还能接收声音信息和触觉信息㊂Newman 等[7]在1981年指出响尾蛇视顶盖双模式细胞能同时接收红外和可见光图像的信息,并自动将它们进行图像配准㊂响尾蛇对环境的感知来自可见光和红外图像融合后的图像信息,对红外和可见光信号的处理是6种双模式细胞协同作用㊂中国科学院生物所对蝮蛇进行了行为学研究,并通过部分感官屏蔽的实验证明红外和可见光信息对目标识别与定位有一定的协作加成和对侧抑制的作用[8]㊂在上述生物学研究的基础上,研究者们进行了基于效果的仿生红外与可见光图像融合,Waxman 等[8]利用模仿响尾蛇双模式细胞工作原理的视觉感受野模型,提出了微光和红外图像的融合结构㊂有研究者将响尾蛇的6种双模式细胞的数学模型和Waxman 融合结构应用于多波段图像假彩色融合[9⁃10]和通过改进融合结构实现红外和可见光的伪彩色融合[11⁃13]㊂笔者使用中心⁃环绕对抗受域的被动膜方程模拟双模式细胞的融合,设计了基于融合效果的仿响尾蛇视觉成像系统的图像融合算法,并与经典的Waxman 设计的算法进行了比较,取得了比较满意的效果㊂1　仿生视觉成像机制数学模型1.1　响尾蛇的双模式细胞机制研究发现,在生物系统中存在许多处理多源信息的神经网络结构㊂在响尾蛇视顶盖中,Hartline 等[5]发现了处理可见光和红外信息的6种双模式细胞:可见光增强红外细胞,可见光抑制红外细胞,红外增强可见光细胞,红外抑制可见光细胞,AND (与)和OR(或)细胞㊂这些细胞会对可见光信息或红外信息中的任意一种或是同时对两种产生响应㊂通过组合6种双模式细胞的不同非线性响应方式,可以构成响尾蛇视觉系统中可见光和红外信息的融合结构㊂如根据不同的目标和环境采用不同的图像融合方法,则有利于发展适合人眼观察的图像融合理论㊂6种双模式细胞的数学模型[10]如下㊂可见光增强红外细胞I V ↑IR (i ,j )=I IR (i ,j )exp[I V (i ,j )](1)其中I V ↑IR (i ,j )为可见光增强红外后的图像㊂可见光抑制红外细胞I V ↓IR (i ,j )=I IR (i ,j )log[I V (i ,j )](2)其中I V ↓IR (i ,j )为可见光抑制红外后的图像㊂红外增强可见光细胞I IR↑V (i ,j )=I V (i ,j )exp[I IR (i ,j )](3)其中I IR↑V (i ,j )为红外增强可见光信号后的图像㊂红外抑制可见光细胞I IR↓V (i ,j )=I V (i ,j )log[I IR (i ,j )](4)其中I IR↓V (i ,j )为红外信号抑制可见光信号的结果㊂AND(与)细胞:当红外信号和可见光信号同时存在时,细胞才产生明显的响应㊂因此用加权与模拟可见光图像和红外图像的共同作用㊂1)当I V (i ,j )<I IR (i ,j )时,融合结果为I AND (i ,j )=mI V (i ,j )+nI IR (i ,j )(5) 2)当I V (i ,j )>I IR (i ,j )时,融合结果为I AND (i ,j )=nI V (i ,j )+mI IR (i ,j )(6)其中m >0.5,n <0.5,I AND (i ,j )为红外图像和可见光图像的加权与作用㊂772第3期陈松,等:基于仿生视觉机制的红外与可见光图像融合OR(或)细胞:可见光信号或红外信号的任意一种或两种都存在时,细胞都会产生明显的响应㊂所以用加权或模拟可见光图像和红外图像的共同作用㊂1)当I V (i ,j )<I IR (i ,j )时,融合结果为I OR (i ,j )=nI V (i ,j )+mI IR (i ,j )(7) 2)当I V (i ,j )>I IR (i ,j )时,融合结果为I OR (i ,j )=mI V (i ,j )+nI IR (i ,j )(8)其中m >0.5,n <0.5,I OR (i ,j )为可见光图像和红外图像的加权或作用㊂1.2　视觉感受野的数学模型图1　感受野模型Fig.1　Receptive field model 基于生物视觉研究结果,视网膜中一个神经元的反应区域叫做感受野,神经元从功能上分为兴奋和抑制两种作用[10],视觉神经细胞的感受野分为两种,如图1所示,用同心圆表示这两种感受野,中心正号环绕负号的为ON 中心⁃OFF 环绕感受野,中心负号环绕正号的为OFF 中心⁃ON 环绕感受野,正号表示兴奋作用,负号表示抑制作用㊂ON 中心⁃OFF 环绕对抗系统的输出为[6]X ij =EC k (i ,j )-S k (i ,j )A +C k (i ,j )+S k (i ,j )(9) OFF 中心⁃ON 环绕对抗系统的输出为X ij =E S k (i ,j )-C k (i ,j )A +C k (i ,j )+S k (i ,j )(10)其中C k (i ,j )和S k (i ,j )分别为兴奋输入图像㊁抑制输入图像与高斯函数的卷积,A 为衰减常数,E 为极化常数㊂C k (i ,j )为受域兴奋区域C k (i ,j )=I k (i ,j )*W c (i ,j )=12πσ2c ∑m ,n I k (i -m ,j -n )e (-(m 2+n 2)/(2σ2c ))(11)S k (i ,j )为受域抑制区域S k (i ,j )=I k (i ,j )*W s (i ,j )=12πσ2s ∑p ,q I k (i -p ,j -q )e (-(p 2+q 2)/(2σ2s ))(12)其中I k (i ,j )为输入图像,*为卷积算子,W c ㊁W s 分别为中心区域和环绕区域的高斯分布函数,高斯模板大小分别为m ×n 和p ×q ,σc ㊁σs 分别为中心和环绕区域的空间常数㊂2　Waxman 融合神经网络经典的融合神经网络是由Waxman 等[8]在生物学理论基础上建立的,如图2所示㊂图2　Waxman 融合神经网络Fig.2　Waxman fusion neural network 第1阶段得到红外图像的ON 和OFF 增强结果,可见光图像的ON 增强结果;第2阶段为融合阶段,ON 对抗系统增强可见光信号后分别馈入两个ON 对抗系统的兴奋中心细胞,红外图像的OFF 和ON 增强图像则分别馈入相应神经元的环绕抑制细胞,得到了两个融合信号㊂这两个信号分别模拟了红外增强872吉林大学学报(信息科学版)第39卷可见细胞响应和红外抑制可见细胞响应㊂最后将得到的3个信号分别映射到R㊁G㊁B 3个通道,形成了假彩色融合图像[14]㊂3　笔者图像融合视觉神经网络结构笔者使用中心⁃环绕对抗受域的被动膜方程模拟双模式细胞的融合,融合结构如图3所示㊂该融合网络结构分为5个阶段:第1阶段,分别利用6种仿双模式细胞的数学模型对可见光和红外图像进行或㊁与㊁红外增强可见光㊁红外抑制可见光㊁可见光增强红外㊁可见光抑制红外的处理,得到OR,AND,IR↑V ,IR↓V ,V ↑IR,V ↓IR 的图像信息,分别表示为f 1,f 2,f 3,f 4,f 5,f 6;第2阶段,对f 1,f 3,f 5进行受域兴奋处理,得到C (f 1),C (f 3),C (f 5),对f 2,f 4,f 6进行受域抑制处理,得到S (f 2),S (f 4),S (f 6);第3阶段,把C (f 1)和S (f 2)信息分别馈入到ON⁃中心型对抗受域的中心和环绕区域,得到X 1,把C (f 3)和S (f 4)信息分别馈入到ON ⁃中心型对抗受域的中心和环绕区域,得到X 2,把C (f 5)和S (f 6)信息分别馈入到OFF⁃中心型对抗受域的中心和环绕区域,得到X 3;第4阶段,对X 1,X 3进行受域抑制处理,得到S (X 1),S (X 3),对X 2进行受域兴奋处理,得到C (X 2);第5阶段,把C (X 2)和S (X 1)信息分别馈入到ON⁃中心型对抗受域的中心和环绕区域,输出结果映射到G 通道,X 2直接映射到B 通道,把C (X 2)和S (X 3)信息分别馈入到ON⁃中心型对抗受域的中心和环绕区域,输出结果映射到R 通道,得到了假彩色融合图像㊂图3　笔者图像融合视觉神经网络结构Fig.3　The proposed structure of image fusion visual neural network 4　实验与结果分析笔者对4组可见光图像和红外图像进行了融合实验,图4为4幅可见光图像,图5为对应的红外图像㊂图6为Waxman 融合结果,图7为笔者提出的方法对图4和图5所示4组源图像进行融合的结果㊂在实验过程中发现空间常数σc ㊁σs 取较小数值,激化常数E 取较大数值时实验效果较好,F 取值的大小对结果影响很小㊂图6和图7中的实验结果是σc 取7,σs 为60,高斯模版大小为3×3,E 为800时得到的㊂图4　可见光图像Fig.4　Visible light images 972第3期陈松,等:基于仿生视觉机制的红外与可见光图像融合图5　红外图像Fig.5　Infrared image 图6　Waxman 图像融合结果Fig.6　Waxman fusion image图7　笔者算法融合图像Fig.7　Improved fusion image results从实验结果可以看出,Waxman 算法的融合图像几乎包含了可见光图像的细节信息,但目标信息并不突出㊂主要原因是虽然对红外信号分别进行了OFF 对抗和ON 对抗增强并传入神经节细胞的环绕区域,但实质仍是抑制信号,所以红外信号对可见光信号的增强并不明显㊂由图7可见,笔者的融合图像与Waxman 经典融合结构的处理结果相比较,目标更为突出,细节信息也较好㊂表1为两种方法图像融合后的性能指标㊂从表1可以看出,笔者的方法优于经典Waxman 方法㊂表1　融合性能指标比较Tab.1　Comparison of fusion performance indicators红外和可见光图像组a 组融合结果Waxman 算法笔者方法b 组融合结果Waxman 算法笔者方法c 组融合结果Waxman 算法笔者方法d 组融合结果Waxman 算法笔者方法信息熵 5.82607.1842 5.84726.9685 5.8152 6.9676 6.2542 6.8742平均梯度0.00440.00900.00440.01050.00550.01070.00730.0129仿真时间/s1.0433 1.44290.9920 1.53510.9553 1.44700.7750 1.08965　结　语笔者设计的图像融合神经网络基于仿生视觉成像机制,从融合结果可以看出,融合图像结合了可见光图像细节清晰和红外图像热辐射信息的优点,既能看到可见光图像中的细节,又能看到被烟雾数目遮082吉林大学学报(信息科学版)第39卷挡的人物,采用信息熵和平均梯度对融合结果进行了评价,信息熵和平均梯度越大,表明融合效果越好㊂参考文献:[1]DIAN Renwei,LI Shutao,SUN Bin,et al.Recent Advances and New Guidelines on Hyperspectral and Multispectral ImageFusion [J].Information Fusion,2021,69:1⁃29.[2]XU H,WANG X,MA J.DRF:Disentangled Representation for Visible and Infrared Image Fusion [J].IEEE Transactions onInstrumentation and Measurement,2021,182:5006713.[3]DURGA PRASAD BAVIRISETTI,RAVINDRA DHULI.Fusion of Infrared and Visible Sensor Images Based on AnisotropicDiffusion and Karhunen⁃Loeve Transform [J].IEEE Sensors Journal,2016,16(1):203⁃209.[4]KUFFLER S W.Discharge Patterns and Functional Organization of Mammalian Retina [J].J Neurophysiol,1953,16(1):37⁃68.[5]HARTLINE P H,KASS L,LOOP M S.Merging of Modalities in the Optic Tectum:Infrared and Visual Integration inRattlesnakes [J].Science,1978,199(4334):1225⁃1229.[6]HODGKIN A L.A Quantitative Description of Membrane Current and Its Application to Conduction and Excitation in Nerve[J].Phys Lond,1952,11(7):500⁃544.[7]NEWMAN E A,HARTLINE P H.Integration of Visual and Infrared Information in Bimodal Neurons of the Rattlesnake OpticTectum [J].Science,1981,213:789⁃791.[8]WAXMAN A M,GOVE A,FAY D A.Color Night Vision:Opponent Processing in the Fusion of Visible and IR Image [J].Neural Networks,1997,10(1):1⁃6.[9]张阵.红外与微光图像彩色融合仿生算法的研究与实现[D].武汉:武汉理工大学信息工程学院,2018.ZHANG Zhen.Research and Implementation of Bionic Algorithm for Color Fusion of Infrared and Low Light Level Image [D].Wuhan:School of Information Engineering,Wuhan University of Technology,2018.[10]荆绍威.多波段图像仿生假彩色融合技术研究[D].太原:中北大学信息与通信工程学院,2009.JING Shaowei.Study of Bionic False Color Fusion of Multi⁃Band Image [D ].Taiyuan:School of Information and Communication Engineering,North China University,2009.[11]王勇,王宇庆,马娇.改进的响尾蛇双模式细胞模型的图像融合[J].光学精密工程,2016,24(11):2848⁃2854.WANG Yong,WANG Yuqing,MA Jiao.Improved Rattlesnakes Dual Mode Cell Model of Image Fusion [J].Optics and Precision Engineering,2016,24(11):2848⁃2854.[12]WANG Yong,LIU Hongqi.Full Quaternion Based Color Image Fusion [C]∥Proceedings of 2018IEEE InternationalConference on Mechatronics and Automation.Changchun,China:IEEE,2018:1340⁃1344.[13]WANG Yong,LIU Hongqi.Pseudo Color Image Fusion Based on Rattlesnake’s Visual Receptive Field Model [C]∥2020IEEE International Conference on Artificial Intelligence and Information Systems (ICAIIS ).Dalian,China:IEEE,2019:596⁃600.[14]倪国强.基于视觉神经动力学的图像融合与处理技术若干新进展[J].激光与红外,2005,35(11):817⁃821.NI Guoqiang.Image Fusion Technology and Its New Development [J].Laser &Infrared,2005,35(11):817⁃821.(责任编辑:张洁)182第3期陈松,等:基于仿生视觉机制的红外与可见光图像融合。

用于场景仿真的红外成像模型及其有效性分析

ｆｅｔｐｒｔｒｄｔｂｔｎａｄｔｅｍｔａｐｒｔｒｔｔｅｇｏｅｃｍｄｌ２ｎｏｕｉｇｔｅｓｌｅｉｉｎａｄｔｅａｍｅｕｅｉｒｕｉａｒｌａａｅｓｏｈｅｍｔｏｅ，）ｉｔｄｃｅｍｓｏｎｃｅａｓｉｏｎｈｅｍｅｉｉｒｒｎｈｆｓｈ
模拟图像与实际图像在主要特征上相符，但绝对亮度上存在较大差异，分析了原因，并提出了改进方向．关键词：外成像模型；红光照模型；成像仿真；线跟踪；光有效性分析中图分类号：Ｐ９．文献标识码：Ｔ３１９Ａ
ＤＦＲＡＲＥＤＤＡＧＩＮＧｏＤＥＬＭＦｏＲＣＥＮＥ耵ＵＬＡＴＩＮＳＳｏＡＮＤＴＳＶＡＬＩＩＤＡＴＩｏＮ
２云南师范大学物理与电子信息学院，．云南
昆明６０９）５０２
摘要：结合辐射传输定律，对计算机图形学中常用的光照模型进行了一系列改进，到了简化的可用于场景仿真的得红外成像计算模型，具体改进如下：）１增加了几何体表面的温度分布和材料参数；）２在模型中引入了自发辐射项和探测器特性参数．采用光线跟踪方法构建了以该模型为基础的红外场景成像模拟仿真系统，生成任意观察视角可的３Ｄ场景红外图像．对三个典型场景进行了红外成像计算，中波红外探测器采集到的红外图像进行对比．用主观比较可看出该计算模型生成的图像与实采图像在基本特征上是相似的，验证了该模型的有效性．定量比较也说明
２ＤｐｒｅｔｆｈｓｓＥｅｔｎｃ，ｕｎｎＮｒａＵｉｒｉ，ｕｍｎ６０９，ｈａ．ｅａｔｎｏＰｙｉ＆ｌｃｏｉＹｎａｏｌｎｖｓｙＫｎｉｍｃｒｓｍｅｔｇ５０２Ｃｉ）ｎ

红外-可见光模态通用模型,综述

红外-可见光模态通用模型,综述红外-可见光模态通用模型是指一种能够同时处理红外和可见光图像的模型。

这种模型在计算机视觉和图像处理领域具有重要意义，因为红外和可见光图像在不同的波长范围内提供了不同的信息，将它们结合起来可以提高图像处理和分析的效果。

首先，让我们从技术角度来看。

红外-可见光模态通用模型通常利用深度学习技术，如卷积神经网络（CNN）来处理红外和可见光图像。

这种模型需要具备对不同波长的图像进行有效融合的能力，同时保留各自波段的特征。

这就需要模型具备良好的特征提取和融合能力，以及对不同波段图像的适应性。

其次，从应用角度来看，红外-可见光模态通用模型在许多领域有着广泛的应用，比如军事侦察、安防监控、医学影像等。

在军事侦察领域，红外图像可以穿透烟雾、雾气等障碍物，而可见光图像则能提供更丰富的细节信息，将两者结合可以提高目标识别和追踪的效果。

在医学影像领域，红外和可见光图像的结合可以帮助医生更准确地诊断疾病，特别是在皮肤病诊断和乳腺肿瘤检测方面有着潜在的应用前景。

此外，从研究角度来看，红外-可见光模态通用模型的发展也涉及到跨学科的研究。

它需要计算机视觉、光学、信号处理等多个学科的知识相结合，以解决红外和可见光图像融合的技术难题。

同时，它也需要不断地进行数据采集、模型训练和优化，以适应不同应用场景的需求。

综上所述，红外-可见光模态通用模型是一种具有重要意义的图像处理模型，它涉及到技术、应用和跨学科研究等多个方面。

随着深度学习技术的不断发展和跨学科研究的深入，相信红外-可见光模态通用模型在未来会有更广泛的应用和更深入的研究。

基于可见光光谱图像的红外多光谱图像仿真生成

长波红外波段的多光谱、超光谱成像探测仪器的研制和目标背景光谱特征分析与探测算法的研究需要大量仿真、半仿真试验环境，由于红外波段多光谱、超光谱成像光谱仪器的缺乏，难以获取足够的真实数据来建立仿真环境，如何得到近似真实场景的多光谱仿真图像，是迫切需要解决的问题。目前，国外的研究机构已经开展了这方面的研究，并取得了一定成果。 [1-2]
由于可见光波段的光谱图像数据容易获取，能否有效地融合这些可见光波段的光谱图像数据，用于长波红外波段的多光谱图像仿真环境的生成，是一个值得研究的问题。由此，提出了一种基于可见光波段的光谱图像数据的背景生成和地物标记的复杂地面背景红外多光谱图像仿真生成方法。
1 红外多光谱图像仿真生成原理
红外场景的仿真生成是一个复杂的过程，需要经
Abstract:A kind of infrared multispectral image simulation method was researched after introducing the significance and principle of infrared multispectral image simulation. An infrared multispectral ground scene modeling technology was proposed based on multispectral or hyperspectral images data in VIS/NIR band. A combined strategy of unsupervised and supervised classification was put forward to efficiently solve the auto 蛳 matching and marking of pixels. The method was verified by RGB images. Simulational images in four LWIR bands were generated after pixels segmentation and infrared emissivity assignment. The respective characteristics of multispectral and hyperspectral image data in pixels classification and matching were pointed out. Simulational results show the difference between targets and backgrounds. Using this method, infrared multispectral simulation images can be generated with geometrical topography and radiative characteristics highly similar to real natural environments, which are valuable to development of LWIR multispectral imaging spectrometers , the spectral signature analysis of targets and backgrounds as well as the development of detection algorithms.

典型目标场景的红外成像仿真研究

典型目标场景的红外成像仿真研究红外成像技术作为一种非接触、远距离的检测手段，在军事、航空、医疗等领域得到了广泛应用。

随着红外成像技术的发展，对典型目标场景的红外成像仿真研究逐渐成为研究热点。

本文将介绍该主题的研究现状、热点问题、研究方法以及结论与展望。

自20世纪初红外成像技术诞生以来，对典型目标场景的红外成像仿真研究取得了长足进步。

目前，该领域的研究主要集中在理论研究和实验研究两个方面。

在理论研究方面，学者们针对不同典型目标场景的红外成像特性，建立了各种仿真模型。

这些模型包括辐射传输模型、大气散射模型、目标反射模型等，用于模拟红外图像的形成过程。

还发展了多种算法用于图像仿真，如蒙特卡罗算法、辐射传输算法等。

在实验研究方面，随着计算机技术的发展，越来越多的研究人员利用计算机生成红外图像进行仿真实验。

这些实验包括在不同场景下红外图像的形成、目标检测与识别、干扰与抗干扰技术等。

为了提高红外成像系统的性能，研究人员还开展了大量的实验来探索各种新型红外材料和器件。

当前典型目标场景的红外成像仿真研究的热点问题主要包括仿真精度、场景适应性和数据处理等方面。

仿真精度：提高仿真精度一直是该领域的研究重点。

研究人员通过不断优化仿真模型和算法，提高红外图像的逼真度，以使其更接近实际场景。

场景适应性：由于实际场景千差万别，如何提高红外成像系统的场景适应性成为研究难点。

研究人员通过研究不同场景的特性，开发具有自适应调节功能的红外成像系统。

数据处理：红外成像系统在运行过程中会产生大量数据，因此如何有效处理这些数据成为亟待解决的问题。

研究人员通过发展各种数据处理技术和算法，提高红外成像系统的数据处理效率和应用性能。

当前典型目标场景的红外成像仿真研究中常用的方法与技术包括仿真模型构建、数据采集与预处理、仿真分析等。

仿真模型构建：该方法主要通过对目标场景进行建模，模拟实际场景中的各种因素对红外图像的影响，从而生成逼真的红外图像。

一种实用的红外图像模拟生成方法

华中科技大学学报 (自然科学版)J . Huazho n g U n iv. of S ci . & Tech. ( N at u re S cience Ed itio n )第 33 卷第 5 期 2005 年 5 月Vol . 33 No . 5 May 2005一种实用的红外图像模拟生成方法桑农陈艳菲张天序(华中科技大学图像识别与人工智能研究所 , 湖北武汉 430074)摘要 : 提出了一种红外图像模拟方法 ,该方法以可见光图像作为红外背景模拟数据源 ,并采用 Mu ltigen ,Vega等建模仿真软件模拟特定目标 ,通过红外目标与背景图像的叠加 ,并根据红外成像系统的三维噪声模型进行噪声处理 ,实现红外图像模拟 . 在红外背景模拟中 ,提出了以感兴趣区域分割为基础的区域划分方法 ,该分割方法较好地保留了区域细节 ,从而获得较精确的分割结果 . 最后给出的模拟实验结果表明本方法既能获得比较逼真的红外模拟图像又具有很强的实用性 .关键词 : 可见光图像 ; 感兴趣区域 ; 红外图像 ; 三维噪声中图分类号 : TP751文献标识码 : A文章编号 : 167124512 (2005) 0520055203Pract i cal a pproach to si mulat i ng IR i m agesS a n g N on gChen Y a nf e iZh a n g T i a n x uAbstract : A p r actical app r oach of simulating inf r ared ray ( IR ) images , w h ich uses visible light image as da 2ta of simulating IR backgro und , was p ropo sed. Wit h t he help of t he sof t ware of Multigen and Vega to sim 2ulate given target s , final IR image was o btained by embedding IR target in backgro und image and noisep rocessing wit h 32D noise m o del of IR imaging system. In t he simulati o n of IR backgro und , a regi o ns par 2titi o ned met ho d based o n regi o ns of interest segment was p resented. This met ho d reserves t he detail of im 2 age and o btains segment result accurately. The e x periment result show s t hat t his met ho d does not o nl y o b 2tains vivid IR image but also has great p r acticablit y .K ey w ords : visible light images ; regi o n interest ; inf r ared ray ( IR ) images ; 32D noiseSan Nong Prof . ; Instit u te fo r Pat t er n Recognit i o n 430074 , China .& A I , Huazho n g U n iv. of Sci . & Tech . , Wuhan红外图像的模拟与仿真是一个重要的研究课题 , 国内外许多研究者都进行了相关的研究. 其中对地域进行划分采用了灰度阈值[ 1 ]、马尔可夫随机场[ 2 ] 等图像分割方法 , 效果都不是很理想 . 本文将红外图像模拟分为红外背景模拟及特定红外目标模拟两个部分 , 并通过二者的叠加实现红外图像的模拟 . 红外背景模拟以感兴趣区域分割为基础 , 将可见光场景图像有意识地划分为若干区域类型 , 再对各景物类型进行热辐射计算 , 从而得到一幅比较真实的、和原可见光场景图像对应的红外背景图像 ; 而红外目标模拟则采用 Multigen 、Vega 等建模仿真软件进行模拟. 图 1 为整个模拟过程的流程图. 图 1 红外图像模拟过程的流程图1 红外背景图像的模拟要得到准确的模拟红外背景图像需要考虑两个方面 :一是能准确地分割不同的景物类型 ; 二是能准确地计算在已知可见光图像的气候和时间条件下不同的景物类型的热辐射模型 . 本文以背景收稿日期 : 2004208213 .作者简介 : 桑农 (19682) ,男 ,教授 ;武汉 ,华中科技大学图像识别与人工智能研究所 (430074) .E 2ma i l : **************.cn行特征提取作为感兴趣点 , 再对整幅图像按提取的特征以感兴趣点为聚类中心进行 K 均值聚类 , 对于聚类所用的特征 , 采用感兴趣算子[ 3 ] , 即图像在其水平、垂直、45°对角线、135°对角线和无方向上的灰度方差 , 用 θ= [σ,σH ,σD45 ,σv ,σD135 ]表示 . 感兴趣算子能表征图像的局部变化 , 例如边缘通常就是方差较大的区域 , 因此它能够描述区域的纹理、形状特征 , 从而描述不同的区域类型 . 这种分割算法充分结合了人类在景物类型的高层次特征上的分割特长和计算机在低层次特征上的分割特长 , 能得到较精确的分割结果 . 具体步骤如下 :a . 根据可见光图像确定背景类型的种类及数目. 用 M 表示背景类型的数目 , i 标记背景辐射建模可根据文献 [ 4 ] 通过理论模型进行计算获得. 对于非自然景物的表面温度分布和辐射分布可由其海拔高度、方位角、倾角、材料的光谱反射特性及热特性通过求解热交换方程来确定[ 5 ] . 最后 , 在这所有过程中都要利用大气传输模型 ( 如 L O W T RA N7) 计算大气衰减 . 1 . 3 灰度映射红外图像总是要以灰度图像的形式表现 , 因此热辐射计算所得到的辐射温度必须转换为图像的灰度. 由于在一定波段下辐射温度 T 决定红外图像的亮度 , 即灰度级 G ray , 因此可以建立辐射温度 T ( k ) 与红外图像灰度级 G ray 的映射关系. 理论已经证明 :在一定的辐射温度范围内 , 通常可以假设 G ray ∝ T , 即灰度级 G ray 与辐射温度 T 在一定区间内呈线性变化[ 1 ] .根据线性映射假设 , 得出其映射公式类型的种类 ( 如公路、草地、河流等) , i = 1 , 2 , , M . 即 M 为 K 均值聚类的类别数 . b . 感兴趣点的选择. 先把整幅图像划分为 5 ×5 的子块 , 对于一个 x ×y 大小的图像 ( 这里取 x 和 y 为 5 的整数倍) , 子块数 N = ( x ×y ) / 25 . 用户再在每种景物类型中随意选取一个子块 , 计算其感兴趣算子 , 得到一个 5 维特征向量 , 作为感兴趣点 . 得到的所有感兴趣点即为 K 均值聚类的初始聚类中心 d i G min ] ·( T - T min ) /G T = G max - ( T m ax - T m in ) G min + ( Π T ∈ [ T m in , T m ax ]) ,( 1)式中 : T m in 为各种景物类型中的最低温度 ; T m ax 为各种景物类型中的最高温度 ; G min 为设定的最小灰度级 ; G max 为设定的最大灰度级 ; ·] 为乘积取整运算.按照式 ( 1) 对每种区域进行“着色”处理 , 就可预先设定一个符合真实红外图像的灰度级范围 , 再将区域对应的景物类型的平均辐射温度 T 转换为相应的灰度级 G T 填充于该区域 , 然后对其他区域依次进行处理 , 就可得到相应的红外背景灰度图像 .( i = 1 , 2 , , M ) . c . 整幅图像的特征提取. 对整幅图像中的每个 5 ×5 的子块计算其感兴趣算子 , 进行特征提取 , 则得到一个 N ×5 大小的特征集 X , 作为 K 均值聚类的输入样本集 . d . 用 K 均值聚类算法把感兴趣点聚类为感兴趣区域. 将上述样本集合按最近邻规则分组 , 即将 X j ( j = 1 , 2 , , N ) 分配给中心为 d i ( i = 1 , 2 , , M ) 的输入样本聚类为集合 θi ( i = 1 , 2 , , M ) , 即 X j ∈θi 且满足 D i = min ‖X j - d i ‖, 其中 j = 1 , 2 , ,, M . 计算 θi 中样本的平均值 , 即 2 红外目标图像模拟N ; i = 1 , 2 , 聚类中心1本文的目标模拟不考虑内热源. 为了得到精确的目标模型 , 根据特定目标的几何形状信息采 d i =∑X j .M X j ∈θi按步骤 d 进行计算 , 直到聚类中心的分布不再变第 5 期桑农等 : 一种实用的红外图像模拟生成方法 57特性参数的特征编码相链接 ,通过调用其数据库文件 ,就可获得相应材料的热特性和光学特性参数 ,为随后进行的温度及辐射特性计算做准备. 其次是目标的仿真 ,采用景象仿真模拟软件 Vega , 通过设定不同的视角 ,并把面上每一点的热辐射特性转换为灰度 ,就能得到相应视角目标的二维红外模拟图像 .目标和背景的辐射模型建好后 , 就可以根据实际需要选择目标在背景图像中可能存在的位置及方位 , 把目标叠加到背景图像中 , 将二者合成为完整的场景 , 从而生成一幅包含目标红外辐射特征的模拟红外图像.由于用红外成像系统得到的真实图像不可避免地带有噪声 , 因此为了获得更加逼真的红外图像 , 可以建立热成像系统和大气传输的噪声模型 , 对目标和背景的合成红外图像进行一定的加噪声处理.本文引进了三维噪声模型[ 7 ], 把系统噪声按时间 ( t ) 、空间水平 ( v ) 和空间垂直 ( h ) 的三维空间分为 7 个部分. 基于此三维噪声模型 , 就能得到更加逼真的红外模拟图像 .图 2目标的红外模拟图 . 再把生成的目标红外模拟图像和背景红外模拟图像进行叠加 ,并计算其三维噪声模型 ,对全图作噪声处理 ,就得到最终的、包含目标和背景的红外模拟图像 ,如图 2 ( d ) 所示. 从图中可以看出这组图像的细节很丰富 ,用感兴趣区域分割算法较好地保留了图像的细节.参考文献1邵晓鹏 ,杨威 ,张建奇 . 自然地面背景红外图像生成方法研究 J .红外与激光工程 , 2000 , 29 ( 3) : 11 —14宣益民 ,李德沧 ,韩玉阁 . 复杂地面背景的红外热像合成 J . 红外与毫米波学报 , 2002 , 21 (2) : 133 —136实验结果3 2下面给出按上述方法模拟红外图像的实例 . 图 2 为一组实验图像 , 其中图 2 (a ) 为输入的具有复杂背景的可见光图像 ,该可见光图像的景物类型很丰富 ,包括机场跑道、草地、树丛、裸露地表、水塘和田地 6 种景物类型 ,采用感兴趣区域分割算法分割得到背景区域标记图 ,然后分别计算各区域的红外辐射温度 ,并作灰度映射 ,就得到和输入的可见光图像对应的红外背景模拟图 ,如图 2( b ) 所示. 通过对特定目标的各种型号查阅相关资料 ,获得其描述知识及模型 ,然后使用景象建模工具 Multigen 建立三维目标模型 ,并用景象仿真模拟工具生成其下视红外模拟图 ,图 2 (c ) 即为几种3 Mo ravec H. Ro b o t r o ver visual navi gatio n M . AnnArb o r , M I : U n iv. of Michigan Research Press , 1981 .4 韩玉阁 ,宣益民 . 自然地表红外图像的模拟 J . 与激光工程 ,2000 , 29 (2) : 57 —64红外5魏玺章 ,黎湘 ,庄钊文等 . 红外目标背景及温度场的计算 J . 红外与毫米波学报 , 2000 , 19 ( 2 ) : 139 —1416 D ’Ag o stin o J A , Webb C M . Three 2d imen sio n al analy 2sis f ramew o r k and measurement met ho d ology fo r imag 2ing syst em noise A . in : G erald C H ed. SP I E : In 2 f rared Imag ing Syst ems C . Orland o . 1991 . Bellin g 2ham , Washingto n : SP I E Op t . Eng. Press. 1991 . 110 —121。

红外与可见光的图像融合系统及应用研究

红外与可见光的图像融合系统及应用研究红外与可见光的图像融合系统及应用研究摘要：红外与可见光图像融合系统用于整合红外和可见光图像中的不同信息，提供更全面和有用的图像数据。

本文旨在探讨红外与可见光的图像融合系统的原理和应用，并介绍其在军事、航空航天、环境监测、医学等领域的广泛应用。

一、引言红外与可见光是常用的图像获取技术，它们在不同波长范围内捕获图像信息。

然而，它们各自具有有限的数据可用性和信息表达能力。

红外图像能够感知目标的热量，但无法提供目标的颜色和形态信息。

可见光图像则能提供目标的形态、纹理以及颜色等信息，却无法穿透烟雾、低照度等特殊环境。

因此，将红外和可见光图像融合起来，能够补充彼此的不足，实现更全面的目标检测和图像分析。

二、红外与可见光图像融合系统的原理红外与可见光图像融合系统主要由以下几个模块组成：图像获取模块、图像预处理模块、特征提取模块、融合算法模块和图像显示模块。

1. 图像获取模块：通过红外和可见光传感器获取两种图像数据。

2. 图像预处理模块：对获取到的图像进行去噪、增强、配准等预处理操作，以减少后续处理中的噪声和误差。

3. 特征提取模块：基于融合目标的特点，提取红外和可见光图像中的特征信息，如边缘、纹理、颜色等。

4. 融合算法模块：采用图像融合算法将红外和可见光图像融合，生成一幅融合度较高的图像。

5. 图像显示模块：将融合后的图像显示出来供用户观看和分析。

三、红外与可见光图像融合系统的应用1. 军事领域：红外与可见光图像融合系统在军事侦察、目标识别和导弹导航等方面发挥着重要作用。

红外图像能够检测隐蔽在夜间的目标，可见光图像则提供目标的形状和纹理信息，两者融合后可实现目标的全天候监测和定位。

2. 航空航天领域：红外与可见光图像融合系统在航空航天领域用于目标探测和导航。

红外图像能够探测到飞机发动机等热源，可见光图像则提供飞行器周围的环境信息，两者融合后可实现对隐蔽目标的探测和导航。

3. 环境监测：红外与可见光图像融合系统在环境监测领域能够提供更全面和准确的数据。

基于可见光图像的红外场景仿真

再对图像进行材质信息的分类。一种或多种材质可以组合成为一个模型，模型是仿真的最小单位，不同的模型，由于外形不同、材质属性不同，其算法也不同。结合当时当地气象信息，对不同的模型分别采用不同的算法计算得到表面温度值，然后结合大气透射率求出不同模型（目标）到达红外热像仪的红外辐射值，最后通过灰度映射得到红外特征图像。
近年来精确打击已成为各国军事研究的热点各国竞相发展和提高精确制导武器的制导精度与改进制导方式以适应未来战争的需要12受保障条件的限制目前景象匹配参考图主要来源于可见光图像而实时图来源于红外图像红外和可见光成像本身就是一个复杂的多变量系统成像的不确定性决定了很难用简单的理论解析公式来建立红外和可见光成像灰度方程之间的关系模型实现图像灰度级的转换
关键词：红外场景仿真；景象匹配；目标表面温度模型中图分类号：TN21 文献标识码：A 文章编号：1007-2276(2009)01-0023-04
IR scene simulation based on visual image
CHEN Shan，SUN Ji蛳yin
根据目标外形、有无内热源等，可将不同材质分类整理到不同的模型，对不同的模型用不同的温度算法得到表面温度值。图 3 所示的 6 类材质可以归类整理为 5 种模型：(1) 草地；(2) 天空；(3) 主厂房，为有强内热源的长方体型建筑；(4) 建筑群，为有一般内热源的长方体型建筑；(5) 烟囱和冷却塔，为有强内热源的圆柱体型建筑。 2.2 目标表面温度模型建立
Key words: IR scene simulation; Scene matching; Object surface temperature model
0引言

红外与可见光图像快速融合算法

红外与可见光图像快速融合算法第一章：引言- 红外与可见光图像融合的重要性及应用场景介绍- 国内外相关研究现状- 本文的研究目的及意义第二章：红外与可见光图像融合算法概述- 红外与可见光图像的特点及差异- 图像融合的常用方法及分类- 基于像素的融合算法和基于特征的融合算法概述第三章：红外与可见光图像快速融合算法的设计- 快速融合算法的设计思想和流程- 选取合适的特征提取方法和图像融合算法- 基于快速融合算法的红外和可见光图像融合实现第四章：红外与可见光图像快速融合算法的实验评估- 采用模拟的红外和可见光图像数据进行算法验证- 采用实际拍摄的红外和可见光图像数据进行算法评估- 评估结果分析与讨论第五章：结论与展望- 总结本文的研究内容和取得的成果- 对快速融合算法的优化提出建议- 展望红外与可见光图像融合算法未来的研究方向与应用前景第一章：引言在当代图像处理领域中，红外与可见光图像融合技术已经得到了越来越广泛的应用。

红外图像与可见光图像相比具有不同的频率和波长，因此可以提供不同的色彩和信息，两者相互补充，可以有效提高图像的对比度、清晰度和信息获取能力。

同时，红外与可见光图像融合技术也能够应用于多种领域，如夜间监控、无人机导航、医学影像等。

然而，在融合红外和可见光图像时，由于两种图像的特性不同，传统的融合方法常常需要耗费大量的时间和计算资源。

因此，如何在保证融合效果的同时提高融合速度，成为了图像融合领域中的研究热点。

本章节将介绍红外与可见光图像融合技术的重要性及应用场景，以及国内外相关研究现状。

最后，将阐述本文的研究目的及意义。

1.1 红外与可见光图像融合技术的重要性及应用场景红外与可见光图像融合技术将两种不同的图像信息融合在一起，可以提高图像的对比度、清晰度和信息获取能力，具有如下的重要性和应用场景：1）提高目标检测能力：可见光图像对光线敏感，常常在夜晚或低照度条件下难以获得清晰的图像，而红外图像则可以有效地提高环境光线差下目标检测的能力。

基于无人机平台的可见光与红外图像拼接算法的研究

ａｄｊａｃｅｎｔｍａｔｒｉｘＷａｓｃｏｎｓｔｒｕｃｔｅｄｂｙｕｓｉｎｇｔｈｅｓｉｍｉｌａｒｉｔｙｏｆｔｈｅｌｏｃａｌｆｅａｔｕｒｅｄｅｓｃｒｉｐｔｉｏｎａｓａｍｅａｓｕｒｅｍｅｎｔ．ＴｈｅｍａｔｃｈｉｎｇｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｉｍａｇｅｓＷａｓａｃｑｕｉｒｅｄ
１．介绍了图像拼接的一般流程，重点研究了基于无人机平台的可见光和红外图像拼接中的关键技术——图像匹配问题，并分析了现有几种常用的ＳＶＤ匹配算法的性能。
２．提出了一种基于ＣＳ．ＬＢＰ的ＳＶＤ可见光图像匹配算法。该算法首先利用Ｈｅｓｓｉａｎ．Ａｆｆｉｎｅ检测算子提取图像特征区域，并采用ＣＳ．ＬＢＰ模型进行局部特征描述，然后将局部特征描述的相似性作为度量方式构造邻接矩阵，最后根据ＳＶＤ匹配算法得到图像之间的匹配关系。大量实验结果表明，当图像存在较大光照、旋转、尺度等变换时，该算法性能优于现有的ＳＶＤ匹配算法。
安徽大学硕士学位论文
摘要
摘要
外来物种入侵使我国成为世界上林业病虫害最严重的国家之一，特别是松材病线虫严重威胁了林业生态建设的发展。无人机作为一种新型的低空遥感技术，具有高灵活性、低成本和结构简单等优点。这项技术目前已经被广泛应用到森林火灾监视、自然灾害区域检测等领域中，在遥感监测系统中发挥着不可替代的作用。本文主要是结合无人机拍摄的可见光和红外图像信息对《无人机在松材线虫病监测调查中的应用研究》课题中的图像拼接问题进行研究。针对大量的高分率无人机遥感图像拼接技术，本文主要研究内容包括以下几个方面：
ｓｔｉｔｃｈｉｎｇ，Ｗａｓｆｕｌｌｙｄｉｓｃｕｓｓｅｄ．ＡｎｄｔｈｅｆｕｎｃｔｉｏｎｏｆｓｅｖｅｒａｌｃｏｍｍｏｎＳＶＤｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｓＷａｓａｌｓｏａｎａｌｙｚｅｄ．

基于可见光图像的近红外场景仿真

基于可见光图像的近红外场景仿真周强;白廷柱;刘明奇;邱纯【期刊名称】《红外技术》【年(卷),期】2015(037)001【摘要】利用地物光谱仪采集了晴天条件下典型地物在380～1100 nm的光谱反射率，并利用经过定标后的 CMOS 相机采集典型地物不同时段的可见光、近红外图像，结合相机辐射定标结果和地物目标的反射率建立了可见光、近红外图像灰度值的映射关系，且对简单场景进行图像分割，并通过查找表快速将可见光图像转化为近红外图像。

建立了太阳辐射模型，在反演精度要求不是很高的条件下，可以反演一天内任意时刻的近红外图像。

仿真结果表明，本文方法可生成真实感较好的近红外图像，为后续的各时段、各种天气条件及多种地物的近红外场景仿真奠定基础。

%In this paper we used a spectrometer to collect the spectral reflectance of typical ground objects at 380-1100 nm under sunny conditions and a calibrated CMOS camera to collect images of the typical objects in visible and near infrared wavelengths at different time of the day. We established a gray value mapping relationship between visible images and near-infrared images, combining camera radiation calibration results and different reflection characteristics of ground objects. Also we exerted segmentation on simple scenes and converted visible images to near infrared images by the above established mapping relationship. In addition, we built a solar radiation model. We could inverse near infrared images at any time in a day, if the requirement of inversion accuracy is not very high.The simulation results show that the method we proposed could generate realistic near infrared images and lay a solid foundation for the subsequent near infrared scene simulation of different ground objects on different weather conditions and at different time of the day.【总页数】5页(P11-15)【作者】周强;白廷柱;刘明奇;邱纯【作者单位】北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京100081;北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京100081;北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京100081;北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京100081【正文语种】中文【中图分类】O436;TP391.9【相关文献】1.基于灰度直方图熵与小波变换的近红外与可见光图像融合 [J], 吴立果2.基于Tetrolet变换的近红外与彩色可见光图像融合算法研究 [J], 苑玉彬; 彭静; 沈瑜; 陈小朋3.基于红外和可见光图像逐级自适应融合的场景深度估计 [J], 李宇琦; 赵海涛4.基于典型目标反射率的近红外场景仿真 [J], 江乐;白廷柱;丁艳;周强5.基于直线特征的铁路场景红外与可见光图像配准方法研究 [J], 郭保青;周杏芳;许鑫龙因版权原因，仅展示原文概要，查看原文内容请购买。