红外图像融合及其实时处理技术

算法优化和改进
MATLAB
System Generator for DSP Hardware
in the loop 硬件平台 ChipScope Pro
AccelChip Simple Tasks (e.g. state machine) Difficult Tasks Xilinx (e.g. linear Algebra) HDL co-simulation ModelSim
交叉熵： 结构相似度：符合人眼视觉系统特性的图像质 量客观评判标准； 特征融合熵：定义为相关熵和结构相似度的乘 积； 图像信噪比：
17
融合结果及评价 实验中将和小波分解模极大值法（称之为 WMM法）、小波分解区域能量法（称之为 WRE法）的融合结果加以比较。
18
完整的图像融合系统架构
44
LOGO
采用源图像的边缘特征信息定义融合规则； 根据改进的视觉注意模型，在源图像中提取兴 趣目标，尤其针对复杂背景和低对比度的目标 该方法更加有效； 融合结果中包含已定位的目标信息，并且该目 标信息比直接在融合图像中检测所得结果更加 可靠，伪彩色目标便于人眼识别。
16
图像融合客观评价指标 本文采用以下几个客观评价指标
11
基于视觉注意模型的图像融合 在视觉范围内，那些能够产生新异刺激、较 强刺激或人所期待刺激的视觉对象容易引起 观察者的注意：
数据驱动，自底向上 任务驱动，自顶向下
经典的可计算的视觉注意模型：Itti模型
12
基于改进的视觉注意模型红外目标检测
13
红外图像融合规则的研究 常用的融合规则：取系数绝对值较大法、基 于局部能量的融合规则、基于多算子的融合 规则、…… 效果越好的融合规则往往计算量越复杂，并 且局部能量大的区域并非完全能反映图像的 特征，如噪声的影响。 提出了一种基于图像边缘特征的融合规则， 能有效克服片面追求局部能量最大在有些情 况下所带来的负面影响。
5
被动膜方程在图像处理中的应用 ON、OFF拮抗细胞的稳态响应：
中心-环绕区域输入信号相同时：增强反差、突 出边缘、压缩动态范围； 中心-环绕区域输入信号不同时：保留共同信息， 增强不同信息，有效改善信号对比度。
北京理工大学博士学位论文答辩 6
双红外图像特性分析——辐射特性 黑体中波、长波红外辐射度在高低温区有明 显差异； 目标与背景辐射对比度中波红外明显大于长 波红外，意味着热目标在中波图像中更为突 出； 长波更适合探测中低温目标，中波更适合探 测高温目标。
Waxman算法 Toet算法 色彩传递法
4
视觉神经动力学模型 人类以及绝大多数动物的视觉系统是自然界 最完美的成像及处理系统； 人眼视网膜同心圆拮抗式感受野； 响尾蛇视顶盖6种双模式细胞：视网膜和视 皮层的完美结合； Hodgkin等据此提出了视觉神经动力学被动 膜方程，它是中心-环绕拮抗感受野的一种 动力学描述，具有适合于彩色图像增强应用 的属性和性能。
ISE Foundation
设计校验和诊断
HDL产生和仿真
31
SoPC设计流程
32
基于SoPC的伪彩色融合处理架构
33
图像采集与输出模块设计
34
伪彩色融合算法模块设计 将融合算法模块作为MicroBlaze的协处理器， 其间用高速FSL总线连接。
35
伪彩色融合算法模块设计 首先将融合算法算法在AccelDSP中的实现， 架构如图所示。 查看RTL报告，获取数据运算时间
26
基于Virtex-5的图像融合硬件平台设计
27
基于Virtex-5的图像融合硬件平台设计 大容量存储器模块设计
NoBL SRAM：CY7C1372D（1M18bit） DDR2 SDRAM：MT47H64M16HR-3 （8Meg168banks bit） 利用MIG工具生成存储器控制器单元
40
SoPC融合系统性能测评
41
多色智能焦平面系统芯片 本课题未来的方向是集红外图像非均匀性校 正、 无线光输出、融合处理甚至目标检测 的多色智能型焦平面。
42
为什么要做片上数据处理？
43
多色智能焦平面单芯片实现途径
系统级封装（SiP）：采用任何组合，将多个具有 不同功能的有源器件与可选择性的无源器件以及 诸如MEMS或光学器件等其他器件，组装成为可 提供多种功能的单个标准封装件，形成一个系统 或者子系统。 相对于SoC，SiP具有提供高密度封装、多功能化 设计、较短的市场进入时间以及更低的开发成本 等优势。 有望给智能红外焦平面系统单芯片化带来突破。
37
SoPC融合系统综合结果 在XPS默认设置和约束下，XST综合得到的 系统时钟周期为4.663ns，即最高为 214.452MHz，因此系统工作在200MHz时钟 下是安全的。 根据综合报告系统资源占用情况如表6-1。
38
SoPC系统软件流程
39
SoPC融合系统实验结果 实验一：可见光与长波红外图像融合实验 实验二：中波红外和长波红外图像融合实验
14
基于图像边缘特征的融合规则 在小波域利用Canny准则检测图像边缘
对边缘点：取能量大的小波系数； 对非边缘点，意味着源图像在某种程度上近似， 采用加权平均规则； 对非边缘点的高频系数加入衰减因子用来抑制 噪声的干扰，该因子可灵活调整。
15
目标伪彩色融合算法 基于视觉注意模型的小波域目标伪彩色图像 融合算法： 算法特点：
电源模块设计
28
基于Virtex-5的图像融合硬件平台设计
29
Xilinx SoPC架构 MB BUS IP
30
基于XtremeDSP的高层次设计方法 XtremeDSP设计套件包括System Generator和AccelDSP两个工具。
系统数学建模
Control Circuits Platform Studio(EDK) Signal Flow Simulink
20
图像融合系统硬件方案论证 单芯片集成系统方案（ASIC/SoC/ASSP）
优点：可以实现功能复杂的单芯片系统，具有 高可靠性，可以显著减小系统体积、降低系统 功耗；一旦产品定型，具有很低的单片成本， 有助于提升产品竞争力。 缺点：设计难度较大，对设计人员和设计软件 均有很高要求；设计周期较长，初期开发成本 过高，芯片验证和测试更为复杂。
由单色到多色 从分立到集成 数据处理从片外到片上 功能从单一到智能
多源图像融合技术
融合算法研究 实时融合系统
} }
多色红 外智能 焦平面
3
ຫໍສະໝຸດ Baidu
北京理工大学光电学院
双红外图像融合算法研究现状 不同的分类：按其理论基础分、按融合结果 的色彩分、按分辨力的级别分、…… 灰度图像融合：代数法、PCA法、调制法、 金字塔多分辨法、小波多分辨法、 …… 伪彩色图像融合：
7
基于被动膜方程的图像融合框架 基本框架： 双波段红外图像融合架构：
8
算法改进 引入响尾蛇视觉模型中“与细胞”响应，用 来强化融合过程中的去相关操作：
9
融合算法评价 采用主观评价方法： 评价结果：
10
图像融合中受到的挑战 海面目标图像融合 图像融合输出终端：
人眼观测 机器后处理
协处理器每次计算1个像素融合结果：单次运算 耗时340ns，总耗时141ms； 利用面积换速度原则，使协处理器每次计算25 个像素融合结果，单次运算耗时1.42ms，总耗 时23.47ms。
算法协处理器IP核的生成及使用
36
其他接口模块的设计 本系统存储器由三部分组成，分别使用不同 的总线和接口； UART接口、GPIO接口模块，以及DMA控 制器、存储器控制器模块； 系统中断控制器的使用：
视觉模型的双红外图像伪彩色融 合理论及SoPC实现关键技术
报告人：许廷发 北京理工大学光电学院 2011年3月12日
LOGO
主要内容
1 2
国内外的研究动态
视觉模型的双红外图像融合理论
视觉模型的目标伪彩色融合理论 双红外图像融合硬件平台设计 伪彩色图像融合算法SoPC实时实现 结束语
2
3
4 5 6
课题背景和意义 红外焦平面的发展
23
基于DM642的微小型化实时融合系统 硬件设计：电路板面积为130mm90mm 软件架构：利用TI提供的驱动开发套件 （DDK）管理视频输入输出流，DSP/BIOS 管理任务，采集与融合处理操作采用乒乓结 构。
24
DM642微小型化实时融合系统实验 利用CCS Profiler工具测算融合处理时间
21
图像融合系统硬件方案论证 硬件可编程系统方案（FPGA/SoPC）
FPGA具有高灵活性和并行性，能够提供强大的 并行计算能力和内存带宽； SoPC结合了SoC、PLD和FPGA各自的优点：一 方面，它是片上系统，即由单个芯片完成整个 系统的主要功能；另一方面，它是可编程系统， 具有灵活的设计方式，可裁减、扩充、升级， 并具备软硬件在系统可编程的功能。
22
图像融合系统方案现状及发展趋势
实时图像融合系统方案
单DSP或多DSP并行处理方式 DSP+FPGA处理方案 大规模FPGA处理方案
基于FPGA的SoPC图像融合系统方案优势
硬IP适合含有大量乘加运算的图像融合算法； 合理定制处理器阵列，高度并行处理； 具有灵活的系统架构； 相比单一的FPGA设计方法，SoPC拥有众多的设计资源 可供利用，包括丰富的IP核以及高性能嵌入式处理器， 可以通过合理的软硬件划分提高设计效率。
Toet算法：13.52ms 视觉模型伪彩色融合算法：54.37ms
25
基于Virtex-5的图像融合硬件平台设计 Virtex-5 FPGA的优势
65nm铜工艺 第二代高级硅片组合模块（ASMBL）列式架构 强大的36Kbit Block RAM/FIFO 第二代25x18 DSP Slice 带有内置数控阻抗的SelectIO技术 ChipSync源同步接口模块 系统监视器功能 增强型时钟管理模块
19
图像融合系统硬件方案论证 数字信号处理器方案
优点：技术成熟，算法移植的工作完全通过软 件实现，开发难度不高，调试方便；尤其是多 媒体处理器的出现，大大缩短了系统开发周期， 同时提高了系统可靠性。 缺点：系统架构灵活性较差，只能按照所选 DSP芯片完成相应的板级设计，系统功耗较大 且不受用户控制。微观上看一个CPU处理多个 事件的顺序是串行的，因此对于复杂算法仍有 可能无法胜任。