多源图像实时配准融合系统
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 系统构成和原理
2. 1 技术参数分析 根据融合系统技术参数要求实时完成双通道视频采集
频率为 50 帧/ 秒 ,每帧图像为 256 ×256 分辨率 ,经过 A/ D14 位转换速率为 10 MHz ,图像数据以 10 M 字/ s 速率连续输出 。 图像数据量为 : 256 ×256 ×2 = 131 072 字节 。时钟信号 10 MHz ,帧频信号每 20 ms 有一脉冲 ,6. 553 6 ms 传送数据 ,空闲 13. 446 4 ms 后 ,产生下一帧信号 。
Key words : image registration ; image fusion ; real2time operating system ; computer architecture
1 引 言
多传感器图像融合技术是在信息融合技术的理论基础 上发展起来的一种图像处理新技术 。由于可以有效综合多 源图像信息的互补性和冗余性 ,因此融合图像包含比任一输 入通道图像更丰富的信息 ,具有更高的可靠性 ,有利于提高 对图像信息的分析和识别能力 ,所以近年来成为国际学术界 图像处理研究领域的一个热点 。融合技术使多源图像信息 资源的利用率得以最大限度的发挥 。多源图像配准和融合 技术的理论研究已经取得了很多成果 ,但是可实用的图像融 合系统目前还处于实验研究阶段 。图像融合技术应用的突 出障碍是实时性与处理速度 。对于像素级融合 ,多源图像相 关像素的配准结果直接影响融合图像质量 ,而基于最大相关 和相位相关方法的图像配准方法 ,以及图像多尺度塔形分解 与重构的多分辨图像融合算法 ,其巨量数据处理使得图像融 合处理系统的研制开发具有相当高的难度 。国外有关实时 图像融合系统的报道甚少 ,国内的有关研究[1 - 5] 局限于利用
4 配准和融合算法
图 3 视频采集模块结构示意图
图像采集部分 , 由视频放大 、钳位 、增益控制 、采样保持 等功能的专用视频 ADC 芯片构成高性能视频 ADC 单元 。该 单元分辨力为 14bit , 采样时钟由板上数字锁相环电路提供 。 由于图像配准 、融合针对同场景的两路视频图像的处理 , 所以 采集板上设计有两套完全独立的 ADC 单元 ,并保持同步 。为 确保视频采集过程中 , 每视频行的有效采样点精确起始于同 一位置 ,数字锁相环电路 (PLL) 产生像素时钟 ,锁相环的输出 频率由环路分频器确定 , 两者均由 CPLD 实现 ,可依需要编程 改变 。为了满足 CCIR 标准电视 (625 行 ,50 Hz ,隔行扫描) ,分 频系数为 640 ,行同步脉冲为 64μs ,锁相电路提供与输入视频 行同步的 10 MHz 像素同步时钟 ,实现采样同步定位 。两路采 集的 14 位图像数据 ,经过 VME64x 总线的 P2 口输出到处理模 块帧存储器 FIFO 中 ,其写入时钟由像素时钟 、帧同步 、行同步 逻辑组合产生 ,这样设计无需产生地址 ,并且当 FIFO 满时 ,不 能写入新的一帧图像 ,与“乒乓”帧存结构相比控制简单 ,电路 中的同步 、逻辑控制等选用芯片 EPM7256SQC208 实现 , 同时支 持 5VTTL 和 LVTTL 电平 I/ O 标准 。
总线写入视频显示模块输出在终端监视设备上 。 2. 3 VME 总线和实时多任务操作系统 VxWorks
VME 总线体系结构 ( IEEE1014) 可以构成分布式多处理 机系统 。VMEbus 总线是一种非复用的 32 位异步总线 ,数据 宽度为 32 位 ,地址为 32 位 ,寻址范围 4GB 。在 DMA 块传送 方式下 ,数据传送可达 40MB/ s。
·186 ·
ቤተ መጻሕፍቲ ባይዱ
系统工程与电子技术
2005 年
ms 内完成图像传送、融合处理 ,所以采用 VME64x 总线、VxWorks 操作系统、ADSP2TS101 芯片来保证双图像的配准和融合。 2. 2 系统组成
图像配准融合系统硬件由图像采集 、处理模块和系统显 控模块 3 部分组成 ,3 个模块电路板通过 VME64x 背板总线 连接 。这样设计 ,使处理模块相对独立 ,DSP 芯片的选择范 围广 ,当更高性能的 DSP 芯片推出后 , 只需升级 DSP 处理板 就可以进一步提高系统的图像处理能力 。软件包括嵌入式 实时操作系统 VxWorks ,应用程序包括实时任务管理调度 、融 合结果的显示 、DSP 完成的图像配准和融合算法 。
系统工作过程可简述为 : 从 CCD 摄像机和红外成像仪 输入的模拟视频信号 , 经数字化采集 、拼接后 ,存入帧存储 器 FIFO , 首先由一个 DSP 图像处理机读取帧存中的图像数 据 ,对两种图像进行配准 ,然后配准数据传送到另一 DSP 中 , 完成对图像的融合运算 , 处理完成的融合结果经过 VME64x
高性能数字信号处理器提高处理速度 ,针对特定的应用环 境 ,设计专用的总线接口 ,通用性差 ,并未采用实时操作系统 和高速总线的软硬件平台从系统结构上保障实时图像融合 处理的可靠性 。本文提出并研制了双通道高速实时视频图 像配准融合系统 ,其系统结构是基于 VxWorks 实时操作系统 和 VME64x 标准总线的多 DSP ( TS101) 分布式体系 ,具有实 时 、高速 、通用 、标准化的特点 。
实时系统指能在确定的时间内执行计算或处理功能并 对外部的异步事件作出响应的计算机系统 。确定的时间是 最根本的要求 ,系统的正确性不仅取决于处理结果逻辑的正 确性 ,还取决于此结果的响应时间 。
操作系统是 VxWorks 实时多任务操作系统 ,事件响应时 间为 10 微秒量级 ,有较强的实时性 。 2. 4 图像数据处理模块
关键词 : 图像配准 ; 图像融合 ; 实时操作系统 ; 计算机体系结构 中图分类号 :TP391. 41 文献标识码 :A
Real2time multisensor image registration and f usion system
LIU Wei2guang , CUI Jiang2tao , ZHOU Li2hua
这样系统总线传送速率应大于 6. 553 6 M 字/ s ,DSP 应在 20
收稿日期 :2003 - 10 - 27 ; 修回日期 :2004 - 06 - 21 。 基金项目 :陕西省科技攻关项目 (2003k05 - G17) 作者简介 :刘卫光 (1966 - ) ,男 ,高级工程师 ,博士研究生 ,主要研究方向为多传感器信息融合 ,图像处理 ,多媒体技术 。
(西安电子科技大学多媒体技术研究所 , 陕西 西安 710071)
摘 要 : 多源图像配准融合方法的理论研究较多 ,已有的融合系统往往针对特定应用通用性差 ,并且不具备实 时性 ,而具有并行分布式计算机体系结构的通用实时图像融合系统有望解决这一问题 。该系统的核心是基于标准 总线上实时操作系统 ,以 ADSP 并行完成多源图像实时配准和融合 ,CPLD 实现总线和视频同步控制 。具有运算能力 强 、I/ O 带宽大 、可扩展性和通用性强的特点 ,并以此构成了高速实时融合系统 。实用表明此方案是可行的 。
速内存 ,但不能满足复杂数字图像处理(如多分辨图像分解与重 构) 过程中 ,大数据量缓存的要求 ,因此 ,DSP 配置高速同步 128M SDRAM ,总线时钟频率可达 133MHz。DSP 板上设计标准 VME64x 接口 , 其控制逻辑由 CPLD 产生 ,包括数据和地址总线、 双口 RAM 读/ 写控制信号、FIFO 读/ 写信号以及 DMA 控制、外中 断等信号。DMA 传输帧数据(20 MB/ s) 和中断时序如图 2 所示。
( Institute of Multimedia Technology , Xidian University , Xi’an 710071 , China)
Abstract : The existing researches of image fusion are mostly focused on theory. The universality of conventional fusion system which has no real time is highly limited because it is often designed for a special purpose. A general2pur2 pose real2time image registration and fusion system based on parallel computer architecture may be a hopeful solution. Its kernel component is real2time operating system of standard bus. TS101 DSP serves as the CPU to perform parallel registration and fusion. CPLD is designed to control VME bus and video synchronization. The architecture has charac2 teristics of strong computational capability , broad I/ O bandwidth and expansibility. The results of experiments indicate that this system works perfectly.
2005 年 1 月 第 27 卷 第 1 期
系统工程与电子技术 Systems Engineering and Electronics
文章编号 :1001Ο506X(2005) 01Ο0185Ο04
多源图像实时配准融合系统
Jan. 2005 Vol127 No11
刘卫光 , 崔江涛 , 周利华
图 2 VME 总线 DMA 和中断时序
第 27 卷 第 1 期
多源图像实时配准融合系统
·187 ·
2. 5 视频采集与系统显控模块 (1) 视频采集模块 设计用于实现对双输入通道视频信号的同步 、数字化和
传送 。该模块主要包括双通道视频 ADC、数字锁相环同步时 钟发生器 、VME 总线 P2 控制等 。如图 3 所示 。
的目的 。 3. 2 帧缓存和数据传送
在传统的流水线式数据处理系统设计中 , 常采用“乒乓” 结构解决数据采集 、数据处理过程之间共享存储器的资源冲 突问题 ,已有的文献 [ 5 ]设计时采用了“乒乓”帧存结构 “, 乒 乓”开关的切换由 CPLD 内的总线切换控制器负责 , 切换动作 必须与输入视频帧同步 ,并且要设计产生缓冲器 SRAM 的读 写地址 ,控制逻辑复杂 。为简化设计并且适应各种算法 ,我们 采用了双口 RAM 作为图像融合结果输出的存储器 ,FIFO 作为 输入通道的缓冲区 ,图像数据的传送 、处理按照异步方式进 行 ,工作过程 : TS101 空闲时由帧有效信号判断FIFO是否写入 一帧图像 ,写完帧数据后 ,读入 DSP 中进行处理 ;当运算复杂 图像处理不能实时 (20 ms) 完成时 ,不读取FIFO数据 ,FIFO 满后 不能再写入新的数据 ,直到 DSP 运算完成 。
图像处理模块以两片 ADSP - TS101 为核心[6] ,完成图像 配准和融合 ,如图 1 所示 。
图 1 DSP 处理模块结构示意图
处理模块由两片 TS101 组成 ,分别进行图像的配准和融合 运算 ,CPLD(EPM7256SQC208) 完成 VME64x 接口控制和板内逻辑 控制 ,4 片 FIFO(CY7C027 - 15 64K×16) 进行深、宽度扩展为 128K ×32 缓 冲 器 接 收 VME 总 线 P2 口 的 图 像 数 据 , 双 口 RAM (IDT70V659 - 10 128K×36) 通过 VME 的 P1 口发送融合结果到输 出显示模块。虽然 TS101 片内带有可供 DSP 进行访问的 6Mb 高
2. 1 技术参数分析 根据融合系统技术参数要求实时完成双通道视频采集
频率为 50 帧/ 秒 ,每帧图像为 256 ×256 分辨率 ,经过 A/ D14 位转换速率为 10 MHz ,图像数据以 10 M 字/ s 速率连续输出 。 图像数据量为 : 256 ×256 ×2 = 131 072 字节 。时钟信号 10 MHz ,帧频信号每 20 ms 有一脉冲 ,6. 553 6 ms 传送数据 ,空闲 13. 446 4 ms 后 ,产生下一帧信号 。
Key words : image registration ; image fusion ; real2time operating system ; computer architecture
1 引 言
多传感器图像融合技术是在信息融合技术的理论基础 上发展起来的一种图像处理新技术 。由于可以有效综合多 源图像信息的互补性和冗余性 ,因此融合图像包含比任一输 入通道图像更丰富的信息 ,具有更高的可靠性 ,有利于提高 对图像信息的分析和识别能力 ,所以近年来成为国际学术界 图像处理研究领域的一个热点 。融合技术使多源图像信息 资源的利用率得以最大限度的发挥 。多源图像配准和融合 技术的理论研究已经取得了很多成果 ,但是可实用的图像融 合系统目前还处于实验研究阶段 。图像融合技术应用的突 出障碍是实时性与处理速度 。对于像素级融合 ,多源图像相 关像素的配准结果直接影响融合图像质量 ,而基于最大相关 和相位相关方法的图像配准方法 ,以及图像多尺度塔形分解 与重构的多分辨图像融合算法 ,其巨量数据处理使得图像融 合处理系统的研制开发具有相当高的难度 。国外有关实时 图像融合系统的报道甚少 ,国内的有关研究[1 - 5] 局限于利用
4 配准和融合算法
图 3 视频采集模块结构示意图
图像采集部分 , 由视频放大 、钳位 、增益控制 、采样保持 等功能的专用视频 ADC 芯片构成高性能视频 ADC 单元 。该 单元分辨力为 14bit , 采样时钟由板上数字锁相环电路提供 。 由于图像配准 、融合针对同场景的两路视频图像的处理 , 所以 采集板上设计有两套完全独立的 ADC 单元 ,并保持同步 。为 确保视频采集过程中 , 每视频行的有效采样点精确起始于同 一位置 ,数字锁相环电路 (PLL) 产生像素时钟 ,锁相环的输出 频率由环路分频器确定 , 两者均由 CPLD 实现 ,可依需要编程 改变 。为了满足 CCIR 标准电视 (625 行 ,50 Hz ,隔行扫描) ,分 频系数为 640 ,行同步脉冲为 64μs ,锁相电路提供与输入视频 行同步的 10 MHz 像素同步时钟 ,实现采样同步定位 。两路采 集的 14 位图像数据 ,经过 VME64x 总线的 P2 口输出到处理模 块帧存储器 FIFO 中 ,其写入时钟由像素时钟 、帧同步 、行同步 逻辑组合产生 ,这样设计无需产生地址 ,并且当 FIFO 满时 ,不 能写入新的一帧图像 ,与“乒乓”帧存结构相比控制简单 ,电路 中的同步 、逻辑控制等选用芯片 EPM7256SQC208 实现 , 同时支 持 5VTTL 和 LVTTL 电平 I/ O 标准 。
总线写入视频显示模块输出在终端监视设备上 。 2. 3 VME 总线和实时多任务操作系统 VxWorks
VME 总线体系结构 ( IEEE1014) 可以构成分布式多处理 机系统 。VMEbus 总线是一种非复用的 32 位异步总线 ,数据 宽度为 32 位 ,地址为 32 位 ,寻址范围 4GB 。在 DMA 块传送 方式下 ,数据传送可达 40MB/ s。
·186 ·
ቤተ መጻሕፍቲ ባይዱ
系统工程与电子技术
2005 年
ms 内完成图像传送、融合处理 ,所以采用 VME64x 总线、VxWorks 操作系统、ADSP2TS101 芯片来保证双图像的配准和融合。 2. 2 系统组成
图像配准融合系统硬件由图像采集 、处理模块和系统显 控模块 3 部分组成 ,3 个模块电路板通过 VME64x 背板总线 连接 。这样设计 ,使处理模块相对独立 ,DSP 芯片的选择范 围广 ,当更高性能的 DSP 芯片推出后 , 只需升级 DSP 处理板 就可以进一步提高系统的图像处理能力 。软件包括嵌入式 实时操作系统 VxWorks ,应用程序包括实时任务管理调度 、融 合结果的显示 、DSP 完成的图像配准和融合算法 。
系统工作过程可简述为 : 从 CCD 摄像机和红外成像仪 输入的模拟视频信号 , 经数字化采集 、拼接后 ,存入帧存储 器 FIFO , 首先由一个 DSP 图像处理机读取帧存中的图像数 据 ,对两种图像进行配准 ,然后配准数据传送到另一 DSP 中 , 完成对图像的融合运算 , 处理完成的融合结果经过 VME64x
高性能数字信号处理器提高处理速度 ,针对特定的应用环 境 ,设计专用的总线接口 ,通用性差 ,并未采用实时操作系统 和高速总线的软硬件平台从系统结构上保障实时图像融合 处理的可靠性 。本文提出并研制了双通道高速实时视频图 像配准融合系统 ,其系统结构是基于 VxWorks 实时操作系统 和 VME64x 标准总线的多 DSP ( TS101) 分布式体系 ,具有实 时 、高速 、通用 、标准化的特点 。
实时系统指能在确定的时间内执行计算或处理功能并 对外部的异步事件作出响应的计算机系统 。确定的时间是 最根本的要求 ,系统的正确性不仅取决于处理结果逻辑的正 确性 ,还取决于此结果的响应时间 。
操作系统是 VxWorks 实时多任务操作系统 ,事件响应时 间为 10 微秒量级 ,有较强的实时性 。 2. 4 图像数据处理模块
关键词 : 图像配准 ; 图像融合 ; 实时操作系统 ; 计算机体系结构 中图分类号 :TP391. 41 文献标识码 :A
Real2time multisensor image registration and f usion system
LIU Wei2guang , CUI Jiang2tao , ZHOU Li2hua
这样系统总线传送速率应大于 6. 553 6 M 字/ s ,DSP 应在 20
收稿日期 :2003 - 10 - 27 ; 修回日期 :2004 - 06 - 21 。 基金项目 :陕西省科技攻关项目 (2003k05 - G17) 作者简介 :刘卫光 (1966 - ) ,男 ,高级工程师 ,博士研究生 ,主要研究方向为多传感器信息融合 ,图像处理 ,多媒体技术 。
(西安电子科技大学多媒体技术研究所 , 陕西 西安 710071)
摘 要 : 多源图像配准融合方法的理论研究较多 ,已有的融合系统往往针对特定应用通用性差 ,并且不具备实 时性 ,而具有并行分布式计算机体系结构的通用实时图像融合系统有望解决这一问题 。该系统的核心是基于标准 总线上实时操作系统 ,以 ADSP 并行完成多源图像实时配准和融合 ,CPLD 实现总线和视频同步控制 。具有运算能力 强 、I/ O 带宽大 、可扩展性和通用性强的特点 ,并以此构成了高速实时融合系统 。实用表明此方案是可行的 。
速内存 ,但不能满足复杂数字图像处理(如多分辨图像分解与重 构) 过程中 ,大数据量缓存的要求 ,因此 ,DSP 配置高速同步 128M SDRAM ,总线时钟频率可达 133MHz。DSP 板上设计标准 VME64x 接口 , 其控制逻辑由 CPLD 产生 ,包括数据和地址总线、 双口 RAM 读/ 写控制信号、FIFO 读/ 写信号以及 DMA 控制、外中 断等信号。DMA 传输帧数据(20 MB/ s) 和中断时序如图 2 所示。
( Institute of Multimedia Technology , Xidian University , Xi’an 710071 , China)
Abstract : The existing researches of image fusion are mostly focused on theory. The universality of conventional fusion system which has no real time is highly limited because it is often designed for a special purpose. A general2pur2 pose real2time image registration and fusion system based on parallel computer architecture may be a hopeful solution. Its kernel component is real2time operating system of standard bus. TS101 DSP serves as the CPU to perform parallel registration and fusion. CPLD is designed to control VME bus and video synchronization. The architecture has charac2 teristics of strong computational capability , broad I/ O bandwidth and expansibility. The results of experiments indicate that this system works perfectly.
2005 年 1 月 第 27 卷 第 1 期
系统工程与电子技术 Systems Engineering and Electronics
文章编号 :1001Ο506X(2005) 01Ο0185Ο04
多源图像实时配准融合系统
Jan. 2005 Vol127 No11
刘卫光 , 崔江涛 , 周利华
图 2 VME 总线 DMA 和中断时序
第 27 卷 第 1 期
多源图像实时配准融合系统
·187 ·
2. 5 视频采集与系统显控模块 (1) 视频采集模块 设计用于实现对双输入通道视频信号的同步 、数字化和
传送 。该模块主要包括双通道视频 ADC、数字锁相环同步时 钟发生器 、VME 总线 P2 控制等 。如图 3 所示 。
的目的 。 3. 2 帧缓存和数据传送
在传统的流水线式数据处理系统设计中 , 常采用“乒乓” 结构解决数据采集 、数据处理过程之间共享存储器的资源冲 突问题 ,已有的文献 [ 5 ]设计时采用了“乒乓”帧存结构 “, 乒 乓”开关的切换由 CPLD 内的总线切换控制器负责 , 切换动作 必须与输入视频帧同步 ,并且要设计产生缓冲器 SRAM 的读 写地址 ,控制逻辑复杂 。为简化设计并且适应各种算法 ,我们 采用了双口 RAM 作为图像融合结果输出的存储器 ,FIFO 作为 输入通道的缓冲区 ,图像数据的传送 、处理按照异步方式进 行 ,工作过程 : TS101 空闲时由帧有效信号判断FIFO是否写入 一帧图像 ,写完帧数据后 ,读入 DSP 中进行处理 ;当运算复杂 图像处理不能实时 (20 ms) 完成时 ,不读取FIFO数据 ,FIFO 满后 不能再写入新的数据 ,直到 DSP 运算完成 。
图像处理模块以两片 ADSP - TS101 为核心[6] ,完成图像 配准和融合 ,如图 1 所示 。
图 1 DSP 处理模块结构示意图
处理模块由两片 TS101 组成 ,分别进行图像的配准和融合 运算 ,CPLD(EPM7256SQC208) 完成 VME64x 接口控制和板内逻辑 控制 ,4 片 FIFO(CY7C027 - 15 64K×16) 进行深、宽度扩展为 128K ×32 缓 冲 器 接 收 VME 总 线 P2 口 的 图 像 数 据 , 双 口 RAM (IDT70V659 - 10 128K×36) 通过 VME 的 P1 口发送融合结果到输 出显示模块。虽然 TS101 片内带有可供 DSP 进行访问的 6Mb 高