不同视场的多源图像融合技术研究

作者 简 介 ：田恩 （ ９ ７ ） 男 ， 士研 究生 。Ｅ ｍ ｉ ｔｓ ｔ ３ ＠ １３ ｃｒ； １６ 一 ， 博 — ａｌ ｓ ｔ ２４ ６ ．ｏ ： ｔｓ ｎ 常 本 康 （ ９ ０ ） 男 ， 授 ， 士生 导 师 。Ｅ ｍ ｉ ｂ ｃａｇ ｍ ｉ ｎｕｔｅｕ ｃ １５ 一 ， 教 博 — ａｌ ｋｈｎ ＠ ａｌ ｊｓ ｄ ．ｎ ： ． ．
Ｎａ ｊ ｇ２ ０ ９ Ｊａ ｇｕ， ｉａ ｎｉ １ ０ ４，ｉｎ ｓ Ｃｈｎ ） ｎ Ａｂｓ ｒ ｔ ｎ ｒ ｃ ｎ ｅ ｒ ｔａｃ ：Ｉ ｅ ｅ ｔｙ ａ ｓ，ｔ ｅ ｉ ｇ ｕ ｉｎ ｔｃ ｎ ｌ ｇ ｌｅ ｄ ａ ｅ ｏ ｎ ｆ ｋ ｙ ｔ ｃ ｎｏｏ ｉ ｓ ｉ ｈ ｍａ ｅ ｆ ｓｏ ｅ ｈ ｏｏ ｙ ａ ｒａ ｙ ｈ ｓ ｂ ｃ ｍｅ ｏ ｅ ｏ ｅ ｅ ｈ ｌ ｇｅ ｎ
第 １ 期
不 同视 场 的 多 源 图 像 融 合 技 术 研 究
２ ７
融 合 图像 更 能 体 现 场 景 的 细 节 、 出场 景 目标 。 突
对 于这 种情 况 ， 图像 配 准 算 法 和 图像 融合 算 法 的 在 应 用上 又有 一些 不 同特点 。图 １为不 同视 场 图像融 合示意图， 两套 不 同视 场 的光 学 系 统 采 集 到 得 图像 分 别是 图像 Ａ和 图像 Ｂ， 图像 Ｂ只对 应 于 图像 Ａ中
ｒ ，）＝ （ Ｙ ｆ（ Ｙ ， ｆ ，）
图 １ ２个 不 同视 场 图像 融 合 示 意 图
Ｆ ｇ Ｉ ｇ ｕｓｏ ｎ ｔ ｉ ．１ ｍａ ｅ ｆ ｉｎ ｉ ｗｏ ＦＯＶｓ
Ｂ
ｍ＜ ≤Ｍ ， ｎ＜Ｙ ≤Ⅳ； （） ７
【ｙ ，）＋ｂ （ Ｙ ， ≤ｍ，≤ｒ ａ（ Ｙ ｇ ，） Ｙ ｌ ， ．
ＴＡ ｉ ，Ｚ Ｎ ｕ ． Ｙ Ａ ｉ ｕ ，Ｃ Ａ Ｇ Ｂ ｎｋ ｎ ＩＮ Ｓ ＨＡ Ｇ Ｊ ｎｊ ， Ｕ Ｎ Ｙ ． ｉ Ｈ Ｎ ｅ —ａ ｇ ｕ ｈ
（ ． ｐｉｄ Ｓ ｉｎ ｅａ ｄＴ ｃ ｎ ｌｇ ｓ ａｃ ｎｔ ｕｅ Ｎｉｇ ｏＤａ ｏ ｇ ｉｇＵｎｖ ｒｉ ，Ｎ ｎ ｂ ５，Ｚ ｅｉｎ ，Ｃ ｉａ １ Ａｐ ｌ ｃｅ ｃ ｎ ｅ ｈ ｏｏ ｙＲｅｅｒｈ Ｉｓｉ ｔ ， ｎ ｂ ｈ ｎ ｙｎ ｉｅｓｔ ｅ ｔ ｙ ｉｇ ｏ３ １ １ ５７ ｈｊａ ｇ ｈｎ ；
根据 傅 里 叶 变换 的加 法定 理 ， 融合 图像 的傅 里
叶 变 换 为 Ｒ（ ， ）＝ ｒ ， ， Ｆ（ ） ｍ＜ ≤Ｍ ， Ｙ ｎ＜ ≤Ｎ； （） ８
【Ｆ（ ａ ，）＋ｂ （ ， ≤ｍ，≤ｎ Ｇ ，） Ｙ ．
式（ ） ， ８ 中 如果 ａ ｕ Ｆ（ ，）＋ｂ （ ， 是 图像 中所 Ｇ “ ） 关 心 的主体 ， 它表 述 的是观 察 目标 的总体 形状 、 征 特 轮 廓 、 比度 特征 等低 频分 量 ， 对 那么 整个 融合 图像 质
ｒ ｓａｃ ｂｅ ｔｉ ｔｅｒｇｓｅｅ ｌｐｅ ｓｕｃ ｍａ ｅｈ ｖｎ ｈ ａ ｅｄｏ ｉｗ（ ＯＶ） ｈ ｒ ｘｓ ｅｅ ｒｈ ｏ ｊｃ ｓ ｈ ｅ ｉ ｒｄｍｕｔ ｌ ｏ ｒｅｉ ｇ ａ ｉｇｔｅ ｓｍｅｆ ｌ ｆ ｅ Ｆ ｔ ｉ ｉ ｖ ．Ｔ ｅｅ ｅ ｉ ｔ
部分 ， 图像 ｃ是 图像 Ａ和 图像 Ｂ的融 合结 果 。实
际上 图像 Ｃ中 只有 虚线 部 分才 是 融 合 图像 ， 其余 而 部分 只有 图像 Ａ的信息 。
Ａ
留 了图像 的细节 信 息 。 讨 论 一 种 简单 的加 权平 均 融 合 方 法 ， 融合 图像
ｒ ， ） 以表示 为 （ Ｙ可
摘 要 ：图像 融合 技术 已经 成为 计算 机 视觉 、 自动 控 制 、 器 人 、 机 目标 识 别 跟 踪 等领 域 的关 键 技 术之 一。 图像 融合技 术主 要研 究对 象是配 准后 共视 场 （ Ｏ 的 多源 图像 系 统 ， 实生 活 中存 在 大 Ｆ Ｖ） 现 量不 同特 性的不 同视场 的 图像 系统 ， 同视 场 的多源 图像 融合 技术 能 够在 不 增加 硬 件 设备 投 入 的 不 情况 下 ， 升 图像 采集 系 统的性 能 ； 对不 同视场 的多源 图像 融合 技术 ， 出一种 仿 射 变换 和 线 性 提 针 提 插 值 相结合 的配 准方 法 ； 对融合 前后 的 图像 在 时域 、 空域 进 行 了分 析 比较 ， 并对 融合 的结果 进 行 了 评价和 对 比 ， 证 了此技 术应用 的 可行性 。 验 关 键词 ：信息处 理技 术 ；多源 图像 ；不 同视 场 ；配准 ；融合
中图分 类号 ： Ｐ ９ ． １ Ｇ ８ ｃ Ｔ ３ １４ ； ５ ４ 文献标志码 ： Ａ 文章编 号 ： ０ ０１９ （０ ２ ０ — ２ － １０ —０ ３ ２ １ ） １０ ６０ ０ ６
Ｒｅ ｅ ｒ ｈ ｏ ｕ ｔ－ ｏ ｒ ｅ Ｉ ａ ｅ Ｆｕ ｉ ｎ ｓ ａ ｃ ｎ Ｍ ｌｉｓ ｕ ｃ ｍ ｇ ｓｏ Ｔｅ ｈ ｌ ｇ ｎ Ｄｉｆ ｒ ｎ ｅ ｄ ｆ Ｖｉ ｗ ｃ ｎｏ ｏ ｙ ｉ ｆｅ ｅ ｔ Ｆｉ ｌ ｓ ｏ ｅ
行 融 合处理 ， 更多 地保 留场 景 的原 始信 息 ， 应用 能 是 比较 广泛 的 图像 融 合 方 法 。对 源 图 像 配准 、 场 的 视
更有利 于融 合 图像 质量 提 高 ， 保 证 了融 合 图像 的 也
信息量 。 但 在 实 际应 用 中 ， 往往 会 有 一些 多 源 图像 采 集 设 备 的光学 系统视 场相 差 比较 大 ， 每个 源 图像 各 而
ｓ ｍｅ ａ ｅ ｓ ｓ ｃ ｓｃ ｍ ｐ ｔｒｖ ｓｏ ｏ ｒ ａ ， ｕ ｈ ａ ｏ ｕ ｅ ｉｉｎ，ａ ｔｍ ａｉ ｏ ｔｏ ， ｒ ｂ ｔ ａ ｇ ｔｉ ｅ ｔ ｃ ｔｏ ａ ｄ ｔａ ｋ Ｉｓ ｍ ａｎ ｕ ｏ ｔｃ ｃ ｎ ｒ ｌ ｏ ｏ ，ｔ ｒ ｅ ｄ ｎ ｉ ａｉｎ ｎ ｒ ｃ ． ｔ ｉ ｉ ｆ
ａ ｌｔｏ ｍ ａ ｅｓ ｓｅ ｔ ｉ ｅ ｅ ｔｆａｕ ｅ ｎ ｄｆｅ ｅ ｔ ｅ ｄ ｆｖ ｅ ｉ ｅ ｌｌｆ ． Ｔ ｅ ｍ ｕ ｉｓ ｕ ｃ ｍａ ｅ ｏ ｆｉ ｇ ｙ ｔｍｓｗｉ ｄｆ ｒ ｎ ｅ ｔｒ ｓ ｉ ｉ ｒ ｎ ｌ ｓｏ ｉｗ ｎ ｒ ａ ｉｅ ｈ ｆ ｆ ｉ ｆ ｈ ｈ—ｏ ｒｅｉ ｇ ｆ ｉ ｎ ｅ ｈｎ ｌ ｇ ｏ ｉｆｒ ｎ ｅｄ ｏ ｉｗ ａ ｉ ｒ ｖ ｔ ｅ ｐｅｆ ｒ ｎ ｅ ｆ ｉ ａ ｅ ｃ ｕ ｓｔ ｎ ｙ ｔｍ ｕｓｏ ｔｃ ｏｏ ｙ ｆ ｒ ｄ ｆｅ ｅ ｔ ｆ ｌ ｓ ｆ ｖｅ ｃ ｎ ｍｐ ｏ ｅ ｈ ｒｏ ｍａ ｃ ｏ ｍ ｇ ａ ｑ ｉｉｉ ｓ ｓｅ ｉ ｏ
重合 度要求 较 高 ， 般 来 讲 在 源 图像 的光 学 系统 视 一
场相 同的情 况 下 ， 集 到的 图像 更容 易实 现配 准 ， 采 也
收稿 日期 ： ０ ０—０ ２１ ７—２ ０
有其特 点 （ 可 见 光 图像 、 光 图像 和 红 外 图像 ） 如 微 ，
基金 项 目 ：江 苏 省 普 通 高 校研 究 生 科 研 创 新 计 划 项 目（ Ｘ ９ ＿ ９Ｚ） Ｃ ０ Ｂ ０７
ｐ ｐ ｒ ｅ ｉｔａｉ ｎ ｍFra Baidu bibliotekｈｏ ｓｐ ｏ ｓ ｄ，ｗｈ ｃ ｏ ｉ ｅ ｆ ｎ ｒ ｎ ｆ ｒ ａｉｎ ａ ｄ ｌ ｅ ｒ ｉ ｔｒ ｏ ａｉ ｎ， ａ ｅ ，ａ ｒ ｇｓｒｔｏ ｔ ｄ ｉ ｒ ｐｏ ｅ ｉｈ ｃ ｍｂ ｎ ｓａｆ ｅ ｔａ ｓｏ ｍ ｔｏ ｎ ｉ ａ ｎｅ ｐ ｌｔｏ ｉ ｎ ｔ ｍａ ｅ ｅｏ ｅａ ｄ ａｔｒｆ ｓｏ ｒ ｎ ｌｚ ｄ ａ ｄ ｃ ｍｐａ ｅ ｎ ｔｍ ｐ ｒ ｌａ ｄ ｓ ａｉｌｄ ｍ ａｎ ｎ ｈ ｅ ｈｅ ｉ ｇ ｓｂ ｆ ｒ ｎ ｆｅ ｕ ｉｎ ａ ｅａ ａｙ ｅ ｎ ｏ ｒ ｄ ｉ ｅ ｏ ａ ｎ ｐ ｔａ ｏ ｉ ｓａ ｄ ｔ ｅ ｒ — ｓ ｉｓ ａ ｅ ｅ ａ ｕ ｔ ｄ ｔ ｅ ｉｙ ｔ ｅ ｆ ａ ｉ ｉｉ ｆｔ ｅ ｍｅｈ ｄ． ｕ ｔ ｒ ｖ ｌ ａｅ ｏ ｖ ｒｆ ｈ ｅ ｓｂ ｌ ｙ ｏ ｈ ｔｏ ｔ
第３ ３卷第 １期
２０ １２年 １月
兵
工
学
报
Ｖｏ ． ３ Ｉ ３ ＮＯ ．１
ＡＣＴＡ ＡＲＭ ＡＭＥＮＴＡＲＩ Ｉ
Ｊ ｎ． ａ
２ ２ ０ｌ
不 同视场的多源 图像融合技术研 究
田思 ，张 俊 举 袁 轶 慧 ， ，常 本 康
（ ．宁波 大 红 鹰 学 院 应 用科 技 研 究 院 ， 江 宁 波 ３５ ７ ；．南京 理 工 大 学 电 光 学 院 ， 苏 南 京 ２０ ９ ） １ 浙 １ １５ ２ 江 １０ ４
ｗｉ ｏ ｔｉ ｖ ｓｍ ｅ ｔｉ ｃ ｅ ｓ ｎ ｈ ｒ ｗａ ｅ． Ｆ ｒｔ ｅ ｍｕ ｔ—ｍａ ｅ ｆ ｓｏ ｅ ｈ ｏ ｏ ｙ ｏ ｉ ｅ ｅ ｔＦ ｔ ｕ ｎ ｅ ｔ ｎ ｎ ｒ ａ ｅ ｉ ａ ｄ ｒ ｈ ｏ ｈ ｌｉｉ ｇ ｕ ｉｎ ｔ ｃ ｎ ｌｇ ｆｄ ｆ ｒ ｎ ＯＶ ， ｉ ｈ ｓ ｆ ｎ ｔ ｉ
２ Ｉｓｉ ｔ ｆＥ ｅｔｏ ｉ ｇｎ ｅｉｇａ ｄ Ｏｐｉａ Ｔ ｃ ｎ ｌｇ ． ｎｔ ｕｅｏ ｌｃｒｎｃＥｎ ｉｅｒｎ ｎ ｔ ｌ ｅ ｈ ｏｏｙ，Ｎａｊｎ ｉｅｓｙ ｏ ｃｅ ｃ ｎ ｅ ｈ ｏｏ ｙ ｔ ｃ ｎｉｇＵｎｖｒｉ ｆＳ ｉｎ ｅａ ｄＴ ｃ ｎ ｌｇ ， ｔ
式中： ｏ＋ｂ ， ｂ分别 为两 幅 图像 的加权 系数 。 ＝１ｏ，
１ 不 同 视 场 的 多源 图像 融 合 的频 域 分 析
考 虑 ２个 不 同图 像传 感 器 的 情 况 ， 如 ２个 图 假 像 传感 器 产 生 两 幅 图 像 ｆ（ Ｙ 和 ｇ（ Ｙ ， 像 ， ） ， ） 图 ｆ ，） （ Ｙ 是小 视场 图像 大 小 Ｍ ×Ｎ， 视 场 图像 ｇ（ 大 ， Ｙ 大小 ｍ ×７ 区域 部分 （ ＜ ） ／中 ， ｍ Ｍ， ｎ＜Ｎ） 一 幅数字 ， 化 的图像 可 以用矩 阵来 表达 它不 同位 置上 的灰 度分 布 函数 ， 即
一
Ｇ“ ） （， ＝∑ ∑ ｇ ， ｅｊｕ ＋ｎ （） （ ｙ －（ｍｙ． ６ ） ２ｘ ｖ） ￣／ ／
对 于 一 般 的 图像 来 讲 ， 维 频 域 （ｔ 内 图像 二 １ ） ． ， 的主体 是低 频 部 分 ， 表 达 的是 总体 形 状 、 征 轮 它 特 廓 、 比度 特征 等 ， 那 些边 缘 、 纹是 图像 的高 频 对 而 波 部 分 。图 １中 ， 图像 Ａ 中对 应 于 图像 Ｂ的部 分 往 往 是 关注 的焦 点 ， 是 频 率 能量 集 中 的地 方 。 图像 传 也 感 器采 集得 到 的两 幅 图像 进行 融 合 时 ， 视 场 的 图 小 像 完全 参 与融合 ， 大视 场 的 图像 参 与 融合 以外 的部 分 得 到保 留 。这 样 既 增 强 了 图像 的 主体 特 征 ， 保 又
Ｋｅｙ ｗｏｒ ｄｓ：ｉ ｆｒ ｔｏ ｏ ｅ ｓｎ ｎ ｏ ｍａｉ ｎ ｐｒ ｃ ｓ ｉｇ；ｍｕ ｔ—ｏ ｒ ｅ ｉ ｇ ｌｉｓ ｕ ｃ ｍａ ｅ；ｄ ｆｅｅ ｔｆ ｌ ｆｖｅ ；ｒ ｇｓｒ ｔ ｎ；ｆ ｓｏ ｉｆｒ ｎ ｅ ｄ ｏ ｉｗ ｉ ｅ ｉｔａ ｉ ｏ ｕ ｉｎ
像素 级 融 合 是 直 接 对 源 图像 的像 素 数 据 进