视频超分辨率重建技术综述

随 着 ＣＣＤ 和 Ｃ ＯＳ图像 传 感 器 的 飞 速 发 展 ，数 字 视 频 摄 像 技 术 和 处 理 技 术 被 广 泛 运 用 到 数 字 电 视 、网 络 播 Ｍ 放 、视 频 监 控 、医 学 诊 断 、交 通 管 理 等 与 人 们 生 活 息 息 相 关 的领 域 ，也 成 为 了 天 文 探 测 、宇 航 、遥 感 、制 导 、预 警 等军 事 和 科 研 领 域 中不 可 缺 少 的技 术 。近 年 来 ，人 们 对 视 频 质 量 的 要 求 不 断 提 高 ，希 望 摄 像 机 能 捕 捉 到 更 多 的
球 拍 存 在 严 重 拖 尾 和 变 形 ；图 １ｂ 为 行 驶 车 辆 视 频 的 某 （１
一
（）ｕ ｚ ｎ ｉ ａｌｎ ａｋｔ ａ ｆｚｙｔ ｎｓｂ ｌａ ｄｒｃｅ ｅ
（）ｕ ｚ ａ ｎ ｔｒｙｌ ｂ ｆｚｙｃｒ ｄｍｏｏｃｃｅ ａ
帧 ，道 路 上 高 速 行 驶 的 车 辆 已变 得 十 分 模 糊 。图 ２为
戡搬 一一 蜮 一 一 榭
簸 牲 蛐 蹁 虹 减 磁 豫 腑
Ｆ ２ ｓｋｅｃｈ。ｆｍ。ｔ。ｎ ｉ ｔ ２ ｉ
．
。Ⅲ 。
理 论 的 基 础 上 ，利 用 １ 或 多 个 低 分 辨 率 视 频 的互 补 信 息 ，对 成 像 过 程 中损 失 掉 的 部 分 高 频 细 节 信 息 进 行 复 原 ， 个 重 建 出 １ 具 有 更 高 时 间 和 空 间 分 辨 率 的 视 频 ， 图 ３］ 个 见 １。图 ３ａ展 示 了 １ 低 分 辨 率 视 频 序 列 。为 了便 于 观 察 ， ］ （） 个 在 图 ３ｂ中 ，将 图 ３ａ中 的 运 动 物 体 用 椭 圆 曲线 框 出 。图 ３ｃ展 示 了通 过 多 个 低 分 辨 率 视 频 重 建 得 到 的 高 分 辨 率 （） （） ｆ） 视 频 。通 过 对 图 ３ａ和 图 ３ｃ的 对 比可 以看 出 ，重 建 后 的 视 频 解 决 了 原 始低 分 辨 率 视 频 中存 在 的 运 动 模 糊 和 运 动 （） （） 混 叠 现 象 。 视 频 超 分 辨 率 技 术 已成 为 近 年 来 的 研 究 热 点 ，在 计 箅 机 视 觉 和 图 像 处 理 等 领 域 引起 了 广 泛 关 注 Ｊ 。
图 １运 动 模 糊 现 象 示 意 图
基 金 项 目 ： 国家 自然 科 学 基 金 资 助 项 目（ ．１７ １ １；教 育 部 科 学 技 术研 究 重 点 资 助 项 目（ ． ７ ９ ） Ｎｏ６ ０ １６ ） Ｎｏ１ ０ ４ ０
２
小 球 解 决
的 限
信 息 与 电 子 工 程
视 频 超 分 辨 率 重 建 技 术 综 述
何 小 海 ， 吴 媛 媛 ， 陈 为 龙 ， 卿 粼 波
（ 川 大 学 电子 信 息 学 院 ，四川 成 都 ６０ ６ ） 四 １ ０ ４
一～ ～ 一 ．一一 壹 ． 一一 ～一一 一 ～ 一一 ～ ． ～一 ～～ 一～ ～～ ～～
摘 要 ：在 获 取 视 频 过 程 中 ， 有 许 多 因 素 会 导 致 视 频 质 量 的 退 化 ，使 得 视 频 的 空 间分 辨 率 降 低 ； 而 摄 像 机 曝 光 时 间 和 拍 摄 帧 率 又 限 制 了视 频 的 时 间 分 辨 率 。 视 频 超 分 辨 率 重 建 是 一 种 能 有 效 提 高 视 频 时 间 分 辨 率 和 空 间分 辨 率 的 方 法 ， 已经 在 计 算 机 视 觉 和 图像 处 理 等 领 域 引 起 了广 泛 关 注 。 详 细 阐述 了视 频 超 分 辨 率 重 建 研 究 的概 念 和 必 要 性 ，并 较 全 面 地 回顾 了超 分 辨 率 技 术 近 年 来 的 发
第 ９卷 第 １ 期
２１ ０ １年 ２月
信 息 与 电 子 工 程
Ｉ ＮＦＯＲＭ ＡＴ１ ０Ｎ ＮＤ Ａ ＥＬＥＣＴＲＯ ＮＩ Ｃ ＥＮ ＧＩ ＮＥＥＲＩ ＮＧ
Ｖ Ｏ１．９， Ｏ．１ Ｎ
Ｆｅ ． ０１ ｂ． ２ ｌ
文 章 编 号 ： １ ７ — ８ ２ ２ １ ） １０ ０ ６ ６ ２ ２ ９ （ ０ ０ — ０ ｂ ｕ ｒ ｄ ｇ １ Ｓ ｅ ｃ ｆｍｏ ｉ － ｌ ｒ ｅ ｏ
运 动 混 叠 现 象 示 意 图 ，由 于 采 集 帧 率 过 低 ，拍 摄 得 到 的
收 稿 日期 ：２ １—１１ ；修 回 日期 ：２ １ －２３ ０ ０ １—２ ０ ０１—０
展 历 程 ， 对 视 频 超 分 辨 率 重 建 中 关 键 问题 进 行 了较 为 深 入 的 分 析 ，指 出 了 当今 研 究难 点和 今 后 的 研 究 方 向 ， 对 视 频 超 分 辨 率 重 建 的应 用 前 景 进 行 了展 望 。
关 键 词 ： 视 频 重 建 ； 空 间超 分 辨 率 ； 时 间超 分 辨 率 ；帧 间 配 准 ； 时 空 对 齐 中 图 分 类 号 ：Ｔ １ ．３ Ｎ９ １７ 文 献 标 识 码 ：Ａ
第 ９卷
较 大 ，实 现 起 来 比较 困难 。 因此 ，通 过 数 字 图 像 处
理 技 术 来 提 高 视 频 分 辨 率 既 节 约 成 本 义 具 有 可 实 图 ２运动混叠现象示意图 现性 ， 种 行 之极 效 的 方 法 就 是 超 分 辨 率 重 建 技 术 。该技 术 建 立 在 解 析 延 拓 理 论 、 息 叠 加 理 论 以及 非 线 性 操 作 一 是 有 备 信
细 节 信 息 和 动 态 信 息 ，换 言 之 ，就 是 希 望 获 得 的视 频 拥 有 更 高 的 空 间 分 辨 率 和 时 间 分 辨 率 。然 而 ， 像 机 的 空 间 摄 分 辨 率 和 时 间 分 辨 率 是 有 限 的 。视 频 的 空 间 分 辨 率 取 决 于 图像 传 感 器 的 空 间 密 度 ，以及 视 频 采 集 过 程 中 由光 的 像 差 、大 气 扰 动 、运 动 、散 焦 、欠 采 样 和 系 统 噪 声 等 因 素
引 入 的 模 糊 。视 频 的 时 间 分 辨 率 则 取 决 于 摄 像 机 的 拍 摄 帧 率 和 曝 光 时 间 ， 决 定 了 视 频 中能 正 确 观 察 到 动 态 事 这 件 的最 快 变 化 速 度 。当 时 间 分 辨 率 较 低 时 ，将 会 出 现 运
动 模 糊 现 象 和 运 动 混 叠 现 象 。 图 １ 为 运 动 模 糊 的示 意 图 ，图 １ａ 为 网 球 运 动 视 频 的 某 ～ 帧 ，可 以 看 到 网球 和 （）