视频稳像技术综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｄｉｉ ｇｔ ｄ０ Ｍ ｅ ｌ
数字觎频 ｌ
文 章 编 号 ：０ ２ ８ ９ （０ ）７ ０ １— ３ １０ — ６ ２ ２ １ ０ — ０ ５ ０ １
视频 稳像技术综 述
陈启 立 。 宋 利 ， 松 煜 余
（ 海 交通 大学 电子 工 程 系 图像 通信 与信 息 处 理研 究 所 ； 海 市数 字媒 体 处 理 与传 输 重 点 实验 室 ， 海 ２ ０４ ） 上 上 上 ０ ２ ０
ｃａ ｓｃ ｌ ｔ ｂｌ ａｉ ｎ ｒ ｍｅ ｏ ｋ ｎ ｈ ｎ ｖ ｌ ｏ － ｔ ｎ ｌｏ ｉ ｍｓ ｈ ａ ｐ ｉａ ｉ ｔ ａ ｄ ｅ ｔ ｒ ｓ ｆ ｔ ｅ ｌ ｏ ｉ ｍｓ ｒ ａｓ ｌｓ ｉ ａ ｓａ ｉ ｚ ｔ ｆ ｉ ｏ ａ ｗ ｒ ａ ｄ ｔ ｅ ｏ ｅ ｎ ｎ ｍｏｉ ａｇ ｒｔ ｏ ｈ ．Ｔ ｅ ｐ ｌ ｂ ｌ ｙ ｎ ｆａ ｕ ｅ ｏ ｈ ａ ｇ ｒ ｈ ａ ｅ ｌｏ ｃ ｉ ｔ ｐｅ ｅ ｔｄ ｒ ｓ ｎｅ ．Ａｔ ｔ ｅ ｅ ｄ ｈ ｘ ｓｉ ｇ ｐ ｏ ｌ ｍｓ ｎ ｕ ｕ ｅ ｐ ｏ ｐ ｃｓ ａ ｅ ｐ ｉ ｔ ｄ ｏ ｔ ｈ ｎ ，ｔ ｅ ｅ ｉ ｎ ｒ ｂ ｅ ａ ｄ ｆ ｔ ｒ ｒ ｓ ｅ ｔ ｒ ｏ ｎ ｅ ｕ ． ｔ
【 摘
要 】分 析 了 频稳像 的各 类算 法， 视 包括基于运 动的经典算法框架下 的各种研 究和 无运动 的新稳像 算法。指 出了各类算法的
优 缺 点 和适 用 性 ， 展 望 了今 后 的研 究 方 向 。 并
【 关键词 】视频稳像 ； 动估计 ； 运 运动补偿 ； 征点 特
【 中图分类号】Ｔ ９１ ３Ｔ ３ １ Ｎ １． ；Ｐ９ ７
者将综述 视频稳 像 的各类 经算 法 和近年来 取得 突破
频 中背 景的运动 。在做全 局运动估 计时 ， 一个难点是 如
何 获得准 确的运 动信 息 ， 除局部运 动等各种 干扰 的影 排
响。主要途径有微分方法和特征点对应法 。微分 方法如 光 流法 首先计算光流 ， ： 再根据光流来求帧 间几何关 系， 以此来表示全 局运动 。基于特征点 的方法是通过特征点 的对应 关 系来 描述运动 ， 同样利 用 图像 帧间几何 关系等 来表示运动 ， 常用 的特征有边缘 、Ｉ ， ｓＦ 也有算法基于局 部运 动矢量进行块 匹配 。它们 的思想都是利用局部量 ，
１ ． 基于运动的稳像算法 ２
控 。而 随着媒体 技术 的发 展 ， 像设 备越来 越普及 ， 摄 越 来越 多的普通家庭及个 人有条件 自行拍摄 、 理各类视 处 频， 而不 仅仅局 限 于观看 。在这一 形势 下 ， 频质 量备 视 受关 注 ， 针对手 持摄像 机及 车载摄 像设 备 ， 频抖 动问 视
【 ｙ ｗ ｒ ｓ ｉｅ ｔｂ ｉ ｔ ｎ ｍｏ ｏ ｓｍａ ｏ ； ｔ ｎ ｃｍ ｅｓｔ ｎ ｅｔｒ ｏｎｓ Ｋｅ ｏ ｄ 】ｖｄｏｓ ｉｚ ｉ ； ｔ ｎ ｅｔ ｔ ｎ ｍｏｏ ｏ ｐ ｎａ ｏ；ｆ ｕｅ ｐｉｔ ａ ｌａｏ ｉ ｉ ｉ ｉ ｉ ａ
０ 引 言
如今 ， 图像视 频无 处不 在 ， 们几 乎天 天都会 与视 人
【 文献标识码 】Ａ
Ａｎ Ｏｖ ｒ ｉ ｗ ｏ ｄｅ ａ ｌｚ ｉ ｎ ｅ ｖｅ ｆ Ｖｉ ｏ Ｓｔ ｂｉｉａｔｏ Ｃ Ｎ Ｑｌ Ｏ ｉＹＵ Ｓ ｎｙ ＨＥ ｉ，Ｓ ＮＧ Ｌ， ｏ ｇｕ ｉ
（ｎｔ￣ｅｏ ａ ｅＣ ｍｍｕ ｉ ｔ ｎ ａ ｄ Ｉｆｒ ａｉ ｒｃｓｉｇ ｅａｔｅ ｔｏ ｌ ｔ ｎｃＥ ｇｎｅｉｇ ｈ ｎ ｈ ｉＪ ｏ ｏ ｇ Ｕ ｉ ｒｔ； Ｉ ｉ ｆＩ ｇ ｏ ｓ ｔ ｍ ｎｃ ｉ ｎ ｎｏｍ ｔ ｎ Ｐ ｏｅｓ ，Ｄ ｐ ｒ ｎ Ｅｅ ｒ ｉ ｎ ｉｅｒ ，Ｓ ａ ｇ ａ ｉ Ｔｎ ｎｖ ｓｙ ａｏ ｏ ｎ ｍ ｆ ｃｏ ｎ ａ ｅｉ Ｓ ａｇ ａ ｅ ａ ｏａｏｙ ｏ ｇｔｌＭｅ ｉ ｒｃｓｉ ｎ ｒｎｍｓｉｎ，Ｓ ａ ｇ ａ ０ ２ ０ ｈｎ ｈ ｎ ｈ ｉＫ ｙＬ ｂｒｔｒ Ｄｉｉ ｄａ Ｐｏｅｓ ｇ ａ Ｔａｓ ｉ ｏ ｓ ｈ ｎ ｈ ｉ２ ０ ４ ，Ｃ ｉ ｆ ａ ｎ ｄ ｓ ａ）
题 显得尤 为突 出。在 飞机 、 坦克 等军用 场合 ， 同样 十分 有必 要对视 频进行 稳定化 处理 。视 频稳定 （ 称稳像 ） 简
经典 的电子稳像包含 ３ 个步骤 ： 全局运动估计 、 运动 补偿和 图像生成 。各种 算法都遵 循这个框 架 ， 每一个 在
步骤里 ， 又有各 自不 同的实现 。全局运动一 般指 的是视
频打交道 ， 活离不 开 电视 电影 ， 生 社会 的治 安离不 开监
而补偿摄像 平 台带来 的抖 动 ； 机械稳 像是利 用各种机械 设 备来设法保 证摄像 平 台的稳 定性 ， 在影像拍摄 上有较
多应用 。以上 两类稳 像对普通消费者而言 ， 代价过大 ， 而
且机械稳像设备不便 携带 ； 另一方面 ， 光学稳像和机械稳 像所 能达 到的效果仍不 能令人 满意 ， 其是 当抖 动较为 尤 剧烈时 ， 从而使得 电子稳像变得十分有必要 。
就是在 这些 需求下诞生 的。所谓稳像 ， 是指利用相关 的 算法 ， 对视频 设备 采集 的原始 视频 序列进行 处理 ， 除 去 其 中的抖动 。视频稳像 的 目的 ， 一方 面是为 了让人 眼观 感舒适 ， 有利 于人 工观测 、 判别 等 ， 另一方 面也作为诸 多 其他后 续处理 的预处 理 阶段 ， 检测 、 如 跟踪 和压 缩 。笔
【 ｓｒｃ】 Ｄ ｆ ｒｎ ｉｅ ｓ ｂｌａｉ ａ ｏ ｔｍｓ ｒ ｎｌｚｄ ｎ ｈｓ ａｅ，ｉｃ ｄｎ ｍ ｔ ｎ ｂｓｄ ｌ ｒｈ ｕ ｄｒ ｈ Ａｂｔａ ｔ ｉｅｅｔ ｄｏ ｔ ｉｚｔ ｎ ｌ ｒｈ ａｅ ａｙｅ ｉ ｔｉ ｐ ｒ ｎ ｌ ｉｇ ｏｉ — ａｅ ａ ｏｉ ｍｓ ｎ ｅ ｔｅ ｆ ｖ ａ ｉ ｏ ｇｉ ａ ｐ ｕ ｏ ｇ ｔ
数字觎频 ｌ
文 章 编 号 ：０ ２ ８ ９ （０ ）７ ０ １— ３ １０ — ６ ２ ２ １ ０ — ０ ５ ０ １
视频 稳像技术综 述
陈启 立 。 宋 利 ， 松 煜 余
（ 海 交通 大学 电子 工 程 系 图像 通信 与信 息 处 理研 究 所 ； 海 市数 字媒 体 处 理 与传 输 重 点 实验 室 ， 海 ２ ０４ ） 上 上 上 ０ ２ ０
ｃａ ｓｃ ｌ ｔ ｂｌ ａｉ ｎ ｒ ｍｅ ｏ ｋ ｎ ｈ ｎ ｖ ｌ ｏ － ｔ ｎ ｌｏ ｉ ｍｓ ｈ ａ ｐ ｉａ ｉ ｔ ａ ｄ ｅ ｔ ｒ ｓ ｆ ｔ ｅ ｌ ｏ ｉ ｍｓ ｒ ａｓ ｌｓ ｉ ａ ｓａ ｉ ｚ ｔ ｆ ｉ ｏ ａ ｗ ｒ ａ ｄ ｔ ｅ ｏ ｅ ｎ ｎ ｍｏｉ ａｇ ｒｔ ｏ ｈ ．Ｔ ｅ ｐ ｌ ｂ ｌ ｙ ｎ ｆａ ｕ ｅ ｏ ｈ ａ ｇ ｒ ｈ ａ ｅ ｌｏ ｃ ｉ ｔ ｐｅ ｅ ｔｄ ｒ ｓ ｎｅ ．Ａｔ ｔ ｅ ｅ ｄ ｈ ｘ ｓｉ ｇ ｐ ｏ ｌ ｍｓ ｎ ｕ ｕ ｅ ｐ ｏ ｐ ｃｓ ａ ｅ ｐ ｉ ｔ ｄ ｏ ｔ ｈ ｎ ，ｔ ｅ ｅ ｉ ｎ ｒ ｂ ｅ ａ ｄ ｆ ｔ ｒ ｒ ｓ ｅ ｔ ｒ ｏ ｎ ｅ ｕ ． ｔ
【 摘
要 】分 析 了 频稳像 的各 类算 法， 视 包括基于运 动的经典算法框架下 的各种研 究和 无运动 的新稳像 算法。指 出了各类算法的
优 缺 点 和适 用 性 ， 展 望 了今 后 的研 究 方 向 。 并
【 关键词 】视频稳像 ； 动估计 ； 运 运动补偿 ； 征点 特
【 中图分类号】Ｔ ９１ ３Ｔ ３ １ Ｎ １． ；Ｐ９ ７
者将综述 视频稳 像 的各类 经算 法 和近年来 取得 突破
频 中背 景的运动 。在做全 局运动估 计时 ， 一个难点是 如
何 获得准 确的运 动信 息 ， 除局部运 动等各种 干扰 的影 排
响。主要途径有微分方法和特征点对应法 。微分 方法如 光 流法 首先计算光流 ， ： 再根据光流来求帧 间几何关 系， 以此来表示全 局运动 。基于特征点 的方法是通过特征点 的对应 关 系来 描述运动 ， 同样利 用 图像 帧间几何 关系等 来表示运动 ， 常用 的特征有边缘 、Ｉ ， ｓＦ 也有算法基于局 部运 动矢量进行块 匹配 。它们 的思想都是利用局部量 ，
１ ． 基于运动的稳像算法 ２
控 。而 随着媒体 技术 的发 展 ， 像设 备越来 越普及 ， 摄 越 来越 多的普通家庭及个 人有条件 自行拍摄 、 理各类视 处 频， 而不 仅仅局 限 于观看 。在这一 形势 下 ， 频质 量备 视 受关 注 ， 针对手 持摄像 机及 车载摄 像设 备 ， 频抖 动问 视
【 ｙ ｗ ｒ ｓ ｉｅ ｔｂ ｉ ｔ ｎ ｍｏ ｏ ｓｍａ ｏ ； ｔ ｎ ｃｍ ｅｓｔ ｎ ｅｔｒ ｏｎｓ Ｋｅ ｏ ｄ 】ｖｄｏｓ ｉｚ ｉ ； ｔ ｎ ｅｔ ｔ ｎ ｍｏｏ ｏ ｐ ｎａ ｏ；ｆ ｕｅ ｐｉｔ ａ ｌａｏ ｉ ｉ ｉ ｉ ｉ ａ
０ 引 言
如今 ， 图像视 频无 处不 在 ， 们几 乎天 天都会 与视 人
【 文献标识码 】Ａ
Ａｎ Ｏｖ ｒ ｉ ｗ ｏ ｄｅ ａ ｌｚ ｉ ｎ ｅ ｖｅ ｆ Ｖｉ ｏ Ｓｔ ｂｉｉａｔｏ Ｃ Ｎ Ｑｌ Ｏ ｉＹＵ Ｓ ｎｙ ＨＥ ｉ，Ｓ ＮＧ Ｌ， ｏ ｇｕ ｉ
（ｎｔ￣ｅｏ ａ ｅＣ ｍｍｕ ｉ ｔ ｎ ａ ｄ Ｉｆｒ ａｉ ｒｃｓｉｇ ｅａｔｅ ｔｏ ｌ ｔ ｎｃＥ ｇｎｅｉｇ ｈ ｎ ｈ ｉＪ ｏ ｏ ｇ Ｕ ｉ ｒｔ； Ｉ ｉ ｆＩ ｇ ｏ ｓ ｔ ｍ ｎｃ ｉ ｎ ｎｏｍ ｔ ｎ Ｐ ｏｅｓ ，Ｄ ｐ ｒ ｎ Ｅｅ ｒ ｉ ｎ ｉｅｒ ，Ｓ ａ ｇ ａ ｉ Ｔｎ ｎｖ ｓｙ ａｏ ｏ ｎ ｍ ｆ ｃｏ ｎ ａ ｅｉ Ｓ ａｇ ａ ｅ ａ ｏａｏｙ ｏ ｇｔｌＭｅ ｉ ｒｃｓｉ ｎ ｒｎｍｓｉｎ，Ｓ ａ ｇ ａ ０ ２ ０ ｈｎ ｈ ｎ ｈ ｉＫ ｙＬ ｂｒｔｒ Ｄｉｉ ｄａ Ｐｏｅｓ ｇ ａ Ｔａｓ ｉ ｏ ｓ ｈ ｎ ｈ ｉ２ ０ ４ ，Ｃ ｉ ｆ ａ ｎ ｄ ｓ ａ）
题 显得尤 为突 出。在 飞机 、 坦克 等军用 场合 ， 同样 十分 有必 要对视 频进行 稳定化 处理 。视 频稳定 （ 称稳像 ） 简
经典 的电子稳像包含 ３ 个步骤 ： 全局运动估计 、 运动 补偿和 图像生成 。各种 算法都遵 循这个框 架 ， 每一个 在
步骤里 ， 又有各 自不 同的实现 。全局运动一 般指 的是视
频打交道 ， 活离不 开 电视 电影 ， 生 社会 的治 安离不 开监
而补偿摄像 平 台带来 的抖 动 ； 机械稳 像是利 用各种机械 设 备来设法保 证摄像 平 台的稳 定性 ， 在影像拍摄 上有较
多应用 。以上 两类稳 像对普通消费者而言 ， 代价过大 ， 而
且机械稳像设备不便 携带 ； 另一方面 ， 光学稳像和机械稳 像所 能达 到的效果仍不 能令人 满意 ， 其是 当抖 动较为 尤 剧烈时 ， 从而使得 电子稳像变得十分有必要 。
就是在 这些 需求下诞生 的。所谓稳像 ， 是指利用相关 的 算法 ， 对视频 设备 采集 的原始 视频 序列进行 处理 ， 除 去 其 中的抖动 。视频稳像 的 目的 ， 一方 面是为 了让人 眼观 感舒适 ， 有利 于人 工观测 、 判别 等 ， 另一方 面也作为诸 多 其他后 续处理 的预处 理 阶段 ， 检测 、 如 跟踪 和压 缩 。笔
【 ｓｒｃ】 Ｄ ｆ ｒｎ ｉｅ ｓ ｂｌａｉ ａ ｏ ｔｍｓ ｒ ｎｌｚｄ ｎ ｈｓ ａｅ，ｉｃ ｄｎ ｍ ｔ ｎ ｂｓｄ ｌ ｒｈ ｕ ｄｒ ｈ Ａｂｔａ ｔ ｉｅｅｔ ｄｏ ｔ ｉｚｔ ｎ ｌ ｒｈ ａｅ ａｙｅ ｉ ｔｉ ｐ ｒ ｎ ｌ ｉｇ ｏｉ — ａｅ ａ ｏｉ ｍｓ ｎ ｅ ｔｅ ｆ ｖ ａ ｉ ｏ ｇｉ ａ ｐ ｕ ｏ ｇ ｔ