数字图像稳像算法研究_刘玉红

1 引言
摄像机置于运动 载体上时, 由于载 体的运动和 载体机座 的振动导致 摄像 机 的晃 动, 拍 摄的 图像 序 列出 现了 抖 动现 象, 图像的抖动很容 易引起 眼睛 的疲劳, 影 响观 测者对 图像 序列的观看和分析, 也影响了图像的 后续处理。为 了减轻或 消除这种抖动, 稳定图像, 已有 多种稳像方法被提出。
2. 1. 1 光流法 [ 4] 光流法其基本思 想是 将运动 图像 函数 f ( x, y, t) 作 为基
本函数, 根据图像强度 守恒原 理建 立光 流约束 方程, 通 过求
解光流约束方程, 计算运动参数。图像强度守 恒是指: 对于同 一个目标点来说, 可以认为在时刻 t + dt、图像点 ( x + dx, y + dy ) 的强度 f ( x + dx, y + dy, t+ dt ) 应当与在时刻 t、图像点 ( x, y ) 的强度 f ( x, y, t) 相等 , 即:
则, 找出与当前块最相似的块, 即为匹配块, 当前块 与匹配块 之间的相对位 移即为当前块的运动矢量 v。
匹 配算法 根据匹 配准则 和搜索 策略的不 同可分 为不同
的匹配算法。匹配准则 主要 有均方 误差 准则 (M SE)、平均绝
对帧差准则 (M AD ) 等。这两个准则公式如下:
E E EM SE ( i, j )
f ( x + dx, y + dy, t + dt ) = f ( x, y, t)
( 1)
根据函数 f ( x, y, t) 中变量 x、y 和 t的连续性, 可将上式
左边在点 ( x, y, t) 处做泰勒 ( T ay lo r) 级数展开, 略去高阶项
并同时除以 dt 可得到:
5f 5x
dx dt
第 25卷 第 7期 文章编号: 1006 - 9348( 2008) 07 - 0200- 05
计算机仿真
数字图像稳像算法研究
2008年 7月
刘玉红, 涂丹
(国防科学技术大学信息系统与管理学院, 湖南 长沙 410073)
摘要: 介绍了数字图像稳像算法的整个流程, 包括三部分: 运动估计、运动决 定和运动补偿。重 点介绍了运动 估计算法 和运 动补偿中的滤波算法; 详细阐述了几种最基本的运动估计算法, 其它的运动估计算法可以通过这些基本算法延伸 发展得到; 列出了三种常用的滤波算法: 中值滤波、kalm an滤波和二次 B 样条 曲线法, 应 用于不同 的场合; 提 出了两种 方法: 裁减 和拼 接, 用来解决当前帧补偿后出现的空白区域问题。最后, 展示了一 种基于投 影估计和 ka lm an滤 波的稳像 算法的试 验结果。 通过这些方法的介绍, 可以对稳像算法有更直观的了解, 探讨了进一步研究的重点。 关键词: 电子稳像; 运动估计; 运动补偿; 运动模型 中图分类号: TP317. 4 文献标识码: B
几种精度有所 下降, 但计算量也减少了很多。 块匹配算 法是一 种经典 算法, 它的 估计精 度很 高, 但是
计算量很大, 即使通过改进, 计算量仍然很大 , 故不 适用于实
时处理, 但是在某些需要高估计精度而 不强调时间 的场合很 适用。 2. 1. 3 特征法 [ 6]
特征法, 顾 名思义, 利用图像 的特征 来求取 图像 的运动 矢量。图像的特 征有很多 , 通常有 角点、直边 缘、曲边 缘等局
) 201 )
平移模型:
刚性模型:
xc =
x +
tx
yc
y
ty
xc =
cosH - s inH x +
部特征和型心 、表面积、惯量矩的长短轴等全 局特征。在具体
应用中, 采用什么特征 量主 要看目 标具 有哪些 特性。特征法 求取的运动矢 量是局部运动矢量, 还需 要利用局部 运动矢量
求取全局运动 矢量, 这 就需 要采用 数学 模型, 将 特征 量的局 部运动矢量带 入数学模型中, 然后求解 方程组得到 全局运动 矢量。常用的数学模型为:
+
5f 5y
dy + dt
5f 5t
=
0
( 2)
上式就是 基本的光流约束方程。
记
Ex =
55fx, Ey =
55yf, E t =
5f 5t
( 3)
可得光流 方程的另一种形式:
Ex u + Ey v + E t = 0
( 4)
采用迭代 方法, 解上面的方程得到 u、v值, 即为帧间运动
矢量。
基于光流 的方法由于是利用灰度的变化 信息, 需要从图 像序列的灰度 变化中计算速度场, 在复 杂背景下由 于实际景 物中的速度场 不一定总 是与图 像中 的直观 速度 场有 唯一对
的运动和图像中 小目标 的运 动及抖 动矢 量, 滤除抖 动, 保留 摄像机的正常扫描运 动, 运动补偿是根 据估计出的 抖动参数
来补偿原图像, 以获得稳定图像。下面 将详细介绍 各种运动 估计算法和补偿方法 。
2. 1 运动估计算法
运动估计是电子稳像算法 的核心部分, 各种稳 像系统的 主要不同点就在于 运动 估计算 法的 不同和 运动 补偿方 法的
ABSTRACT: T he process o f d ig ita l im ag e stabilization, wh ich inc ludesm o tion estima tion, determ ination, and m otion com pensation, is introduced. F ilte r m ethods in the m otion compensation are m epha tica lly introduced. Severa l bas ic m o tion estim ation a lgor ithm s are c ircum stantiated, from w hich other m otion estima tion algorithm could be developed. Three cmmonly used filter a lgor ithm s .i e. the m edian filter, the kalm an filte r and the tw o- order B - spline- based filter are listed. T r imm ing and m osa ic, the ways fo r so lv ing the prob lem o f filling in the blank fie ld afte r com pensation are introduced. A lso, the experim ent results of pro jection estim ation & kalman filte r based stab ilization algor ithm are show ed in th is paper. Further cha llenges are foreseen from these in troductions. KEYW ORDS: E lectron ic im age stab ilization; M o tion estim ation; M o tion compensation; M o tion m ode l
2 数字图像稳像算法
数字图像稳像稳定 的是一个图像序列, 其基本 原理如下 图 1所示。
图 1 稳像原理图 如 图 1所 示, 当 没有 抖 动时, 参 考 帧图 像 中的 五 角星 b lock和当前帧图像中 的五角 星 b lo ck1 处于 同一位 置 ( 当前 帧图像中的虚 五角星位置 )。而 当存在 抖动 时, 在当 前帧中
配块中对应点 的像素值。准则不同, 计算量也不同。
根据搜索 策略的不同, 比较常用的 块运动估计 匹配算法
有全搜索运动 估计 ( FS)、两 步搜索运 动估计 ( TW SS)、三步
运动估计 ( T SS)、和 D iam ond 运 动估计 ( DS) [ 8]。这 几种搜索
策略中, 全搜索策略估计精度最高, 同时计算 量也最大, 其余
一 个完整 的数字 图像稳 像系统不 仅包括 稳像算 法还包 括稳像之前的预处理 , 其稳像流程通常如下图 2所示。
图 2 电子稳像流程
预处理主要 包括 滤除 原始 图像 中的 噪声, 采 用直 方图 均化增强图像的细节 等; 运动估计主要 是估计出图 像的全局 运动参数; 运动决定是在估计出的运动 矢量中分辨 出摄像机
不同。运动估计算 法可 以分为 频域 上的估 计与 空域上 的估
计。频域估计方法 是先 将图像 进行 傅立叶 变换 转为频 域空
间, 再利用频率信息处理, 由采用。 平常使 用较 多的是 空域
上的方法。大致可分为两类: 基于光流 的方法和基 于特征的 方法。具体可分为以下几种:
五角 星 block1移 动到 了如 图所 示的 实五 角星 block2位 置, b lock与 block2位置不一样, 通 过视 频显 示出 来的 时候 就会 出现模糊, 稳像的目 的就是 消除 这种模 糊, 也就 是将当 前帧 中的实五角星 block2移动到虚五 角星 block1位置, 使得当前 帧图像与参考帧 图像 一样。运 动估 计算法 就是 计算当 前帧
A D igital Im age Stabilization A lgorithm
L IU Y u- hong, TU D an
( Schoo l o f Inform ation and M anagem ent, N ationa lU n iversity o f D efence T echno logy, Changsha H unan 410073, Ch ina)