抖动视频的电子稳像算法_邹刚

Abstract： An efficient algorithm of electronic image stabilization based on ROI（ Region Of Interest） was proposed the Gaussian pyramid is constructed by the capin order to solve the jitter problem in video sequences． Firstly， tured images and each frame is downsampled in the following． And then fine estimation is performed by using the optical flow gradient algorithm． So the parameters of affine transform are obtained． Finally， motion compensation is conducted to each frame and the stabilization sequence is acquired． Experimental results show that the subjective effect of the algorithm is good． The algorithm proposed suits for the motion with translation， rotation and scaling the PSNR （ Peak while it has better robustness and precision． Compared with the original images before process， SignaltoNoise Ratio） of the stabled sequences improved approximate 10 dB． Key words： electronic image stabilization； region of interest（ ROI） ； Gaussian pyramid； affine translation
Electronic Image Stabilization Algorithm of Jitter Video
ZOU Gang， HE Kai， HE Hailong， ZHUO Lei
（ School of Electronic Information Engineering， Tianjin University， Tianjin 300072 ， China）
FiΒιβλιοθήκη Baidu． 3
图 3 婚庆视频稳像前的连续 6 帧图像 The continuous 6 frames before stabilization in a wedding video
第 30 卷 第 5 期 2012 年 9 月
吉 林 大 学 学 报 （ 信 息 科 学 版） Journal of Jilin University （ Information Science Edition）
Vol． 30 No． 5 Sept． 2012
5896 （ 2012 ） 05048705 文章编号： 1671-
抖动视频的电子稳像算法
邹 刚， 何 凯， 何海龙， 卓 磊
（ 天津大学 电子信息工程学院， 天津 300072 ）
摘要： 为解决视频序列中出现的抖动问题， 提出了一种基于感兴趣区域的电子稳像算法 。 该算法首先对采集到 的每帧图像建立高斯金字塔并进行下采样， 然后结合稳像数学模型， 求解仿射变换参数， 最后对每帧画面进行运 动补偿， 输出稳定的图像序列。仿真实验结果表明， 该算法具有较好的稳像效果， 对较大的旋转和平移运动， 有 稳定图像序列帧间的峰值信噪比平均提高了约 10 dB。 较强的鲁棒性和准确性 。与原始序列相比， 关键词： 电子稳像； 感兴趣区域； 高斯金字塔； 仿射变换 中图分类号： TP391． 41 ； TG156 文献标识码： A
［3 ］ ［4 ］ ［5 ］ ［6 ］ ［7 ］ 、 相位匹配算法 、 特征点匹配算法 、 位平面匹配算法 和投影算法 等。 这些方法各
0327 收稿日期： 2012作者简介： 国家自然科学基金资助项目（ 61002030 ） （ Tel ） 86作者简介： 邹 刚 （ 1987 — ） ， 男 （ 土 家 族） ， 贵 州 思 南 人， 天 津 大 学 硕 士 研 究 生， 主 要 从 事 数 字 图 像 与 视 频 处 理 研 究， 18722089679 （ Email） zougang825@ 163． com； 何凯（ 1972 — ） ， 男， 沈阳人， 天津大学副教授， 硕士生导师， 主要从事数字图像 （ Tel） 8615510810452 （ Email） hekai626@ 163． com。 处理研究，
高斯金字塔是个多分辨率的图像序列 ， 序列中的每帧图像均是其前一帧图像在空间上低通滤波的结 。最高分辨率的图像为原始图像， 它处在高斯金字塔的第 0 层， 越往上图像分辨率越低， 如图 1 所
［12 15 ］
首先在最小分辨率层 （ L 层 ） 进行运动估 示。多分辨率运动估计的基本思想是 ： 设高斯金字塔共有 L 层， 计， 估计的运动矢量设为 a， 然后再对 L － 1 层进行运动估计， 此时，
2
图像序列帧补偿
T 后， 求得矩阵 A、 对图像进行运动补偿。 笔者采用逐帧 ［15 ， 16 ］ ， 补偿法 其原理如图 2 所示， 即在求出原始图像序列中 对该运动矢量序列进行均值平 每相邻两帧间的运动矢量后， 滑， 得到平滑的运动矢量。 逐帧补偿中通常存在很大的积累 误差， 所以， 要适时对参考帧进行替换。 图 2 逐帧补偿法 Fig． 2 Sequence compensation for frames
0
引
言
在家庭相机拍摄 DV（ Digital Video） 及车载视频中， 经常会出现由于抖动而造成一些不期望的图像运 动。为保证后续的视频检测、 自动跟踪和目标判断的准确性以及视觉的舒适性 ， 对抖动视频的稳定处理具 其目的是从动态视频序列中去除不需要的抖动 ， 输出补偿后 有重要意义。视频稳定是一种视频复原技术， 电子稳像技术是一种将电子、 计算机、 图像处理等技术融为一体实现图像稳定的 的视频图像序列。其中， ［13 ］ ， 技术， 具有精度高、 功耗低和体积小等优点 是当前的研究热点。 电子稳像通常需要选取某帧作为参考帧 ， 通过求出后续帧相对于参考帧的运动矢量 ， 确定后续图像帧 ［3 ］ 其中获取连续图像序列的运动矢量是电子稳像的关键 。目前， 运动矢量估计的算法很多， 的补偿参数 ， 如块匹配算法
（ 8）
令
dE（ a） = 0， 求解可得 da a =
[ ∑ mm T ] [ ∑ ms ]
－1 Ω Ω
（ 9）
T 的 6 个参数。当误差函数逼近零时， 根据 a， 可得组成 A， 实现的仿射变换最为理想。 利用式 （ 2 ） 进 行逆变换， 即可实现当前图像帧的运动补偿 。
1． 2
果
高斯金字塔模型
2 E （ a） ≈ ∑［ s － m T a］ Ω
（ 5） （ 6） （ 7）
其中 进一步将式（ 5 ） 差分线性化处理可得
s = I t + xI x + yI y m T = （ xI x ， yI x ， xI y ， yI y ， Ix ， Iy ） dE（ a） = da 2 m［ s － m T a］ ∑ Ω
［8 ］
并进行下采样， 然后结合稳像数学模型， 求解出仿射变换参数， 最后对每帧画面进行运动补
偿， 输出稳定的图像序列。实验证明， 该算法在估计运动参数时有较强的鲁棒性和准确性 ， 可以同时对旋 转及平移运动进行补偿。
1
1． 1
基于感兴趣区域的运动参数估计
图像帧序列运动矢量模型
［911 ］ 根据帧间相对运动的特点， 笔者采用仿射变换模型 （ Affine ） 描述图像序列帧间的平移、 绕光轴旋
［9 ， 12 ］
， 表示为 E（ a） =
x， y∈Ω
y， t） ∑ ［I（ x，
2 － I （ a1 x + a2 y + a5 ， a3 x + a4 y + a6 ， t － 1） ］
（ 4）
其中 Ω 为用户设定的感兴趣区域（ ROI） 。 y 和时间 t 的偏导 I x 、 Iy 和 It ， 假设已求出图像强度 I 对 x、 则误差函数可用泰勒级数近似展开
T a2 ， a3 ， a4 ， a5 ， a6 ） 表示当前图像相对于参考图像的运动矢量 ， 转及变焦运动。设 a = （ a1 ， 则图像序列相邻
y， t） 和 I（ x， y， t － 1 ） 之间的仿射变换关系可表示为 帧 I（ x， I（ x， y， t ） = I （ a1 x + a2 y + a5 ， a3 x + a4 y + a6 ， t － 1） 其运动符合数学模型 （ 1）
第5 期
邹刚，等： 抖动视频的电子稳像算法
489
A=
(
a1 a3
a2 a4
) (
，T =
2 L － 1 a5 2 L － 1 a6
)
（ 10 ）
以此类推， 最后得到最高分辨率层的运动矢量。 每到达一个新 通过对上一层的运动矢量进行内插， 形成当前层的 的分辨率时， 初始解， 然后通过最小化误差函数更新运动矢量， 可以获得精细 ［14 ］ 的矢量估计 。 针对感兴趣区域进行多分辨率运动估计， 首先为相邻的两 I （ x ， y ， t ） I （ x ， y ， t － 1 ） L 帧图像 和 分别建立一个 = 4 层的高斯金 字塔， 设第 1 帧图像的感兴趣区域为 Ω， 然后进行多分辨率运动 T 后， 估计， 求得 A、 再对当前帧进行二维图像立方插值处理， 得 到第 2 帧的感兴趣区域， 再以第 2 帧作为参考帧， 依次求得相邻 Fig． 1 帧之间的仿射变换参数。 图 1 高斯金字塔示意图 The schematic of Gaussian pyramid
[Y ] (a a )[Y ] [a ]
Xi
i
=
a1
3
a2
4
Xj
j
+
a5
6
（ 2）
Y i ） 表示当前帧的坐标， （ Xj ， Y j ） 表示参考帧的坐标。 其中（ X i ， 令 A=
(
a1 a3
a2 a4
) [ ]
，T = a5 a6
（ 3）
T 包含平移信息。因此， 其中 A 矩阵为仿射变换矩阵， 包含相邻帧之间的旋转、 缩放和畸变等变化信息， 只 要求出式（ 2 ） 中的 6 个参数， 即可实现参考帧到当前帧的仿射变换 。a 可以使用相邻帧图像间的最小误差 函数 E 求解
488
吉 林 大 学 学 报 （ 信 息 科 学 版）
第 30 卷
有优点， 如块匹配算法估计运动矢量精度高 ， 代表点比较算法计算量较小， 位平面匹配算法降低运动估计 提高实时性； 投影算法速度快、 性能稳定。但是， 上述方法对处理较大的旋转和平移运动时往往 的计算量， 不够理想。为此， 笔者提出了一种基于感兴趣区域的视频稳像算法 ， 算法首先对采集到的每帧图像建立高 斯金字塔
3
实验结果及评价
为验证上述方法的有效性， 采用手持相机拍摄的婚庆视频进行仿真实验。 图 3 为其中连续的 6 帧图 像。从图 3 可以看出， 视频出现了很大的晃动。视频图像大小为 320 ˑ 240 ， 视频帧率为 25 帧 / s， 图 3 中婚 车选为感兴趣的目标。经算法处理后， 得到了相对稳定的图像序列， 其中， 图 3 中的 6 帧图像处理效果如 在较大晃动的情况下， 该算法成功地去除了视频画面的抖动 。 图 4 所示。由图 4 可以看出， 为更明显地显示图像在补偿前后的区别 ， 笔者选取图 3a 作为参考帧， 图 3b 作为当前帧， 并对处理前 后的图像帧与参考帧进行差值比较 ， 得到差值结果（ 见图 5 ） 。从图 5a 中可看出， 差值比较结果明显， 即当 前帧相对于参考帧的偏移量很大 ； 而在图 5b 中， 补偿后的图像帧与参考帧基本重合 ， 达到稳像的目的。