一种基于改进光流法的电子稳像算法_程德强
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（ School of Information and Electrical Engineering ， China University of Mining and Technology， Xuzhou 221008 ， China）
Abstract： To improve the quality of images captured by moving underground cameras with the characteristics of low resolution， low illumination and being easily affected by noise ， a new electronic image stabilization algorithm based on improved optical flow was proposed． Firstly ， by extracting interframe matching feature points with the SUSAN algorithm ， an improved optical flow method based on pyramid was proposed to calculate the global motion vectors． Furthermore， in order to overcome the influence of moving objects and moving background within images， the ＲANSAC algorithm was used to eliminate the error matching points， and a dynamic update mechanism for reference frame was proposed． Considering the feature of uncertain jitter from underground moving carriers， the vectors of motion compensation were solved by the mean filter algorithm， which can retain the active movement while filtering the random jitter． Theoretical analysis and experimental results show that the proposed method can not only retain the processing precision for motion vector by pyramidbased optical flow method ， but also improve the realtime property of the algorithm． It has a better effect on stabilizing the coal mine underground jitter video sequence． Key words： electronic image stabilization ； SUSAN algorithm； optical flow 煤炭安全高效开采中， 发展以实现无人化开采为 目标的智能技术与装备对我国煤炭开采产业的发展
第 40 卷第 3 期 2015 年 程德强， 郭 3月 政， 刘
煤 炭 学 报 JOUＲNAL OF CHINA COAL SOCIETY
Vol． 40 Mar．
No． 3 2015
J］ ． 煤炭学报， 2015 ， 40 （ 3 ） ： 707 － 712． doi： 10． 13225 / j． cnki． 洁， 等． 一种基于改进光流法的电子稳像算法［
电子稳像首先对图像序列进行全局运动估计 ， 取 得运动参数后进行综合评价， 然后进行运动补偿， 最 终获取稳定的输出序列。 运动估计方法主要有投影法、 块匹配法、 光流法 是利用图像灰度分布变化的特 点得到图像帧间运动矢量的， 该算法应用条件是图像 的灰度变化比较丰富， 投影曲线形状特征明显， 但是 煤矿井下机载视频采集到的图像序列一般是低照度 和低清晰度的， 其灰度变化并不十分丰富； 传统的块 匹配 没有考虑图像内容， 也 算法将图像固定分块， 没有考虑运动时间上的相关性， 因而估计所得运动矢
r∈ C （ r o ）
像上所有像素点的光流速度分量计算 ， 实现对运动矢 ［11 ］ 量的提取， 所需要的运算时间较长 。 鉴于此， 本文 采用光流法结合 SUSAN 快速角点检测算法来进行运 动估计， 首先通过 SUSAN 角点检测出图像序列所有 像素点中的特征点， 再对特征点进行光流法求取运动 矢量， 既保存了光流法进行运动估计的精度， 又减少 了整个算法的运行时间。 为了克服矿井机载视频抖动序列中目标物体的 运动对稳像效果的影响， 本文提出的算法在获取运动 矢量后， 先采用随机抽样一致（ ＲANSAC ） 算法去除误 匹配点， 再采用均值滤波算法获取需要补偿的随机抖 动运动参数， 实验表明， 本文算法有效避免了图像中 局部运动物体对稳像精度的影响 。此外， 由于矿下机 载视频序列背景不断变化， 本文采用每一当前帧的相
［10 － 11 ］
{ [ I （ r）
－ I（ r o ） t
]}
（ 1）
C （ r， r o ） 为相似比较函数； I （ r o ） 为核点像素的 式中， 灰度值； I（ r） 为模板内其他像素点的灰度值； t 为 SUSAN 的阈值， 本文取 t = 25 ； （ 3 ） 由相似比较函数的计算可以得到每个像素 的 USAN 区域大小， 其表达式为 n（ r o ） =
［14］ 于 1950 年 提 出 ， 光流的概 念 最 早 由 Gibson
之后二维速度场和灰度被联系起来 ， 建立了光流基 本约束方程 ， 通过附加一定的约束条件以求解运动 矢量 ， 其中运用最多的有微分光流法中的 L － K 算
∑
C （ r， ro ）
（ 2）
（ 4 ） 得到每个像素的 USAN 区域大小后， 再由角 点响应函数产生角点初始响应为 Ｒ（ ro ） = ） {0g － n（（ r其他 ）
o
（ n（ r o ） ＜ g）
（ 3）
g 为几何阈值， 式中， 取g =
1 n ； 2 max
（ 5 ） 最后使用非极大值抑制来获取角点 。 1. 2 光流法获取运动矢量
Technology ） 是综合电子、 计算机、 数字信号处理等技 术为一体的新一代实现图像序列稳定的技术 ， 通过数 字图像处理技术对图像序列进行运动估计进而进行 运动补偿来去除图像中的抖动等非正常偏移 ， 具有稳 定精度高， 实时性强等特性
［6Hale Waihona Puke Baidu］
。
1
1. 1
运动矢量的获取
SUSAN 角点检测算法
［8 ］
SUSAN 算法［13］ 是 Smith S M 和 Brady J M 基于 同核分割 （ USAN ） 概念共同提出的。 它直接利用像 素的灰度进行角点检测， 可以根据 USAN 区域面积的 大小检测出角点， 该方法在抗噪和运算速度方面有很 大的优势
［13 ］
等。其中投影算法
［7 ］
。结合煤矿井下视频序列和整个算法的
改进光流模型， 实现抖动视频序列的全局运动矢量计算 。为克服机载图像中局部运动目标和移动 背景的影响， 利用 ＲANSAC 算法去除误匹配点， 提出稳像参考帧的动态更新机制。 针对矿下机载 摄像抖动的不确定性， 运用均值滤波求解运动补偿矢量， 在保留主动运动的同时过滤随机抖动 。理 论分析和实验结果表明， 提出的算法不仅保留了光流法获取运动矢量的精度 ， 而且提高了算法的实 时性， 对于煤矿井下机载抖动视频序列具有较好的稳像效果 。 关键词： 电子稳像； SUSAN 算子； 光流 中图分类号： TD679 文献标志码： A 文章编号： 0253 － 9993 （ 2015 ） 03 － 0707 － 06
708
煤
炭
学
报
［12 ］
2015 年第 40 卷
输到地面。但是在获取煤矿井下视频时， 运动载体的 移动造成了采集图像载体抖动使得拍摄的视频产生 不稳定现象， 极大的影响了煤矿井下现场的呈现和后 期识别效果。所以， 在运动的载体中， 摄像系统的稳 像是十分重要的一个问题。 、 稳像技术包括机械稳像 光学稳像 和电子 稳像 。 电子稳像技术 （ Electronic Image Stabilizing
本文采用 SUSAN 角点检测法提取图像 实时性要求， 序列的特征点， 其具体步骤如下： （ 1 ） 以点 （ x， y ） 为中心做半径为 r 的圆， 用圆形 模板遍历图像； （ 2 ） 使用相似比较函数计算模板中各像素点与 核点的相似度； C （ r， r o ） = exp －
量一致性较差并且需要相当长的计算时间 。 9］提出将 HAＲＲIS 结合光流法进行运动 文献［ 估计以实现电子稳像， 并对地面车载抖动视频序列取 。 得了较好的稳像效果 但是 HAＲＲIS 角点检测中存 在的梯度运算， 不仅使计算过程比较复杂、 实时性较 差， 并且存在特征点冗余现象， 易发生噪声环境中特 征点之间的误匹配 ， 在矿井高噪声环境下的实 时运动矢量求解中受到限制。此外， 光流法通过对图
一种基于改进光流法的电子稳像算法
程德强， 郭 政， 刘 洁， 钱建生， 张媛媛， 张佳琳
（ 中国矿业大学 信息与电气工程学院， 江苏 徐州 221008 ）
摘
提出了一种 要： 针对煤矿井下机载抖动视频序列低照度 、 低清晰度以及易受噪声影响的特点， 。 SUSAN ， 基于改进光流法的电子稳像算法 算法利用 算子获取帧间匹配特征点 并提出基于金字塔
jccs． 2014． 0641 Cheng Deqiang， Guo Zheng， Liu Jie， et al． An electronic image stabilization algorithm based on improved optical flow method［ J］ ． Journal of China Coal Society， 2015 ， 40 （ 3 ） ： 707 － 712． doi： 10． 13225 / j． cnki． jccs． 2014． 0641
［5 ］ ［2 － 3 ］ ［4 ］
邻帧为参考帧的更新机制
。
本文针对 煤 矿 井 下 特 殊 照 明 和 噪 声 环 境 下 的 机载抖动视频序列 ， 提出了一种金字塔光流法结合 SUSAN 角点检测算法获取运动矢量 的 电 子 稳 像 算 法 。 首先采用 SUSAN 角点检测获取图像序列特征 点， 然后用金 字 塔 光 流 法 求 解 全 局 运 动 矢 量 ， 并用 ＲANSAC 算法去除误匹配点 ， 最后采用均值滤波算 法求解运动补偿矢量 ， 对原视频序列进行运动补偿 以实现稳像 ， 实验和仿真结果证实了本文提出算法 的有效性 。
［1 ］ 随着煤矿井下机载视频采 具有重要意义 。 其中， ， 集设备的应用 大量的煤矿井下视频画面被实时的传
收稿日期： 2014 － 05 － 21 责任编辑： 许书阁 基金项目： 国家自然科学基金 （ 煤炭联合基金） 资助项目 （ U1261105 ） ； 国家自然科学基金资助项目 （ 51204175 ） ； 江苏省产学研前瞻性联合研 究资助项目（ SBY2013019 － 06 ） E － mail： cdqcumt@ 126． com 作者简介： 程德强（ 1979 —） ， 男， 河南洛阳人， 教授， 博士。Tel： 0516 － 83995219 ，
An electronic image stabilization algorithm based on improved optical flow method
CHENG Deqiang， GUO Zheng ， LIU Jie， QIAN Jiansheng ， ZHANG Yuanyuan ， ZHANG Jialin
Abstract： To improve the quality of images captured by moving underground cameras with the characteristics of low resolution， low illumination and being easily affected by noise ， a new electronic image stabilization algorithm based on improved optical flow was proposed． Firstly ， by extracting interframe matching feature points with the SUSAN algorithm ， an improved optical flow method based on pyramid was proposed to calculate the global motion vectors． Furthermore， in order to overcome the influence of moving objects and moving background within images， the ＲANSAC algorithm was used to eliminate the error matching points， and a dynamic update mechanism for reference frame was proposed． Considering the feature of uncertain jitter from underground moving carriers， the vectors of motion compensation were solved by the mean filter algorithm， which can retain the active movement while filtering the random jitter． Theoretical analysis and experimental results show that the proposed method can not only retain the processing precision for motion vector by pyramidbased optical flow method ， but also improve the realtime property of the algorithm． It has a better effect on stabilizing the coal mine underground jitter video sequence． Key words： electronic image stabilization ； SUSAN algorithm； optical flow 煤炭安全高效开采中， 发展以实现无人化开采为 目标的智能技术与装备对我国煤炭开采产业的发展
第 40 卷第 3 期 2015 年 程德强， 郭 3月 政， 刘
煤 炭 学 报 JOUＲNAL OF CHINA COAL SOCIETY
Vol． 40 Mar．
No． 3 2015
J］ ． 煤炭学报， 2015 ， 40 （ 3 ） ： 707 － 712． doi： 10． 13225 / j． cnki． 洁， 等． 一种基于改进光流法的电子稳像算法［
电子稳像首先对图像序列进行全局运动估计 ， 取 得运动参数后进行综合评价， 然后进行运动补偿， 最 终获取稳定的输出序列。 运动估计方法主要有投影法、 块匹配法、 光流法 是利用图像灰度分布变化的特 点得到图像帧间运动矢量的， 该算法应用条件是图像 的灰度变化比较丰富， 投影曲线形状特征明显， 但是 煤矿井下机载视频采集到的图像序列一般是低照度 和低清晰度的， 其灰度变化并不十分丰富； 传统的块 匹配 没有考虑图像内容， 也 算法将图像固定分块， 没有考虑运动时间上的相关性， 因而估计所得运动矢
r∈ C （ r o ）
像上所有像素点的光流速度分量计算 ， 实现对运动矢 ［11 ］ 量的提取， 所需要的运算时间较长 。 鉴于此， 本文 采用光流法结合 SUSAN 快速角点检测算法来进行运 动估计， 首先通过 SUSAN 角点检测出图像序列所有 像素点中的特征点， 再对特征点进行光流法求取运动 矢量， 既保存了光流法进行运动估计的精度， 又减少 了整个算法的运行时间。 为了克服矿井机载视频抖动序列中目标物体的 运动对稳像效果的影响， 本文提出的算法在获取运动 矢量后， 先采用随机抽样一致（ ＲANSAC ） 算法去除误 匹配点， 再采用均值滤波算法获取需要补偿的随机抖 动运动参数， 实验表明， 本文算法有效避免了图像中 局部运动物体对稳像精度的影响 。此外， 由于矿下机 载视频序列背景不断变化， 本文采用每一当前帧的相
［10 － 11 ］
{ [ I （ r）
－ I（ r o ） t
]}
（ 1）
C （ r， r o ） 为相似比较函数； I （ r o ） 为核点像素的 式中， 灰度值； I（ r） 为模板内其他像素点的灰度值； t 为 SUSAN 的阈值， 本文取 t = 25 ； （ 3 ） 由相似比较函数的计算可以得到每个像素 的 USAN 区域大小， 其表达式为 n（ r o ） =
［14］ 于 1950 年 提 出 ， 光流的概 念 最 早 由 Gibson
之后二维速度场和灰度被联系起来 ， 建立了光流基 本约束方程 ， 通过附加一定的约束条件以求解运动 矢量 ， 其中运用最多的有微分光流法中的 L － K 算
∑
C （ r， ro ）
（ 2）
（ 4 ） 得到每个像素的 USAN 区域大小后， 再由角 点响应函数产生角点初始响应为 Ｒ（ ro ） = ） {0g － n（（ r其他 ）
o
（ n（ r o ） ＜ g）
（ 3）
g 为几何阈值， 式中， 取g =
1 n ； 2 max
（ 5 ） 最后使用非极大值抑制来获取角点 。 1. 2 光流法获取运动矢量
Technology ） 是综合电子、 计算机、 数字信号处理等技 术为一体的新一代实现图像序列稳定的技术 ， 通过数 字图像处理技术对图像序列进行运动估计进而进行 运动补偿来去除图像中的抖动等非正常偏移 ， 具有稳 定精度高， 实时性强等特性
［6Hale Waihona Puke Baidu］
。
1
1. 1
运动矢量的获取
SUSAN 角点检测算法
［8 ］
SUSAN 算法［13］ 是 Smith S M 和 Brady J M 基于 同核分割 （ USAN ） 概念共同提出的。 它直接利用像 素的灰度进行角点检测， 可以根据 USAN 区域面积的 大小检测出角点， 该方法在抗噪和运算速度方面有很 大的优势
［13 ］
等。其中投影算法
［7 ］
。结合煤矿井下视频序列和整个算法的
改进光流模型， 实现抖动视频序列的全局运动矢量计算 。为克服机载图像中局部运动目标和移动 背景的影响， 利用 ＲANSAC 算法去除误匹配点， 提出稳像参考帧的动态更新机制。 针对矿下机载 摄像抖动的不确定性， 运用均值滤波求解运动补偿矢量， 在保留主动运动的同时过滤随机抖动 。理 论分析和实验结果表明， 提出的算法不仅保留了光流法获取运动矢量的精度 ， 而且提高了算法的实 时性， 对于煤矿井下机载抖动视频序列具有较好的稳像效果 。 关键词： 电子稳像； SUSAN 算子； 光流 中图分类号： TD679 文献标志码： A 文章编号： 0253 － 9993 （ 2015 ） 03 － 0707 － 06
708
煤
炭
学
报
［12 ］
2015 年第 40 卷
输到地面。但是在获取煤矿井下视频时， 运动载体的 移动造成了采集图像载体抖动使得拍摄的视频产生 不稳定现象， 极大的影响了煤矿井下现场的呈现和后 期识别效果。所以， 在运动的载体中， 摄像系统的稳 像是十分重要的一个问题。 、 稳像技术包括机械稳像 光学稳像 和电子 稳像 。 电子稳像技术 （ Electronic Image Stabilizing
本文采用 SUSAN 角点检测法提取图像 实时性要求， 序列的特征点， 其具体步骤如下： （ 1 ） 以点 （ x， y ） 为中心做半径为 r 的圆， 用圆形 模板遍历图像； （ 2 ） 使用相似比较函数计算模板中各像素点与 核点的相似度； C （ r， r o ） = exp －
量一致性较差并且需要相当长的计算时间 。 9］提出将 HAＲＲIS 结合光流法进行运动 文献［ 估计以实现电子稳像， 并对地面车载抖动视频序列取 。 得了较好的稳像效果 但是 HAＲＲIS 角点检测中存 在的梯度运算， 不仅使计算过程比较复杂、 实时性较 差， 并且存在特征点冗余现象， 易发生噪声环境中特 征点之间的误匹配 ， 在矿井高噪声环境下的实 时运动矢量求解中受到限制。此外， 光流法通过对图
一种基于改进光流法的电子稳像算法
程德强， 郭 政， 刘 洁， 钱建生， 张媛媛， 张佳琳
（ 中国矿业大学 信息与电气工程学院， 江苏 徐州 221008 ）
摘
提出了一种 要： 针对煤矿井下机载抖动视频序列低照度 、 低清晰度以及易受噪声影响的特点， 。 SUSAN ， 基于改进光流法的电子稳像算法 算法利用 算子获取帧间匹配特征点 并提出基于金字塔
jccs． 2014． 0641 Cheng Deqiang， Guo Zheng， Liu Jie， et al． An electronic image stabilization algorithm based on improved optical flow method［ J］ ． Journal of China Coal Society， 2015 ， 40 （ 3 ） ： 707 － 712． doi： 10． 13225 / j． cnki． jccs． 2014． 0641
［5 ］ ［2 － 3 ］ ［4 ］
邻帧为参考帧的更新机制
。
本文针对 煤 矿 井 下 特 殊 照 明 和 噪 声 环 境 下 的 机载抖动视频序列 ， 提出了一种金字塔光流法结合 SUSAN 角点检测算法获取运动矢量 的 电 子 稳 像 算 法 。 首先采用 SUSAN 角点检测获取图像序列特征 点， 然后用金 字 塔 光 流 法 求 解 全 局 运 动 矢 量 ， 并用 ＲANSAC 算法去除误匹配点 ， 最后采用均值滤波算 法求解运动补偿矢量 ， 对原视频序列进行运动补偿 以实现稳像 ， 实验和仿真结果证实了本文提出算法 的有效性 。
［1 ］ 随着煤矿井下机载视频采 具有重要意义 。 其中， ， 集设备的应用 大量的煤矿井下视频画面被实时的传
收稿日期： 2014 － 05 － 21 责任编辑： 许书阁 基金项目： 国家自然科学基金 （ 煤炭联合基金） 资助项目 （ U1261105 ） ； 国家自然科学基金资助项目 （ 51204175 ） ； 江苏省产学研前瞻性联合研 究资助项目（ SBY2013019 － 06 ） E － mail： cdqcumt@ 126． com 作者简介： 程德强（ 1979 —） ， 男， 河南洛阳人， 教授， 博士。Tel： 0516 － 83995219 ，
An electronic image stabilization algorithm based on improved optical flow method
CHENG Deqiang， GUO Zheng ， LIU Jie， QIAN Jiansheng ， ZHANG Yuanyuan ， ZHANG Jialin