基于视频抖动的灰度投影稳像算法
基于灰度投影算法的实时电子稳像研究
27卷 第10期2010年10月微电子学与计算机M ICROELECTRONICS &COM PUTERVo l.27 N o.10October 2010收稿日期:2009-07-24;修回日期:2009-09-24基金项目:山西省青年科技研究基金(2009021019-2)基于灰度投影算法的实时电子稳像研究张国栋,王明泉,郭 栋(中北大学仪器科学与动态测试教育部重点实验室,山西太原030051)摘 要:实时电子稳像的目的是除去视频图像序列中因摄像机无意抖动而造成的图像扰动,从而保证修正后输出的视频图像序列是平滑、稳定的.灰度投影算法将初始的二维图像信息映射成两个独立的一维信息后,只对图像行列的投影曲线做一次相关运算便可较准确地检测出图像序列的帧间运动矢量,具有图像信息利用充分、算法稳定性好等优点.同时由于该算法对灰度图像进行直接处理,能够反映出图像的整体特征并有效地抑制了噪声,具有较高的稳像精度.实验结果表明,该算法具有较好的稳像效果.关键词:灰度投影;电子稳像;投影曲线;图像运动矢量中图分类号:T P391 文献标识码:A 文章编号:1000-7180(2010)10-0053-04Research on Real Time Electronic Image StabilizationBased on Gray Projection AlgorithmZHANG Guo dong,WANG M ing quan,GU O Dong(T he M inistry Education Key L ab for Instrumentation Science and Dynamic T est,No rth U niversity of China,T aiyuan 030051,China)Abstract:Real time electronic image stabilizatio n is a method to timely stabilize image sequences in imag e stabilizat ion al gor ithm,which r emove the unw anted movements of image.So as to ensure that the output of the v ideo image sequence is smoo th and stable.A fast digital image stabilization algorithm based on gray pr ojction is proposed in this paper :firstly,t he image is projected into one dimensional curves;then calculating movement vector by one dimensional cor relation.A nd adopting the g radation projection alg orithm to detect the inter fr ames mot ion vector of image sequence has many adv an tages,such as richly using the image information and good algorithm stability.Because t he alg orithm processes gr ay infor mation directly and could r estr ain the noises,it can acquir e high accur ate image stabilizatio n.And the simulatio n ex peri ments validate the performance of the algor ithm.Key words:g ray projection;image stabilizatio n;projection cur ves;movement vector1 引言随着摄像设备应用的日益广泛,摄像平台变得越来越多样化.通过车载摄像系统、手持摄影设备、飞机或者舰船摄影平台等得到的视频信号往往会因为摄像机的运动而发生抖动,导致图像显示序列模糊和抖动,使观察者产生疲劳感,进而容易产生误判、漏判,并且给进一步的图像处理带来困难.如何将这些视频信号转化为高质量的稳定视频显得尤为重要.由于电子稳像具有稳像精度高、体积小、重量轻、功耗低以及具有实时处理功能等优点,得到了广泛的研究和应用.目前实现电子稳像的算法有很多种,例如块匹配法、位平面匹配法、特征点匹配法等等.块匹配法和位平面匹配法都需要大量的计算时间,因此占用系统资源大,特征点匹配法简单、计算量小,但由于代表点是由坐标确定的,因此对图像变化不敏感,图像对比度不明显时,准确度将受到很大的影响.本文基于灰度投影的数字电子稳像算法在计算量较小的同时保持较高的准确度,能够满足实时稳像系统的需求.2 电子稳像基本原理电子稳像技术利用电子设备和数字图像处理技术来检测图像序列的帧间偏移并进行补偿,从而获得清晰而稳定的图像序列.电子稳像[1]不同于图像恢复,图像恢复是针对每一帧模糊的图像,而电子稳像稳定的是一个图像序列,图像序列的不稳定是由于帧与帧之间图像变化在图像显视器上显示出的不稳定,而图像序列中的每一帧图像是清晰的.基于这种分析,电子稳像所要处理的就是通过求出视频序列中各帧之间的变化,然后以运动补偿的方法来去除这个变化,达到整个视频序列稳定的目的.2.1 电子稳像原理电子稳像技术中最基本的是像移补偿技术[2],其原理如图1所示.图1 电子稳像原理图图1(a)和图1(b)分别表示参考帧和当前帧的图像,每一格代表一个像素.此时,参考帧图像中的五角星block 在00、01、10、11像素上成像.图像序列没有抖动时,当前帧图像上的五角星Block1和参考帧上的五角星Block 匹配,成像时由于载体的振动,使得载体上的摄像机产生了突然晃动,使当前帧中五角星block1移动到了如图1(b)所示的实五角星block2位置.从视频显示器看,由于振动的影响,block 与block2位置不一样,使图像变得模糊.电子稳像的目的就是消除这种模糊,也就是将当前帧中的实五角星block2移动到虚五角星block1位置,使得当前帧图像与参考帧图像在同一位置.运动估计算法就是计算当前帧中实五角星block2相对于参考帧中五角星block 即相对于block1在x ,y 轴方向的移动距离,运动补偿就是根据计算出的距离将当前帧的实五角星block2向相反的方向移动到虚五角星block1位置,使得两帧图像位置一样,这样就达到了图像序列的稳定.2.2 电子稳像系统基本结构电子稳像系统基本结构如图2所示,主要包括运动矢量检测单元、补偿量输出单元和图像补偿单元.其中运动矢量的检测单元通过运动检测算法计算图像序列帧间运动矢量,是实现电子稳像的关键环节;补偿量输出单元输出补偿运动参数;图像补偿单元通过图像像元重组完成对图像运动的补偿功能.图2 电子稳像系统基本结构3 灰度投影算法视频图像序列变化的实质就是图像灰度发生变化的连续过程.灰度投影算法(PA)[3-4]充分利用了图像总体灰度分布的变化规律,只需要对图像行列的投影曲线做一次相关运算,就能较准确地获取当前帧相对于参考帧的运动矢量,大大降低计了算量,而且保证了较高的计算精度.灰度投影算法(PA)可分解成三个主要的步骤:图像灰度映射、投影滤波和相关计算.3.1 图像灰度映射输入图像序列中的每一帧图像经过预处理后,可采取行投影和列投影的方式,将初始的二维图像[5]信息映射成两个独立的一维信息.下式是以行投影计算为例说明图像映射的方法:Row (i)= Cur k (i,j )Row Tot k =[ Row k (i)]/MRRow proi k (i)=Row k (i)-Row Tot k(1)54微电子学与计算机2010年式中,Row(i)为第k帧图像第i行的灰度值;C是第k帧图像上(i,j)位置处的像素的值;MR是行数;Row proi k(i)是第k帧图像的第i行修正后的投影值.列投影Col(j)与之类似.3.2 投影滤波当图像有移动时,图像的边缘信息会发生变化,在互相关计算时对互相关的峰值将产生不利的影响.可通过滤波器进行滤波,去除图像边界信息的波形而完全保留中心区域的波段,从而减小了边界信息对互相关峰值形成的不利影响.3.3 相关计算一般情况下,把待处理图像的行、列投影与参考帧图像的行、列投影分别作互相关运算,根据两条相关曲线的谷值即可确定当前帧图像相对于参考帧图像的行、列位移矢量值[6].进行相关运算计算公式为R(w)= MR i=1[Row k(i+w-1)-Row r(m+i)]21 w 2m+1(2)式中,Row k(i)为第k帧图像第i行的灰度投影值, M R是行的长度,m为位移矢量相对于参考帧在一侧的搜索宽度.设w m i n为R(w)最小时w的值,则第k帧图像相对于参考帧图像在垂直方向的运动矢量为y=m+1-w min(3)y为正时表明当前帧相对参考帧向上运动了| y|像素,为负时则表明向下运动了| y|像素,同样的方法可求得水平方向的运动位移矢量.得到了水平和垂直方向的运动位移矢量后,就可以把当前帧图像向位移矢量的反方向运动相应大小的像素距离,从而实现图像序列的稳定.4 仿真结果与稳像效果分析为验证算法的有效性,在PC机上应用MAT LAB软件进行仿真实验.本次仿真实验视频为数码相机获取的抖动视频,分辨率为320 240像素,再对其进行预处理后,得到240 180范围内的像素.首先对参考帧和当前帧图像预处理后,分别做行、列投影.其次,取出当前帧的行投影(21 160)共140单位的灰度投影值与参考帧的行投影作相关运算;再取出当前帧的列投影中的(21 220)共200单位的灰度投影值与参考帧的列投影作相关运算,得到图3.最后,可由式(2)、(3)分别得到垂直方向和水平方向的运动矢量,进而可进行运动补偿,得到了稳定的图像.图3 两帧图像的行、列投影数据相关曲线为了进一步验证灰度投影算法在电子稳像中的效果,我们对连续的六帧图像进行单子稳像仿真实验,图4和图5分别反映的是稳像前后连续六帧图像的列投影值曲线.从图中,我们可以清楚地看到稳像前各帧图像的列投影值曲线形状接近,但位置在横坐标方向上有较大的波动差异,而稳像后的列投影值曲线形状和位置基本一致.图4 稳像前的列投影5 结束语本文介绍了灰度投影稳像算法和电子稳像的基本原理,并对该算法在电子稳像中的应用进行了仿真实验.由于灰度投影算法只是对图像的灰度投影55第10期张国栋,等:基于灰度投影算法的实时电子稳像研究图5 稳像后的列投影曲线做一次互相关运算来求其图像序列帧间的运动矢量,因此计算量小,速度快,能够满足连续图像的实时性要求.仿真试验证明,该算法具有较好的稳像效果,是实现平移运动或旋转运动较小的图像序列电子稳像的较理想算法,但对剧烈旋转运动条件下的稳像应用存在一定的局限性.参考文献:[1]Engelsberg A,Schmidt G.A comparative review of digitalimag e stabilising algorithms for mobile v ideo communica tions [J].I EEE T ransact ions on Consumer Electro nics,1999,45(3):591-597.[2]K o S J,Lee S H,Jeon S W,et al.F ast digital image stabilizer based on g ray -co ded bit -plane matching [J].I EEE T r ansaction on Consumer Electronics,1999,45(3):598-603.[3]赵天云,郭雷,余博.基于灰度投影的快速电子稳像算法[J].微电子学与计算机,2008,25(11):233-236.[4]张永祥,赵晓旭,张伟功,等.一种基于灰度投影的电子稳像改进算法[J].微电子学与计算机,2008,25(11):212-215.[5]王明佳,金光,钟平,等.实用电子稳像技术原理及方法[J].光机电信息,2003(2):29-31.[6]刘明,赵跃进.周渝斌.电子稳像中的运动补偿矢量处理方法的研究[J].光学技术,2005,31(3):457-462.作者简介:张国栋 男,(1983-),硕士研究生.研究方向为信号与信息处理.王明泉 男,(1970-),硕士研究生,教授,博士生导师.研究方向为一维和多维信号与信息处理、分析与重构、现代无损检测技术、测控技术和工业内视技术.(上接第52页)图3 网络节能性比较点的情况;(2)Sink 不需要完整的被传输数据就能重构信息,允许系统存在部分数据丢失;(3)该方案能在存在妥协节点的情况下有效地抵御偷听、数据篡改和DoS 攻击.下一步工作要讨论在节点被意外攻陷的情况下,进行一些安全模型的建立,并将这些方案应用到各种类型的传感器网络中.参考文献:[1]殷新春,徐力杰.W SN 中一种基于数据融合的能量高效分簇路由协议[J].微电子学与计算机,2007,24(9):116-119.[2]Przydatek B,Song D,Perrig A.SIA:secure information aggregation i n sensor networks[J].SenSys,2003(3):255-265.[3]Y ang Y ,W ang X ,Zhu S.SDAP:a secure hop-by-hopdata aggregation protocol for sensor networks[J].M obi Hoc,2006(6):356-367.[4]Hu L ,Ev ans D.Secure aggregation for wireless netwo rks[J].SAIN T -W ,2003(3):384.[5]G anesan D.Highly-resilient,ener gy-efficient multipathrouting in w ireless sensor netw orks [J].M obiHoc,2001(1):251-254.[6]Estrin D T utorial.W ireless sensor netw orks par t I V:sensornetwork protocols [EB/OL ].[2009-10-11]./tutorials/mobicom02/.作者简介:刘 宁 男,(1971-),硕士研究生,讲师.研究方向为网络技术、信息安全.56微电子学与计算机2010年。
基于视频抖动的灰度投影稳像算法
基于视频抖动的灰度投影稳像算法胡常俊;张著洪【摘要】针对抖动导致车载视频图像失真的问题,将图像区域等分的思想与灰度投影算法融合,获得一种利用局部运动矢量估算全局运动矢量的方法;借助图像的全局运动矢量和滤波的思想,利用运动矢量偏差补偿抖动对图像失真的影响,获得一种稳像算法.数值实验结果表明,该稳像算法对于提高车载视频图像的稳定性具有好的效果.【期刊名称】《贵州大学学报（自然科学版）》【年(卷),期】2019(036)001【总页数】5页(P82-86)【关键词】灰度投影;电子稳像;滤波;图像区域划分;运动矢量【作者】胡常俊;张著洪【作者单位】贵州大学大数据与信息工程学院,贵州贵阳550025;贵州大学大数据与信息工程学院,贵州贵阳550025【正文语种】中文【中图分类】TP391.4视频抖动是影响视频序列中目标提取的关键因素，如何实时、快速、有效地消除抖动产生的负面影响，是图像预处理中关系到运动目标提取效果的关键问题。
车载摄像头是安装在车载平台的一种成像设备。
在车体发生抖动或道路不平稳场景下，摄像机输出的图像序列呈现不稳定现象，造成目标提取失效。
因此，研究消除视频抖动尤为重要。
电子稳像[1-2]是一种利用数字图像处理和电子技术来确定图像间偏移的运动矢量并以此进行运动补偿的稳像方法。
较为常见的方法包括代表点匹配算法、特征点跟踪算法、块匹配法、灰度投影算法[3-7]。
在这些算法中，第一种算法是在参考帧图像上以像素点为单位，选取等距离间隔的点阵集，在当前帧图像上寻求与之相匹配的同样等距离间隔的点阵集，两个点阵集初始点坐标的差值就是图像间的运动矢量，其算法结构简单、计算量小，但自适应能力较弱；第二种算法主要是先在参考帧中选择一组特征点，然后按照匹配准则在当前帧中进行搜索，找出对应的匹配特征点，计算出帧间运动矢量；王斌等[7]提出一种电子稳像的数字图像跟踪算法，其借助图像的特征点进行背景补偿、矢量计算和特征点跟踪；第三种算法的基本思想是将当前帧图像划分为若干大小相同的子块并在参考帧图像的指定搜索窗内进行全局搜索，直到找到与参考帧最匹配的小块，进而获取子块的运动矢量；张跃飞[4]提出一种改进型车载视频稳像算法，其主要通过优化图像子块的位置来降低车辆运动对图像子块匹配的影响；最后一种算法是利用图像序列的灰度总体分布的变化规律，对图像的行列灰度投影曲线做相关运算获取当前帧图像相对于参考帧的运动矢量，其运算速度快，能满足实时性、稳定性要求[8-12]，但尚未考虑抖动现象对图像的影响问题；李计添等[8]通过分析车辆载体运动的特点和导致图像抖动的根源，运用灰度投影算法对车载图像序列进行稳像，验证了灰度投影算法的有效性。
基于分区灰度投影的稳像算法在卫星装配中的应用
基于分区灰度投影的稳像算法在卫星装配中的应用白 丰 张小俊 张明路 孙凌宇河北工业大学,天津,300130摘要:针对传统电子稳像算法无法快速有效地消除视频图像随机抖动的问题,采用一种基于分区灰度投影的稳像算法,以确保机器人系统能够输出稳定连贯的卫星装配画面㊂对前后两帧视频图像进行划分并删除对比度低的子区域,利用间隔投影和互相关运算获取局部运动分量,通过基于平均误差门限的迭代步骤筛选后剩余的局部运动分量求解全局运动矢量;若判定存在低频扫描分量,还需对多帧图像的全局运动矢量作均值滤波处理㊂实验结果表明:基于分区灰度投影的稳像算法相比传统灰度投影法,在低对比度的自然场景图像和模拟装配图像中的稳像精确度分别提升119.1%和55.8%;同时执行时间只有块匹配算法的0.5%㊂能够有效消除随机抖动,快速输出稳定连贯的视频画面,保证机器人系统顺利完成卫星的地面装配工作㊂关键词:卫星装配;电子稳像;分区灰度投影;随机抖动中图分类号:T P 391 D O I :10.3969/j.i s s n .1004‐132X.2016.02.009V i d e o S t a b i l i z a t i o n M e t h o dB a s e do nS u b z o n eG r a yP r o j e c t i o n i nA p p l i c a t i o n s o f S a t e l l i t eA s s e m b l y B a i F e n g Z h a n g X i a o j u n Z h a n g M i n g l u S u nL i n g yu H e b e iU n i v e r s i t y o fT e c h n o l o g y ,T i a n ji n ,300130A b s t r a c t :A i m i n g t os o l v et h e p r o b l e m t h a tt r a d i t i o n a le l e c t r o n i ci m a g es t a b i l i z a t i o na l go r i t h m c o u l dn o t e l i m i n a t ev i d e or a n d o m j i t t e r s q u i c k l y a n de f f i c i e n t l y ,b a s e do ns u b z o n e g r a yp r o je c t i o na v i d e o s t a b i l i z a t i o nm e t h o dw a su s e d t o e n s u r e t h e r o b o t s y s t e mo u t p u t t i n g s a t e l l i t e a s s e m b l yp i c t u r e s s t a b l y a n d c o h e r e n t l y .T w of r a m e sw e r e d i v i d e d a n d s u b r eg i o n s o f l o wc o n t r a s tw e r e d e l e t e d .Th ei n -t e r v a l p r oj e c t i o n a n d c r o s s ‐c o r r e l a t i o n a l g o r i t h m w e r e u s e d t o g e t l o c a lm o t i o n c o m p o n e n t .T h e g l o b a l m o t i o nv e c t o rw a s s o l v e d b y t h e r e s t l o c a lm o t i o n c o m p o n e n t a f t e r i t e r a t i v e s t e p s b a s e d o n t h e a v e r a g e e r r o r t h r e s h o l d .A na v e r a g e f i l t e rw o u l db eu s e d i n g l o b a lm o t i o nv e c t o ro fm u l t i p l e f r a m e s i f i m a g e h a d l o wf r e q u e n c y s c a n n i n g c o m p o n e n t .E x p e r i m e n t a l r e s u l t s s h o wt h a t u s i n g t h e s t a b i l i z a t i o nm e t h o d b a s e do n s u b z o n e g r a yp r o j e c t i o n 's i m a g e t h es t a b i l i z i n gp r e c i s i o n i n c r e a s e s119.1%i nn a t u r a l s c e n e i m a g e s a n d55.8%i n s i m u l a t i o n a s s e m b l y i m a g e s o f l o wc o n t r a s t c o m p a r e dw i t h t r a d i t i o n a l g r a yp r o -j e c t i o nm e t h o d ,m e a n w h i l e t h ee x e c u t i o nt i m e i so n l y 0.5%o fb l o c k m a t c h i n g a l go r i t h m.I t p r o v e s t h a t t h em e t h o d c a n e l i m i n a t e r a n d o m j i t t e r s e f f e c t i v e l y ,o u t p u t s t a b l e c o h e r e n t v i d e o i m a g e s r a p i d l y ,a n d g u a r a n t e e t h e s a t e l l i t e i n s t a l l a t i o no f r o b o t s ys t e m.K e y wo r d s :s a t e l l i t e a s s e m b l y ;e l e c t r o n i c i m a g e s t a b i l i z a t i o n ;s u b z o n e g r a yp r o j e c t i o n ;r a n d o m j i t t e r 收稿日期:20150327基金项目:国家高技术研究发展计划(863计划)资助项目(2015A A 043101)0 引言卫星是一种将机㊁电㊁热等产品高度耦合的系统,其结构复杂㊁功能繁琐㊂当前,将光学相机㊁实验装置和仪器㊁通信和探测设备㊁空间望远镜驱动机构㊁支架和天线等单机设备集成于卫星系统的趋势日益明显㊂这些设备对地面装配的精确度和实时性均要求很高,然而目前的卫星装配技术发展较慢,整个装配过程仍主要依赖工程人员的经验进行定性判断,人工操作必然存在无法数字化测量配件间的相对位置㊁位姿调整不可量化㊁关键对接部位可视性不强的状况㊂因此,如何通过稳像㊁识别㊁标定和导航等前沿技术,使机器人系统能取代人工操作完成卫星的精确实时地面装配,成为当前制造业领域的研究热点㊂在卫星的地面装配过程中,摄像装置通常会伴随着机器人系统同步移动㊂由于载体的振动和姿态的变化,视频画面不可避免地会产生抖动,影响机器人系统的精确装配㊂电子稳像技术能够通㊃591㊃基于分区灰度投影的稳像算法在卫星装配中的应用白 丰 张小俊 张明路等Copyright ©博看网. All Rights Reserved.过估计全局运动矢量(或者运动补偿矢量)消除随机抖动,使输出的视频画面趋于平稳,成为当前解决以上问题的主要手段之一[1‐3]㊂近年,国内外广泛研究的电子稳像算法主要基于块匹配和灰度投影㊂经典块匹配算法[4]是国际上普遍认可的用于评估稳像算法性能的标准算法,但其实时性较差㊂相关学者主要是通过选择合适的搜索路径以及快速完成块区域的匹配来提升算法的实时性的,比如三步搜索法㊁菱形搜索法㊁阈值法㊁代表点法等[5‐10]㊂以上基于块匹配的相关稳像算法具有较高的精确度,但是其实时性仍然无法满足实际工程的应用要求㊂传统的灰度投影算法[11]具有明显的速度优势,但是,在低对比度的视频画面中,由于灰度投影曲线的变化不明显,无法精确解算出全局运动矢量㊂相关学者主要通过选择可靠的投影方式来提升算法的稳定性和精确度,比如梯度投影法㊁圆周投影法等[12‐15]㊂以上基于灰度投影的相关稳像算法具有优良的实时性能,但是稳定性和精确度仍然难以满足实际工程的应用需求㊂另外,常见的电子稳像算法,如:基于位平面的稳像算法[16]和基于特征点匹配的稳像算法[17]等,也不能满足应用需求㊂针对传统灰度投影法在低对比度画面中稳像精确度不足以及块匹配相关算法实时性能差的问题,本文采用了一种基于分区灰度投影的稳像算法来解决卫星装配画面的随机抖动问题㊂1 基于分区灰度投影的稳像算法1.1 图像子区域的划分和删选为保证有足够的重合比例,依次选择前后相邻两帧作为基准图像和当前图像进行子区域划分㊂在投影前,首先需要避免由于该区域对比度不明显造成局部运动分量估计偏差较大的问题出现㊂解决方案是将所有子区域划分为相同大小的四个矩形块,然后依次循环相减,计算相邻矩形块间的像素绝对差和:F S A D=∑M-1i=0∑N-1j=0|P t1(x t1+i,y t1+j)-P t2(x t2+i,y t2+j)|(1)其中,F S A D表示绝对差和,(x t k,y t k)表示第t个子区域中第k个矩形块左上角的坐标值,k=1,2,3, 4,M和N表示矩形块的行数和列数㊂将计算结果与预先设定的阈值比较,只有当所有矩形块的绝对差和均高于阈值时,当前子区域才进行灰度投影运算㊂1.2 灰度投影运算对以上满足阈值条件的子区域分别向水平和垂直方向进行投影㊂无论是水平方向还是垂直方向,其边缘区域具有唯一性,导致子区域的投影曲线在边缘处存在差异,影响子区域的局部运动矢量估计精度㊂而投影曲线的中间区域具有相近的波峰和波谷,只是位置存在偏差(即局部运动矢量),故只取投影曲线的中间部分作为子区域水平和垂直方向的投影结果㊂另外,通过间隔取点的方式,在几乎不影响精度的情况下,成倍地缩短了算法的执行时间㊂具体的投影公式如下:W p(j)=∑M/2-1i=0K p(2i+1,j)(2)H p(i)=∑N/2-1j=0K p(i,2j+1)(3)式中,W p(j)为第p个子区域中第j列像素灰度值垂直方向投影的累加和;H p(i)为第p个子区域中第i行像素灰度值水平方向投影的累加和;K p(i,j)为第p个子区域在(i,j)坐标处的像素灰度值㊂1.3 求解全局运动矢量对基准帧与当前帧图像对应子区域的灰度投影结果采用互相关运算,根据两条相关曲线的波谷,确定当前帧图像子区域相对于基准帧图像子区域的水平和垂直方向局部运动分量;然后,计算局部运动分量的平均值即可得到全局运动矢量: G(w)=∑M P j=1[P i(j+w-1)-Q i(m+j)]21≤w≤2m+1(4)t i y=m+1-w m i n(5)d y=∑n i=1t i y(6)式中,P i(j+w-1)为当前帧图像第i个子区域投影范围的第j+w-1列像素灰度投影累加和;Q i(m+j)为基准帧图像第i个子区域投影范围第m+j列的灰度投影累加和;G(w)为像素灰度投影累加的差值结果;w m i n为G(w)取最小时的w值;t i y为当前帧图像第i个子区域相对于基准帧图像第i个子区域在水平方向的局部运动矢量;d y为对应的全局运动矢量;m为运动估计的最大抖动范围;M P 为子区域的行数㊂同理可计算出垂直方向的全局运动矢量㊂但是,考虑到机器人系统的装配画面中可能存在运动前景目标,该子区域的局部运动分量估计结果将严重干扰全局运动矢量的计算,甚至可能导致稳像失败㊂因此,本文采用一种基于平均误差门限的迭代算法消除运动目标区域对全局运动矢量估计精度的影响,详细流程如图1所示㊂在排除含有前景运动目标的子区域后,即可求解最终的全局运动矢量㊂㊃691㊃中国机械工程第27卷第2期2016年1月下半月Copyright©博看网. All Rights Reserved.图1 基于平均误差门限的迭代算法流程图1.4 运动补偿矢量的计算当摄像装置辅助卫星机器人装配时,基准帧和当前帧图像的全局运动矢量可能由正常扫描的低频分量及异常抖动的高频分量组成,也可能只包含异常抖动的高频分量㊂在对图像进行运动补偿时,只需要补偿摄像装置的随机抖动㊂机器人系统的正常移动通常具有阶段性的幅值和方向一致性,是平滑的低频矢量,而抖动分量的幅值和方向则具有随机性㊂据此可判断当前图像是否含有正常扫描运动㊂在判断完毕后,若不存在扫描运动分量,则当前的全局运动矢量即为所求的运动补偿矢量;否则,从实时性和有效性方面考虑,采用均值滤波的方式首先计算多帧图像的低频扫描分量,然后将全局运动矢量依次与扫描运动分量作差,获得剩余的高频抖动分量,即为每帧图像的运动补偿矢量㊂2 实验分析为确保本文算法对卫星装配画面的稳像效果,实验分别创建自然场景图像库和卫星装配的模拟装配图像库予以验证,并将基于分区灰度投影的稳像算法与传统灰度投影法㊁块匹配遍历搜索算法进行比较㊂所有实验均在安装2.50G H z C P U㊁4G B内存㊁W i n d o w s7操作系统的计算机平台上通过MA T L A B2010编程实现㊂同时,统一将图像的分辨率转换为512像素×512像素㊂实验内容包括:①创建自然场景图像库和卫星装配的模拟装配图像库;②根据稳像前后两帧图像的峰值信噪比值和差分结果评价各算法的精确度;③通过统计各算法对前后两帧图像的稳像时间衡量实时性能;④展示利用本文分区灰度投影算法对模拟装配图像的稳像效果㊂2.1 两组图像库的建立首先,创建自然场景的图像库㊂创建60组(每组6幅图像)共360幅自然场景图像,每幅图像均存在不同程度的随机抖动㊂本文选择其中一组作为测试集1,进行各稳像算法具体的性能评估实验,其中图像库的第31~36幅图像(即测试集1)如图2所示㊂选取当前自然场景图像的原因在于:图中天空㊁山脉和花朵占据着自然图像的绝大多数区域,图像的对比度信息非常微弱,这将更加有效地考验各算法的性能㊂图2 自然场景图像库的测试集1然后,构建卫星装配的模拟装配图像库㊂通过摄像装置采集存在随机抖动的低对比度装配视频模拟卫星装配过程,利用其中具有代表性的部分帧构建60组(每组6幅图像)共360幅图像㊂从中选取一组作为测试集2,进行各稳像算法的性能评估实验和效果展示,其中图像库的第31~ 36幅图像(即测试集2)如图3所示㊂图3 模拟装配图像库的测试集22.2 各算法的精确度分析峰值信噪比(P S N R)是一种图像序列间稳定程度的客观评价方式㊂因此,本文首先通过稳像前后相邻两帧图像的峰值信噪比值T P S N R衡量各算法的精确度,具体计算如下:T M S E=∑M-1x=0∑N-1y=0(f(x,y)-g(x,y))2/(MN)(7)T P S N R=10l g(2552/T M S E)(8)其中,f(x,y)和g(x,y)表示基准帧和当前帧图像,M和N表示图像的行数和列数,T M S E表示均方差值㊂若利用式(7)㊁式(8)计算出的稳像后的T P S N R值相比于稳像前的值有明显提升,则认为当㊃791㊃基于分区灰度投影的稳像算法在卫星装配中的应用 白 丰 张小俊 张明路等Copyright©博看网. All Rights Reserved.前稳像方法能够消除或减小图像间的高频随机抖动㊂表1是块匹配遍历搜索法㊁传统灰度投影法和本文基于分区灰度投影的稳像算法对测试集1㊁2中的六帧图像进行稳像前和稳像后的平均T P S N R 值㊂表1 三种稳像算法的T P S N R 值算法测试集1测试集2稳像前T P S N R (d B )稳像后T P S N R (d B )稳像前T P S N R (d B )稳像后T P S N R (d B )块匹配全搜索法24.111658.633028.372956.5025传统灰度投影法24.111629.668128.372939.9797分区灰度投影法24.111658.377628.372955.8030从表1可以看出,块匹配算法作为国际上普遍认可的全局运动估计方法,稳像后的T P S N R 值增幅最大,达到143.2%和99.1%,具有极佳的稳像精确度㊂传统灰度投影算法由于受到低对比度信息的干扰,稳像后的T P S N R 值增幅最小㊂特别是在具有大面积相似信息的测试集1中,该算法的全局运动矢量估计偏差更大,T P S N R 值增幅只有23.0%㊂而本文基于分区灰度投影的稳像算法在稳像后,T P S N R 值有大幅度提升,达到142.1%和96.7%,能够非常接近甚至达到块匹配遍历搜索算法的稳像效果,相比于传统灰度投影算法T P S N R值的增幅达到119.1%和55.8%,精确度具有明显的优势㊂同时,本文采用部分差分图像直观地反映各算法的稳像效果,如图4㊁图5所示㊂其中,图4表示块匹配遍历搜索算法㊁传统灰度投影法和本文基于分区灰度投影的稳像算法利用测试集1中的第3帧和第4帧灰度图像进行稳像前和稳像后的差分效果图㊂图5表示相关算法利用测试集2中的第3帧和第4帧灰度图像进行稳像前和稳像后的差分效果图㊂这里差分图像中的剩余灰度信息量反映着各算法稳像性能的优劣㊂从图4㊁图5中同样发现,由于图像中存在低对比度区域的干扰以及前景目标的移动,采用传统灰度投影算法估计的全局运动矢量偏差较大,造成差分图像中存在大量灰度值不为零的区域,稳像效果并不理想㊂而采用本文基于分区灰度投影的稳像算法能够消除图像中的随机抖动,接近甚至达到与块匹配遍历搜索算法相似的稳像效果㊂另外,由于测试集1中的图像对比度信息更加不明显,能够直观反映各算法的稳像性能,因此(a )块匹配法稳像前(b)块匹配法稳像后(c )灰度投影法稳像前(d)灰度投影法稳像后(e)分区灰度投影前(f)分区灰度投影后图4 测试集1中各算法稳像前后的差分图像(a )块匹配法稳像前(b)块匹配法稳像后(c)灰度投影法稳像前(d)灰度投影法稳像后(e)分区灰度投影前(f)分区灰度投影后图5 测试集2中各算法稳像前后的差分图像本文进一步将差分图像(图4)的灰度信息按列方向投影累加㊂曲线图中累计灰度值越低,说明基准帧与当前帧图像的相似度越高㊂差分图像中间列(129~384)的投影曲线如图6所示㊂图7对应图6投影曲线部分区域的放大,从图7中能更加清晰地看出各算法的差分效果㊂图6㊁图7的曲线分布再次验证了分区灰度投影算法的优良性能㊂㊃891㊃中国机械工程第27卷第2期2016年1月下半月Copyright ©博看网. All Rights Reserved.(a)块匹配遍历搜索算法(b)传统灰度投影算法(c)分区灰度投影算法1.参与帧与校准前的当前帧作差分运算2.参与帧与校准后的当前帧作差分运算图6 差分图像的剩余像素灰度值投影曲线(a)块匹配遍历搜索算法(b)传统灰度投影算法(c)分区灰度投影算法图7 投影曲线部分区域的放大效果图2.3 各算法的实时性能分析通过统计测试集1和测试集2中所有前后两帧图像的平均稳像时间,评估本文基于分区灰度投影的稳像算法㊁块匹配遍历搜索算法和传统灰度投影算法的实时性能,具体数据如表2所示㊂统计结果显示,本文方法相比于传统灰度投影法虽然增加了区间划分和优化筛选等步骤,但并未明显增加算法的执行时间;同时,本文算法的稳像时间只有块匹配算法的0.5%,具有显著的实时性优势㊂表2 三种稳像算法的执行时间稳像算法平均执行时间(s )块匹配全搜索11.709284传统灰度投影0.045944分区灰度投影0.0594502.4 分区灰度投影算法对模拟装配图像的稳像效果实验发现,本文算法能够克服模拟装配图像中低对比度区域的干扰以及前景目标移动的影响,准确估计出全局运动矢量㊂利用本文基于分区灰度投影的稳像算法对测试集2中连续六幅装配图像的稳像效果如图8所示㊂稳像后的所有图像依次输出,可以获得平稳连贯的视频装配画面㊂图8 本文算法对模拟装配图像的部分稳像效果3 结语本文采用一种基于分区灰度投影的稳像算法来消除装配画面的随机抖动㊂将该算法与传统灰度投影法㊁块匹配算法的精确度和实时性进行实验对比,结果表明,基于分区灰度投影的稳像算法能够有效消除随机抖动,快速输出连贯的视频画面,可保证机器人系统顺利完成卫星的地面装配工作㊂参考文献:[1] S e u n g K K ,S e o kJK ,T a eS W ,e t a l .F e a t u r eP o i n t C l a s s i f i c a t i o nB a s e d G l o b a l M o t i o n E s t i m a t i o nf o r V i d e oS t a b i l i z a t i o n [J ].I E E E T r a n s a c t i o n so nC o n -s u m e rE l e c t r o n i c s ,2013,59(1):267‐272.㊃991㊃基于分区灰度投影的稳像算法在卫星装配中的应用白 丰 张小俊 张明路等Copyright ©博看网. All Rights Reserved.[2] J i eX,H u a W C,S h o uY,e t a l.F a s tF e a t u r e‐b a s e dV i d e o S t a b i l i z a t i o n w i t h o u t A c c u m u l a t i v e G l o b a lM o t i o nE s t i m a t i o n[J].I E E E T r a n s a c t i o n so nC o n-s u m e rE l e c t r o n i c s,2012,58(3):993‐999.[3] T z u uSL,C h i n g CC.E x t e n d e dK a l m a nF i l t e r B a s e dH a n d‐s h a k eD e t e c t o r f o rO p t i c a l I m a g e S t a b i l i z a t i o nU s i n g a L o w C o s t G y r o s c o p e[J].I E E E T r a n s a c-t i o n so n C o n s u m e rE l e c t r o n i c s,2013,59(1):113‐121.[4] V e l l aF,C a s t o r i n aA,M a n c u s o M,e t a l.D i g i t a l I m-a g eS t ab i l i z a t i o nb y A d a p t i v eB l oc k M o t i o nV e c t o r sF i l t e r i n g[J].I E E ET r a n s a c t i o n so nC o n s u m e rE l e c-t r o n i c s,2002,48(3):796‐801.[5] A m i r p o u rH,A m o u s a v i n i aA,S h a m s iN.P r e d i c t i v eT h r e eS t e p S e a r c hA l g o r i t h mf o rM o t i o nE s t i m a t i o n[C]//P r o c e e d i n g so f t h e8t hI r a n i a nC o n f e r e n c eo nM a c h i n e V i s i o n a n d I m a g e P r o c e s s i n g.Z a n j a n, 2013:48‐52.[6] W e n JQ,B oY,J i a oJW.H u m a nA c t i v i t y R e c o g n i-t i o n B a s e d o n I m p r o v e d D i a m o n d S e a r c h B l o c k‐m a t c h i n g M e t h o d[C]//P r o c e e d i n g s o f t h e4t h I n t e r-n a t i o n a lS y m p o s i u m o n C o m p u t a t i o n a lI n t e l l i g e n c ea n dD e s i g n.H a n g z h o u,2011:236‐239.[7] G u l l u M K.W e i g h t e dC o n s t r a i n e d O n e‐b i tT r a n s-f o r m B a s e dF a s tB l o c k M o t i o nE s t i m a t i o n[J].I E E ET r a n s a c t i o n s o n C o n s u m e r E l e c t r o n i c s,2011, 57(2):751‐755.[8] L i S,Q i JQ.I m a g e S t a b i l i z a t i o nb y C o m b i n i n g G r a y‐s c a l eP r o j e c t i o na n dR e p r e s e n t a t i v eP o i n tM a t c h i n gA l g o r i t h m s[C]//P r o c e e d i n g s o ft h e3r dI n t e r n a-t i o n a lC o n f e r e n c eo n A w a r e n e s sS c i e n c ea n dT e c h-n o l o g y.D a l i a n,2011:128‐132.[9] 王鹏,赵跃进,孔令琴,等.改进块匹配宏块的快速传感器电子稳像方法[J].光子学报,2012,41(9): 1065‐1070.W a n g P e n g,Z h a o Y u e j i n,K o n g L i n g q i n,e ta l.I m-p r o v e dF a s tB l o c k‐m a t c h i n g A l g o r i t h m f o rS e n s o rE l e c t r o n i cI m a g eS t a b i l i z a t i o n[J].A c t a P h o t o n i c aS i n i c a,2012,41(9):1065‐1070.[10] 宗艳桃,蒋晓瑜,裴闯,等.基于时间序列预测的电子稳像算法研究[J].光子学报,2012,41(2):244‐248.Z o n g Y a n t a o,J i a n g X i a o y u,P e i C h u a n g,e t a l.T i m eS e r i e sP r e d i c t i o nB a s e dE l e c t r o n i c I m a g eS t a b i l i z a-t i o n A l g o r i t h m[J].A c t a P h o t o n i c aS i n i c a,2012,41(2):244‐248.[11] 汪小勇,李奇,徐之海,等.用于实时数字稳像的灰度投影算法研究[J].光子学报,2006,35(8):1268‐1271.W a n g X i a o y o n g,L iQ i,X uZ h i h a i,e ta l.S t u d y o nG r a y P r o j e c t i o n A l g o r i t h m f o r R e a lT i m e V i d e oS t a b i l i z a t i o n[J].A c t a P h o t o n i c a S i n i c a,2006,35(8):1268‐1271.[12] C h a o J,B r i a nLE.C o n s t r a i n e d3DR o t a t i o nS m o o t-h i n g V i a G l o b a l M a n i f o l d R e g r e s s i o nf o r V i d e oS t a b i l i z a t i o n[J].I E E ET r a n s a c t i o n s o nS i g n a l P r o-c e s s i n g,2014,62(13):3293‐3304.[13] X i eT,Z h uB,X i eLJ.e t a l.A C i r c u l a r‐p r o j e c t i o nB a s e dD i g i t a l I m a g e S t a b i l i z a t i o nA l g o r i t h ma n d I t sI m p l e m e n t a t i o n f o r R o t a t i n g I m a g e S e q u e n c e s[C]//P r o c e e d i n g so ft h e10t hI n t e r n a t i o n a lC o n-f e r e n c eo nS ig n a lP r o c e s s i n g.B e i j i n g,2010:1236‐1239.[14] 张永祥,闫文林,张伟功,等.一种旋转运动估计稳像算法的研究与实现[J].小型微型计算机系统,2014,35(9):2151‐2155.Z h a n g Y o n g x i a n g,Y a n W e n l i n,Z h a n g W e i g o n g,e ta l.R e s e a r c ha n dI m p l e m e n t a t i o no f I m a g eS t ab i l i-z a t i o ni na R o t a r y M o t i o n E s t i m a t i o n A l g o r i t h m[J].J o u r n a lo fC h i n e s eC o m p u t e rS y s t e m s,2014,35(9):2151‐2155.[15] 孙辉.B a y e r彩色序列图像的电子稳像[J].光学精密工程,2014,22(2):481‐488.S u n H u i.E l e c t r o n i cI m a g eS t a b i l i z a t i o nf o rB a y e rC o l o rV i d e oS e q u e n c e I m a g e[J].O p t i c sa n dP r e c i-s i o nE n g i n e e r i n g,2014,22(2):481‐488. [16] 遆晓光,靳万鑫,余颖.大运动前景和旋转抖动视频的快速数字稳定[J].光学精密工程,2014,22(1):177‐185.D iX i a o g u a n g,J i n W a n x i n,Y u Y i n g.D i g i t a lV i d e oS t a b i l i z a t i o nf o r L a r g e‐s c a l e M o v i n g F o r e g r o u n dO b j e c t a n dR o t a t i o n J i t t e r[J].O p t i c s a n dP r e c i s i o nE n g i n e e r i n g,2014,22(1):177‐185.[17] 蒋建国,牛杰杰,齐美彬.基于S U R F和轨迹滤波的旋转视频稳像算法[J].仪器仪表学报,2014,35(3):550‐557.J i a n g J i a n g g u o,N i u J i e j i e,Q i M e i b i n.R o t a t i o n a lV i d e oS t a b i l i z a t i o n A l g o r i t h m B a s e do nS u r fa n dT r a j e c t o r y S m o o t h i n g[J].C h i n e s eJ o u r n a lo fS c i-e n t if i c I n s t r u m e n t,2014,35(3):550‐557.(编辑 王旻玥)作者简介:白 丰,男,1988年生㊂河北工业大学机械工程学院博士研究生㊂主要研究方向为机器人视觉及图像处理技术㊂张小俊,男,1980年生㊂河北工业大学机械工程学院副教授㊂张明路,男,1964年生㊂河北工业大学机械工程学院教授㊁博士研究生导师㊂孙凌宇,男,1978年生㊂河北工业大学机械工程学院副教授㊂㊃002㊃中国机械工程第27卷第2期2016年1月下半月Copyright©博看网. All Rights Reserved.。
基于防抖动技术的视频稳定算法设计
基于防抖动技术的视频稳定算法设计近年来随着智能手机和可穿戴设备的广泛普及，拍摄照片和视频已成为人们日常生活中必不可少的活动。
然而，由于拍摄时的手持震动等不可避免的因素导致了照片和视频存在明显的抖动和模糊现象，影响了图片和视频的质量，降低了用户的使用体验。
因此，研究基于防抖动技术的视频稳定算法，已成为当前图像处理领域的热点。
一、问题的背景在实际拍摄中，由于多种因素的干扰，例如拍摄人员手持震动、光线环境变化和风等环境因素，导致拍摄的视频出现明显的抖动和模糊现象，不仅影响了视频的质量，同时也降低了用户的观看体验。
因此，研究视频稳定技术，解决视频抖动问题，成为了当前图像处理领域的一大难题。
二、防抖动技术概述防抖动技术是指在拍摄时减少手持设备的抖动干扰，保证图像质量的一种技术。
视频稳定技术可以分为两种，一种是数字视频稳定技术，通过后期处理来消除抖动现象；另一种是光学视频稳定技术，通过运动传感器监测器抖动，控制摄像机的光学元件，实现实时抖动消除。
三、基于防抖动技术的视频稳定算法设计（一）手持设备抖动影响在手持设备拍摄时，由于手部肌肉不可避免的细微动作，会导致摄像头抖动，从而产生视频抖动现象。
因此，利用防抖动技术对视频进行处理，消除视频抖动，是当前解决视频质量问题的重要措施。
（二）视频抖动消除原理实现视频抖动消除的核心原理是通过传感器采集并分析视频中的时间轴信息，从而确定画面中的抖动大小和方向。
基于这一原理，设计基于防抖动技术的视频稳定算法，主要包括以下几个方面：1. 运动估计运动估计是整个算法的核心，通过分析原始视频中的像素变化信息，确定每一帧视频中的运动信息。
目前，运动估计主要采用均值漂移和互相关等方法。
2. 运动补偿通过对不同帧之间的运动信息分析，实现视频抖动的补偿，保证视频稳定。
补偿主要采用两种方法：基于变换和基于像素。
具体实现中需要结合运动信息精确匹配像素点。
其中，像素点之间的匹配多采用插值方法，补充视频中不存在的像素。
一种基于灰度投影与块匹配的视频序列快速稳像算法
第38卷第6期 光电工程V ol.38, No.6 2011年6月Opto-Electronic Engineering June, 2011文章编号：1003-501X(2011)06-0146-05一种基于灰度投影与块匹配的视频序列快速稳像算法赵志强1,2，陈盈3( 1. 中国科学院光电技术研究所，成都 610209；2. 中国科学院研究生院，北京 100049；3. 华北光电技术研究所，北京 100015 )摘要：针对视频图像序列的不稳定性，结合灰度投影算法与块匹配法各自的特点，提出了一种可以快速消除图像序列间平移和旋转抖动的新型电子稳像算法。
该算法首先采用灰度投影法估计与补偿图像序列间的平移运动，然后用拉普拉斯算子在图像边缘处选取灰度信息比较丰富的小块模板，利用块匹配法计算模板的平移运动，再结合模板在图像上的位置估计图像的旋转运动，最后通过运动补偿得到稳定的视频图像序列。
实验结果表明，该算法可以明显地减轻图像序列间的抖动现象，对于提高动态图像的稳定性具有很好的效果。
关键词：电子稳像技术；灰度投影法；旋转运动；运动估计；运动补偿中图分类号：TN942.2；TP391 文献标志码：A doi：10.3969/j.issn.1003-501X.2011.06.025A Fast Electronic Image Stabilization Algorithm of Video SequencesBased on Gray Projection and Block MatchingZHAO Zhi-qiang1, 2，CHEN Ying3( 1. Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu 610209, China;2. Graduate University of Chinese Academy of Sciences, Beijing 100049, China;3. North China Research Institute of Electro-optics, Beijing 100015, China )Abstract: In allusion to the instability of video sequences, a new electronic image stabilization algorithm, based on different features of gray projection algorithm and block matching algorithm, is proposed to fast eliminate the shift, dithering and rotation of video sequences. This algorithm first adopts gray projection algorithm to reckon and compensate the translational motion between video sequences, and then adopts Laplace operator to select small templates with abundant gray-scale information near the edge of the image. Next, it uses block matching algorithm to calculate the translational motion of templates. Moreover, it reckons the image rotation according to where the templates locate on the image. In the end, it uses motion compensation to attain stable video sequences. Experimental results show that, the algorithm can obviously eliminate the dithering between video sequences, which will have a salutary effect on improving the stability of dynamic image.Key words: electronic image stabilization; gray projection algorithm; rotation motion; motion estimation; motion compensation0 引 言摄像机在移动拍摄的过程中，通常会因为摄像机载体的抖动而引入一些不希望的随机运动，由于这种收稿日期：2011-03-21；收到修改稿日期：2011-04-11作者简介：赵志强(1984-)，男(汉族)，河南濮阳人。
一种基于灰度投影的电子稳像改进方法
ｏ ｌｏ ｔｍ （ Ｐ ， ａｅ ｈ ｔ ｏｉｇｏｊｃ ｒ ｐｅｅｔｎｔｅｉ ａｅｉｅ ｃｕ ｔｒｄ ｔ ｉ ａ ｓ ｔｅ ｆ ｇｒｈ Ｇ Ａ） ａｃｓ ａ ｍ ｖ ｂｅｔａ ｉ ｔ ｎ ｓ ｉ ｈ ｍ ｓ ｌ
Ａｎ Ｉ ｐｒ ｖ ｄ Ｅｌ ｃ ｒ ｎ ｃ Ｉ ａ ｅ Ｓ ａ ｉｉ ａ ｉ ｎ ｅ ｈｏ ｍ ｏ ｅ ｅ ｔ ｏ ｉ ｍ ｇ ｔ ｂ ｌ ｔｏ Ｍ ｔ ｄ ｚ
Ｂ ｓｄｏ ａ ｒｊｃｉｎ ａｅ ｎ Ｇｒ ｙＰ ｏｅｔ ｏ
Ｑ ｏ ｇ ， Ｅ Ｈ ｎ ｅ ，ＩＮ Ｓ ａｑｎ Ｈ ｏｇ ＩＨ ｎ Ｒ Ｎ ｏｇ ＴＡ ｈ ｏｉｇ ， Ｕ Ｈ ｎ
２１ ０ ２年 ９月
一
种基 于 灰 度投 影 的 电子 稳像 改 进 方法
齐 红 ，任 洪娥 ，田 少卿 ，胡 鸿
基于分区灰度投影稳像的运动目标检测算法
龙源期刊网 基于分区灰度投影稳像的运动目标检测算法作者：肖进胜单姗姗等来源：《湖南大学学报·自然科学版》2013年第06期摘要：针对视频监控系统中，复杂环境引起摄像机抖动，造成运动目标检测不准确的问题，提出了一种基于分区灰度投影稳像的运动目标检测算法.首先对每帧图像进行分区，利用分区灰度投影算法对图像各分区的运动矢量进行准确提取和相关性分析，进行抖动判断，并对抖动帧进行运动补偿.然后利用高斯混合背景建模算法进行运动目标提取.最后对目标提取结果进行形态学处理，以进一步提高目标提取的精度.实验结果表明，本文算法较好地消除了场景中运动目标对运动矢量计算的干扰，实现了在摄像机抖动视频场景中的运动目标的准确检测和提取，大大降低了抖动视频目标检测的虚警率.关键词：高斯混合模型；灰度投影；视频抖动；目标检测中图分类号：TP391 文献标识码：A基于序列图像的运动目标检测是智能视频监控等领域的重要研究内容.背景减除法是最常用的一种运动目标检测方法.参数化的背景建模方法通常假设单个像素的潜在概率密度函数是高斯或者高斯混合函数[1-3].Stauffer等[4]提出了一种自适应的背景减除方法，用于解决运动分割问题，此方法可以达到可靠实时的户外跟踪效果.Zivkovic等[5]对混合高斯模型进行了较大改进.文献[6]联合使用局部二元组特征（LBP）和色彩在RGB空间的光学不变特性下，提出了一种鲁棒的多层背景减除方法，对有伪随机闪烁的背景像素等场景很有效.文献[7]引入特征子空间学习和多特征子空间的方法，对高斯混合模型进行了一些改进.文献[8]针对彩色视频序列给出一种基于混合高斯模型的背景减除算法，该算法效率和资源都达到了较好的效果.本文针对复杂环境引起摄像机抖动，造成运动目标检测不准确的问题，提出将视频稳像和高斯背景建模相结合来解决该问题.同时考虑到全局抖动和对象局部运动的差异性，提出基于分区灰度图像稳像的高斯背景建模算法.算法在运动检测之前对视频根据分区运动矢量统计情况进行抖动预判断，给出分区抖动判断机制.对判断为抖动的帧进行稳像处理，提高运动目标检测准确性.同时加入形态学后处理，改善目标完整性，通过与其他算法对比，表明本文算法背景建模效果明显得到改善.湖南大学学报（自然科学版）2013年第6期肖进胜等：基于分区灰度投影稳像的运动目标检测算法1背景建模和视频稳像方法。
一种基于灰度投影算法的电子稳像方法
一种基于灰度投影算法的电子稳像方法
朱娟娟;郭宝龙;冯宗哲
【期刊名称】《光子学报》
【年(卷),期】2005(34)8
【摘要】针对图像序列的抖动,研究了摄像机的抖动和正常扫描这两种运动的特点,提出了一种带运动修正的投影稳像算法PMCA.该算法首先利用灰度投影算法求出原始序列运动矢量,然后采用平均值滤波对这些运动矢量进行了处理,为了防止由前一稳定帧补偿带来的错误传播,又做了运动修正,使用原始帧代替稳定帧作为待补偿帧.实验结果表明PMCA算法可以明显减轻序列抖动现象,而且能实时跟随真实扫描场景.
【总页数】4页(P1266-1269)
【关键词】电子稳像;投影算法;运动估计;运动修正;运动补偿
【作者】朱娟娟;郭宝龙;冯宗哲
【作者单位】西安电子科技大学机电工程学院ICIE研究所
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.一种基于灰度投影算法的车载电子稳像方法 [J], 李计添;何永强;陈财森;王立邦
2.一种基于灰度投影块匹配算法的电子稳像方法 [J], 王均波;孙幸福;朱磊;林晓志;张健
3.一种基于灰度投影的电子稳像改进方法 [J], 齐红;任洪娥;田少卿;胡鸿
4.提高用于电子稳像的灰度投影算法精度的方法 [J], 钟平;于前洋;王明佳;金光
5.一种基于灰度投影的电子稳像改进算法 [J], 张永祥;赵晓旭;张伟功;袁慧梅;程岩因版权原因，仅展示原文概要，查看原文内容请购买。
一种基于灰度投影与块匹配的视频序列快速稳像算法
Ｂ ｓｄｏ ａ ｒｊｃｉｎａ ｄＢｏ ｋＭａｃ ｉｇ ａｅ ｎＧｒｙＰ ｏｅｔ ｎ ｌｃ ｔｈｎ ｏ
ＺＨＡＯ ｉｑｉ ｎｇ ， ． ＣＨ ＥＮ ｎｇ Ｚｈ ． ａ １． Ｙｉ 。
（ ．ｎｔｕｅｏ ｐｉ ｎ ｌ ｔ ｎｃ， ｈｎｓ ｃｄ ｍ Ｓ ｉ ｃｓＣ ｅｇ ｕ６ ０， ｈｎ ； １Ｉｓｉ ｔ ｆＯ ｔｓ ｄＥｅ ｒ ｉ Ｃ ｉｅｅ ａ ｅ ｙｏ ｃｅ ｅ， ｈｎ ｄ １２ ９ Ｃ ｉ ｔ ｃａ ｃｏ ｓ Ａ ｆ ｎ ０ ａ ２ Ｇ ａ ｕ ｔ ｎｖｒｉ ｆＣ ｉ ｓ Ａ ａ ｅ ｙｏ Ｓ ｉ ｃｓＢ ｉｎ ０４ ， ｈｎ ； ． ｒｄ ａｅ ｉ ｓｔ Ｕ ｅ ｙｏ ｈｎ ｅ ｃ ｄｍ ｃ ｎ ｅ， ｅ＇ｇ １ ０ ９ Ｃ ｉ ｅ ｆ ｅ ｊ ｉ ０ ａ
ａ ｕ ｄ ｎ ｒ ｙ ｓ ａｅ ｉ ｆ ｒ ａｉ ｎ ｎ ａ ｈ ｄ ｅ ｏ ｈ ｍａ ｅ Ｎｅ ｔ ｔｕ ｅ ｌ ｃ ｔ ｈｎ ｌ ｏ ｉ ｍ ｏ ｃ ｌｕ ａｅ ｔ ｅ ｂ ｎ ａ ｔ ｇ ａ —ｃ ｌ ｎ ｏ ｍ ｔ ｅ ｒ ｔ ｅ ｅ ｇ ｆｔ ｅ ｉ ｇ ． ｘ ，ｉ ｓ ｓｂ ｏ ｋ ｍａ ｃ ｉ ｇ ａ ｇ ｒ ｈ ｔ ａ ｃ ｌ ｔ ｈ ｏ ｔ ｔ ｎ ｌ ｔ ｎ ｌ ｔ ｎ ｏ ｍｐ ａ ｅ ． ｏ ｅ ｖ ｒ ｉ ｒ ｃ ｏ ｓｔ ｅｉ ｇ ｏ ａｉ ｎ ａ ｃ ｒ ｉ ｇ ｔ ｅ ｅｔ ｅｔ ｍｐ ａ ｅ ｃ ｔ ｎ ｔ ｅ ｒ ｓ ｉ ａ ａ ａ ｏ ｍｏ ｉ ｆｔ ｏ ｅ ｌｔ ｓ Ｍ ｒ ｏ ｅ， ｔ ｅ ｋ ｎ ｈ ｍａ ｅｒ ｔｔｏ ｃ ｏ ｄｎ ｏ ｗｈ ｒ ｈ ｅ ｌ ｔ ｓｌ ａ ｅ ｏ ｏ ｈ ｉ ｇ ．Ｉ ｈ ｎ ， ｔｕ ｅ ｔ ｎ ｃ ｍｐ ｎ ａ ｉ ｎ ｔ ｔ ｉ ｔｂ ｅ ｖ ｄ ｏ ｓ ｑ ｅ ｃ ｓ ｘ ｅ ｉ ｎ ａ ｅ ｕ ｔ ｈ ｗ ｈ ｔ ｈ ｍａ ｅ ｎ ｔ ｅ ｅ ｄ ｉ ｓ ｓ ｍｏ ｉ ｏ ｅ ｓ ｔ ｏ ａｔ ｎ ｓａ ｌ ｉｅ ｅ ｕ ｎ ｅ ．Ｅ ｐ ｒｍｅ ｔ ｌｒ ｓ ｌ ｓ ｏ ｔ ａ，ｔ ｅ ｏ ｏ ａ ｓ ａｇ ｒ ｈ Ｃ ｂ ｉ ｕ ｌ ｌ ｎ ｔ ｈ ｉ ｅ ｉ ｇ ｂ ｔ ｅ ｉ ｅ ｅ ｕ ｎ ｅ ， ｉｈ ｗｉｌ ａ ｅ ａｓ ｌ ｔｒ ｆｅ ｔ ｎ ｉ ｒ ｖ ｎ ｌ ｏ ｉ ｍ ａ ｏ ｖ ｏ ｓｙ ｅ ｉ ａ ｅｔ ｅ ｄ ｔ ｒ ｅ ｗｅ ｎ ｖ ｄ ｏ ｓ ｑ ｅ ｃ ｓ ｗｈ ｃ ｌ ｈ ｖ ａｕ ａ ｙ ｅ ｆ ｃ ｔ ｎ ｍｉ ｈ ｎ ｏ ｍｐ ｏ ｉ ｇ ｔ ｅｓａ ｉ ｔ ｆ ｙ ａ ｉ ｇ ． ｈ ｔ ｂ ｌ ｙ ｏ ｎ ｍ ｃｉ ｉ ｄ ｍａ ｅ
基于分区灰度投影稳像的运动目标检测算法
基于分区灰度投影稳像的运动目标检测算法肖进胜;单姗姗;易本顺;张亚琪【期刊名称】《湖南大学学报（自然科学版）》【年(卷),期】2013(040)006【摘要】针对视频监控系统中,复杂环境引起摄像机抖动,造成运动目标检测不准确的问题,提出了一种基于分区灰度投影稳像的运动目标检测算法.首先对每帧图像进行分区,利用分区灰度投影算法对图像各分区的运动矢量进行准确提取和相关性分析,进行抖动判断,并对抖动帧进行运动补偿.然后利用高斯混合背景建模算法进行运动目标提取.最后对目标提取结果进行形态学处理,以进一步提高目标提取的精度.实验结果表明,本文算法较好地消除了场景中运动目标对运动矢量计算的干扰,实现了在摄像机抖动视频场景中的运动目标的准确检测和提取,大大降低了抖动视频目标检测的虚警率.%In video surveillance systems,noise and shake of the background caused by complex environment can greatly influence the detection of moving objects.In order to solve this problem,a Gaussian Mixture Model (GMM) based on subzone gray projection video stabilization algorithm was proposed.First,each frame was divided into several blocks,and the subzone gray projection algorithm was applied to the frame to exactly extract the motion vector of each subzone and analyze the correlation between them.Based on the above analysis,we could decide whether a frame was with dithering or not,and make motion compensation for dithering frame.Then,we used GMM algorithm to extract the moving objects.Finally,morphology was applied as post-processing tofurther improve the detection accuracy.The subjective and objective evaluations of many different videos were implemented to verify the validity of the proposed algorithm in our experiments.The experiment results have shown that the proposed algorithm can detect the moving targets accurately from the scenes with dithering and suppress the false alarm rate significantly.【总页数】7页(P96-102)【作者】肖进胜;单姗姗;易本顺;张亚琪【作者单位】武汉大学电子信息学院,湖北武汉 430072;武汉大学电子信息学院,湖北武汉 430072;武汉大学电子信息学院,湖北武汉 430072;武汉大学电子信息学院,湖北武汉 430072【正文语种】中文【中图分类】TP391【相关文献】1.基于分块灰度投影的电子稳像算法 [J], 巩稼民;徐嘉驰;邢仁平;张正军;王贝贝;柳华勃2.一种基于灰度投影差值的稳像算法 [J], 李大成;杨晓东3.基于分区灰度投影的稳像算法在卫星装配中的应用 [J], 白丰;张小俊;张明路;孙凌宇4.基于下采样灰度投影的电子稳像算法研究 [J], 范叶平;郭政;张锐5.基于视频抖动的灰度投影稳像算法 [J], 胡常俊;张著洪因版权原因，仅展示原文概要，查看原文内容请购买。
基于深度学习的视频抖动校正与稳定算法研究
基于深度学习的视频抖动校正与稳定算法研究视频抖动是指在视频中拍摄或播放过程中出现的画面抖动现象，这种抖动会给观众带来不良的观看体验，降低视觉质量。
因此，开发一种有效的视频抖动校正与稳定算法具有重要的应用价值。
近年来，深度学习技术的快速发展为解决视频抖动校正与稳定问题提供了新的思路和方法。
深度学习在计算机视觉领域取得了很多突破，尤其在图像识别、目标检测和语义分割等任务上取得了显著的成果。
基于深度学习的视频抖动校正与稳定算法研究主要借鉴了这些成功的经验，并对视频帧进行连续的处理和分析，以实现视频的抖动校正和稳定。
在基于深度学习的视频抖动校正与稳定算法研究中，首先需要构建一个深度学习模型，该模型能够对视频中的抖动进行识别和分析。
通过使用卷积神经网络（CNN）或循环神经网络（RNN）等深度学习模型，可以有效地提取视频帧之间的空间和时间信息，识别和量化视频中的抖动问题。
接下来，需要设计一种有效的视频抖动校正算法。
该算法基于深度学习模型的输出结果，通过对视频帧进行补偿处理，从而减少或消除视频中的抖动现象。
在这个过程中，可以使用光流估计等技术来预测和补偿视频帧之间的运动变化，进而实现视频抖动的校正与稳定。
此外，对于一些特殊的视频抖动场景，如手持拍摄或运动物体跟踪等，也可以设计适应性的深度学习算法。
这些算法能够更好地适应视频抖动的特点，提高视频抖动校正与稳定的效果。
在实际应用中，基于深度学习的视频抖动校正与稳定算法还需要考虑计算效率和实时性。
由于视频数据的规模庞大且速率快，算法的实现需要尽量减少计算复杂度和消耗的时间。
因此，在模型设计和优化过程中，需要充分考虑算法的效率和实时性，并通过合理的网络结构和参数调整来提高算法的速度和实时性。
总结来说，基于深度学习的视频抖动校正与稳定算法研究旨在利用深度学习技术，通过对视频抖动问题进行分析和处理，以提高视频质量和观看体验。
该算法的设计需要综合考虑视频抖动的特点、计算复杂度和实时性等因素，通过深度学习模型和有效的补偿处理，实现视频抖动的校正与稳定。
一种基于分块灰度投影运动估计的视频稳像方法
中图分 类号 ： Ｔ Ｐ ３ ９ １ Ｔ 文献 标志 码 ：Ａ 文章 编号 ： １ ０ ０ ０ － １ ０ ９ ３ （ ２ ０ １ ３ ） ０ ４ — ０ ４ ０ ６ — ０ ６
ＤＯＩ ：１ ０ ． ３ ９ ６ ９ ／ ｉ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ０ ． １ ０ ９ ３ ． ２ ０ １ ３ ． ０ ４ ． ０ ０ ４
Ａ Ｖｉ ｄ ｅ ｏ Ｓ ｔ ａ ｂ ｉ ｌ ｉ ｚ ａ ｔ ｉ ｏ ｎ Ｍｅ ｔ ｈ ｏ ｄ Ｂ ａ ｓ ｅ ｄ ｏ ｎ Ｓ ｕ ｂ ・ ｂ ｌ ｏ ｃ ｋ Ｇｒ ａ ｙ Ｐ ｒ ｏ ｊ ｅ ｃ ｔ ｉ ｏ ｎ
Ｗ Ｕ Ｈａ ｏ ，ＤＥＮＧ Ｈｏ ｎ ｇ ． ｂ ｉ ｎ
Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ａ ｖ ｉ ｄ ｅ ｏ ｓ ｔ ａ ｂ ｉ ｌ ｉ ｚ ａ ｔ ｉ ｏ ｎ ｍ ｅ ｔ ｈ ｏ ｄ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｓ ｕ ｂ － ｂ ｌ ｏ ｃ ｋ ｇ ｒ ａ ｙ ｐ ｒ ｏ ｊ ｅ ｃ ｔ ｉ ｏ ｎ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｉ ｓ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ ． Ｆ ｉ ｒ ｓ ｔ ｌ ｙ ，
ｍａ ｉ ｎ ｅ ｄ ｓ ｕ ｂ— ｂ ｌ ｏ ｃ ｋｓ ，ａ ｎ ｄ ｔ ｈ ｅ ｇ ｌ ｏ ｂ ａ ｌ ｍｏ ｔ ｉ ｏ ｎ ｖ ｅ ｃ ｔ ｏ ｒ ｉ ｓ ｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｅ ｄ ａ ｃ ｃ ｏ ｒ ｄ ｉ ｎ ｇ ｔ ｏ ｔ ｈ ｅ ｌ ｏ ｃ ａ ｌ ｍｏ ｔ ｉ ｏ ｎ ｖ ｅ ｃ ｔ ｏ ｒ ｓ ａ ｎ ｄ ｔ ｈ ｅ ｉ ｎ ｔ ｅ ｒ ｆ ｒ ａ ｍｅ ｍｏ ｔ ｉ ｏ ｎ ｍｏ ｄｅ １ ．Ｆ ｉ ｎ ａ ｌ ｌ ｙ，ｔ ｈ ｅ ｔ ｒ ｅ ｍｂ ｌ ｉ ｎ ｇ ｉ ｍａ ｇ ｅ ｉ ｓ ｃ ｏ ｍｐｅ ｎ ｓ ａ ｔ ｅ ｄ ｔ ｏ ｓ ｔ ａ ｂ ｉ ｌ ｉ ｚ ｅ ｔ ｈ ｅ ｉ ｍａ ｇ ｅ ｓ ｅ ｑ ｕ ｅ ｎ ｃ ｅ ａ ｃ ｃ ｏ ｒ ｄ ｉ ｎ ｇ ｔ ｏ ｍｏ ｔ ｉ ｏ ｎ ｃ ｏ ｍｐ ｅ ｎｓ ａ ｔ ｉ ｎ ｇ ｖ ｅ ｃ ｔ ｏ ｒ ． Ｔｈ ｅ ｐ ｒ ｏ ｂ ｌ ｅ ｍｓ ｏ ｆ ｔ ｈ ａ ｔ ｔ ｈ ｅ ｇ ｌ ｏ ｂ ａ ｌ ｍｏ ｔ ｉ ｏ ｎ ｅ ｓ ｔ ｉ ｍａ ｔ ｉ ｏ ｎ ａ ｃ ｃ ｕ ｒ ａ ｃ ｙ ｉ ｓ ｒ ｅ ｄ ｕｃ ｅ ｄ ｂ ｙ ｔ ｈ ｅ ｌ ｏ ｃ ａ ｌ ｍｏ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｔ ｈ ｅ ｒ ｏ ｔ ａ ｔ ｉ ｏ ｎ ｍｏ ｔ ｉ ｏ ｎ ｏ ｆ ｃ ａ ｍｅ ｒ ａ ｃ ｏ ｕｌ ｄ ｎ ｏ ｔ ｂ ｅ ｅ ｓ ｔ ｉ ｍａ ｔ ｅ ｄ ｂ ｙ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｇ ｒ ａ ｙ
一种基于灰度投影差值的稳像算法
Vol.37 No.182舰船电子工程Ship Electronic Engineering总第271期2017年第1期一种基于灰度投影差值的稳像算法$李大成杨晓东(海军潜艇学院青岛266100)摘要针对图像序列的平移抖动，提出了一种基于灰度投影差值的灰度投影稳像算法。
详细地阐述了实现此算法关键步骤:计算当前帧和参考帧的灰度映射,以灰度映射差值作为特征量，确定图像运动矢量和补偿当前帧图像等。
在实验室条件下应用此算法，采用图像差值对算法进行评价。
实验表明，该方法有效解决了前景局部物体运动和图像部分区域灰度变化大带来的干扰，能够达到实时电子稳像的目的。
关键词平移抖动；灰度投影；运动矢量；电子稳像中图分类号TP391 DOI：10. 3969/j. issa 1672-9730. 2017. 01. 021Electronic Image Stabilization AlgorithmBased on Gray Projection DifferenceLI Dacheng YANG Xiaodong(Naval Submarine Academy, Qingdao 266100)Abstract In allusion to the translational jitter of image sequences? an improved gray projection algorithm is proposed. The key steps to realize the algorithm are set forth in details. Gray projection of the current frame and reference frame is calculated, gray mapping difference is chosen as the characteristic and the image motion vector and compensation current frame image are determined. In order to evaluate this algorithm, image difference algorithm is applied under lab conditions. Experiments show that this method is effective to solve the prospects for local object motion and change of parts of image gray level and can achieve the goal of electronic image stabilizationKey Words translational jitter, gray projection, motion vector, electronic image stabilizationClass Number TP391i引言随着摄像机等图像采集设备在测量系统、导航 系统、监控系统等方面的广泛使用，对采集的图像 和视频的质量要求也越来越高。
基于灰度投影和块匹配的无人机视频稳像方法
基于灰度投影和块匹配的无人机视频稳像方法袁威;高跃清;吴金亮【期刊名称】《无线电工程》【年(卷),期】2016(046)002【摘要】全局运动估计是电子稳像的关键技术之一。
针对视频大抖动情况下的传统估计方法慢和不准确的问题，提出了一种灰度投影和块匹配相结合的平移运动估计，与基于图像极坐标变换的旋转缩放运动估计方法结合，形成了完整的全局运动估计新方法。
使用卡尔曼滤波和视频图像重构，输出新视频。
通过对大量视频处理，结果表明该方案提高了全局运动估计方法的运算速度和估计精度，产生了稳定的视频输出。
%The global motion estimation is a key technology in video stabilization.Aiming at the drawbacks of traditional estimationmethod,such as low speed and inaccuracy in the situation of large video jitter, this paper proposes a translational motion estimation method by combining gray projection with block matching algorithm.This method combines with a rotation and zoom motion estimation method based on log⁃polar reference frame to obtain a new global motion estimation method. The Kalman filter and video image recon⁃struction is used to produce a new video.The results of many video processing experiments show that the method can improve the compu⁃tational speed and estimation accuracy of global motion estimation method and output stable video.【总页数】4页(P19-22)【作者】袁威;高跃清;吴金亮【作者单位】中国电子科技集团公司第五十四研究所，河北石家庄050081;中国电子科技集团公司第五十四研究所，河北石家庄050081;中国电子科技集团公司第五十四研究所，河北石家庄050081【正文语种】中文【中图分类】TP391.41【相关文献】1.一种基于分块灰度投影运动估计的视频稳像方法 [J], 吴浩;邓宏彬2.一种基于灰度投影与块匹配的视频序列快速稳像算法 [J], 赵志强;陈盈3.基于灰度投影和块匹配相结合的稳像算法 [J], 尹宾;段会川4.一种基于灰度投影块匹配算法的电子稳像方法 [J], 王均波;孙幸福;朱磊;林晓志;张健5.基于块匹配与灰度投影视频防抖算法研究 [J], 龙云腾;尤晓明;沈俊因版权原因，仅展示原文概要，查看原文内容请购买。
高清抖动视频的实时稳像算法
高清抖动视频的实时稳像算法
葛虎龙;李安平
【期刊名称】《信息通信》
【年(卷),期】2013(000)006
【摘要】针对高分辨率的高清视频中图像序列的不稳定性，结合灰度投影算法的
特点，文章提出了一种可以快速消除图像序列间平移运动的新型电子稳像算法。
首先采用灰度投影法估计图像序列间的平移运动，分别对行列投影曲线进行互相关运算获取全局运动矢量；然后采用高通滤波器获得抖动图像帧的运动偏移量，最后通过运动补偿得到稳定的视频图像序列。
实验结果表明，该算法可以明显地消除图像序列间的抖动，对于提高动态图像的稳定性具有很好的效果，而且运算复杂度低，适用于高清视频的实时处理。
【总页数】3页(P41-43)
【作者】葛虎龙;李安平
【作者单位】上海交通大学微电子学院，上海200240;上海交通大学微电子学院，上海200240
【正文语种】中文
【中图分类】TP311
【相关文献】
1.抖动视频的电子稳像算法 [J], 邹刚;何凯;何海龙;卓磊
2.基于AKAZE特征的复杂抖动数字视频稳像算法 [J], 徐奔;周志湖;范良忠
3.基于BRISK的实时视频抖动检测算法 [J], 徐奔;周志湖;范良忠
4.基于视频抖动的灰度投影稳像算法 [J], 胡常俊;张著洪
5.一种鲁棒性的抖动视频稳像算法 [J], 黄亚博;焦建彬;叶齐祥;陈志国
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第36卷第1期2019年 2月贵州大学学报（自然科学版）Journal of G uizhou University!N atural Sciences)Vol.36 No.1Feb.2019文章编号1000-5269 ( 2019 # 01 -0082-05DOI ：10.1595A/j.c nk i.g d x b zr l〇.2019.01.16基于视频抖动的灰度投影稳像算法胡常俊，张著5!(贵州大学大数据与信息工程学院，贵州贵阳550025)摘要:针对抖动导致车载视频图像失真的问题，将图像区域等分的思想与灰度投影算法融合，获得一种利用局部运动矢量估算全局运动矢量的方法；借助图像的全局运动矢量和滤波的思想，利用运动矢量偏差补偿抖动对图像失真的影响，获得一种稳像算法。
数值实验结果表明，该稳像 算法对于提高车载视频图像的稳定性具有好的效果。
关键词：灰度投影；电子稳像；滤波；图像区域划分;运动矢量中图分类号：TP391.4 文献标识码：A视频抖动是影响视频序列中目标提取的关键 因素，如何实时、快速、有效地消除抖动产生的负面 影响，是图像预处理中关系到运动目标提取效果的 关键问题。
车载摄像头是安装在车载平台的一种 成像设备。
在车体发生抖动或道路不平稳场景下，摄像机输出的图像序列呈现不稳定现象，造成目标 提取失效。
因此，研究消除视频抖动尤为重要。
电子稳像[1_2]是一种利用数字图像处理和电 子技术来确定图像间偏移的运动矢量并以此进行 运动补偿的稳像方法。
较为常见的方法包括代表 点匹配算法、特征点跟踪算法、块匹配法、灰度投影 算法[3-]。
在这些算法中，第一种算法是在参考帧 图像上以像素点为单位，选取等距离间隔的点阵 集，在当前帧图像上寻求与之相匹配的同样等距离 间隔的点阵集，两个点阵集初始点坐标的差值就是 图像间的运动矢量，其算法结构简单、计算量小，但 自适应能力较弱;第二种算法主要是先在参考帧中 选择一组特征点，然后按照匹配准则在当前帧中进 行搜索，找出对应的匹配特征点，计算出帧间运动 矢量;王斌等[7]提出一种电子稳像的数字图像跟踪 算法，其借助图像的特征点进行背景补偿、矢量计 算和特征点跟踪;第三种算法的基本思想是将当前 帧图像划分为若干大小相同的子块并在参考帧图 像的指定搜索窗内进行全局搜索，直到找到与参考 帧最匹配的小块，进而获取子块的运动矢量;张跃飞[4]提出一种改进型车载视频稳像算法，其主要通 过优化图像子块的位置来降低车辆运动对图像子 块匹配的影响;最后一种算法是利用图像序列的灰 度总体分布的变化规律，对图像的行列灰度投影曲 线做相关运算获取当前帧图像相对于参考帧的运 动矢量，其运算速度快，能满足实时性、稳定性要 求[8-2]，但尚未考虑抖动现象对图像的影响问题; 李计添等[8]通过分析车辆载体运动的特点和导致 图像抖动的根源，运用灰度投影算法对车载图像序 列进行稳像，验证了灰度投影算法的有效性。
本文针对视频抖动问题，探讨基于车载摄像机 抖动的改进型灰度投影算法;该算法能消除运动前 景对运动矢量估计的干扰，可提高运动补偿的精 度;借助实时场景的视频序列，实验结果表明，该算 法能实时、有破地获得稳定的图像序列。
1基本的灰度投影算法度投 算法利 考 当前 图的度值计算当前帧图像的运动矢量，进而对当前帧进 行运动补偿，可达消除或减轻随机抖动对目标提取 的影响。
算法描述概述如下$步1输人大小为的第&帧灰度图<;步2依据公式（1)计算图像 <的列投影向量< 4 (<(1)，…，<(&)广和行投影向量F 4 (F⑴，…，F('))Q;收稿日期：2018-09-10基金项目：国家自然科学基金项目资助（61563009)作者简介:胡常俊（1991-),男，在读硕士，研究方向：智能信息处理,Em ail $ 1404981353@qq.cm. !通讯作者：张著洪，Email: zhzhang@.第1期胡常俊等:基于视频抖动的灰度投影稳像算法• 83 •<!/)= (<(1.)，F(1=⑴步3求使公式(2)达到最小的*m in .c(*) 4 ( [Pk(j2* * 1)~Pk-i(j D l)] 2，J=i1 # * # 21+1(2)其中*取整数，1 # *# 2/+1，R是检测图像 抖动的 的；第^帧图对于第k-1图像在 方向的运动 $] 4 / + 1 - *m m⑶类似地，可获第&帧图像的竖直方向运动矢量]；步4将第&帧图像向运动矢量的反方向运动 相应的距离，即可得到稳定的第k贞图像。
2图像稳像算法传 度投影算法[13]仅适应无运动前景抖动 场景，当图像中出现运动前景或者背景中 其它运动的小物体时，将导致图像的运动 的估计精度低;另一方面，随摄像机不断移动的变化，该方法造成稳 。
为此，采分块灰度投影算法和自适应 偿解决此方法存在的问题。
2.1基于区域分割的运动矢量估计抖动现象易于导致 图在自下而上的3/4 的的差异性，同时运动前景一般都出现在图像的中心区域位置;当抖动现象发生 时，运动目标极大偏离图像的中心 且参考帧的在当前帧随即消失。
为此，将图 进行划分，如图1所示。
依据区域的划分，利 度投影算法估计出各子块的运动 ，进而计算出全运动 ，算法的具体设计步骤 $算法1全运动估计步1置k= 1;图1块区域划分Fig.1 Block area division步2输入第&帧图像Pk;步3将 <的下方3/4图的边缘保留，其余部分划分为大小相同的小块（见图1)，设定有r 块；步4 中间 块，利 度投影算法计算其余区域块的水平、方向的运动矢量，得到〇4 {]1，]2,…，]，a1}&$/4 {]/，]2,…，]，a1};步D分别计算$和$中元素的平均值]和];步"计算$中各元素与]的偏差@，1 ##A ;类似地，计算$中各元素与]的偏差@，1 # €#A步 7 若m i'l @1，1@1 (>5，则从 $和 $中删除第1个区域块的运动矢量，1A在此5为给定的 ；步8$中各元素的均值即为P&的水平方向运 动矢量]，同理可获竖直方向的运动 ];步9置k= k+1，返回步2。
该算法利用图像块 分的思想与灰度投算法融合，计算 块的 、方向的局运动 ，消 运动前 的，进而获得全运动 。
2.2自适应运动补偿算法1获得的当前帧图的运动矢量是摄像机 正常 随机抖动产生的运动 的，而电子稳像的目的是 常 运动获得的 信息，消随机抖动而导致图现的 因素，即将当前帧图的运动 中涉 动因素的 ：。
此，基于算法1，设计下列图像稳像算法 自适应地消除随机抖动对稳像的 。
算法2图稳像算法步1输入记忆尺度H，初始序列灰度图P+，户^…^^最大累积偏移量八；步2依算法1计算第1贞相对于第11帧全 局运动矢量].，]，1 #i H ;步 3 置 k= L+1，置)=0;步4输入第&帧灰度图P k;步D依据算法1计算Pk相对于Pk_1的运动矢 量]k，]k ;步"计算第&帧前L帧相邻灰度图的水平、竖 直方向平均运动 ]，]，计算 偏)；• 84 •贵州大学学报（自然科学版)第36卷) 4 ) 2 槡4] 2 4] (4)在此，4. 4 ] #4/ 4 ]5 1/ ;若 M < Q ，则转步7;否则，转步8.步7将偿运动*4.，4/]进行反方向运动相应的 距离后补偿第&帧图像，补偿后的图代 度图;置5 = 5+1，转步4;步8将偿运动 *4.，4/]进行反方向运动相应的像素距离补偿第&帧图像，更新）=〇,转步4%该算法利用算法1获得各 度图的运动，进而借助 获得&方向的运动补偿量，并依 定后续帧的^幅记 度图 自适应的更考帧。
它是一种消动对目的稳像算法。
3 分析在 W indoe 7 ( CPU /3.70 GHz ，RAM / 4G B )/Visual Studio 2010/ OpenCV 2.4.9 环境下展开实验。
为检测以上算法*的稳像效果，选择经典的电 稳像算法文献*4]、[8]算法参与比较。
文献*8] 中的算法利 度图的整体分布变，精的计算出运动 ，但没有考虑运动车辆对运动补偿的.文献*4]中的算法只针对在固定位置选择小块进行运动估计，虽然提高运算速度，但没考 选择的小块中是否运动 对运动补偿的。
测视频序列种，一种是行驶在视频中心的场景，另一种是除了一车辆行驶 在视频中心外，视 行驶的；与比较的两种算法的 设置与它们所在文献中的 设置相同，算法2的参数设置是:/= 6, 5=1，Q =20,图分的大小为32x 32,并且在图方3/4处的度为10的补偿。
依*14]算法的稳：其中，/_ = 255,）$；(<，<_1)表示运动补偿 后的第5-1和&帧图<_1，<中对应像素点的灰度 值偏差平方的均值;若<$爾（<，<_1)越大，则算 法对图像序列的稳 好，反之较差。
31频及分析视频1源于某桥下后侧的视觉场景:一车辆在一雾天经过此地;摄 在出现抖动情 以27 /秒的速度拍摄大小为128x 128的35 图像视频序列；由于该 现摄动，导致各视频的右下方的图像较。
视2源于相对较窄的高速公 转弯 ：此机动车在 行驶，摄 在抖动条件 27/秒的速度拍摄大小为128x 128的35 图视频序列。
由于此视频序列的视觉 异，且摄 动现象，因而可用于检测以上算法的稳。
〇)视频序列1(b )视频序列2图2两种视觉场景下的灰度图序列Fig.2Grayscale sequence in two visual scenes3.2实验结果与分析将算法2与献*8]的算法作用于视频序列 1，获得图2(a )对应的稳像图，如图3所示;该算法(a )文献[8]算法与文献*4]的算法作用于视频序列2,获得图2(b ) 对应的稳像图，如图4所示。
(b )本文算法图3视频序列1的稳像效果Fig.3 Image stabilization effect o f video sequence1第1期胡常俊等:基于视频抖动的灰度投影稳像算法• 85 •55500 5 10 15 20 25 30Frames图6视频序列2稳像前后的值Fig. 6 PSRN value before and after videosequence 2 is stabilized35经由对比图*与图3〜4可知，文献[4]、[8]的 算法和本文算法对图像中出现的抖动现象进行不同程度的补偿。
、采 噪比()评价文献[4 ]、[ 8 ]算法和本文算法运动补 偿后的稳 ，依 （5)，算法*献[8]的算法作用于视频序列1得的值序列如图 5所示;类，算法*献[4]的算法依据视频序列*得到的值序列如图6所示。