全局运动多分辨率光流估计算法的改进与实现_韩军

文章编号:1673-9965(2011)02-115-05
全局运动多分辨率光流估计算法的改进与实现*
韩军,张东
(西安工业大学光电工程学院,西安710032)
摘要:为了提高低分辨率图像之间的位移估计精度,在传统光流算法的基础上,提出了全局运动的多分辨率光流估计算法.实验结果表明:该算法能够快速实现小位移和准确的实现大位移的运动估计,通过对互有亚像素位移的多帧低分辨率图像对比相位相关法进行运动估计,改进的多分辨率光流估计算法实现的高精度亚像素位移误差精度为0.05pi.
关键词:光流估计算法;多分辨率;亚像素估计;相位相关法
中图号:T P391.4文献标志码:A
图像超分辨率重构技术是提高现有光电观瞄系统的探测距离和分辨率的重要方法,近年来是研究的热门课题[1].为了重建高分辨率图像,首先必须确定所有低分辨率图像间的运动信息,然后将它们配准到同一个参考帧上.在很多其他应用中,这些运动参数是事先不可知的,因此运动估计是超分辨率重建算法中非常关键的步骤,而且估计的准确性比其密集性更重要,如果估计精度达不到亚像素级,将会极大地影响重建图像的质量[2].
现有运动补偿和运动估计的算法很多,主要如基于插值的算法、基于抛物面预测算法、基于频率域方法的相位相关法等[3-4].通过插值算法达到亚像素的精度是运用最为广泛的方法,但其随着精度的提高,运算的复杂性大大提高.另一类亚像素运动估计方法是基于抛物面预测的亚像素运动估计算法,这类方法虽然所需时间少,但是由于最佳亚像素点周围的实际函数并不是和预测的函数完全一致,会导致最佳运动矢量与实际选取的运动矢量之间的误差.
光流估计算法是运动估计中的重要算法之一[5].光流是空间运动物体在观测成像面上的象素运动的瞬时速度;光流场是指图像灰度模式的表面运动.光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的运动.研究光流场的目的就是为了从序列图像中近似计算出不能直接得到的运动场[7-8].文中改进了基于全局运动多分辨率的光流估计方法,将待估计图像降采样形成分辨率逐步降低的图像集合,对其由低到高逐级进行光流法运动估计.并通过实验证明了多分辨率的光流估计方法提高了估计的精确性.
1传统的光流估算方法
光流场的计算最初是由H orn和Schunck提出[7].如果t时刻图像的点(x,y)处灰度值为I(x, y,t),在时刻t+$t时,这一点运动到((x+$x,y+ $y,t+$t),对应的灰度值为I(x+$x,y+$y,t+ $t),假定它与I(x,y,t)相等,即
I(x+$x,y+$y,t+$t)=I(x,y,t)(1)
利用泰勒公式对其展开,忽略二阶及其以上的项可得到
5I
5x
$x
$t+
5I
5y
$y
$t+
5I
5t=0(2)令u,v分别为该点光流矢量沿x和y方向的两个分量,且有
u=d x
d t
,v=d y
d t
则可得到基本光流约束方程
I x u+I y v+I t=0(3)
第31卷第2期2011年04月
西安工业大学学报
Jour nal of X i.an T echno log ical U niversity
V ol.31N o.2
A pr.2011
*收稿日期:2010-11-23
作者简介:韩军(1966-),男,西安工业大学教授,主要研究方向为光电测试技术、光学薄膜.E-mail:hanjun512@.
写成矢量形式
¨I #v +I t =0(4)
在式(3)和式(4)中,I x ,I y ,I t 分别为参考像素点的灰度值沿x ,y ,t 三个方向的偏导数;¨I =(I x ,I y )T 为图像灰度的空间梯度;v =(u,v)T 即为光流矢量.
基本光流中有两个未知数u 和v ,但只有一个方程,因此,只使用一个点上的信息是不能确定光流的.人们将这种不确定问题称为孔径问题(apertur e pro blem).各国的研究者均在探索求解该不适定问题的方法,其间出现了许多克服不适定问题的算法,H o rn 和Schunck 使用光流在整个图像上光滑变化的假设来求解光流,即运动场既满足光流约束方程又满足全局平滑性.Lucas 和Kanade 假设在一个小的空间邻域8上运动矢量保持恒定,然后使用加权最小二乘方(weighted least -squares)估计光流.Nagel 使用二阶导数(second -o rder derivatives)来估计光流.
光流场计算基本公式的导出过程中,应用了泰勒级数展开,因此这实际隐含着认为灰度变化以及速度场的变化都是连续的.但在实际情况中,图像中的灰度变化以及速度场都可能出现不连续.日本学者M ukaw a 引入一个修正因子对光流场计算基本等式修正,其中修正因子可以有物体的运动和投影模型求出,解决了光流基本等式的不连续问题.
2 全局运动光流估计法
文中考虑基本的全局平移运动情形.假定图像f 1,f 2,存在全局平移运动变换,则有下式成立 f 1(x ,y )=f 2(x c ,y c )
=f 2(x +$x ,y +$y )(5)
对上式右边进行二元泰勒展开,略去高阶项得到
f 1(x ,y )U f 2(x ,y )+$xf
2x
(x ,y )+
$yf
2y
(x ,y )(6)
其中f 2x (x,y )=
5f 2(x ,y )
5x
,f 2y (x ,y)=5f 2(x ,y )5y .为了估计运动参数($x ,$y ),建立如下误差函数
I ($x ,$y )=[f 2(x ,y )+$xf
2x
(x ,y )+
$yf 2y (x ,y )-f 1(x ,y )]2
(7)
当I ($x,$y)去最小值时,即I ($x ,$y)对两个
待求参数的偏导数为零,即
2[f 2(x ,y )-f 1(x ,y )]f 2x (x ,y )+ $x [f 2x (x ,y )]2
+$yf 2x
(x ,y )f
2y
(x ,y )=0
2[f 2(x ,y )-f 1(x ,y )]f 2(x ,y )+
$xf
2x
(x ,y )+$yf
2y
(x ,y )[f 2y (x ,y )]2=0
(8)
式(8)可写为矩阵形式为
AP =b
(9)
其中A =f 2
2x f 2x f 2y f 2x f
2y
f
22y
,P =$x $y
,
b =
f 2x (f 1-f 2)f 2y (f 1-f 2)
.
通过计算A 和b ,最终可求得全局运动参数P =A -1b .
3 多分辨率原理
光流估计算法的优点是配准精度比较高,抗噪声能力强,但只适合于对小位移量的配准,当图像间的位移量比较大时,往往不能准确配准.另外算法的计算量也比较大,而且随图像像素数的增加而增加.文中采用多分辨的方法应用于光流,可以弥补这个缺点.采用高斯金字塔分解,将高斯算子与原图像进行卷积,然后下采样,得到图像在较低分辨率上的近似,分辨率是原图的1/2,再将采样后的图像与高斯算子卷积下采样,如此反复进行上述操作,就得到了高斯金字塔如图1所示.
图1 图像的多分辨率示意图
F ig.1 Schematic diag ram of mult-i reso lution imag e
多分辩算法步骤与算法为
设原图像为P 0,以P 0作为高斯金字塔的第0层,第k 层的计算是先将k -1层图像P k-1和一个具有低通特性的5@5的窗口函数S(m,n)进行卷积,在把卷积结果作隔行隔列的降采样,即
116
西安工业大学学报 第31卷
P k(i,j)=E2m=-2E2n=-2S(m,n)P k-1(2i+m,2j+n)
(10)其中0[k[N,0<i[P k,0<j[L k,按照一定约束条件可以计算得到窗口函数的值,将S代入式(10)计算,即构成的高斯金字塔.
金字塔的高层图像分辨率比较低,图像像素数比较少,因此可减小算法的计算量.另外低分辨率图像间的相对位移量也比高分辨率图像间的位移量减小了相应的倍数,因此可使算法实现大位移量的运动估计.
4实验及分析
为验证上述结论,我们采用步进电机对双光楔进行控制,使其绕轴旋转所成特定的夹角来实现不同的光线偏转角[9-11].当两光楔绕光轴相对旋转,其夹角为U时,偏向角D随夹角U的变化而变,CCD 探测器作为图像接收传感器.通过对该微扫描装置设计分析,可实现[0.03nm的精度.文中主要针对全局平移运动,用文中所述光流法对拍摄图像进行运动估计,并用相位相关法进行对比.微扫描装置原理如图2所示
.
图2微扫描装置原理图
F ig.2Schematic diag ram of m icro scanning dev ice
图3为拍摄的一帧图像,分辨率为512@512.计算光流场时,首先要对图像进行预处理,以消除噪声和PSF模糊.再利用高斯滤波对图像进行平滑,采用Lucy-Richardson对图像消除PSF模糊.处理结果图像如图4所示.
根据所述方法,选取实验序列图像的四帧图像进行了算法测试,如图5、图6、图7、图8所示.其中图5与图6之间相差0.5个像素,图7、图8之间相差2.5个像素
.
图3实验室一帧图片
F ig.3T he image o f labor ator
y
图4预处理后图片
Fig.4T he prepro cessed
image
图5第一帧图像
F ig.5T he first fr
ame
图6第二帧图像
Fig.6T he seco nd frame
文中位移估计算法步骤为
¹将参考图像与待估计图像分别进行高斯下
采样,获得图像的多分辨率表示,初始化第n层的
运动参数为(0,0);
117第2期韩军等:全局运动多分辨率光流估计算法的改进与实现
º计算f2x,f2y,由式(8)可求的A;
»计算f1-f2,b,P;
¼由n层计算n-1层的光流.将第三步得到的值作为L-1层计算的迭代初始值,更新运动估计参数P(i)n=P(i+1)
n+A-1b,利用式(2)和式(3)进行运算;
½重复第¼步,直到计算到第0层为止.第0层的值即为最终运动参数值.
文中方法用Matlab7.0开发语言实现.样本测试结果:水平位移$x=0.5876,$y=0.0258;$x =2.5,$y=0.0275;运算时间20s.
图9,图10显示了光流矢量图,由于第二帧图像相对第一帧图像只有水平位移,从图中可以看出,光流真实反映了图像像素强度变化情况,由于噪声的处理不理想以及坏像素的存在,有部分像素矢量估计不准确.
为了进一步说明文中光流算法的准确性,用大部分超分辨率图像重建中使用的相位相关亚像素估计法进行对比.通过表1中的数据可知,这一方法能够较好的估计两幅图像间的亚像素级运动量
.
图7第三帧图像
Fig.7T he thir d fr
ame
图8第四帧图像
F ig.8T he fourth fr
ame
图9光流矢量图
Fig.9T he o ptica l flo w v ect
or
图10光流矢量图
F ig.10T he optical f low vecto r
表1不同方法的图像运动估计实验结果比较(像素)
T ab.1T he co mpar ison of ex per imental r esults of imag e motion estimation w ith different methods(pixels)算法
真实值
水平方向垂直方向
估计值
水平方向垂直方向
误差值
水平方向垂直方向相位相关法0.500.64230.04670.14230.0467
文中算法0.500.58760.02580.08760.0258
相位相关法 2.50 2.73260.05780.23260.0578
文中算法 2.50 2.67540.03470.17540.0347
5结论
1)文中结合实际应用要求,引入多分辨率技
术,改进了光流估计算法对于大位移的不能准确性
估计,扩展了光流估计的应用场合,同时使光流估
计的运算速度和鲁棒性有了较大的提高.
2)对双光楔微扫描装置拍摄的多帧亚像素图
像进行误差估计,对于高精度亚像素小位移误差精118西安工业大学学报第31卷
度0.03pi,对于高精度亚像素大位移的误差精度为0.05pi.
3)改进的光流算法虽在文中取得了较好的应用效果,但随着应用场合的不同,对该算法的抗噪声和快速的计算能力提出了更高的要求.
4)在今后的研究中将继续围绕光流算法的实时性和良好的鲁棒性进行深入探索,使其能在特殊的硬件支持下实现实时动态检测,并将其研究成果扩展到其他研究领域.参考文献:
[1] P ark S C,Park M K,Kang M G.Super -resolution Im -age Reconstructio n -a T echnical Over view [J ].I EEE Sig nal P rocessing M ag azine,2003,20(3):21.[2] N g M K,Bose N K.M athemat ical A naly sis of Super -r eso lutio n M etho do log y [J].IEEE Sig nal Pr ocessing M ag azine,2003,20(3):62.
[3] I rani M ,Peleg S.Impro ving R eso lutio n by I mag e
R egistr atio n [C ]//CV GI P:G raphical M o dels and I mage,1991,53(3):231.
[4] H uang Y ,M a S,Shen C.P redictive L ine Sear ch:An
Efficient M otion Est imatio n Algo rithm for M PEG -4Encoding Systems on M ultimedia P ro cessor s [J ].I EEE T rans o n Cir cuit s and Sy stems fo r V ideo T echnolog y,2003,13(1):111.
[5] HORN B,SCH UCK B.Determining Optical Flow [J].
Ar tificial Intellig ence,1981,17(4):185.
[6] Ba rro n J,Fleet D,Beauchemin S.Per for mance o f O p -t ical Flow T echniques [J].I nter nat ional Journal of Co mputer V ision,1994,12(1):42.
[7] Black M J,Y aco ob Y,Jepson A D,et al.L earning P a -rameter ized M o dels of Image M otion [C ]//IEEE Computer So ciety Co nfer ence on Com puter V isio n and Pattern Recog nitio n(CVP R'97),1997:561.[8] ZU CCHEL LI M.O ptical F lo w Based Structure fr om
M o tio n[M /O L].CV A P L ab.Ro yal Institute of T ech -nolog y,Stockho lm,2002[2007-09-23].http://citese /view do c/do wnload?doi=10.1.1.12.5862&rep=r ep1&ty pe=pdf.
[9] 段智勇,王庆康.新型纳米分辨率位移定位平移台的
研制[J].纳米技术与精密工程,2005,3(3):176.
DU AN Zh-i yong ,W A NG Q ing -kang.Development of a Displacement Positioning P latfo rm of N ov el N ano -meter Reso lution [J].Nanotechnolo gy and P recisio n Engineer ing ,2005,3(3):176.(in Chinese)
[10] H aussecker H,Fleet puting Optical Flow w ith
P hysical Mo dels of Brightness Variation [J].IEEE T PA M I,2001,23(6):661.
[11] 王碧波,岳金福,周泽斌,等.基于二维精密电容微位
移传感器的二维纳米定位系统[J].纳米技术与精密工程,2005,3(2):137.
W A NG B-i bo,Y U E Jin -fu,Z HO U Z e -bing ,et al.T w o -dimensio na l N ano -positioning System Co m -bined with T w o -dimensio na l Capacitive Displace -ment Senso r[J].N anotechno log y and P recisio n En -g ineering ,2005,3(2):137.(in Chinese)
Improvement and Implementation of Global Motion
Mult-i resolution Optical Flow Estimation Algorithm
H AN J un,ZH A N G Dong
(School of O pto electr ic Eng ineer ing,Xi .an T echnolog ical U niv ersity ,X i .an 710032,China)
Abstract: In or der to improve the estimation precisio n o f displacement among low resolution im ag es,the paper pr opo ses an optical flow estim ation algor ithm o f g lobal motion w ith mult-i resolution,based o n the traditional optical flow alg orithm.T he ex perimental results sho w s that the algo rithm can realize fast small displacem ent motion estimatio n and accurate big displacem ent motion estimatio n.The estim ation is implemented for im ages of low reso lution w ith sub -pix el displacement,com pared w ith correlatio n phase estim ation.T he results show that this impr oved algo rithm achieves hig h precisio n pix el displacement estim ation and the precisio n reaches 0.05pi.
Key words: optical flow estim ation alg orithm ;mult-i reso lution;sub -pixel estim ation;
phase cor relation m ethod
(责任编辑、校对 张立新)
119
第2期 韩军等:全局运动多分辨率光流估计算法的改进与实现。