鱼眼视频图像畸变的实时校正方法-吉林大学学报

第55卷 第1期
吉林大学学报(理学版)V o l .55 N o .1 2017年1月J o u r n a l o f J i l i nU n i v e r s i t y (S c i e n c eE d i t i o n )J a n 2017d o i :10.13413/j .c n k i .j
d x b l x b .2017.01.18鱼眼视频图像畸变的实时校正方法
吕耀文,安 喆,徐熙平
(长春理工大学光电工程学院,长春130022)摘要:采用鱼眼图像的球面投影模型,提出一种基于鱼眼透镜球面投影的实时校正方法.该
方法将鱼眼图像映射在5个图像平面上,解决了鱼眼视频图像畸变严重,观测视觉体验效果
较差的问题;根据图像在计算机中的内存布局,对校正算法中的空间映射计算和内存存储空
间进行了优化,提高了算法的执行效率,减少了算法的内存消耗.实验结果表明,该方法能
显著改善鱼眼图像的显示效果,对单帧图像的处理时间仅为18.37m s
,能满足鱼眼视频图像实时校正的需要.关键词:图像校正;鱼眼图像;实时处理;球面投影
中图分类号:T P 391 文献标志码:A 文章编号:1671-5489(2017)01-0103-06
R e a l -T i m eC o r r e c t i o n M e t h o d f o rF i s h e y eV i d e o I m a g
e sD i s t o r t i o n L ÜY a o w e n ,A NZ h e ,X U X i p i n g
(S c h o o l o f O p t i c a lE n g i n e e r i n g ,C h a n g c h u nU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y ,C h a n g c h u n 130022,C h i n a )A b s t r a c t :U s i n g s p h e r i c a l p r o j e c t i o n m o d e lo ff i s h e y ei m a g e ,w e p r o p o s e dar e a l -t i m ec o r r e c t i o n m e t h o db a s e do n s p h e r i c a l p r o j e c t i o n .T h em e t h o dm a d e t h e f i s h e y e i m a g em a p i n5i m a g e p l a n e ,s o a s t o s o l v e t h e p r o b l e mo f s e r i o u s d i s t o r t i o n a n d p o o r v i s u a l e f f e c t s f o r f i s h e y e v i d e o .A c c o r d i n g t o t h e l a y o u to f 2D i m a g e d a t a a l l o c a t i o n si n m e m o r y ,t h e s p a c e m a p p i n g c a l c u l a t i o n a n d m e m o r y m a n a g e m e n tw e r e o p t i m i z e d i n t h e c o r r e c t i o n a l g o r i t h m.T h e e f f i c i e n c y o f t h e a l g o r i t h m w a s i m p r o v e d a n d t h em e m o r y c o n s u m p t i o no f t h e a l g o r i t h m w a s r e d u c e d .T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t t h e m e t h o d c a n s i g n i f i c a n t l y i m p r o v e t h e v i s u a l e f f e c t so f f i s h e y e i m a g e s ,a n d t h e r u n n i n g t i m eo f s i n g l e f r a m e i m a g e i s o n l y 18.37m s ,w h i c h c a n s a t i s f y t h e n e e d o f r e a l -t i m e f i s h e y e v i d e o i m a g e c o r r e c t i o n .K e y w o r d s :i m a g e c o r r e c t i o n ;f i s h e y e i m a g e ;r e a l -
t i m e p r o c e s s i n g ;s p h e r i c a l p r o j e c t i o n 收稿日期:2016-06-13.作者简介:吕耀文(1987 ),男,汉族,博士,讲师,从事数字图像处理和机器学习的研究,E -m a i l :l u o h o n g j u a n 05@163.c o m.基金项目:国家自然科学基金(批准号:11474041)和吉林省科技发展计划项目青年基金(批准号:20160520018J H ).
鱼眼摄像机具有视场广㊁信息量丰富及制造成本低等优点,在安全监控㊁机器人导航㊁智能交通
和全景展示等领域应用广泛[1-3].但由于鱼眼镜头在光学设计结构上将180ʎ的场景映射到单个成像平面探测器上,导致鱼眼图像畸变严重,观测视觉体验效果较差.因此通过后期软件处理技术校正鱼眼
畸变图像,提高人眼观测视觉舒适度,已成为鱼眼摄像机应用的关键技术.目前,鱼眼图像的畸变校正方法主要分为两类:基于标定的校正方法[4-5]和基于投影变换模型的
校正方法[1-2,6-7].基于标定的校正算法主要通过借助外部设备对鱼眼图像的畸变多项式系数进行标定,
以获得畸变源图像到校正目标图像的点到点映射关系,从而实现鱼眼图像的畸变校正功能.主要包括
基于射影几何中的对极几何[4,8]和消隐点[5]约束的标定方法㊁采用交叉衍射光学元件(C D O F )的标定法[9]㊁直线投影不变约束的圆拟合[10]和高斯拟合法[11-12]以及平面棋盘点位置坐标的标定方法[8].这些
方法对鱼眼镜头的投影过程建立了复杂的数学模型,校正精度较高,但需要专用的标定设备和复杂的软件算法实现,且校正目的是为了获得数学模型上的对应,对于人眼视觉的观察并没有较大提升.基于投影模型的校正方法主要包括经纬映射投影法[1]㊁球面模型投影法[2]㊁柱面投影法[6]㊁数字畸变模型投影法[7]和椭球面模型投影法[13].模型投影法以一种简化的投影模型近似鱼眼镜头的复杂光学成像原理,虽然校正精度不如标定法,但具有校正原理简单㊁实现方便和视觉效果改善显著等优点.目前的校正方法多数只考虑最后的校正结果,未考虑校正算法的复杂性和实时性.因此,本文以鱼眼透镜的球面投影模型为基础,结合图像的内存布局方式,采用映射查找的方法,实现一种针对鱼眼视频图像畸变的实时校正方法.
1鱼眼图像校正算法
1.1图像的几何变换
鱼眼图像的校正归属于图像的几何变换应用.几何变换包含两个基本操作:1)目标图像与源图像的空间映射关系,即目标图像的某个像素点在源图像中的空间位置,但这个映射的空间位置可能不一定为整数;2)灰度插值,典型的灰度插值按计算复杂度从低到高依次为最近邻插值㊁双线性插值和二次插值.图1为图像几何变换的示意图.
1.2鱼眼图像的球面投影模型
鱼眼图像的投影模型定义了校正图像与鱼眼图像的空间映射关系.图2为鱼眼图像的球面投影模型,其中:点s为校正目标图像上点p到鱼眼图像上的映射点,是球面点p1到鱼眼图像平面的垂直映射;p1是鱼眼图像中心点o和点p的连线o p与映射球的交点.映射关系确定后,要实现图像的校正,还需要解决两个问题:1)校正图像平面的空间位置;2)校正图像的大小.
图1图像几何变换示意图
F i g.1S c h e m a t i c d i a g r a mo f i m a g e
g e o m e t r i c t r a n s f o r m a t i o n
图2鱼眼图像的球面投影模型F i g.2S p h e r i c a l p r o j e c t i o nm o d e l
o f f i s h e y e i m a g e
校正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小,不影响最终校正图像的视觉效果;直线o c的角度变化产生了不同视角下的校正图像.如果校正图像太小会导致校正图像中包含的鱼眼图像信息过少,需要很多张校正图像才能覆盖鱼眼图像中的所有信息,导致校正算法复杂㊁计算量大且不便于观察者观看.图3为球面投影映射的切面图,鱼眼图像中的等距线段s1和s2在校正目标图像中产生了明显的大小差异,所以若校正图像过大,将导致校正图像的非线性畸变.因此,为
了充分展现鱼眼图像的视觉信息,并减少校正图像由于球面映射导致的图像畸变,本文以包围半球最小长方体的5个面为校正平面,分别命名为顶视图㊁左视图㊁右视图㊁前视图和后视图,如图4所示.
1.3校正方法
下面从校正平面中的任一像素点p(j j,k k)开始,计算点p在鱼眼图像中对应点s的图像坐标(x,y).
1)点p在o-x y z三维坐标系中坐标(u,v,w)的计算.
顶视图为
u=j j-R,v=k k-R,w=R;(1) 401吉林大学学报(理学版)第55卷
图3 球面投影映射的切面图
F i g .3 S e c t i o n c u t o f s p h e r i c a l p r o j e c t i o nm a p p i n
g 图4 鱼眼图像校正平面F i g .4 C o r r e c t i o n p l a n e s o f f i s h e y e i m a g
e 前视图为
u =j j -R , v =-R , w =R -k k ;(2)后视图为
u =j j -R , v =R , w =R -k k ;(3)左视图为
u =-R , v =j j -R , w =R -k k ;(4)右视图为u =-R , v =j j -R , w =R -k k .(5)其中R 为鱼眼透镜圆形图像的半径.2)映射点s 在x o y 平面中坐标(x 1,y 1)的计算.(x 1,y
1)等效于映射球上点p 1的x 坐标分量和y 坐标分量,因此由几何关系可得
x 1=R u /(u 2+v 2+w 2)1/2, y 1=R v /(u 2+v 2+w 2)1/2.(6) 3)点s 的图像坐标(x ,y )为x =x 1+c x , y =y 1+c y ,(7)其中(c x ,c y )为坐标中心点o 在鱼眼图像中的图像坐标,即为鱼眼图像圆心的图像坐标.本文中鱼眼图像的中心和半径采用文献[13]的方法确定.校正图像到鱼眼图像的映射关系确定后,即可采用灰度插值算法实现鱼眼图像的校正.基于实时性的考虑,本文选择最近邻插值法.
2 图像的内存布局及算法优化
计算机只能处理存储在计算机内存中的数据.C P U 以寻址的方式读取计算机内存中的待处理数
据,处理完毕后,又以寻址的方式写入到计算机内存中.该过程表现在编程语言上,对应为指针地址的赋值㊁指针所指内存空间的取值和赋值.计算机的寻址是一个一维过程,即计算机对内存的操作并未区分行和列,只以一个统一的32b i t (或64b i t )地址映射内存.二维图像以某种数据结构连续存储在计算机内存中,因此采用一维的寻址方式扫描二维图像的像素可提高算法的效率.以一维的方式正确扫描二维图像数据需要确定图像在计算机中的内存布局.二维图像变成一维排列有两种方式:1)列优先方式,即扫描以列为方向,MA T L A B 软件就是采用这种扫描方式;2)行优先方式,即扫描以行为方向,计算机视觉图像处理库O p e n c v 采用行优先方式.本文采用V i s u a l S t u d i o 2010和O p e n c v 2.3工具开发鱼眼图像校正算法,因此重点说明行优先方式.对于图像中的第i 行第j 列位置的一维寻优地址a d 为
a d =i ˑC O L S +j ,(8)其中C O L S 为二维图像的列数.2.1 映射计算优化
成像模型与鱼眼摄像机获得的图像内容无关,因此对鱼眼视频的每张图像采用的校正方法均一
5
01 第1期 吕耀文,等:鱼眼视频图像畸变的实时校正方法
601吉林大学学报(理学版)第55卷致.为了避免重复映射关系计算,本文采用数组存储映射关系,在程序启动时,初始化该一维数组,一维数组的序号为校正目标图像内存布局的一维地址偏移量,其对应的存储值为映射鱼眼图像像素点的一维地址偏移量.在视频图像校正过程中采用数组读取的方式查找映射.
2.2内存存储空间优化
将计算变为映射查找可提高程序的执行效率,但映射查找表的存储需要消耗计算机的内存.本文需要校正5个视图,以1Kˑ1K分辨率图像计算,需要提前开销12M B的内存(顶视图需要1Kˑ1K 的索引,4个侧视图分别需要1Kˑ0.5K的索引,每个索引对应4B y t e的整数),因此存储映射表的内存消耗是图像大小的12倍.
为了降低程序对系统内存的损耗,通过分析图4发现4个侧视映射平面是对称的,并且鱼眼图像的成像区域是一个圆,具有旋转对称性,因此4个侧视图只需要1个映射表就能完成鱼眼图像的侧视图校正.本文存储前视图的映射表,对于另外3个侧视图的校正,采用绕图像中心旋转的方式完成.例如,对于右视图的校正,将鱼眼图像旋转90ʎ即可变右视图为前视图.同理后视图和左视图的旋转角度分别为180ʎ和-90ʎ.图像90ʎ的旋转等效为二维图像矩阵的转置,180ʎ的图像旋转对应二维图像矩阵的上下翻转.矩阵的转置和翻转在计算机处理中只是二维数据的重新排列,其计算时间较少.因此,可通过矩阵的转置和翻转,将4个侧视映射表变为1个侧视映射表,在不降低算法运行效率的前提下,映射表的存储空间由12倍的图像大小降为6倍,显著提高了计算机内存的利用效率.优化后的程序流程如图5所示.
图5优化后的程序流程
F i g.5F l o wc h a r t o f o p t i m i z e d p r o g r a m
3实验
为验证本文算法的效果和性能,使用鱼眼摄像机分别采集了会议室和办公室两个不同场景的鱼眼视频图像,截取视频中的某一帧原始图像如图6(A)和图7(A)所示.实验平台采用W i n d o w s10专业版32位操作系统,I n t e l i33.3G H z双核C P U,4G B内存,开发环境为V i s u a l S t u d i o2010和O p e n c v2.3库.
3.1校正效果
实验对鱼眼图像进行校正,其校正结果分别如图6和图7所示.由图6和图7可见,原始图像中畸变直线,如图6(A)中的会议桌㊁长方形投影幕布的黑边框㊁遮挡玻璃门的连接线,图7(A)中的灯管㊁窗框和办公隔断等都已经校正成了直线.此外,由于校正映射平面改变引起视角变化而产生的4个视图相对于原图更符合人的观察习惯,如图6前视图中的矿泉水和花,图7左视图中的人,相对于原始图像,它们在校正图像中更容易被人眼观察和识别.
3.2算法优化结果
用本文优化方法对校正算法进行优化实验,算法优化前和优化后的运行时间列于表1.
图6 会议室鱼眼图像校正结果
F i g .6 C o r r e c t i o n r e s u l t s o f f i s h e y e i m a g
e s i n c o n
f e r e n c e r o o
m 图7 办公室鱼眼图像校正结果
F i g .7 C o r r e c t i o n r e s u l t s o f f i s h e y e i m a g
e s i no
f f i c e r o o m 表1 算法运行时间(m s )T a b l e 1 R u n n i n
g t i m e (m s )o f a l g
o r i t h m s 算法
会议室办公室优化前
102.69102.69映射优化
12.6212.47内存优化18.3718.64 程序的计时采用O p e n c v 中提供的两个高精度计时函数g e t T i c k C o u n t ()和g e t T i c k F r e q u e n c y
()7
01 第1期 吕耀文,等:鱼眼视频图像畸变的实时校正方法
801吉林大学学报(理学版)第55卷完成.表1中的运行时间为程序运行1000次的平均值.由表1可见:1)运行时间与场景无关,这是因为校正算法并不需要图像像素的灰度值;2)算法映射优化后,运行时间由原来的102m s降为12m s;
3)采用矩阵的转置和翻转优化程序内存后,运行时间只增加了6m s,却节约了50%的内存空间.在实际应用中,可根据实际情况在程序运行效率和计算机内存占用间进行平衡.实验结果表明,经过优化后的算法完全可满足针对30帧/s鱼眼视频图像的实时校正.
综上所述,本文针对鱼眼图像畸变严重㊁视觉效果差的问题,在深入分析鱼眼透镜球面投影模型的基础上,实现了一种采用映射查找法的实时校正方法.该方法选择包围半球最小长方体的5个面为校正平面,既充分展现了鱼眼图像的视觉信息,又减少了校正图像由于球面映射引起的图像畸变.本文从图像在计算机的内存布局出发,通过映射查找表和矩阵的转置与翻转,对算法从时间和空间上进行了优化.本文优化方法可以推广到其他有关图像几何校正(包括基于其他数学模型的鱼眼透镜图像校正)的算法实现中,优化方法具有一般性.实验结果表明,本文方法能显著改善鱼眼图像的显示效果,并满足鱼眼视频图像实时校正的要求.
参考文献
[1]魏利胜,周圣文,张平改,等.基于双经度模型的鱼眼图像畸变矫正方法[J].仪器仪表学报,2015,36(2):
377-385.(W E IL i s h e n g,Z HO U S h e n g w e n,Z HA N G P i n g g a i,e t a l.D o u b l eL o n g i t u d e M o d e lB a s e dC o r r e c t i o n M e t h o d f o rF i s h-E y e I m a g eD i s t o r t i o n[J].C h i n e s e J o u r n a l o f S c i e n t i f i c I n s t r u m e n t,2015,36(2):377-385.)
[2]赵瑞,郝书珍.一种大视角鱼眼图像校正算法的实现[J].河北农业大学学报,2014,37(3):106-110.
(Z HA O R u i,HA O S h u z h e n.I m p l e m e n t a t i o no fC o r r e c t i o n A l g o r i t h m f o rL a r g e A n g l eF i s h e y eI m a g e s[J].
J o u r n a l o fA g r i c u l t u r eU n i v e r s i t y o fH e b e i,2014,37(3):106-110.)
[3]祝海江,徐晓波,周靖林.基于球面透视投影旋转矩阵的鱼眼图像匹配[J].光学学报,2013,33(2):0215001.
(Z HU H a i j i a n g,X U X i a o b o,Z HO UJ i n g l i n.F i s h e y e I m a g eM a t c h i n g B a s e do nR o t a t i o n M a t r i xu n d e rS p h e r i c a l P e r s p e c t i v eP r o j e c t i o n[J].A c t aO p t i c aS i n i c a,2013,33(2):0215001.)
[4] K a n n a l aJ,B r a n d tSS.A G e n e r i cC a m e r a M o d e l a n dC a l i b r a t i o n M e t h o df o rC o n v e n t i o n a l,W i d e-A n g l e,a n d
F i s h-E y eL e n s e s[J].I E E ET r a n s a c t i o n sP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2006,28(8):1335-1340.
[5] H u g h e sC,D e n n y P,G l a v i n M.E q u i d i s t a n t F i s h-E y eC a l i b r a t i o n a n dR e c t i f i c a t i o nb y V a n i s h i n g P o i n tE x t r a c t i o n
[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2010,32(12):2289-2296.
[6]霍薇薇,王作栋,高萌萌,等.基于坐标投影的鱼眼图像校正方法研究[J].电子测量技术,2014,37(5):
25-28.(HU O W e i w e i,WA N GZ u o d o n g,G A O M e n g m e n g,e t a l.M e t h o do f F i s h e y e I m a g eC o r r e c t i o nB a s e do n
C o o r d i n a t eP r o j e c t i o n[J].E l e c t r o n i cM e a s u r e m e n tT e c h n o l o g y,2014,37(5):25-28.)
[7] HO U W e n g u a n g,D I N G M i n g y u e,Q I N N a n n a n,e t a l.D i g i t a l D e f o r m a t i o nM o d e l f o r F i s h e y e I m a g eR e c t i f i c a t i o n
[J].O p t i c sE x p r e s s,2012,20(20):22252-22261.
[8] H a r t l e y RI,K a n g SB.P a r a m e t e r-F r e eR a d i a lD i s t o r t i o nC o r r e c t i o nw i t hC e n t e ro fD i s t o r t i o nE s t i m a t i o n[J].
I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2007,29(8):1309-1321.
[9] A r f a o u iA,T h i b a u l tS.F i s h e y e L e n s C a l i b r a t i o n U s i n g V i r t u a l G r i d[J].A p p l i e d O p t i c s,2013,52(12):
2577-2583.
[10] H u g h e sC,M c F e e l y R,D e n n y P,e ta l.E q u i d i s t a n t(fθ)F i s h-E y eP e r s p e c t i v e w i t h A p p l i c a t i o ni n D i s t o r t i o n
C e n t r eE s t i m a t i o n[J].I m a g eV i sC o m p u t,2010,28:538-551.
[11]王栋,朱明.利用图像畸变对称性实现相机中心位置标定[J].电子器件,2007,30(3):1003-1005.
(WA N GD o n g,Z HU M i n g.C a m e r a sI m a g eC e n t e r M e a s u r e m e n t M e t h o dB a s e do fD i s t o r t e dS y mm e t r y[J].
C h i n e s e J o u r n a l o fE l e c t r o n
D e v i c e s,2007,30(3):1003-1005.)
[12] HU A N GF u y u,WA N G Y o n g z h o n g,S H E N X u e j u,e t a l.M e t h o df o rC a l i b r a t i n g t h eF i s h e y eD i s t o r t i o nC e n t e r
[J].A p p l i e dO p t i c s,2012,51(34):8169-8177.
[13]杨中伟,杨鸣.基于椭球面模型的鱼眼图像校正方法[J].光学仪器,2014,37(2):127-131.(Y A N GZ h o n g w e i,
Y A N G M i n g.A F i s h e y eI m a g eC o r r e c t i o n M e t h o dB a s e do nE l l i p s o i d M o d e l[J].O p t i c a l I n s t r u m e n t s,2014, 37(2):127-131.)
(责任编辑:韩啸)。