基于灰度投影法的电子稳像平台设计与实现
快速灰度投影算法及其在电子稳像中的应用
第 1 5卷
第 3 期
光 学 精 密 ig isan e ii gie rn
VoI15 No. . 3
M a . 007 r2
20 0 7年 3月
文 章 编 号 1 0—2 X 2 0 )30 1—5 0 494 ( 0 70 —4 20
t l c r ni m a e s a lz to o e e t o c i g t bii a i n
SUN u H i
is, ( h n c u nt ue f O t s n e h i san Physc C a g h nI si t o p i , t c Fi eM c an c d
c fr d,wh c so a foft e o d o e i ieo o r g .Re a i g t i t ps hem o i e t on ime i h i ne h l h l n n sz fc ve a e pe tn h ss e ,t ton v c or
Ch h n 1 0 3 Ch n C iee a e f S in e , angc u 3 03 , i a) hn s Acd myo cecs
Ab ta t sr c :Bya ay ig t eg a rj cin ag rt m n o r lto u cin c r e o e e t g mo n lsn h r yp oe to l o ih a d c rea in f n to u v sfrd tc i — n
较 好 的稳 像 效 果 。 关 键 词 : 电子 稳 像 ; 度 投 影 算 法 ; 动 矢量 ; 索 区间 灰 运 搜 中 图分 类号 : P 9 ; P 1 T 3 1T 3 2 文献标识码 : A
一种基于灰度投影块匹配算法的电子稳像方法
值 , 为 第 k帧 图像 第 行 的灰 度 投影 值 , G () G (,)
为第 k帧图像 上 (,) 置 处的像 素灰 度值 。 位 ② 相关计 算 将 第 点帧 图像 的行 、 灰度 投 影 曲线 与 参考 帧 图 列 像 的行 、 列灰 度投 影 曲线 做互 相关 运算 , 根据 两条相关 曲线 的波谷值 即可确定 当前 帧图像 相对 于参考 帧 图像 的行 、 位移 矢量值 。 式为进 行行 相关 运算 的计 算公 列 下
式 ( ) , . 为第 k帧 图像 第 列 的灰 度 投 影 4 中 G () 『
索 区域 内所有 的候 选块 中 , 出于前 一 帧参 考块 在 某 找 匹配 准则 下 最相似 的块 , 即匹配块 , 考块 与其 匹配块 参
之 间 的相对 位移 即为该块 的运动矢 量 。 最 佳 匹配可 以通过使某 一 目标 函数最 小或最 大而 求 出 , 用 的 目标 函数 有 绝 对 误 差 和 ( AD, u f 常 S S m o
一
种 基 于 灰 度 投 影 块 匹 配 算 法 的 电 子稳 像 方 法
向量 。全 局块 匹配法 的实 现过程 如 图 1 示 。 引 所
当前 帧 ()
现过 程 可 由两 个 主要 的步 骤 组成 , 图像 的灰度 映 射 即 和相关 计算 。
①灰 度映 射
搜 索 块
把 每 一 帧 图像 灰 度 值 映射 成 两 个 独 立 的一 维 波 形, 即把两 维 图像信息 用两 个独 立 的一维 信息来 表示 。 其 投 影公式 可表 示为 :
M SE( x ) 1 # , = )
一种基于灰度投影的电子稳像改进方法
o lo tm ( P , ae h t oigojc r peetntei aeie cu trd t i a s te f grh G A) acs a m v beta i t n s i h m s l
An I pr v d El c r n c I a e S a ii a i n e ho m o e e t o i m g t b l to M t d z
B sdo a rjcin ae n Gr yP oet o
Q o g , E H n e ,IN S aqn H og IH n R N og TA h oig , U H n
21 0 2年 9月
一
种基 于 灰 度投 影 的 电子 稳像 改 进 方法
齐 红 ,任 洪娥 ,田 少卿 ,胡 鸿
基于灰度投影改进的电子稳像
E l e c t r o n i c i ma g e s t a b i l i z a t i o n b a s e d o n i mp r o v e d g r a y p r o j e c t i o n
GU Xu e — ha i W A N G Li — pi n g,G U Gu o — hua
改进 前与 改进 后 的稳像 效 果 , 改进后 的 P S RN( 峰值 信 噪 比) 提高了 1 . 3 5 。
关键 词 : 电子稳 像 ; 灰 度投 影 ; 局部 运 动 目标 ; 像 素替代
中 图分 类 号 : T N2 1 6 文献 标 志 码 : A d o i : 1 0 . 5 7 6 8 / J AO2 0 1 3 3 4 . 0 6 0 2 0 0 3
Ab s t r a c t : Gr a y p r o j e c t i o n me t h o d f o r e l e c t r o n i c i ma g e s t a b i l i z a t i o n h a s p o o r i ma g e s t a b i l i z a t i o n
me t h o d,b a s e d o n t h e a n a l y s i s o f t h e b a s i c t h e o r y f o r g r a y p r o j e c t i o n .W e e s t i ma t e d t h e p o s i —
,
a n d Te c hno l ogy, S c ho ol of El e c t r on i c Engi ne e r i ng a nd ( Na n j i n g Un i v e r s i t y o f S c i e n c e
一种基于灰度投影算法的车载电子稳像方法
poet na oi m ecn io f nyh v gt n lt nerr res oa o r rs l a d td rjci g r h i t o dt no l a i a s i r s rtt ner s v l a . o l t nh i o n r ao ool i o ia o i e
i g r s ntevhc a r s m iiut td E lyn e rypoe t na oi m o d c ma es i e i ecmeas t ls a . mpo igt a rjc o l rh t c n u t ee i h l y e sl r e hg i g t o
第3 卷 第6 2 期 21 0 0年 6月
红 外 技 术
I fa e e h o o y n r r dT c n l g
、b -2 NO 6 ,l 3 .
J 201 un. 0
一
种基于灰度投影算法的车载 电子稳像方法
李计 添 ,何永强 ,陈财森 2 一 ,王立邦 。
2Co ue n ie rn p r n, d a c n ie rn olg , hja h a g0 0 0 , ia . mp trE gn e igDe a t tOrn n eE gn e ig C l e S i z u n 5 0 3 Chn ; me o i
3 U i7 6 1 f3 6 P A P t nF j n3 15 , hn o a a a
Ab t a t Fe t r s o e i u a to nd c u e f p o u i g d n mi ma l ai g i h e i u a sr c : au e f v h c lr mo i n a a s so r d c n y a c i ge fo tn n t e v h c l r c me a s se a ea l z d, nd t e n c s i a r i g o tee to i m a e sa l a in f rt n mi a r y t m r nay e a h e e st ofc ry n u l cr n c i g tbi z t o dy a c y i o he
一种基于灰度投影差值的稳像算法
Vol.37 No.182舰船电子工程Ship Electronic Engineering总第271期2017年第1期一种基于灰度投影差值的稳像算法$李大成杨晓东(海军潜艇学院青岛266100)摘要针对图像序列的平移抖动,提出了一种基于灰度投影差值的灰度投影稳像算法。
详细地阐述了实现此算法关键步骤:计算当前帧和参考帧的灰度映射,以灰度映射差值作为特征量,确定图像运动矢量和补偿当前帧图像等。
在实验室条件下应用此算法,采用图像差值对算法进行评价。
实验表明,该方法有效解决了前景局部物体运动和图像部分区域灰度变化大带来的干扰,能够达到实时电子稳像的目的。
关键词平移抖动;灰度投影;运动矢量;电子稳像中图分类号TP391 DOI:10. 3969/j. issa 1672-9730. 2017. 01. 021Electronic Image Stabilization AlgorithmBased on Gray Projection DifferenceLI Dacheng YANG Xiaodong(Naval Submarine Academy, Qingdao 266100)Abstract In allusion to the translational jitter of image sequences? an improved gray projection algorithm is proposed. The key steps to realize the algorithm are set forth in details. Gray projection of the current frame and reference frame is calculated, gray mapping difference is chosen as the characteristic and the image motion vector and compensation current frame image are determined. In order to evaluate this algorithm, image difference algorithm is applied under lab conditions. Experiments show that this method is effective to solve the prospects for local object motion and change of parts of image gray level and can achieve the goal of electronic image stabilizationKey Words translational jitter, gray projection, motion vector, electronic image stabilizationClass Number TP391i引言随着摄像机等图像采集设备在测量系统、导航 系统、监控系统等方面的广泛使用,对采集的图像 和视频的质量要求也越来越高。
一种基于分块灰度投影运动估计的视频稳像方法
中图分 类号 : T P 3 9 1 T 文献 标志 码 :A 文章 编号 : 1 0 0 0 - 1 0 9 3 ( 2 0 1 3 ) 0 4 — 0 4 0 6 — 0 6
DOI :1 0 . 3 9 6 9 / i . i s s n . 1 0 0 0 . 1 0 9 3 . 2 0 1 3 . 0 4 . 0 0 4
A Vi d e o S t a b i l i z a t i o n Me t h o d B a s e d o n S u b ・ b l o c k Gr a y P r o j e c t i o n
W U Ha o ,DENG Ho n g . b i n
A b s t r a c t :A v i d e o s t a b i l i z a t i o n m e t h o d b a s e d o n s u b - b l o c k g r a y p r o j e c t i o n a l g o r i t h m i s p r o p o s e d . F i r s t l y ,
ma i n e d s u b— b l o c ks ,a n d t h e g l o b a l mo t i o n v e c t o r i s c a l c u l a t e d a c c o r d i n g t o t h e l o c a l mo t i o n v e c t o r s a n d t h e i n t e r f r a me mo t i o n mo de 1 .F i n a l l y,t h e t r e mb l i n g i ma g e i s c o mpe n s a t e d t o s t a b i l i z e t h e i ma g e s e q u e n c e a c c o r d i n g t o mo t i o n c o mp e ns a t i n g v e c t o r . Th e p r o b l e ms o f t h a t t h e g l o b a l mo t i o n e s t i ma t i o n a c c u r a c y i s r e d uc e d b y t h e l o c a l mo t i o n a n d t h e r o t a t i o n mo t i o n o f c a me r a c o ul d n o t b e e s t i ma t e d b y t r a d i t i o n a l g r a y
基于Android的移动电子稳像系统的研究与实现
基于Android的移动电子稳像系统的研究与实现基于Android的移动电子稳像系统的研究与实现摘要:利用基于Android操作系统的硬件平台实现了移动电子稳像系统。
该系统采用无需人工干预的灰度投影算法,通过行列投影、投影滤波和相关计算获得运动补偿量,根据补偿量对视频进行全局校正。
对稳像前后帧的行、列投影及残差图像,分析表明,该系统稳像效果良好,且具有携带方便的特点,易于推广到各类移动终端设备。
关键词:移动电子稳像;Android;运动估计;灰度投影对存在抖动的视频进行高精度图像拼接、运动目标检测和跟踪时,必需对视频进行稳像处理。
视频的抖动是由于在拍摄时,手的抖动或摄像平台的不规则运动都会引起视频图像序列产生模糊和抖动,严重影响了图像信息的有效利用。
稳像技术的目的就是要去除视频中的抖动,使得视频播放更连续、稳定。
近年来,国内外学者在该领域做了大量的研究与努力,并取得了一定的成果。
国外对电子稳像技术的研究起步较早,许多发达国家对电子稳像技术在军事方面的应用进行了较为深入的研究,如美国、加拿大和俄罗斯等国家。
美国马里兰大学(University of Maryland)主要在军用稳像技术方面进行研究,开发出了多种稳像方法[1]。
中国科学院长春光学精密机械与物理研究所赵红颖[2]、钟平[3]等人对电子稳像技术的基本原理和应用范围进行了初步研究,对船载和机载摄像系统所获取的图像序列也进行了稳定的实验研究,并取得了一定的效果。
清华大学朱志刚、杨雨东等人通过采用基于多分辨率金字塔匹配方法的光流法来计算帧间运动矢量,并进行了电子稳像的实验研究[4]。
西安电子科技大学机电工程学院ICIE研究所朱娟娟、郭宝龙等人针对图像序列的抖动,研究了摄像机的抖动和正常扫描这两种运动的特点,提出了一种带运动修正的投影稳像算法[5]。
但是以上研究都是基于“摄像机—图像采集卡—计算机”模式进行,存在携带不方便的缺点。
张博等人研究并设计了基于FPGA的电子稳像专用平台[6]。
基于分区灰度投影的稳像算法在卫星装配中的应用
基于分区灰度投影的稳像算法在卫星装配中的应用白 丰 张小俊 张明路 孙凌宇河北工业大学,天津,300130摘要:针对传统电子稳像算法无法快速有效地消除视频图像随机抖动的问题,采用一种基于分区灰度投影的稳像算法,以确保机器人系统能够输出稳定连贯的卫星装配画面㊂对前后两帧视频图像进行划分并删除对比度低的子区域,利用间隔投影和互相关运算获取局部运动分量,通过基于平均误差门限的迭代步骤筛选后剩余的局部运动分量求解全局运动矢量;若判定存在低频扫描分量,还需对多帧图像的全局运动矢量作均值滤波处理㊂实验结果表明:基于分区灰度投影的稳像算法相比传统灰度投影法,在低对比度的自然场景图像和模拟装配图像中的稳像精确度分别提升119.1%和55.8%;同时执行时间只有块匹配算法的0.5%㊂能够有效消除随机抖动,快速输出稳定连贯的视频画面,保证机器人系统顺利完成卫星的地面装配工作㊂关键词:卫星装配;电子稳像;分区灰度投影;随机抖动中图分类号:T P 391 D O I :10.3969/j.i s s n .1004‐132X.2016.02.009V i d e o S t a b i l i z a t i o n M e t h o dB a s e do nS u b z o n eG r a yP r o j e c t i o n i nA p p l i c a t i o n s o f S a t e l l i t eA s s e m b l y B a i F e n g Z h a n g X i a o j u n Z h a n g M i n g l u S u nL i n g yu H e b e iU n i v e r s i t y o fT e c h n o l o g y ,T i a n ji n ,300130A b s t r a c t :A i m i n g t os o l v et h e p r o b l e m t h a tt r a d i t i o n a le l e c t r o n i ci m a g es t a b i l i z a t i o na l go r i t h m c o u l dn o t e l i m i n a t ev i d e or a n d o m j i t t e r s q u i c k l y a n de f f i c i e n t l y ,b a s e do ns u b z o n e g r a yp r o je c t i o na v i d e o s t a b i l i z a t i o nm e t h o dw a su s e d t o e n s u r e t h e r o b o t s y s t e mo u t p u t t i n g s a t e l l i t e a s s e m b l yp i c t u r e s s t a b l y a n d c o h e r e n t l y .T w of r a m e sw e r e d i v i d e d a n d s u b r eg i o n s o f l o wc o n t r a s tw e r e d e l e t e d .Th ei n -t e r v a l p r oj e c t i o n a n d c r o s s ‐c o r r e l a t i o n a l g o r i t h m w e r e u s e d t o g e t l o c a lm o t i o n c o m p o n e n t .T h e g l o b a l m o t i o nv e c t o rw a s s o l v e d b y t h e r e s t l o c a lm o t i o n c o m p o n e n t a f t e r i t e r a t i v e s t e p s b a s e d o n t h e a v e r a g e e r r o r t h r e s h o l d .A na v e r a g e f i l t e rw o u l db eu s e d i n g l o b a lm o t i o nv e c t o ro fm u l t i p l e f r a m e s i f i m a g e h a d l o wf r e q u e n c y s c a n n i n g c o m p o n e n t .E x p e r i m e n t a l r e s u l t s s h o wt h a t u s i n g t h e s t a b i l i z a t i o nm e t h o d b a s e do n s u b z o n e g r a yp r o j e c t i o n 's i m a g e t h es t a b i l i z i n gp r e c i s i o n i n c r e a s e s119.1%i nn a t u r a l s c e n e i m a g e s a n d55.8%i n s i m u l a t i o n a s s e m b l y i m a g e s o f l o wc o n t r a s t c o m p a r e dw i t h t r a d i t i o n a l g r a yp r o -j e c t i o nm e t h o d ,m e a n w h i l e t h ee x e c u t i o nt i m e i so n l y 0.5%o fb l o c k m a t c h i n g a l go r i t h m.I t p r o v e s t h a t t h em e t h o d c a n e l i m i n a t e r a n d o m j i t t e r s e f f e c t i v e l y ,o u t p u t s t a b l e c o h e r e n t v i d e o i m a g e s r a p i d l y ,a n d g u a r a n t e e t h e s a t e l l i t e i n s t a l l a t i o no f r o b o t s ys t e m.K e y wo r d s :s a t e l l i t e a s s e m b l y ;e l e c t r o n i c i m a g e s t a b i l i z a t i o n ;s u b z o n e g r a yp r o j e c t i o n ;r a n d o m j i t t e r 收稿日期:20150327基金项目:国家高技术研究发展计划(863计划)资助项目(2015A A 043101)0 引言卫星是一种将机㊁电㊁热等产品高度耦合的系统,其结构复杂㊁功能繁琐㊂当前,将光学相机㊁实验装置和仪器㊁通信和探测设备㊁空间望远镜驱动机构㊁支架和天线等单机设备集成于卫星系统的趋势日益明显㊂这些设备对地面装配的精确度和实时性均要求很高,然而目前的卫星装配技术发展较慢,整个装配过程仍主要依赖工程人员的经验进行定性判断,人工操作必然存在无法数字化测量配件间的相对位置㊁位姿调整不可量化㊁关键对接部位可视性不强的状况㊂因此,如何通过稳像㊁识别㊁标定和导航等前沿技术,使机器人系统能取代人工操作完成卫星的精确实时地面装配,成为当前制造业领域的研究热点㊂在卫星的地面装配过程中,摄像装置通常会伴随着机器人系统同步移动㊂由于载体的振动和姿态的变化,视频画面不可避免地会产生抖动,影响机器人系统的精确装配㊂电子稳像技术能够通㊃591㊃基于分区灰度投影的稳像算法在卫星装配中的应用白 丰 张小俊 张明路等Copyright ©博看网. All Rights Reserved.过估计全局运动矢量(或者运动补偿矢量)消除随机抖动,使输出的视频画面趋于平稳,成为当前解决以上问题的主要手段之一[1‐3]㊂近年,国内外广泛研究的电子稳像算法主要基于块匹配和灰度投影㊂经典块匹配算法[4]是国际上普遍认可的用于评估稳像算法性能的标准算法,但其实时性较差㊂相关学者主要是通过选择合适的搜索路径以及快速完成块区域的匹配来提升算法的实时性的,比如三步搜索法㊁菱形搜索法㊁阈值法㊁代表点法等[5‐10]㊂以上基于块匹配的相关稳像算法具有较高的精确度,但是其实时性仍然无法满足实际工程的应用要求㊂传统的灰度投影算法[11]具有明显的速度优势,但是,在低对比度的视频画面中,由于灰度投影曲线的变化不明显,无法精确解算出全局运动矢量㊂相关学者主要通过选择可靠的投影方式来提升算法的稳定性和精确度,比如梯度投影法㊁圆周投影法等[12‐15]㊂以上基于灰度投影的相关稳像算法具有优良的实时性能,但是稳定性和精确度仍然难以满足实际工程的应用需求㊂另外,常见的电子稳像算法,如:基于位平面的稳像算法[16]和基于特征点匹配的稳像算法[17]等,也不能满足应用需求㊂针对传统灰度投影法在低对比度画面中稳像精确度不足以及块匹配相关算法实时性能差的问题,本文采用了一种基于分区灰度投影的稳像算法来解决卫星装配画面的随机抖动问题㊂1 基于分区灰度投影的稳像算法1.1 图像子区域的划分和删选为保证有足够的重合比例,依次选择前后相邻两帧作为基准图像和当前图像进行子区域划分㊂在投影前,首先需要避免由于该区域对比度不明显造成局部运动分量估计偏差较大的问题出现㊂解决方案是将所有子区域划分为相同大小的四个矩形块,然后依次循环相减,计算相邻矩形块间的像素绝对差和:F S A D=∑M-1i=0∑N-1j=0|P t1(x t1+i,y t1+j)-P t2(x t2+i,y t2+j)|(1)其中,F S A D表示绝对差和,(x t k,y t k)表示第t个子区域中第k个矩形块左上角的坐标值,k=1,2,3, 4,M和N表示矩形块的行数和列数㊂将计算结果与预先设定的阈值比较,只有当所有矩形块的绝对差和均高于阈值时,当前子区域才进行灰度投影运算㊂1.2 灰度投影运算对以上满足阈值条件的子区域分别向水平和垂直方向进行投影㊂无论是水平方向还是垂直方向,其边缘区域具有唯一性,导致子区域的投影曲线在边缘处存在差异,影响子区域的局部运动矢量估计精度㊂而投影曲线的中间区域具有相近的波峰和波谷,只是位置存在偏差(即局部运动矢量),故只取投影曲线的中间部分作为子区域水平和垂直方向的投影结果㊂另外,通过间隔取点的方式,在几乎不影响精度的情况下,成倍地缩短了算法的执行时间㊂具体的投影公式如下:W p(j)=∑M/2-1i=0K p(2i+1,j)(2)H p(i)=∑N/2-1j=0K p(i,2j+1)(3)式中,W p(j)为第p个子区域中第j列像素灰度值垂直方向投影的累加和;H p(i)为第p个子区域中第i行像素灰度值水平方向投影的累加和;K p(i,j)为第p个子区域在(i,j)坐标处的像素灰度值㊂1.3 求解全局运动矢量对基准帧与当前帧图像对应子区域的灰度投影结果采用互相关运算,根据两条相关曲线的波谷,确定当前帧图像子区域相对于基准帧图像子区域的水平和垂直方向局部运动分量;然后,计算局部运动分量的平均值即可得到全局运动矢量: G(w)=∑M P j=1[P i(j+w-1)-Q i(m+j)]21≤w≤2m+1(4)t i y=m+1-w m i n(5)d y=∑n i=1t i y(6)式中,P i(j+w-1)为当前帧图像第i个子区域投影范围的第j+w-1列像素灰度投影累加和;Q i(m+j)为基准帧图像第i个子区域投影范围第m+j列的灰度投影累加和;G(w)为像素灰度投影累加的差值结果;w m i n为G(w)取最小时的w值;t i y为当前帧图像第i个子区域相对于基准帧图像第i个子区域在水平方向的局部运动矢量;d y为对应的全局运动矢量;m为运动估计的最大抖动范围;M P 为子区域的行数㊂同理可计算出垂直方向的全局运动矢量㊂但是,考虑到机器人系统的装配画面中可能存在运动前景目标,该子区域的局部运动分量估计结果将严重干扰全局运动矢量的计算,甚至可能导致稳像失败㊂因此,本文采用一种基于平均误差门限的迭代算法消除运动目标区域对全局运动矢量估计精度的影响,详细流程如图1所示㊂在排除含有前景运动目标的子区域后,即可求解最终的全局运动矢量㊂㊃691㊃中国机械工程第27卷第2期2016年1月下半月Copyright©博看网. All Rights Reserved.图1 基于平均误差门限的迭代算法流程图1.4 运动补偿矢量的计算当摄像装置辅助卫星机器人装配时,基准帧和当前帧图像的全局运动矢量可能由正常扫描的低频分量及异常抖动的高频分量组成,也可能只包含异常抖动的高频分量㊂在对图像进行运动补偿时,只需要补偿摄像装置的随机抖动㊂机器人系统的正常移动通常具有阶段性的幅值和方向一致性,是平滑的低频矢量,而抖动分量的幅值和方向则具有随机性㊂据此可判断当前图像是否含有正常扫描运动㊂在判断完毕后,若不存在扫描运动分量,则当前的全局运动矢量即为所求的运动补偿矢量;否则,从实时性和有效性方面考虑,采用均值滤波的方式首先计算多帧图像的低频扫描分量,然后将全局运动矢量依次与扫描运动分量作差,获得剩余的高频抖动分量,即为每帧图像的运动补偿矢量㊂2 实验分析为确保本文算法对卫星装配画面的稳像效果,实验分别创建自然场景图像库和卫星装配的模拟装配图像库予以验证,并将基于分区灰度投影的稳像算法与传统灰度投影法㊁块匹配遍历搜索算法进行比较㊂所有实验均在安装2.50G H z C P U㊁4G B内存㊁W i n d o w s7操作系统的计算机平台上通过MA T L A B2010编程实现㊂同时,统一将图像的分辨率转换为512像素×512像素㊂实验内容包括:①创建自然场景图像库和卫星装配的模拟装配图像库;②根据稳像前后两帧图像的峰值信噪比值和差分结果评价各算法的精确度;③通过统计各算法对前后两帧图像的稳像时间衡量实时性能;④展示利用本文分区灰度投影算法对模拟装配图像的稳像效果㊂2.1 两组图像库的建立首先,创建自然场景的图像库㊂创建60组(每组6幅图像)共360幅自然场景图像,每幅图像均存在不同程度的随机抖动㊂本文选择其中一组作为测试集1,进行各稳像算法具体的性能评估实验,其中图像库的第31~36幅图像(即测试集1)如图2所示㊂选取当前自然场景图像的原因在于:图中天空㊁山脉和花朵占据着自然图像的绝大多数区域,图像的对比度信息非常微弱,这将更加有效地考验各算法的性能㊂图2 自然场景图像库的测试集1然后,构建卫星装配的模拟装配图像库㊂通过摄像装置采集存在随机抖动的低对比度装配视频模拟卫星装配过程,利用其中具有代表性的部分帧构建60组(每组6幅图像)共360幅图像㊂从中选取一组作为测试集2,进行各稳像算法的性能评估实验和效果展示,其中图像库的第31~ 36幅图像(即测试集2)如图3所示㊂图3 模拟装配图像库的测试集22.2 各算法的精确度分析峰值信噪比(P S N R)是一种图像序列间稳定程度的客观评价方式㊂因此,本文首先通过稳像前后相邻两帧图像的峰值信噪比值T P S N R衡量各算法的精确度,具体计算如下:T M S E=∑M-1x=0∑N-1y=0(f(x,y)-g(x,y))2/(MN)(7)T P S N R=10l g(2552/T M S E)(8)其中,f(x,y)和g(x,y)表示基准帧和当前帧图像,M和N表示图像的行数和列数,T M S E表示均方差值㊂若利用式(7)㊁式(8)计算出的稳像后的T P S N R值相比于稳像前的值有明显提升,则认为当㊃791㊃基于分区灰度投影的稳像算法在卫星装配中的应用 白 丰 张小俊 张明路等Copyright©博看网. All Rights Reserved.前稳像方法能够消除或减小图像间的高频随机抖动㊂表1是块匹配遍历搜索法㊁传统灰度投影法和本文基于分区灰度投影的稳像算法对测试集1㊁2中的六帧图像进行稳像前和稳像后的平均T P S N R 值㊂表1 三种稳像算法的T P S N R 值算法测试集1测试集2稳像前T P S N R (d B )稳像后T P S N R (d B )稳像前T P S N R (d B )稳像后T P S N R (d B )块匹配全搜索法24.111658.633028.372956.5025传统灰度投影法24.111629.668128.372939.9797分区灰度投影法24.111658.377628.372955.8030从表1可以看出,块匹配算法作为国际上普遍认可的全局运动估计方法,稳像后的T P S N R 值增幅最大,达到143.2%和99.1%,具有极佳的稳像精确度㊂传统灰度投影算法由于受到低对比度信息的干扰,稳像后的T P S N R 值增幅最小㊂特别是在具有大面积相似信息的测试集1中,该算法的全局运动矢量估计偏差更大,T P S N R 值增幅只有23.0%㊂而本文基于分区灰度投影的稳像算法在稳像后,T P S N R 值有大幅度提升,达到142.1%和96.7%,能够非常接近甚至达到块匹配遍历搜索算法的稳像效果,相比于传统灰度投影算法T P S N R值的增幅达到119.1%和55.8%,精确度具有明显的优势㊂同时,本文采用部分差分图像直观地反映各算法的稳像效果,如图4㊁图5所示㊂其中,图4表示块匹配遍历搜索算法㊁传统灰度投影法和本文基于分区灰度投影的稳像算法利用测试集1中的第3帧和第4帧灰度图像进行稳像前和稳像后的差分效果图㊂图5表示相关算法利用测试集2中的第3帧和第4帧灰度图像进行稳像前和稳像后的差分效果图㊂这里差分图像中的剩余灰度信息量反映着各算法稳像性能的优劣㊂从图4㊁图5中同样发现,由于图像中存在低对比度区域的干扰以及前景目标的移动,采用传统灰度投影算法估计的全局运动矢量偏差较大,造成差分图像中存在大量灰度值不为零的区域,稳像效果并不理想㊂而采用本文基于分区灰度投影的稳像算法能够消除图像中的随机抖动,接近甚至达到与块匹配遍历搜索算法相似的稳像效果㊂另外,由于测试集1中的图像对比度信息更加不明显,能够直观反映各算法的稳像性能,因此(a )块匹配法稳像前(b)块匹配法稳像后(c )灰度投影法稳像前(d)灰度投影法稳像后(e)分区灰度投影前(f)分区灰度投影后图4 测试集1中各算法稳像前后的差分图像(a )块匹配法稳像前(b)块匹配法稳像后(c)灰度投影法稳像前(d)灰度投影法稳像后(e)分区灰度投影前(f)分区灰度投影后图5 测试集2中各算法稳像前后的差分图像本文进一步将差分图像(图4)的灰度信息按列方向投影累加㊂曲线图中累计灰度值越低,说明基准帧与当前帧图像的相似度越高㊂差分图像中间列(129~384)的投影曲线如图6所示㊂图7对应图6投影曲线部分区域的放大,从图7中能更加清晰地看出各算法的差分效果㊂图6㊁图7的曲线分布再次验证了分区灰度投影算法的优良性能㊂㊃891㊃中国机械工程第27卷第2期2016年1月下半月Copyright ©博看网. All Rights Reserved.(a)块匹配遍历搜索算法(b)传统灰度投影算法(c)分区灰度投影算法1.参与帧与校准前的当前帧作差分运算2.参与帧与校准后的当前帧作差分运算图6 差分图像的剩余像素灰度值投影曲线(a)块匹配遍历搜索算法(b)传统灰度投影算法(c)分区灰度投影算法图7 投影曲线部分区域的放大效果图2.3 各算法的实时性能分析通过统计测试集1和测试集2中所有前后两帧图像的平均稳像时间,评估本文基于分区灰度投影的稳像算法㊁块匹配遍历搜索算法和传统灰度投影算法的实时性能,具体数据如表2所示㊂统计结果显示,本文方法相比于传统灰度投影法虽然增加了区间划分和优化筛选等步骤,但并未明显增加算法的执行时间;同时,本文算法的稳像时间只有块匹配算法的0.5%,具有显著的实时性优势㊂表2 三种稳像算法的执行时间稳像算法平均执行时间(s )块匹配全搜索11.709284传统灰度投影0.045944分区灰度投影0.0594502.4 分区灰度投影算法对模拟装配图像的稳像效果实验发现,本文算法能够克服模拟装配图像中低对比度区域的干扰以及前景目标移动的影响,准确估计出全局运动矢量㊂利用本文基于分区灰度投影的稳像算法对测试集2中连续六幅装配图像的稳像效果如图8所示㊂稳像后的所有图像依次输出,可以获得平稳连贯的视频装配画面㊂图8 本文算法对模拟装配图像的部分稳像效果3 结语本文采用一种基于分区灰度投影的稳像算法来消除装配画面的随机抖动㊂将该算法与传统灰度投影法㊁块匹配算法的精确度和实时性进行实验对比,结果表明,基于分区灰度投影的稳像算法能够有效消除随机抖动,快速输出连贯的视频画面,可保证机器人系统顺利完成卫星的地面装配工作㊂参考文献:[1] S e u n g K K ,S e o kJK ,T a eS W ,e t a l .F e a t u r eP o i n t C l a s s i f i c a t i o nB a s e d G l o b a l M o t i o n E s t i m a t i o nf o r V i d e oS t a b i l i z a t i o n [J ].I E E E T r a n s a c t i o n so nC o n -s u m e rE l e c t r o n i c s ,2013,59(1):267‐272.㊃991㊃基于分区灰度投影的稳像算法在卫星装配中的应用白 丰 张小俊 张明路等Copyright ©博看网. All Rights Reserved.[2] J i eX,H u a W C,S h o uY,e t a l.F a s tF e a t u r e‐b a s e dV i d e o S t a b i l i z a t i o n w i t h o u t A c c u m u l a t i v e G l o b a lM o t i o nE s t i m a t i o n[J].I E E E T r a n s a c t i o n so nC o n-s u m e rE l e c t r o n i c s,2012,58(3):993‐999.[3] T z u uSL,C h i n g CC.E x t e n d e dK a l m a nF i l t e r B a s e dH a n d‐s h a k eD e t e c t o r f o rO p t i c a l I m a g e S t a b i l i z a t i o nU s i n g a L o w C o s t G y r o s c o p e[J].I E E E T r a n s a c-t i o n so n C o n s u m e rE l e c t r o n i c s,2013,59(1):113‐121.[4] V e l l aF,C a s t o r i n aA,M a n c u s o M,e t a l.D i g i t a l I m-a g eS t ab i l i z a t i o nb y A d a p t i v eB l oc k M o t i o nV e c t o r sF i l t e r i n g[J].I E E ET r a n s a c t i o n so nC o n s u m e rE l e c-t r o n i c s,2002,48(3):796‐801.[5] A m i r p o u rH,A m o u s a v i n i aA,S h a m s iN.P r e d i c t i v eT h r e eS t e p S e a r c hA l g o r i t h mf o rM o t i o nE s t i m a t i o n[C]//P r o c e e d i n g so f t h e8t hI r a n i a nC o n f e r e n c eo nM a c h i n e V i s i o n a n d I m a g e P r o c e s s i n g.Z a n j a n, 2013:48‐52.[6] W e n JQ,B oY,J i a oJW.H u m a nA c t i v i t y R e c o g n i-t i o n B a s e d o n I m p r o v e d D i a m o n d S e a r c h B l o c k‐m a t c h i n g M e t h o d[C]//P r o c e e d i n g s o f t h e4t h I n t e r-n a t i o n a lS y m p o s i u m o n C o m p u t a t i o n a lI n t e l l i g e n c ea n dD e s i g n.H a n g z h o u,2011:236‐239.[7] G u l l u M K.W e i g h t e dC o n s t r a i n e d O n e‐b i tT r a n s-f o r m B a s e dF a s tB l o c k M o t i o nE s t i m a t i o n[J].I E E ET r a n s a c t i o n s o n C o n s u m e r E l e c t r o n i c s,2011, 57(2):751‐755.[8] L i S,Q i JQ.I m a g e S t a b i l i z a t i o nb y C o m b i n i n g G r a y‐s c a l eP r o j e c t i o na n dR e p r e s e n t a t i v eP o i n tM a t c h i n gA l g o r i t h m s[C]//P r o c e e d i n g s o ft h e3r dI n t e r n a-t i o n a lC o n f e r e n c eo n A w a r e n e s sS c i e n c ea n dT e c h-n o l o g y.D a l i a n,2011:128‐132.[9] 王鹏,赵跃进,孔令琴,等.改进块匹配宏块的快速传感器电子稳像方法[J].光子学报,2012,41(9): 1065‐1070.W a n g P e n g,Z h a o Y u e j i n,K o n g L i n g q i n,e ta l.I m-p r o v e dF a s tB l o c k‐m a t c h i n g A l g o r i t h m f o rS e n s o rE l e c t r o n i cI m a g eS t a b i l i z a t i o n[J].A c t a P h o t o n i c aS i n i c a,2012,41(9):1065‐1070.[10] 宗艳桃,蒋晓瑜,裴闯,等.基于时间序列预测的电子稳像算法研究[J].光子学报,2012,41(2):244‐248.Z o n g Y a n t a o,J i a n g X i a o y u,P e i C h u a n g,e t a l.T i m eS e r i e sP r e d i c t i o nB a s e dE l e c t r o n i c I m a g eS t a b i l i z a-t i o n A l g o r i t h m[J].A c t a P h o t o n i c aS i n i c a,2012,41(2):244‐248.[11] 汪小勇,李奇,徐之海,等.用于实时数字稳像的灰度投影算法研究[J].光子学报,2006,35(8):1268‐1271.W a n g X i a o y o n g,L iQ i,X uZ h i h a i,e ta l.S t u d y o nG r a y P r o j e c t i o n A l g o r i t h m f o r R e a lT i m e V i d e oS t a b i l i z a t i o n[J].A c t a P h o t o n i c a S i n i c a,2006,35(8):1268‐1271.[12] C h a o J,B r i a nLE.C o n s t r a i n e d3DR o t a t i o nS m o o t-h i n g V i a G l o b a l M a n i f o l d R e g r e s s i o nf o r V i d e oS t a b i l i z a t i o n[J].I E E ET r a n s a c t i o n s o nS i g n a l P r o-c e s s i n g,2014,62(13):3293‐3304.[13] X i eT,Z h uB,X i eLJ.e t a l.A C i r c u l a r‐p r o j e c t i o nB a s e dD i g i t a l I m a g e S t a b i l i z a t i o nA l g o r i t h ma n d I t sI m p l e m e n t a t i o n f o r R o t a t i n g I m a g e S e q u e n c e s[C]//P r o c e e d i n g so ft h e10t hI n t e r n a t i o n a lC o n-f e r e n c eo nS ig n a lP r o c e s s i n g.B e i j i n g,2010:1236‐1239.[14] 张永祥,闫文林,张伟功,等.一种旋转运动估计稳像算法的研究与实现[J].小型微型计算机系统,2014,35(9):2151‐2155.Z h a n g Y o n g x i a n g,Y a n W e n l i n,Z h a n g W e i g o n g,e ta l.R e s e a r c ha n dI m p l e m e n t a t i o no f I m a g eS t ab i l i-z a t i o ni na R o t a r y M o t i o n E s t i m a t i o n A l g o r i t h m[J].J o u r n a lo fC h i n e s eC o m p u t e rS y s t e m s,2014,35(9):2151‐2155.[15] 孙辉.B a y e r彩色序列图像的电子稳像[J].光学精密工程,2014,22(2):481‐488.S u n H u i.E l e c t r o n i cI m a g eS t a b i l i z a t i o nf o rB a y e rC o l o rV i d e oS e q u e n c e I m a g e[J].O p t i c sa n dP r e c i-s i o nE n g i n e e r i n g,2014,22(2):481‐488. [16] 遆晓光,靳万鑫,余颖.大运动前景和旋转抖动视频的快速数字稳定[J].光学精密工程,2014,22(1):177‐185.D iX i a o g u a n g,J i n W a n x i n,Y u Y i n g.D i g i t a lV i d e oS t a b i l i z a t i o nf o r L a r g e‐s c a l e M o v i n g F o r e g r o u n dO b j e c t a n dR o t a t i o n J i t t e r[J].O p t i c s a n dP r e c i s i o nE n g i n e e r i n g,2014,22(1):177‐185.[17] 蒋建国,牛杰杰,齐美彬.基于S U R F和轨迹滤波的旋转视频稳像算法[J].仪器仪表学报,2014,35(3):550‐557.J i a n g J i a n g g u o,N i u J i e j i e,Q i M e i b i n.R o t a t i o n a lV i d e oS t a b i l i z a t i o n A l g o r i t h m B a s e do nS u r fa n dT r a j e c t o r y S m o o t h i n g[J].C h i n e s eJ o u r n a lo fS c i-e n t if i c I n s t r u m e n t,2014,35(3):550‐557.(编辑 王旻玥)作者简介:白 丰,男,1988年生㊂河北工业大学机械工程学院博士研究生㊂主要研究方向为机器人视觉及图像处理技术㊂张小俊,男,1980年生㊂河北工业大学机械工程学院副教授㊂张明路,男,1964年生㊂河北工业大学机械工程学院教授㊁博士研究生导师㊂孙凌宇,男,1978年生㊂河北工业大学机械工程学院副教授㊂㊃002㊃中国机械工程第27卷第2期2016年1月下半月Copyright©博看网. All Rights Reserved.。
电子稳像的灰度投影三点局域自适应搜索算法
第31卷第9期 光电工程V ol.31,No.9 2004年9月 Opto-Electronic Engineering Sep,2004文章编号:1003-501X(2004)09-0069-04电子稳像的灰度投影三点局域自适应搜索算法李博,王孝通,杨常青,金良安(海军大连舰艇学院27队,辽宁大连 116018)摘要:灰度投影算法是检测图像序列帧间运动矢量,实现电子稳像的关键技术之一。
通过对其相关曲线的分析,基于单峰性的特征,提出了三点局域自适应搜索算法,即:在搜索宽度内均匀选取3点,计算比较其相关值,判断相关曲线梯度的变化方向,相应调整搜索参数,获得帧间运动矢量,在此基础上即可进行运动滤波和图像补偿,从而实现电子稳像。
当搜索宽度为2n-1(n=1、2……且2n-1小于搜索方向上图像宽度的一半)时其运算量仅为3n,而非以往全局搜索算法的2n+1-1,从而克服了运算量大、耗时长的缺陷。
该算法得到了仿真实验的验证。
关键词:电子稳像;灰度投影算法;视频图像;自适应搜索算法中图分类号:TN941.1 文献标识码:AThree-point locally adaptive searching in gray scale projection algorithmfor electronic image stabilizationLI Bo, WANG Xiao-tong, YANG Chang-qing, JIN Liang-an(Dalian Naval Academy, Dalian 116018, China)Abstract:The gray scale projection algorithm is a key technique for detecting motion vector of image sequential frames and realize electronic image stabilization. Through analyzing the related curves, three-point locally adaptive searching algorithm is proposed on the basis of single peak characteristics.The procedures are as follows: through equably selecting three points in searching coverage, calculating and comparing their correlation values, judging the variation direction of the correlation curve gradient, the searching parameters will be correspondingly adjusted to obtain the motion vector between frames.And then motion filtering and image compensation can be carried out on this basis and electronic image stabilization can be performed. When searching coverage is 2n-1(n=1, 2,……,and 2n-1 less than one half of image width in searching direction), its operation load is 3n instead of 2n+1-1 of global searching algorithm. In this way the faults of large operation load and long operation time have been overcome.The algorithm has been demonstrated by simulation experiments.Key words:Electronic image stabilization;Gray projection algorithm;Video images;Adaptive search algorithm引言电子稳像(EIS)是一种对视频图像序列进行修正的技术。
基于灰度投影算法的实时电子稳像研究
27卷 第10期2010年10月微电子学与计算机M ICROELECTRONICS &COM PUTERVo l.27 N o.10October 2010收稿日期:2009-07-24;修回日期:2009-09-24基金项目:山西省青年科技研究基金(2009021019-2)基于灰度投影算法的实时电子稳像研究张国栋,王明泉,郭 栋(中北大学仪器科学与动态测试教育部重点实验室,山西太原030051)摘 要:实时电子稳像的目的是除去视频图像序列中因摄像机无意抖动而造成的图像扰动,从而保证修正后输出的视频图像序列是平滑、稳定的.灰度投影算法将初始的二维图像信息映射成两个独立的一维信息后,只对图像行列的投影曲线做一次相关运算便可较准确地检测出图像序列的帧间运动矢量,具有图像信息利用充分、算法稳定性好等优点.同时由于该算法对灰度图像进行直接处理,能够反映出图像的整体特征并有效地抑制了噪声,具有较高的稳像精度.实验结果表明,该算法具有较好的稳像效果.关键词:灰度投影;电子稳像;投影曲线;图像运动矢量中图分类号:T P391 文献标识码:A 文章编号:1000-7180(2010)10-0053-04Research on Real Time Electronic Image StabilizationBased on Gray Projection AlgorithmZHANG Guo dong,WANG M ing quan,GU O Dong(T he M inistry Education Key L ab for Instrumentation Science and Dynamic T est,No rth U niversity of China,T aiyuan 030051,China)Abstract:Real time electronic image stabilizatio n is a method to timely stabilize image sequences in imag e stabilizat ion al gor ithm,which r emove the unw anted movements of image.So as to ensure that the output of the v ideo image sequence is smoo th and stable.A fast digital image stabilization algorithm based on gray pr ojction is proposed in this paper :firstly,t he image is projected into one dimensional curves;then calculating movement vector by one dimensional cor relation.A nd adopting the g radation projection alg orithm to detect the inter fr ames mot ion vector of image sequence has many adv an tages,such as richly using the image information and good algorithm stability.Because t he alg orithm processes gr ay infor mation directly and could r estr ain the noises,it can acquir e high accur ate image stabilizatio n.And the simulatio n ex peri ments validate the performance of the algor ithm.Key words:g ray projection;image stabilizatio n;projection cur ves;movement vector1 引言随着摄像设备应用的日益广泛,摄像平台变得越来越多样化.通过车载摄像系统、手持摄影设备、飞机或者舰船摄影平台等得到的视频信号往往会因为摄像机的运动而发生抖动,导致图像显示序列模糊和抖动,使观察者产生疲劳感,进而容易产生误判、漏判,并且给进一步的图像处理带来困难.如何将这些视频信号转化为高质量的稳定视频显得尤为重要.由于电子稳像具有稳像精度高、体积小、重量轻、功耗低以及具有实时处理功能等优点,得到了广泛的研究和应用.目前实现电子稳像的算法有很多种,例如块匹配法、位平面匹配法、特征点匹配法等等.块匹配法和位平面匹配法都需要大量的计算时间,因此占用系统资源大,特征点匹配法简单、计算量小,但由于代表点是由坐标确定的,因此对图像变化不敏感,图像对比度不明显时,准确度将受到很大的影响.本文基于灰度投影的数字电子稳像算法在计算量较小的同时保持较高的准确度,能够满足实时稳像系统的需求.2 电子稳像基本原理电子稳像技术利用电子设备和数字图像处理技术来检测图像序列的帧间偏移并进行补偿,从而获得清晰而稳定的图像序列.电子稳像[1]不同于图像恢复,图像恢复是针对每一帧模糊的图像,而电子稳像稳定的是一个图像序列,图像序列的不稳定是由于帧与帧之间图像变化在图像显视器上显示出的不稳定,而图像序列中的每一帧图像是清晰的.基于这种分析,电子稳像所要处理的就是通过求出视频序列中各帧之间的变化,然后以运动补偿的方法来去除这个变化,达到整个视频序列稳定的目的.2.1 电子稳像原理电子稳像技术中最基本的是像移补偿技术[2],其原理如图1所示.图1 电子稳像原理图图1(a)和图1(b)分别表示参考帧和当前帧的图像,每一格代表一个像素.此时,参考帧图像中的五角星block 在00、01、10、11像素上成像.图像序列没有抖动时,当前帧图像上的五角星Block1和参考帧上的五角星Block 匹配,成像时由于载体的振动,使得载体上的摄像机产生了突然晃动,使当前帧中五角星block1移动到了如图1(b)所示的实五角星block2位置.从视频显示器看,由于振动的影响,block 与block2位置不一样,使图像变得模糊.电子稳像的目的就是消除这种模糊,也就是将当前帧中的实五角星block2移动到虚五角星block1位置,使得当前帧图像与参考帧图像在同一位置.运动估计算法就是计算当前帧中实五角星block2相对于参考帧中五角星block 即相对于block1在x ,y 轴方向的移动距离,运动补偿就是根据计算出的距离将当前帧的实五角星block2向相反的方向移动到虚五角星block1位置,使得两帧图像位置一样,这样就达到了图像序列的稳定.2.2 电子稳像系统基本结构电子稳像系统基本结构如图2所示,主要包括运动矢量检测单元、补偿量输出单元和图像补偿单元.其中运动矢量的检测单元通过运动检测算法计算图像序列帧间运动矢量,是实现电子稳像的关键环节;补偿量输出单元输出补偿运动参数;图像补偿单元通过图像像元重组完成对图像运动的补偿功能.图2 电子稳像系统基本结构3 灰度投影算法视频图像序列变化的实质就是图像灰度发生变化的连续过程.灰度投影算法(PA)[3-4]充分利用了图像总体灰度分布的变化规律,只需要对图像行列的投影曲线做一次相关运算,就能较准确地获取当前帧相对于参考帧的运动矢量,大大降低计了算量,而且保证了较高的计算精度.灰度投影算法(PA)可分解成三个主要的步骤:图像灰度映射、投影滤波和相关计算.3.1 图像灰度映射输入图像序列中的每一帧图像经过预处理后,可采取行投影和列投影的方式,将初始的二维图像[5]信息映射成两个独立的一维信息.下式是以行投影计算为例说明图像映射的方法:Row (i)= Cur k (i,j )Row Tot k =[ Row k (i)]/MRRow proi k (i)=Row k (i)-Row Tot k(1)54微电子学与计算机2010年式中,Row(i)为第k帧图像第i行的灰度值;C是第k帧图像上(i,j)位置处的像素的值;MR是行数;Row proi k(i)是第k帧图像的第i行修正后的投影值.列投影Col(j)与之类似.3.2 投影滤波当图像有移动时,图像的边缘信息会发生变化,在互相关计算时对互相关的峰值将产生不利的影响.可通过滤波器进行滤波,去除图像边界信息的波形而完全保留中心区域的波段,从而减小了边界信息对互相关峰值形成的不利影响.3.3 相关计算一般情况下,把待处理图像的行、列投影与参考帧图像的行、列投影分别作互相关运算,根据两条相关曲线的谷值即可确定当前帧图像相对于参考帧图像的行、列位移矢量值[6].进行相关运算计算公式为R(w)= MR i=1[Row k(i+w-1)-Row r(m+i)]21 w 2m+1(2)式中,Row k(i)为第k帧图像第i行的灰度投影值, M R是行的长度,m为位移矢量相对于参考帧在一侧的搜索宽度.设w m i n为R(w)最小时w的值,则第k帧图像相对于参考帧图像在垂直方向的运动矢量为y=m+1-w min(3)y为正时表明当前帧相对参考帧向上运动了| y|像素,为负时则表明向下运动了| y|像素,同样的方法可求得水平方向的运动位移矢量.得到了水平和垂直方向的运动位移矢量后,就可以把当前帧图像向位移矢量的反方向运动相应大小的像素距离,从而实现图像序列的稳定.4 仿真结果与稳像效果分析为验证算法的有效性,在PC机上应用MAT LAB软件进行仿真实验.本次仿真实验视频为数码相机获取的抖动视频,分辨率为320 240像素,再对其进行预处理后,得到240 180范围内的像素.首先对参考帧和当前帧图像预处理后,分别做行、列投影.其次,取出当前帧的行投影(21 160)共140单位的灰度投影值与参考帧的行投影作相关运算;再取出当前帧的列投影中的(21 220)共200单位的灰度投影值与参考帧的列投影作相关运算,得到图3.最后,可由式(2)、(3)分别得到垂直方向和水平方向的运动矢量,进而可进行运动补偿,得到了稳定的图像.图3 两帧图像的行、列投影数据相关曲线为了进一步验证灰度投影算法在电子稳像中的效果,我们对连续的六帧图像进行单子稳像仿真实验,图4和图5分别反映的是稳像前后连续六帧图像的列投影值曲线.从图中,我们可以清楚地看到稳像前各帧图像的列投影值曲线形状接近,但位置在横坐标方向上有较大的波动差异,而稳像后的列投影值曲线形状和位置基本一致.图4 稳像前的列投影5 结束语本文介绍了灰度投影稳像算法和电子稳像的基本原理,并对该算法在电子稳像中的应用进行了仿真实验.由于灰度投影算法只是对图像的灰度投影55第10期张国栋,等:基于灰度投影算法的实时电子稳像研究图5 稳像后的列投影曲线做一次互相关运算来求其图像序列帧间的运动矢量,因此计算量小,速度快,能够满足连续图像的实时性要求.仿真试验证明,该算法具有较好的稳像效果,是实现平移运动或旋转运动较小的图像序列电子稳像的较理想算法,但对剧烈旋转运动条件下的稳像应用存在一定的局限性.参考文献:[1]Engelsberg A,Schmidt G.A comparative review of digitalimag e stabilising algorithms for mobile v ideo communica tions [J].I EEE T ransact ions on Consumer Electro nics,1999,45(3):591-597.[2]K o S J,Lee S H,Jeon S W,et al.F ast digital image stabilizer based on g ray -co ded bit -plane matching [J].I EEE T r ansaction on Consumer Electronics,1999,45(3):598-603.[3]赵天云,郭雷,余博.基于灰度投影的快速电子稳像算法[J].微电子学与计算机,2008,25(11):233-236.[4]张永祥,赵晓旭,张伟功,等.一种基于灰度投影的电子稳像改进算法[J].微电子学与计算机,2008,25(11):212-215.[5]王明佳,金光,钟平,等.实用电子稳像技术原理及方法[J].光机电信息,2003(2):29-31.[6]刘明,赵跃进.周渝斌.电子稳像中的运动补偿矢量处理方法的研究[J].光学技术,2005,31(3):457-462.作者简介:张国栋 男,(1983-),硕士研究生.研究方向为信号与信息处理.王明泉 男,(1970-),硕士研究生,教授,博士生导师.研究方向为一维和多维信号与信息处理、分析与重构、现代无损检测技术、测控技术和工业内视技术.(上接第52页)图3 网络节能性比较点的情况;(2)Sink 不需要完整的被传输数据就能重构信息,允许系统存在部分数据丢失;(3)该方案能在存在妥协节点的情况下有效地抵御偷听、数据篡改和DoS 攻击.下一步工作要讨论在节点被意外攻陷的情况下,进行一些安全模型的建立,并将这些方案应用到各种类型的传感器网络中.参考文献:[1]殷新春,徐力杰.W SN 中一种基于数据融合的能量高效分簇路由协议[J].微电子学与计算机,2007,24(9):116-119.[2]Przydatek B,Song D,Perrig A.SIA:secure information aggregation i n sensor networks[J].SenSys,2003(3):255-265.[3]Y ang Y ,W ang X ,Zhu S.SDAP:a secure hop-by-hopdata aggregation protocol for sensor networks[J].M obi Hoc,2006(6):356-367.[4]Hu L ,Ev ans D.Secure aggregation for wireless netwo rks[J].SAIN T -W ,2003(3):384.[5]G anesan D.Highly-resilient,ener gy-efficient multipathrouting in w ireless sensor netw orks [J].M obiHoc,2001(1):251-254.[6]Estrin D T utorial.W ireless sensor netw orks par t I V:sensornetwork protocols [EB/OL ].[2009-10-11]./tutorials/mobicom02/.作者简介:刘 宁 男,(1971-),硕士研究生,讲师.研究方向为网络技术、信息安全.56微电子学与计算机2010年。
高分辨率灰度投影算法及其在电子稳像中的应用
第32卷第3期2006年5月 光学技术OPTICAL TECHN IQU E Vol.32No.3May 2006文章编号:1002-1582(2006)03-0378-03高分辨率灰度投影算法及其在电子稳像中的应用Ξ孙辉1,张永祥1,熊经武1,刘晶红1,权春娟2(1.中国科学院长春光学精密机械与物理研究所,长春 130022;2.云南大学物理系,昆明 650091)摘 要:提出一种用于检测图像运动矢量的高分辨率灰度投影算法。
灰度投影算法将图像在水平和垂直方向上的灰度投影数据作为图像特征,获得图像运动信息,一般只能达到一个像元精度。
而通过采用相关计算进一步细分灰度投影数据,可以提高图像运动特征位置信息的精度,获得亚像元级的图像运动矢量。
实验室摇摆台电子稳像实验结果表明,该方法可以有效提高图像运动矢量的计算精度。
关键词:应用光学电子学;像素灰度;投影算法;运动矢量;电子稳像中图分类号:TP751 文献标识码:AThe application of high resolution gray projection algorithmin electronic image stabilization technologySUN Hui 1,ZH ANG Y ong-xiang 1,XONG Jing-wu 1,LI U Jing-hong 1,QUAN Chun-juan 2(1.Changchun Institute of Optics ,Fine Mechanics and Physics ,Chinese Academy of Sciences ,Changchun 130022,China )(2.Department of Physics ,Yunnan University ,Kunming 650091,China )Abstract :In order to improve the precision of image movement characteristic information ,an algorithm of high-resolution gray project was proposed for detecting image motion vector.In usually gray project algorithm ,the gray project data is used as image characteristic to obtain image motion information ,but only one pixel precision can be ing correlation calculation to further subdivide gray project data ,precision of image motion characteristic position information was improved ,and sub pixel image motion vector could be gotten.The experimental result on wave platform shows that the algorithm can effectively im 2prove the calculation precision of image motion vector.K ey w ords :optoelectronics ;pixel gray ;project algorithm ;motion vector ;electronic image stabilization1 引 言在机载、车载、船载、弹载等动载体电视摄像系统中,由于受到载体运动的影响,摄像系统采集到的图像序列是不稳定的,严重影响人们观测、识别目标。
改进的灰度投影电子稳像算法
改进的灰度投影电子稳像算法游春芝;陈光喜【摘要】针对灰度投影算法在稳像时用时较长的问题,提出一种快速三点搜索算法。
在不影响稳像效果的前提下,对图像进行分区,用改进的算法进行灰度投影的矢量求解,并运用均值滤波得到全局运动矢量,实现运动补偿。
实验结果表明,该算法计算的峰值信噪比(PSNR)与传统的灰度投影算法比相差小于0.5 dB,但时间却减少了21.8 ms。
%Aiming at the gray proj ection algorithm for image stabilization with a relatively long time question,a new algo-rithm based on three-point search is proposed.The image is divided into several blocks without affecting the image stabiliza-tion effect,the algorithm is used for solving gray proj ection vector.Finally,the global motion vector is obtained by using the mean filter,the motion compensation is achieved.The experimental results show that the PSNR is less than 0.5 dB by the proposed algorithm than the traditional gray proj ectionalgorithm,however the time is reduce by 2 1 .8 ms.【期刊名称】《桂林电子科技大学学报》【年(卷),期】2015(000)002【总页数】4页(P152-155)【关键词】灰度投影算法;运动估计;三点搜索【作者】游春芝;陈光喜【作者单位】桂林电子科技大学数学与计算科学学院,广西桂林 541004;桂林电子科技大学数学与计算科学学院,广西桂林 541004【正文语种】中文【中图分类】TP391.14随着监控舰船摄影、摄像机等的广泛应用,人们对于视频图像清晰度的要求也越来越高。
一种基于灰度投影与块匹配的视频序列快速稳像算法
一种基于灰度投影与块匹配的视频序列快速稳像算法赵志强;陈盈【期刊名称】《光电工程》【年(卷),期】2011(38)6【摘要】针对视频图像序列的不稳定性,结合灰度投影算法与块匹配法各自的特点,提出了一种可以快速消除图像序列间平移和旋转抖动的新型电子稳像算法.该算法首先采用灰度投影法估计与补偿图像序列间的平移运动,然后用拉普拉斯算子在图像边缘处选取灰度信息比较丰富的小块模板,利用块匹配法计算模板的平移运动,再结合模板在图像上的位置估计图像的旋转运动,最后通过运动补偿得到稳定的视频图像序列.实验结果表明,该算法可以明显地减轻图像序列间的抖动现象,对于提高动态图像的稳定性具有很好的效果.%In allusion to the instability of video sequences, a new electronic image stabilization algorithm, based on different features of gray projection algorithm and block matching algorithm, is proposed to fast eliminate the shift,dithering and rotation of video sequences. This algorithm first adopts gray projection algorithm to reckon and compensate the translational motion between video sequences, and then adopts Laplace operator to select small templates with abundant gray-scale information near the edge of the image. Next, it uses block matching algorithm to calculate the translational motion of templates. Moreover, it reckons the image rotation according to where the templates locate on the image. In the end, it uses motion compensation to attain stable video sequences. Experimental results show that, the algorithm canobviously eliminate the dithering between video sequences, which will have a salutary effect on improving the stability of dynamic image.【总页数】5页(P146-150)【作者】赵志强;陈盈【作者单位】中国科学院光电技术研究所,成都,610209;中国科学院研究生院,北京,100049;华北光电技术研究所,北京,100015【正文语种】中文【中图分类】TN942.2;TP391【相关文献】1.一种基于灰度投影差值的稳像算法 [J], 李大成;杨晓东2.基于灰度投影和块匹配的无人机视频稳像方法 [J], 袁威;高跃清;吴金亮3.基于灰度投影和块匹配相结合的稳像算法 [J], 尹宾;段会川4.一种基于灰度投影块匹配算法的电子稳像方法 [J], 王均波;孙幸福;朱磊;林晓志;张健5.基于灰度投影的快速电子稳像算法 [J], 赵天云;郭雷;余博因版权原因,仅展示原文概要,查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
罗诗 途等采用 了一种 由粗 到精 、 由局 部 到全 局配 准 的高 视频序列 图像相邻两帧之 间的全局运动参数。
一
种二维平移模型 的算法具有独到的优势 , 例如计算 速度 数据累加 。D P通过 E F总线读取这 个 累加 结果 , S MI 完成
运动估计 和运 动滤波 的计算 得到 运动 矢量数 据 。No I i I s
快 , 于 V S 实现等 易 II
2 电子 稳像 平 台设 计
2 1 平 台硬件设计方案 .
1 灰度投影算法简介
像技术 研究 。中 国科 学 院 长春 光 机 所 钟平 针 对具 体 应
电子稳像的原理是对 不稳定 的视频序 列 图像进 行局 用环境 特点 , 采用 基于 特征 跟踪 的 电子稳 像方 法用 于机 部 运动估计和全局运动估计 , 并对运动参数进 行综合评价 载 电子稳 像 , 取得 了良好 的结果 。哈尔滨 工业 大 学 张 得 到运动补偿参数 , 而对 图像进行运动校正得 到稳定 的 ] 进
De i n n Re lz to fElc r n c I sg a d a i a i n o e t o i mag t b lz to a f r Ba e n e S a iia i n Pl to m s d o
G a rjcinA g rtm r yP oet lo i o h
际应用 价值 。
流程 。采用 灰度投影 算法 , 本平 台能实 时完 成 2 s 5f 的 /
鉴 于 电子稳 像 技 术在 军事 和 民用领 域 中的 重要 作 标 准 P L制视频 的稳定 。 A 用 , 国、 美 加拿 大 、 以色 列等 国家 较早地 进 行 了研究 和 开 发 , 取得 了一定 成果 。我 国在 2 0 并 00年之后 开始进行稳
21第 5第9(第 ) 0年 3 1J 姗期 1 卷  ̄总
d 视 投礴 电
eo
E l i ri nf n e e na
11 5
i ie pi t n&p oe t do p la o V a ci r c j
l 顽频 应用与工程
灰度投影算法 的原 理是基 于行列 灰度 曲线 的变化规 并将其转换为数字 视频数 据流 送入 F G 内部 的 图像 采 PA 律进行运 动估计 , 其方法是将灰度 图像 的二 维图像信息映 集控制模块 。图像采集控 制模 块进行 图像 处理 区域 的剪
处理器通过 E I M F总线读取这个 运动矢量 , 在下 一帧 图像 扫描开始 时将 S R M 帧存储 中的 图像数 据读 人到 视频 DA 显示 FF IO中, 经运动补偿模 块后得 到稳定 的数字视 频数
电子稳像平 台硬件 结构框 图如图 1 所示 。平 台完成 据流 , 最后通过图像 显示控 制模块送到视频 编码 器输 出稳 灰度投影法 电子稳像的流程为 : 视频解码 器接收模拟视频 定的模拟视频 。
射成 2个独立的一维波形 , 即获取 图像 的行列灰度 投影曲 裁和图像数 据 的 Y b r 解 , 解之 后 的灰度 数据 分 成 CC 分 分 线, 然后进行相关 运算 , 到相关值 曲线 中 的单 峰值 即为 两路 , 找 一路通过视频 采集 FF IO存人 S R M 进行 帧存储 ; DA 当前 图像相对于参考 图像 的位移 值。灰度 投影算 法作 为 另一路 先进行 图像预处理 , 然后进行行 列方 向的灰度投 影
YANG a g u ' ,Z Gu n y HU Da ,T n' ONG n i ,WANG l n ,L a f n ’ Xi x n , Yu i g ' a IXi oe g ’’
(.h yn stef u m tn Seyn 01 , h a 2Ky ao tyo poEer iI o ao r ei , hnag 106 Ci ; Se ag nt toA oai , hnag1 06 C i ; .yn 01 , h n I i t u o 1 n ro — co cn m i P csg 1 a n
(. 1 中国科学院沈阳 自动化研 究所, 宁 沈阳 10 1 ;. 辽 106 2 中国科 学院光 电信息处理 重点实验 室, 辽宁 沈阳 10 1 ; 10 6 3 辽宁省图像理解与视觉计算重点实验 室, 宁 沈阳 10 1 ) . 辽 10 6
【 摘
要】研 制 了 于 F G D P架构 的嵌入 式实时 电子稳像 平 台。D P作 为主处 理器 完成 灰度 投影稳 像 算法 的运 动估 计和 基 P A+ S S
3Te eLbfmg Ud sni mur i S n 1 0 , i ) .h K Iae n r dg n C peVi ,h  ̄ 1 1 C n y o a et n a o t s e a d 。 06ha
【 bt c】 Bsdo ea h et e f S + P A, a t e e bde et n aesb i tns t ee pd A em i poes , A s at ae nt cic r o P F G ar l i , m edde c oi i g t iz i s mi dvl e. sh a rcs r r h r t u D e-m l r cm a lao y e s o t n o
DS o lt temoi smainadmoinftr gfn t no ega rjcinagrh Pcmpee h t net t n t l i ci ft rypoet lo tm,F G o lt tega rjci cu uao n o i o o ie n u o h o i P A cmpee h ypoet n ac m lt n ad r o i
运 动滤 波 ,P A 作为协处 理器完成 灰度投 影数据 累加及 运动 补偿 。 同时 F G 与 内部 No 处 理器还 共 同完成 系统 时序控 制 、 FG PA iI sI 视 频编码器 配置 、 视频解 码器配 置 、 图像 采 集 显 示控 制 、 MI E F总线接 口控 制、 图像 帧存 储 等功 能。实 验表 明 , 台能 实 时对 2 平 5
vd o e c de ,i g a tr n ma eds lyc nrl ie n o r ma e c pu ea di g ip a o t ,EMI u otc n rl ma efa u eig o F b sp r o to ,i g rmeb f rn .Th x e me t e ut n iaeta h y tm ee p r n a r slsidc t h t es se i l t
对 电子 稳像系统 的处理 时 间 、 积 、 量 、 耗等 要 求不 没 有 讲 述 硬 件 实 现 过 程 - 。本 文 重 点 研 究 了 基 于 体 重 功 o J
断提高 , 基于嵌 入式 的实时 电子 稳像 系统 具有 更高 的 实 E 2 3 P A D P 4 6架 构 的 电子稳 像平 台硬件 开 发 P S 0F G + S 6 1
cns bl ete2 s 70×5 6 ie hc a ±3 iesSf aiga oi na dvrc l i cini elt ea dtepei o soepx1 a t iz 5 f ( 2 a i h / 7 )vd ow ihh s 0pxl’ ot t r o n et a r t ra-i n h rcs ni n ie. l n h z i de o n m i
i ∞
一
;嚣
} — 商 蛊 一 — 一 厂— ——二二; — 二二 — —二
Vdo p l a o ie pi tn&poet a ci r cl j
积频应用与工程 I
文章编号 :02 89 (0 1 1- l5 o 10 — 62 2 1 )9 0 1_ 4
基于灰度投影法的电子稳像平台设计与实现
杨光 宇 , 朱 丹 。佟新 鑫。 , 玉 良 。 栗霄峰 , , 王 ,
moin c mp nsto t o e ain.Co l t te NisI r c so o mpywi h o Ip o e sr,F GA loc mp ee te fn t n o y tm i n o to ,c n g r t n o ie e o e n h P as o lt h u ci fs se tmig c nr l o f u ai fvd o d c d ra d o i o
【 yw rs l t n aes iztn g yp jeo ; P A; S Ke odle coi i g a lao ; a r etn F G D P e r cm t ii r b o i
0 引 言
效 匹配策 略实现 了车载 图像 匹配 , 足 了车载 图像 跟踪 满 系统对 电子稳 像 技 术 的 实时 性 及精 度 要 求 。这 些 电
图 1 电子 稳像 平 台硬 件 架构 图
2 2 平台软件设计 方案 . 电子 稳 像 平 台 的 软 件 设 计 分 为 两 部 分 , 别 在 分
D P4 6和 No 处理器 中完成 , 中 D P 46完成稳像 S61 is I I 其 S61
算法 的运动估计 、 运动 滤波功 能 , i I 理器 完成 图像 No I处 s
帧/ (2 × 7 )水 平和垂直 方 向上存 在 ± 0 秒 70 56 , 3 个像 素之 间的抖动视 频进行稳 定 , 精度为 1 像素 。 稳像 个 【 关键 词】 电子稳像 ; 投影 ; 灰度 现场可编 程 门阵列 ; 字信号处理 数 【 中图分类号】T 91T 31 N 1 ;P9 【 文献标识码 】A