基于运动矢量的视频去抖动算法
数字视频处理视频影像去抖动方法的研究与应用
二、国内外现状
国内发展状况 国内对于稳像技术的研究起步较晚，1999年中国科学院长春机所开
始对电子稳像技术的原理和应用范围进行研究，国内出现的主要稳像算 法有：点匹配法，特征量跟踪算法，块匹配法，也有一些对经典算法进 行改进后的新算法。 国外发展状况
80年代中期，美国首次将电子稳像技术应用在导航制导系统中，代 替了原系统中价格昂贵的稳定平台，并取得了较好的稳定效果。
90年后美国加拿大等率先采用稳定算法和图像重组的方法实现图像 的稳定；
韩国人提出了位平面匹配法； 近十几年，稳像技术在武器系统上得到了普遍应用；
三、视频去抖动理论
视频去抖动的过程就是要根据原视频产生，经过运动补偿过的视频序列，这 样就可以将不需要的抖动除去。视频去抖动一般采用的方法是利用相邻帧之间的 信息得到当前帧的一个全局的运动参数，通过对此运动参数进行滤波就可以去掉 抖动。这种方法关键就在于怎样利用帧间的信息来得出当前帧的全局运动参数。 视频去抖动一般包括全局运动估计、运动决定、运动补偿和视频修复等部分。
接着在 DoG 尺度空间通过比较每一个像素和它所有相邻像素的值得到极值点。
图 3 尺度空间和差分尺度空间的构建过程 步骤 2 关键点确定和关键点方向的分配。首先通过多项式拟和来确定关键点的精确位置 和尺度；接着建立关键点邻域像素的梯度方向直方图，将峰值作为关键点的方向，如图 4 所示。
图 4 主梯度方向确定过程
1.去抖动算法结构
2.算法思想 对数据进行多次随机抽样，每次随机取出尽可能少但充分多个数据来确定模型参数，
基于前—后向光流点匹配运动熵的视频抖动检测算法
基于前—后向光流点匹配运动熵的视频抖动检测算法作者：江爱文刘长红王明文来源：《计算机应用》2013年第10期摘要：目前大部分视频监控系统面临着高效实时性智能分析与低效滞后的人工故障排查的矛盾。
视频质量智能诊断系统可以为此提供有效的解决方案。
针对视频质量诊断系统中的画面抖动异常检测问题，提出一种简单有效的实用算法。
该算法通过有效融合图像的稀疏光流与特征点匹配算法，根据前向后向误差标准估计图像帧的全局运动参数，引入连续帧的运动熵用于衡量视频画面片段运动的混乱程度，判断是否存在视频抖动现象。
算法在不同分辨率的实际监控录像数据集上进行了测试和比较。
实验证明，该算法在一定程度上克服了大位移抖动的影响，具备良好的实时特性以及较高的检测精度，能够满足实际工作的需求。
关键词：视频监控；抖动检测；前后向误差；金字塔LucasKanade光流；运动熵0 引言视频监控系统作为视觉物联网的重要组成部分，随着近年来强劲快速的发展，其日常维护的矛盾日趋激烈。
据海康威视不完全数据统计，目前国内运行的监控系统中，能正常使用的摄像机的比例不到60%，并且当前这些数量庞大的视频监控系统的运行和维护工作主要靠人工检测和处理。
国外的情况也类似。
如何提高视频监控系统运行维护工作的效率，及时了解前端视频设备的运行情况，建设智能化的视频监控质量诊断系统成为视频监控领域迫切需要解决的实际问题[1-2]。
本文主要研究的是视频监控诊断系统中的视频画面抖动检测问题。
正常情况下，运动图像序列的连续多帧之间过渡是平滑的，画面相关性比较连续，但是如果它们之间的相关性出现大波动，视频就会出现抖动的情况。
在视频监控中，摄像头一般都是固定在某个位置，因此造成视频画面抖动现象的原因主要有：1）摄像头受到环境的干扰（比如强风）发生有规律的摆动从而造成图像的上下或左右抖动；2）摄像头正在被人移动，造成画面抖动。
任何一种情况，都会导致画面出现周期性振颤或不规则扭曲，都意味着摄像头工作出现了异常，系统都需要发生报警，引起工作人员的警戒。
视频抖动矫正中全局运动参数的估计
T
( 2)
1. 2 圆形块匹配运动搜索
对于当前帧中指定的圆形块, 通过运动搜索获 得其圆心的局部运动矢量。 图 2 描述了运动搜索的 过程。A 为当前帧中指定的一个圆, B ′ 是参考帧中 与 A 位置对应的一个圆, 虚线框为搜索窗, C ′ 为搜 索窗内任意圆。 假设 A ′ 为运动搜索结果, 则
徐理东, 林行刚
( 清华大学 电子工程系, 北京 100084)
摘 要: 手持式终端拍摄视频时因为人手的抖动会出现画 面不稳定现象。 为稳定视频画面, 提高视频的主观质量, 提出 了一种视频抖动矫正算法。 该算法采用圆形块匹配获得当前 帧像素的局部运动矢量。 用迭代最小二乘法求解使用局部运 动矢量和运动模型建立的线性参数系统获得全局平移、 旋转 及缩放运动参数。最后用运动迭代使运动参数更加精确。实 验结果表明: 该算法对平移、 旋转及缩放运动的处理能力分 别为大于 30 像素、 大于 30° 及 0. 85 ～ 1. 14, 参数估计精度分 别达到 0. 05 像素、0. 01° 及 0. 000 1, 能处理的运动幅度范 围以及运动参数的估计精度都比基于光流的算法均有很大 提高。 关键词: 视频抖动矫正; 圆形块匹配; 迭代最小二乘; 运动 迭代 中图分类号: T P 391. 41 文章编号: 100020054 ( 2007) 0120092204 文献标识码: A
有视频拍摄功能的手持式终端, 如数码相机、 手 机、 4 等 , 拍摄的视频容易出现画面抖动现象。 MP 该现象的产生是由于拍摄时人手的抖动导致拍摄终 端的运动, 从而带来视频相邻帧之间不规则的全局 运动, 即相邻帧的像平面坐标系统之间的平移、 旋 转、 尺度等几何变换。 视频抖动严重影响视频的主观 质量, 因此, 需要对拍摄的视频进行抖动矫正处理, 消除相邻帧之间不规则的全局运动。 视频抖动矫正系统一般包括全局运动估计和运 动补偿两个模块。 全局运动估计模块估计视频相邻 帧之间的全局运动参数, 即相邻帧的像平面坐标系 统之间的几何变换参数。 运动补偿模块首先根据全 局运动参数计算各帧的运动补偿参数, 即与第一帧 之间的全局运动参数, 根据补偿参数对各帧进行几 何变换, 即可得到矫正后的稳定的视频输出。 在视频 抖动矫正系统中, 最核心的是全局运动参数估计模 块, 它的估计精度决定了系统的抖动矫正性能。 根据 运动参数估计采用的运动模型, 视频抖动矫正可分 为二维抖动矫正和多维抖动矫正。 二维抖动矫正只 处理平移运动, 多维抖动矫正处理的运动除了平移 运动外, 还有旋转、 缩放等其他运动。 二维抖动矫正算法较多, 如基于宏块运动矢量 统计的方法以及基于位平面匹配的方法等[ 1, 2 ]。 但在 实际拍摄时, 相邻帧之间除了平移运动外, 还有旋 转、 缩放等运动。 因此, 需要进行多维抖动矫正, 以得 到更稳定的矫正结果。 在多维抖动矫正中, 基于矩形 块运动搜索的方法只能用在除平移运动外其它运动 都较小的情况[ 3 ] , 基于光流的方法只能处理小幅度 的平移、 旋转及缩放运动[ 4 ] , 基于特征点跟踪的方
视频稳像算法综述
视频稳像算法综述视频稳像是一种用来减少视频中抖动的技术，其主要目的是提高视频质量和观看体验。
视频稳像算法是实现视频稳定的关键，它可以通过对视频进行处理，消除由于手持摄像、运动或其他因素引起的抖动，从而使视频画面显得更加平稳和清晰。
随着移动设备的普及和视频内容的增多，视频稳像技术越来越受到关注，各种视频稳像算法也不断得到改进和创新。
目前视频稳像算法主要分为机械稳像和软件稳像两大类。
机械稳像通过物理设备来进行抖动补偿，例如利用机械稳像仪器或者云台来调整镜头位置，从而实现视频的稳定。
而软件稳像则是通过对视频进行数字处理来实现稳定效果，减少抖动的同时保持视频内容的完整性。
软件稳像算法可以应用于各种类型的摄像设备和视频处理软件中，成为目前视频稳像技术的主流。
视频稳像算法在不同应用场景下有不同的技术原理和方法。
下面将针对不同视频稳像算法进行综述和分析，探讨它们的优劣势及适用范围。
1. 传统的视频稳像算法传统的视频稳像算法主要通过数字图像处理来实现抖动的消除，其中比较典型的方法是基于运动补偿和区域重叠的技术。
这些算法通过识别视频中的运动对象，通过补偿运动矢量来实现视频的稳定。
而在区域重叠技术中，通过对视频进行适当的裁剪或者重叠，从而实现对抖动部分的遮挡和修复。
传统视频稳像算法的优势是技术成熟、应用广泛，且能够较好地处理一般的抖动场景。
但传统算法也存在一些问题，例如无法处理复杂的抖动、对计算资源和存储空间的要求较高等。
由于目前视频抖动场景多样化，传统的视频稳像算法在某些场景中可能无法满足需求，因此也为进一步推动视频稳像技术的发展提出了挑战。
近年来，基于深度学习的视频稳像算法得到了快速的发展和应用。
深度学习通过人工神经网络和大量的数据训练可以提取特征，学习到更复杂的规律和模式，因此在视频稳像领域有着广阔的应用前景。
基于深度学习的视频稳像算法能够更加准确地识别视频中的抖动部分，快速地进行补偿和修正。
通过深度学习模型的训练，算法可以不断地优化自身的性能，适应不同场景和要求。
抖动抑制算法范文
抖动抑制算法范文抖动抑制算法是指一种用于抑制图像或视频中的抖动效应的技术。
抖动效应是指由于拍摄设备的不稳定性或者主体的运动造成的图像或视频中出现的抖动现象。
这种抖动现象会导致图像或视频的质量下降，给观看者带来不良的视觉体验。
金字塔法是一种基于频域的抖动抑制算法。
它将图像或视频分解为不同尺度的金字塔，然后对每一层金字塔进行处理。
具体步骤如下：1.图像或视频预处理：先对图像或视频进行预处理，例如去噪、增强等操作，以提高图像质量。
2.构建金字塔：将预处理后的图像或视频分解为不同尺度的金字塔。
金字塔的每一层都是通过降采样操作生成的，即将上一层的图像或视频进行下采样。
3.重建金字塔：对金字塔的每一层进行重建，以得到抖动抑制后的图像或视频。
4.合并金字塔：将重建后的金字塔合并，得到最终的抖动抑制图像或视频。
合并的方法可以使用插值方法，如线性插值或双线性插值。
金字塔法的优点是能够有效地减少抖动效应，并且处理速度较快。
然而，该算法对于大幅度的抖动效应可能会有一定的限制。
另一种常见的抖动抑制算法是块匹配法。
该算法主要针对视频处理，通过对视频序列中的帧进行块之间的匹配，从而实现抖动抑制。
具体步骤如下：1.预处理：对视频序列进行预处理，例如去噪、增强等操作，以提高图像质量。
2.块大小选择：选择适当的块大小，将视频序列分成一组块。
3.块匹配：对相邻帧之间的块进行匹配，找到匹配度最高的块。
4.运动估计：通过块匹配结果，估计每一帧之间的运动矢量。
5.运动补偿：利用运动矢量，对图像或视频进行运动补偿，消除抖动效应。
6.合成：将处理后的图像或视频进行合成，得到最终的抖动抑制结果。
块匹配法的优点是能够在检测到运动的情况下有效地进行抖动抑制。
然而，该算法对于复杂的场景和大范围的抖动效应可能会导致匹配错误。
综上所述，抖动抑制算法是一种用于抑制图像或视频中抖动效应的技术。
金字塔法和块匹配法是常见的抖动抑制算法，它们分别基于频域和时域的原理进行操作。
如何应对视频编码中的抖动问题(三)
抖动是在视频编码过程中常见的问题之一，它是由于图像或视频播放时的不稳定性造成的。
这种不稳定性可能是由于摄像机的振动、运动或不稳定的环境条件引起的。
在处理视频编码中的抖动问题时，有几个关键方面需要考虑。
首先，我们需要了解抖动的原因以及它对视频质量的影响。
其次，我们需要掌握一些常见的抖动补偿技术，以减少或消除抖动。
最后，我们需要评估和选择适合特定场景的最佳抖动处理方法。
1. 抖动的原因和影响抖动主要是由于摄像机的振动、手持设备的移动或拍摄环境的不稳定引起的。
这种不稳定性在视频中会表现为图像的颤动或摇晃，给观看者带来不舒适的感觉。
此外，抖动还可能导致图像失去细节或变得模糊不清。
2. 常见的抖动补偿技术为了减少或消除抖动，有几种常见的抖动补偿技术可供选择。
一种常用的方法是使用软件或硬件稳定器来补偿图像或视频的抖动。
这种方法通过校正或平滑视频的抖动来提高图像或视频的稳定性。
另一种方法是使用数字图像处理算法来补偿抖动，例如通过运动矢量估计和补偿来预测和校正图像的运动。
3. 评估和选择适合的抖动处理方法在选择适当的抖动处理方法时，我们需要考虑几个因素。
首先是应用场景。
不同的应用场景对抖动处理的需求不同。
例如，在拍摄动作片或运动比赛时，我们可能需要更强大的抖动补偿技术来保持图像或视频的稳定性。
其次是处理的成本和效率。
不同的抖动处理方法具有不同的实现复杂度和计算要求。
我们需要权衡性能和成本，并选择最适合我们应用需求的方法。
最后是图像或视频的质量。
我们需要评估所选择方法对图像或视频质量的影响，以确保处理后的图像或视频仍保持高质量。
综上所述，应对视频编码中的抖动问题需要综合考虑抖动的原因和影响、常见的抖动补偿技术以及评估和选择适合的抖动处理方法。
通过正确理解和处理抖动问题，我们能够提高视频质量，并为观众带来更好的观看体验。
同时，我们还可以进一步探索和改进抖动处理技术，以应对不断变化的视频编码需求。
如何应对视频编码中的抖动问题(一)
视频编码是目前数字媒体领域中最核心的技术之一，其性能直接影响着视频的画质和观看体验。
然而，在视频编码过程中常常会出现抖动问题，即图像在播放过程中出现微小的抖动现象，给观众带来不良的观感体验。
如何应对视频编码中的抖动问题成为了一个重要的研究方向。
本文将从视频编码的原理、抖动问题的成因以及解决方案等几个方面进行探讨。
一、视频编码原理视频编码是将连续的图像序列转化为数字信号的过程。
通常采用的压缩编码标准有、等，其核心原理是通过对视频信号的空间和时间冗余进行删除和压缩，从而降低数据量。
在编码过程中，帧间编码和帧内编码是两种基本的编码方式。
帧间编码利用了帧间的冗余性，通过参考前后帧的差异来进行编码；帧内编码则利用图像帧本身的空间冗余性，对单个帧进行编码。
二、抖动问题的成因抖动问题在视频编码中经常出现，其主要成因包括帧率的不稳定、图像的运动快慢不一致以及码率的不足等。
1. 帧率的不稳定：帧率是指每秒钟播放的图像帧数，帧率的不稳定会导致播放时图像的抖动。
在视频编码过程中，由于网络传输或设备性能等原因，导致帧率出现波动就会引起抖动问题。
2. 图像的运动快慢不一致：视频中的图像运动速度快慢不一致会引起抖动。
当视频中存在几个快速运动的物体和几个缓慢运动的物体时，编码系统可能会对不同物体进行不同的帧率控制，从而导致播放时出现抖动。
3. 码率的不足：码率是指单位时间内的数据传输速度，码率过低会导致视频中的运动物体在编码和解码过程中丢失了一些细节信息，进而导致抖动。
三、解决方案针对视频编码中的抖动问题，提出了一些解决方案，主要包括帧率稳定化技术、运动补偿技术和码率控制技术等。
1. 帧率稳定化技术：通过对视频流中的帧率进行稳定化处理，使得播放时的帧率保持相对稳定。
可以采用帧间插值技术，对帧率进行平滑处理，减少波动带来的影响。
2. 运动补偿技术：针对图像中不同物体的运动速度快慢不一致问题，采用运动补偿技术来对图像进行预测和补偿。
手机高清视频实时稳像算法研究与实现
手机高清视频实时稳像算法研究与实现随着手机摄影的普及和发展，人们对于手机视频拍摄的要求也越来越高。
然而，在拍摄过程中，由于手部抖动或周围环境的不稳定因素，往往会导致视频画面的模糊和抖动。
为了解决这个问题，手机高清视频实时稳像算法应运而生。
手机高清视频实时稳像算法是指一种通过软件算法实时对手机摄像头拍摄的画面进行分析和处理，以消除因手部抖动或环境不稳定引起的视频抖动和模糊现象的技术。
该算法主要包括两个方面的内容：图像稳定和运动补偿。
首先，图像稳定是指通过分析手机拍摄的连续帧画面，检测出其中的抖动信息，并根据抖动的程度和方向来进行相应的补偿。
一般来说，图像稳定算法主要分为基于传感器和基于图像的两种方式。
基于传感器的图像稳定算法是通过手机内置的陀螺仪和加速度计等传感器，实时获取手机的运动信息，从而对画面进行稳定处理。
这种算法的优点是实时性较好，对于快速移动的场景能够有效减少抖动，但在光线较暗或传感器精度较低的情况下可能会导致误差较大。
基于图像的图像稳定算法是通过分析连续帧之间的关系，计算出抖动的运动矢量，并对相邻帧进行位移补偿，从而实现图像的稳定。
这种算法的优点是适用于各种光线条件下的拍摄，但对计算能力要求较高，可能存在处理延迟的问题。
其次，运动补偿是指通过对图像的位移进行补偿，使得画面中的运动物体能够保持相对静止。
运动补偿算法是基于视频序列之间的运动估计和补偿原理进行实现的。
这些算法主要包括全局运动估计和局部运动估计两种方式。
全局运动估计是指通过分析整个视频序列的运动信息，计算出全局的运动参数，并将其应用于每一帧的位移补偿中。
这种算法适用于大范围的运动场景，但对计算量较大。
局部运动估计是指通过分析相邻帧之间的差异，计算出局部的运动参数，并将其应用于相邻帧之间的位移补偿中。
这种算法适用于小范围的运动场景，计算量相对较小。
综上所述，手机高清视频实时稳像算法通过图像稳定和运动补偿两个方面的处理，能够有效减少手机视频拍摄中的抖动和模糊现象，提高用户的拍摄体验。
mc_movesuperimposed运作原理 -回复
mc_movesuperimposed运作原理-回复mc_movesuperimposed是一种运动补偿算法，用于实现视频稳定功能。
它可以通过分析视频帧之间的变化来减少由于摄像机运动引起的图像抖动，并将其应用于实时影像处理、视频录制和图像采集等领域。
在本文中，我们将逐步回答mc_movesuperimposed的工作原理主题，以帮助读者了解该算法的运作机制。
第一部分：算法基础1.1 视频稳定的需求与挑战在很多应用场景中，稳定的视频图像是至关重要的，例如摄像机拍摄视频、无人飞行器拍摄航拍视频等。
然而，由于摄像机的抖动或运动，视频图像中会出现明显的颤动和模糊。
因此，需要一种有效的算法来抵消这些运动干扰，以获得稳定的视频图像。
1.2 运动补偿的概念运动补偿是一种技术，用于估计摄像机或物体的运动，并将其应用于图像或视频处理中。
它通过分析相邻帧之间的运动信息来抵消图像或视频中的抖动或模糊效果。
mc_movesuperimposed就是一种基于运动补偿的算法，用于实现视频稳定。
第二部分：mc_movesuperimposed运作原理2.1 运动向量估计运动向量是一种表示图像或视频帧之间运动的矢量。
在运动补偿算法中，首先需要估计出相邻帧之间的运动向量。
这可以通过比较两个相邻帧之间的像素差异来实现。
mc_movesuperimposed通过使用快速全搜索算法或其他运动估计算法来获取准确的运动向量。
2.2 运动补偿图像生成一旦获得了运动向量，mc_movesuperimposed就可以使用这些向量来生成运动补偿图像。
运动补偿图像是通过将当前帧中的像素按照运动向量进行重新定位获得的。
具体而言，对于每个像素，通过将其位置加上对应的运动向量，可以获取其在上一帧中的位置，然后使用上一帧中的像素值来填充当前帧的该位置。
2.3 超叠加算法mc_movesuperimposed还采用了超叠加算法来进一步减少图像抖动。
超叠加算法是一种将多个相似图像叠加在一起的技术，可以减少图像中的噪声和干扰。
基于视频的成像去抖动方法研究
1、4小波变换
小波变换是一种频域分析方法，它将图像分解成多个小波系数，对小波系数进 行去噪处理后再进行逆变换，得到去噪后的图像。小波变换具有多尺度分析的 特点，可以有效去除不同类型的噪声。但是，小波变换需要选择合适的小波基 函数和阈值参数，否则可能会影响去噪效果。
1、5非局部均值
非局部均值是一种基于像素相似度的去噪方法，它认为像素的相似度不仅仅取 决于像素值的大小，还与像素的结构和纹理有关。非局部均值通过计算像素的 相似度，将像素的像素值替换为其相似区域的加权平均值。这种方法在去噪的 同时能够保持图像的细节和边缘信息。然而，非局部均值在处理具有较多噪声 的图像时可能会出现一些问题，例如过度平滑和边缘效应等。
雷达成像方法是一种利用雷达信号获取目标信息并生成图像的技术。其基本原 理是通过对目标反射的雷达信号进行处理，得到反映目标特征的数据，再根据 一定的算法重建目标的二维或三维图像。常用的雷达成像技术包括脉冲压缩、 频谱估计、极化合成等。这些技术各有优缺点，适用范围也不尽相同。例如， 脉冲压缩技术具有较高的分辨率，但易受多径效应影响；频谱估计技术能够提 供高精度的目标速度和距离信息，但对硬件要求较高。
实验结果表明，我们所提出的方法在去抖动效果上明显优于其他同类方法。具 体来说，我们所提出的基于视频的成像去抖动方法在MSE、PSNR和SSIM三个指 标上分别降低了10.8%、15.6%和12.4%。这些数据充分说明了我们的方法在去 抖动方面的优越性能。
结论与展望
本次演示提出了一种基于视频的成像去抖动方法，该方法综合了滤波、特征提 取和机器学习技术，有效降低了视频画面的抖动程度。实验结果表明，我们所 提出的方法在去抖动效果上具有明显优势。
1、对输入视频进行预处理，包括降噪、插值等操作，以提高视频的质量和稳 定性。
基于运动矢量的视频去抖动算法
基于运动矢量的视频去抖动算法
宋利;周源华;周军
【期刊名称】《上海交通大学学报》
【年(卷),期】2004()z1
【摘要】采用新的几何分析方法建立了视频去抖动处理的数学模型,提出一种基于运动矢量的视频去抖动算法.采用新的快速M鲁棒估计法获得摄像机全局运动参数集;滤波该参数集滤除随机抖动带来的运动噪声.为了提高算法的可靠性,在全局运动估计之前对原始运动矢量进行了时空滤波;在运动校正阶段,引入了"重同步"机制防止差错累积.实验表明,该算法具有良好的去抖动效果,能够用于实时处理.
【总页数】5页(P63-66)
【关键词】视频去抖动;全局运动;鲁棒估计
【作者】宋利;周源华;周军
【作者单位】上海交通大学图像通信与信息处理研究所
【正文语种】中文
【中图分类】TN919.81
【相关文献】
1.一种新型基于运动矢量检测的去隔行算法 [J], 堵国樑;刘蓉
2.基于前—后向光流点匹配运动熵的视频抖动检测算法 [J], 江爱文;刘长红;王明文
3.基于运动矢量的鲁棒视频去抖动算法 [J], SONG Li;ZHOU Yuan-hua;ZHOU Jun
4.基于仿射运动模型的运动矢量的教学视频水印算法 [J], 马宏茹;李硕;纪宁
5.博弈论模型下基于运动矢量的视频隐写算法 [J], 邱枫;钮可;陈培;李军
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
- 1 s
r n
T n = T n - A n (A )
- 1TΒιβλιοθήκη r n∑(D
i, j
- Λ) 2
( 6)
因此, 为了补偿摄像机的随机抖动, 第 n 帧图像 I n 按照下式进行变换就可以得到稳定的图像序列: c c - 1 c - 1 c ( 5) I n (X ) = I n [ (A n ) X - (A n ) T n ]
∑ ∏A
i= 1 k = i+ 1
T i + Tn
( 2)
式中, 上标 r 为 r 次级连. 因此, 第 n 帧图像和基准 r r ) 联系起来 帧之间的全局变换可以通过 (A n , Tn . 假设 消除抖动后的第 n 帧图像和基准帧之间全局变换的 s s ) , 采用类似上述级连的方式, 第 n 帧 参数为 (A n , Tn
64
上 海 交 通 大 学 学 报
第 38 卷
序列, 该方法的优点是可以获得每个像素的运动矢 量; 然而如果场景中存在不一致的运动区域, 通常要 结合视频分割来完成全局运动的估计, 而这类方法 由于要对每一像素点进行分析, 一般需要相当大的 计算量, 此外光流计算固有的孔径问题也是该方法 所必须要考虑的. 本文采用新的几何分析方法[ 3 ] 建立了视频去抖 动处理的数学模型. 在此基础上, 结合前述两种方法 各自的优缺点, 提出一种基于运动矢量的视频去抖 动算法.
选点 . 以候选点所在的图像块为中心, 运用区域生长 的方法将运动矢量的幅度和相角相近的块合并 . 最 后把合并的区域标记为 0, 其余区域则标记为 1, 得 到时间域的掩码M t. 将原始的运动矢量分别与上述掩码 (M s ∪M t ) 进行乘法运算, 就得到一系列可靠性较高的反映摄 像机变换的运动矢量, 实验表明上述模板算法简单 高效 . 2. 3 全局运动估计 根据式 ( 1) , 可以得到如下全局运动模型: ∃x = ∃y
An = a1 a3 a2 a4
图 1 视频去抖动处理框架
F ig. 1 T he fram ew o rk of video stab iliza tion
首先, 原始视频流采用块运动估计算法获得相 邻帧之间的运动矢量, 由于这些运动矢量实际上既 包含了摄像机的全局运动, 又包含了场景中移动物 体的局部运动, 显然局部运动对摄像机的全局运动 没有贡献 . 因此接下来对运动矢量进行时空滤波处 理, 将这类局部运动矢量 ( 也称为局外点) 加以剔除 . 在全局运动参数的估计中, 提出一种快速M 估计方 法, 可以在提高估计精度的同时保持较低的运算复 杂度 . 计算出相邻帧之间的全局运动参数集以后, 在 时间轴上对运动参数进行均值滤波处理, 将随机抖 动造成的运动噪声加以剔除; 最后根据新的全局参 数对原始的视频流按照式 ( 5 ) 进行变换 ( 即运动校 正) , 就获得稳定的视频流 .
式中:
D
i, j
=
I 1 ( i, j ) i∈ M , j ∈N
I 2 ( i + d 1, j + d 2)
Λ=
∑
D i, j MN
增刊
宋 利, 等: 基于运动矢量的视频去抖动算法
65
d 1、 d 2 为块之间的相对位移; I i ( i = 1, 2 ) 为图像的灰
度; M 、 N 为块的宽度和高度, M = N = 8 或 16 个像 素 . 搜索区域为± 15 个像素, 采用 M V FA ST 估计 算法[ 5 ]. 这样就获得一系列均匀分布的运动矢量. 如 前所述, 这些运动矢量通常包含噪声和局外点. 在视 频压缩中, 运动矢量和估计的残差值都要传到解码 端, 运动估计的好坏主要影响码率的大小, 不会造成 太大的问题. 要估计全局运动参数, 需要对运动矢量 做进一步的滤波处理. 2. 2 运动矢量的时空滤波处理 运动噪声的分布随场景的特性而变化, 无通用 的噪声模型. 实验表明, 运动估计方法在纹理一致的 区域错误估计的概率较高. 故要将这类区域对应的 运动矢量剔除. 如果区域中包含较多的边缘特征, 则 该区域中具有丰富的纹理特征. 因此采用图 2 所示 快速二值化模板提取算法, 其中水平梯度 G x 和垂直 梯度 G y 采用 Sobel 算子计算, d 为阈值, 根据场景 内容调整, 这样就获得空间域的掩码 M s. 上述模板 化操作也可以在运动估计之间完成, 这里放在运动 估计之后主要考虑到在压缩域中的可扩展性. 需要 说明的是, 本文主要考虑在图像域进行处理, 如果直 接处理压缩域的运动矢量, 则可以通过分析离散余 弦变化的系数值来获得空间纹理特性的模板[ 6 ].
作者简介: 宋 利 (19752) , 男, 山西长治市人, 博士生, 主要研究方向为虚拟现实、 计算视觉及视觉分析等. 周源华 ( 联系人) , 男, 教授, 博士生导师, 电话 (T el . ) : 021262932341; E 2 m ail: yuanhuazhou@ cd tv. o rg. cn.
Ke y w o rds : video stab iliza t ion; g loba l m o t ion; robu st est i m a t ion
视频抖动是指拍摄过程中由于摄像机存在不一 致的运动噪声而造成视频序列的抖动和模糊. 为了 消除这些抖动, 需要提取摄像机的真实全局运动参 数, 然后采用合适的变换技术补偿摄像机的运动, 使 视频画面流畅而稳定, 这项技术通常称为视频去抖 动或视频稳定. 目前已有的视频去抖动技术分为如下两类: 特 征法和光流法. 特征法[ 1 ] 在提取每帧图像的特征点
第 38 卷 增刊 2004 年 10 月
上 海 交 通 大 学 学 报
JOU RNAL O F SHAN GHA I J I AO TON G U N I V ER S IT Y
Vol . 38 Sup. O ct. 2004
文章编号: 100622467 ( 2004) S020063204
1 视频去抖动数学模型
摄像机的全局运动可以用 2D 变换表示, 常用 的参数模型包括 2 参数的平动模型, 4 参数的相似 变换模型, 6 参数的仿射变换模型, 8 参数的投影变 换模型以及 12 参数的 2 次曲面变换模型[ 4 ]. 参数越 多, 表示场景变换越精确, 同时计算的复杂度也越 高 . 对于一般的场景来说, 仿射变换模型表示的全局 运动在精度和复杂性之间具有较好的折衷. 根据仿射变换模型, 视频序列中图像 I n 和 I n- 1 对应像素坐标 X n 和 X n- 1 满足: ( 1) X n = A nX n - 1 + T n
收稿日期: 2003211217 基金项目: 国家自然科学基金资助项目 (69905003)
的基础上, 在相邻帧之间进行特征匹配, 然后根据匹 配的结果计算摄像机的全局运动参数, 最后用滤波 后的全局运动变换对原始序列进行补偿 . 该方法的 效果很大程度上取决于特征匹配的精度, 当场景中 存在移动目标或者纹理特征不明显时, 该方法的应 用将受到限制 . 光流法[ 2 ] 首先计算相邻帧之间的光 流, 然后根据光流信息, 通过运动分析获得全局运动 参数, 随后也是根据滤波后的运动参数来补偿原始
2. 1 块运动估计
, T n =
t1 t2
A n 反映了水平和垂直尺度以及旋转因子, T n 体现平
移参数. 如果取第 1 帧为基准帧, 在相邻帧之间级连 使用上述变换, 得
X n = A nX n n
1
r r + Tn = … = A n X 1 + Tn = n- 1 n k
∏
i= 1
Ai X1 +
基于运动矢量的视频去抖动算法
宋 利, 周源华, 周 军
( 上海交通大学 图像通信与信息处理研究所, 上海 200030)
摘 要: 采用新的几何分析方法建立了视频去抖动处理的数学模型, 提出一种基于运动矢量的视 频去抖动算法. 采用新的快速M 鲁棒估计法获得摄像机全局运动参数集; 滤波该参数集滤除随机 抖动带来的运动噪声. 为了提高算法的可靠性, 在全局运动估计之前对原始运动矢量进行了时空滤 波; 在运动校正阶段, 引入了 “重同步” 机制防止差错累积 . 实验表明, 该算法具有良好的去抖动效 果, 能够用于实时处理. 关键词: 视频去抖动; 全局运动; 鲁棒估计 中图分类号: TN 919. 81 文献标识码: A
V ide o S ta b iliza tion A lgo rithm B a s e d on M o tion V e c to rs
S ON G L i , ZH OU Y uan 2hua , ZH OU J un
( In st. of I m age Comm un ica t ion & Info rm a t ion P rocessing, Shangha i J iao tong U n iv. , Shangha i 200030, Ch ina )
A bs tra c t: T h is p ap er p ropo sed a m a them a t ica l m ode fo r video stab iliza t ion by m ean s of novel geom et ry
ana lysis. T he m ethod go t g loba l m o t ion p a ram eters by loca l m o t ion vecto rs th rough qu ick M 2robu st est i2 m a t ion; these p a ram eters a re filtered to rem ove stocha st ic m o t ion no ise. In o rder to im p rove the stab iliza 2 t ion, the o rig ina l m o t ion vecto rs a re filtered in the sp a t ia l2tem po ra l dom a in befo re g loba l m o t ion est im a t ion and an effect ive“resynch ron iza t ion ”schem e is in t roduced to p reven t erro r accum u la t ion du ring m o t ion co r2 rect ion. T he exp erim en t s show tha t the p ropo sed a lgo rithm ha s good stab iliza t ion effect s and can be u sed to rea l2t im e p rocess.