视频帧率上变换算法研究

视频帧率上变换算法研究
视频帧率上变换(Frame Rate Up-Conversion,FRUC)技术是一种通过在低帧率视频序列相邻帧之间插入若干过渡帧的方式将其转换到一个更高帧率的视频后处理技术。

在高清数字视频系统中,该技术能够用于消除低帧率视频所造成的画面抖动和运动模糊等问题,为观看者提供更加自然流畅的视觉体验。

而在移动网络等带宽受限的视频点播业务中,该技术则可用于重建编码端为了降低传输码率而丢弃的视频帧,有效的缓解接收端视频播放时的画面跳跃感,在无需更换现有网络设备的前提下极大的提升了视频的观赏质量。

随着人们对主观视觉要求的不断提高,以及各多媒体业务之间视频数据交互的日益频繁,FRUC 技术已经成为了目前视频后处理领域研究的热点问题之一。

其中的运动矢量的准确性、运动补偿插值的质量和闭塞歧义区域处理等问题,是该技术研究的重点和难点。

无论对于传统2D视频还是新兴的3D视频应用而言,视频帧率上变换作为一种重要的视频后处理技术,具有着广阔的应用前景。

本文将2D视频的帧率上变换问题作为主要研究内容,以基于块的运动补偿类插帧算法为技术路线,对于其中的真实运动估计、运动矢量场后处理、双向运动补偿插值和闭塞歧义区域处理等难点问题进行了深入的分析并提出了有效的解决方案。

此外,相对于2D视频,3D视频中新增加了深度信息。

本文对于利用该深度信息来提升V+D(Video Plus Depth,V+D)格式3D视频的插帧图像质量的技术进行了初步探索。

本文的主要工作和创新概括如下:针对单向块运动矢量估计的问题,本文以贝叶斯理论运动估计模型为指导,提出了一种自适应先验约束的单向块运动估计方法。

该方法通过考虑图像的局部特征来动态调整相应的平滑约束强度,从而有效
的克服了现有方法的运动矢量场过平滑问题,提高了运动矢量的准确性。

针对初始运动矢量场中存在非可靠运动矢量的问题,本文通过将运动矢量的插值失真信息作为新的可靠性特征,提出了一种有效的运动矢量场后处理算法。

与现有的同类算法相比,本文所提出的算法对于纹理相似区域的非可靠运动矢量以及成簇出现的非可靠运动矢量都具有更好的检测和纠正能力。

针对传统的块级运动矢量场对于物体边界运动的描述精度不足,容易导致补偿插值错误和块效应的问题,本文首先以核回归理论为指导,提出了基于联合三边核的像素级运动矢量插值算法,能够有效的完成由块级单向运动矢量场到像素级双向运动矢量场的转换,提高对边界运动的描述能力。

其次,基于所获得的像素级双向运动矢量场,本文设计了一种基于支撑窗的双向运动补偿插值算法,有效的抑制了插值错误的产生。

针对闭塞歧义区域无法获得准确的双向运动矢量的问题,本文通过分析闭塞歧义区域产生的原因和相互之间几何关系,并利用运动的时域连续性特征,提出了一种基于多参考帧的闭塞歧义区域检测处理算法。

该算法能够有效的完成对待插帧平面内的闭塞歧义区域的检测,并根据检测结果进一步完成了对双向运动矢量选择算法及补偿插值算法的改进。

通过分析
3D视频的特点,基于2D视频运动补偿插帧技术,针对V+D视频的帧率上变换问题设计了一种方法,利用深度信息约束解决了物体边缘检测和前后景区分等难题,从而有效的改进了运动矢量滤波和补偿插值算法,保证了插值结果中物体结构的完整性和深度信息的准确性。

本文对于所提出和改进的算法的性能进行了大量的实验对比。

实验结果表明:与现有的同类算法相比,利用本文算法所得到的插值图像不仅具有较好的主观视
觉效果,而且在客观的质量评估方面也均优于同类算法。