数字视频处理__课程报告-视频分割技术发展及其应用

视频分割技术

课程报告题目：视频分割技术发展及其应用

数字视频处理中运动估计的方法及应用

1 引言

科学技术的飞速发展的今天，带来了电子设备的普及和海量的视频数据。视频在我们的日常生活中充当着越来越重要的角色，我们可以随时利用身边的电子设备比如掏出手机，拍一段视频，或者从社交媒体软件微博、QQ、微信等空间浏览朋友上传的视频。这些各种各样的媒体视频软件的出现不仅丰富了我们的生活，也给我们的生活带来其他便利，比他，在医学影像、智能交通管理、视频监控、医学影像这些领域也离不开视频的使用。这些丰富的视频软件的产生，离不开那些有关视频方面的处理技术。比如涉及那些视频分割核心技术的发展推进了那些手机端、PC端等软件迅速崛起。视频相比与图片，能传达更全面和丰富的信息，它由一系列图片组成，并结合音频。高速发展的网络也带了处理视频的一些挑战，庞大的视频信息如何能保证有效的传输以及使用是一个问题，因此就需要一种对视频进行分割的技术。MPEG是针对视频压缩相关编码的规范，并在MPEG-4规范标准中明确地给出一种基于视频内容的编码方案，它指出视频是由一系列具有语义实体的视频对象组成。视频对象说白了无非就是在组成视频的那一系列的图像中那些具有相同或者相似的像素特征的全体。例如像物体的运动就能作为反应这些具有相似性的特征，其它诸如物体的形态或者说是物体的色调也能用来作为衡量这种相似性。而视频分割技术它其实就是从含有这些复杂的多个对象的视频当中抽离出那些我们要的实体对象。我们接下来首先先介绍一些关于图像方面的知识作为开头，因为它是视频处理的前提基础，然后介绍一些传统的视频分割方法、介绍目前流行的视频分割方法主要有哪些。接着，我们谈谈视频分割技术可以具体应用在哪些领域。最后是一些涉及视频分割技术的总结展望。

2 图像分割技术

因为视频是由一系列的特定的图像组成的。所以对视频进行分割归结来说还是对这些图像进行分割。图像分割的经典方法是由图论中的Graph Cut提出的，它需要用户的交互来切割图像，需要用户手动的标记出图像的前景和背景。之后的图像分割算法大多都是基于此基础上进行改进。关于图像分割的方法目前还是很丰富的，不可能一一地列举出来，因此，我们按照其所属不同的类别进行阐述。第一类是利用不同阈值的方式进行切割，切割的思想就是对图像在其特征空间上进行划分，形成多个划分类。图像的灰度是比较经常作为特征选取方案的。或者也可以对原始特征进行处理得到效果更好的特征。通常这类算法运行效率低，而且当图像中存在噪声时对其结果影响较大。第二类是从图像的区域出发：思想大致类似于聚类算法，首先构造相似度函数，然后把相似的象素聚成一类，聚类过程中聚类的顺序的不同也诞生了不同的方法。例如我们在初始时刻可以把整张图像看着单独的一个类，然后在接下来不断的对上一轮的类别分裂划分，直到达到稳定状态结束。也可以将操作的过程反过来即：初始时刻先将图像设定几个不同的给定类别，然后不断地判断哪些类是可以兼并在一起的直到稳定状态结束。最后一类是直接提取出图像对象的边缘，其思想比较直观。提取方式也可以分为多种，比较常用的先提取出局部可能的边缘点，然后慢慢的扩展得到整体的轮廓。最后就能把各个对象的外部边界检测出来，从而达到分割的目的。

3 视频分割技术

早期的视频分割通常从图像的像素层面上进行考虑的，整个过程一般包括以下几个处理步骤：初始时先对原始数据处理，目的是为了消除存在的一些噪声或者异常的数据，也可以去除冗余的数据降低相关性。接下来就是抽取和选择图像特征的阶段。[1]这一阶段利用其运动直方图或者其他的诸如深度，纹理等这些反应视频特征的信息将视频中那些表现一致的图像特征划分成不同的区域，从而初步得到具有相似或一致的特征区域。经过前面两个阶段的处理后需要对图像做最终判定。这个过程中由于不同的判决函数的选取使其在图像的特征空间上会得到不同的划分结果。从而使得最终的结果各不一样。因此这一阶段操作直接决定了分割效果的好坏。传统的分割方法基本上都包含以上的这几个步骤。但是，随着ＭＰＥＧ－４提出视频对象的概念之后，新的处理方法就相继的被提出来了。相比于传统的处理方式存在很大不同的是，这些方法它都是从基于内容的视频对象出发的。因此它有着传统方法没有的优点，在大多数的情形下可以更有效地对视频进行分割。由于近几年的科技的持续进步，关于这方面的视频切割方法也不断涌现，但是大致有如下几个方面：比如根照在视频切割过程中能不能够实现自动化操作的标准分成自动与半自动分割。自动分割的优势就是它在整个过程中完全不需要人为的参与，能够自动化地分离得到视频对象从而对其进行运动追踪。这种自动的分割在视频量极大的场景中显得至关重要，像是在智能交通管理领域，每天交通探头就能生成海量的视频信息，人为的对这些视频进行交互操作显得不太实际和不具有可操作性。这类自动化方法目前有很多，比如从图像边缘角度的检测方式和利用帧间差的方式进行处理的方法等等。另一种分类标准是按照分割过程中利用的视频信息的不同出发。一类是只单纯考虑不同的序列在时间上存在的关联性为基础的时间领域上的分割方式。一类是只把视频序列独立地分开来看，只考虑每一帧图像上的空间信息以此为基础的空域的分割方法。最后一类是结合以上两类方法的有时的混合方法。下面就对这几类分类部不同的方法进行相应的介绍。

3. 1 基于时域分割

一般来说，组成一个视频的各个图像帧并不是任意组合的，很简单的一个例子就是当我们拍一段车子运动轨迹的视频时，组成这个视频的图像序列中车子的运行轨迹是具有一定的连续性，并不是混乱的。也就是说一段正常视频相邻帧之间必定具有某种关联性。依据这种关联性，我们就可以在一系列的图像序列中提出那些具有一定关联性的对象。时域分割就是一类利用这种关联的技术。对于连续的两图像而言，图像中特定的两个对象必定是相关连的，或者说他们的运动趋势是有着一致性的。利用变化检测手段就可以抽取出含有一致性的对象。但是，实际上的处理却没有想像的那儿简单，因为我们拍摄的视频往往有可能其对象的背景也有可能是运动的。现实中的大多视频都是这个类型的。这就给检查带来了一定的困难性。但是也并不是没法处理。对于背景也是运动的视频的处理就稍微复杂了一些，因为在很多视频中的前景和背景都呈现出运动的状态。一种处理方式就是在对视频分割之前，我们可以对视频背景的运动作出适当预估计和补偿操作。最后再运用相关的变化检测算法进行操作从而分离得到视频对象。光流，变化检查等都属于这类的范。

光流法和运动检测及运动估计密不可分。一般都是运用运动场的观点来描述物体运动的。然而，把场景转到图像平面上我们该如何描述这种运动呢？物体的运动反应在图像序列中点的灰度散布变换趋势中。如果把空间中的运动场类比到图像上就得到了所谓的光流场。它恰恰能反映图像上点的灰度的变动情况。如果我们把空间中运动物体投影到观测成像的某个平面上，那么在这个平面上的像素有着各自的运算速率（光流）。利用图像序列中具有轻度的像素数据随着时间的推移而呈现出地变化情况和一些相关性等技术，可以很轻松地定位和识