基于内容的视频分析与检索

摘要文章简要介绍了从基于内容的视频分析与检索问题的提出到所涉及的关键

技术以及目前研究状况，并简要介绍了现阶段在这方面的研究热点及以后要做的工作。

一、问题的提出：

互联网的出现给人类带来了很大的便利，特别是实现资源共享之后的互联网，但面对这浩如烟海的资源到底哪些是对自己有利用价值的呢？而90年代以来，多媒体技术和网络技术的突飞猛进，人们正快速的进入一个信息化社会。现代技术已能运用各种手段采集和生产大量各种类型的多媒体信息数据，出现了数字图书馆、数字博物馆、数字电影、可视电话、交互电视、会议电视、点播视频服务、远程教育以及远程医疗等多种新的服务形式和信息交流手段，在众多的多媒体信息中最大也是最主要的一种就是视频信息，人类接受的信息约有70%来自视觉，视频所携带的信息量远远大于语音和数据。在视频信息高度膨胀的今天，随之而来的问题就是对海量视频信息的高效检索和浏览，即人们如何快速有效地查看大量的视频信息，并从中找出自己感兴趣的内容。

传统的视频信息检索方案是使用文字标示符进行检索，具体到对视频帧的查询是借助对帧图像的编号和注释来进行的，首先给帧图像加上一个对其描述的文字或数字注释，然后在检索时对注释进行检索，这样一来对帧图像的查询就变成了基于注释的查询。这种方法虽然简单，但不能完全满足对视频数据检索的需要，首先视频数据量很大，用手工方式添加注释工作量很大，而且效率很低；其次视频内容丰富很难用文字标签完全表达；再次文字描述是一种特定的抽象，特定的标签只适合特定的查询；最后文字标签是靠观察者加上去的，因此受主观因素的影响，不同的观察者可能有不同的描述[1]。从而需要一种客观全面的视频自动检索方法，基于内容的视频检索(Content-Based Video Retrieval，CBVR)应运而生。它根据视频的内容及上下文关系，对大规模视频数据库中的视频数据进行检索。提供这样一种算法:在没有人工参与的情况下,自动提取并描述视频的特征和内容。区别于传统的基于关键字的检索手段。融合了图像理解、模式识别、计算机视觉等技术。

近年来随着多媒体信息在娱乐、商业、生产、医学、安全、国防、军事等领域的大量应用，基于内容的视频检索技术己经成为近年来国内外研究的热点问题研究视频数据的高效分类、处理和索引技术，建立和完善视频信息的快速浏览检索机制，开发功能强大、使用便捷的视频信息浏览检索系统，既具有极大的理论价值，也具有巨大的应用潜力。

二、解决方案：

视频标注:视频标注是通过人工的方式将某一段视频进行主观的属性标注，然后以文本的方法进行检索。视频标注技术己相当成熟，但有其固有的不足，第一，要人工手动完成，工作量极大，且效率很低。第二，某些视频和感知特征很难用文字来描述。第三，主观性很强，没有统一的标准，不同的人对同一段视频有不同的理解，必然导致不同的标注结果。

视频摘要:视频摘要以自动或半自动的方式，从原视频中提取有意义的部分，将它们合并而成的紧凑的、能充分表现视频语义内容的视频概要。视频摘要技术也有一定的发展，同时给基于内容的视频检索提供了思路，但与真正的基于内容

的视频检索有一定的距离。

基于非压缩域的视频内容检索:基于非压缩域的视频内容检索是以视频的低

层特征为基础进行分析，特征提取等，最后以视频的本质特征为检索依据，完全实现检索的自动化。基于非压缩域的视频内容检索己有相当的研究成果，但由于其所有算法均要在完全解压的基础上进行，而视频数据不但数据量很大，而且运算量也很大，所以在具体实现时并不理想。

基于压缩域的视频内容检索:基于压缩域的视频内容检索是在不完全解压或

不解压的前提下以视频流的低层特征为基础进行分析、特征提取等，最后以视频的本质特征为检索依据，完全实现检索的自动化。由于基于压缩域的视频内容检索在没有解压或没有完全解压的前提下进行，所以其优点是:第一，大大减小了数据量，第二，减少了数据运算量，从而大大提高了系统的效率。

三、国外研究现状：

1、QBIC是IBM研究中心开发的基于内容的检索系统，它是第一个功能齐全的视频数据库系统，也是基于内容检索系统的典型代表，对视频数据库发展有较远的影响。QBIC系统支持示例查询和用户草图查询，抽取颜色、纹理、形状特征、以及镜头和目标运动等信息，并采用R-tree作为高维索引结构，进而结合关键字对大型图像和视频数据库进行检索。

2、Infor media数字视频库工程是卡耐基梅隆大学(CMU)关于数字视频媒体的处理与管理的一个重大项目，是较为完整的基于内容视频分析原型系统的先驱。该系统率先将数字音频处理技术和文本处理技术运用到基于内容视频分析中，通过语音识别和文字识别获取视频语义、辅助视频分段、抽取有意义的视频片段生成视频摘要，支持自动的全方位的视频信息查询，以支撑基于内容的视频浏览、检索和服务。

3、videoQ是一套全自动的面向对象的基于内容的视频查询系统，是由哥伦比亚大学的图像与高级电视实验室研制的一个原型系统。它拓展了基于关键词或主题浏览的传统检索方式，提出了全新的基于丰富视觉特征和时空关系的查询技术，可以帮助用户查询视频中的对象，其目的在于探究视频中潜在的所有视觉线索并用于面向对象的基于内容的视频查询。目前VideoQ支持着一个巨大的视频数据库，同时，VideoQ又是一个面向Web的视频搜索系统。

4、visual SEEK是一个视觉特征查询系统，WebSEEK是一个面向WWW的文本/图像/视频查询系统，它们是由哥伦比亚大学开发的。visualSEEK/WebSEEK的主要特点是根据图像区域的空间关系检索和从压缩域提取的视觉特征，它们采用的视觉特征是颜色集和基于小波变换的纹理特征，为了加快检索速度，使用了二叉树索引算法。这套系统具有某些概念强大的模块：基于内容的图像检索概念、根据用户相似度反馈的查询优化、视觉信息的自动提取、查询结果视频/图像的缩微表示、图像/视频的主题浏览功能、基于文本的查找、对查询结果的操作等。

5、CVEPS是COLUMBIA大学开发的视频检索和操作系统的软件原型，支持自动视频分割，基于关键帧和对象的视频检索和压缩视频编辑。

6、JAKOB是意大利Plerm大学开发的视频数据库查询系统，该系统通过镜头提取器把视频数据分割成镜头，从每个镜头中选取一些具有代表性的帧。根据颜色和纹理描述这些代表帧，然后计算与这些短序列相关的运动特征并给出一个动态描述。当向该系统提交一个查询或是例子直接查询时，查询模型会对它做出解释，排列好匹配参数，给出最相似的镜头。用户可以浏览这些结果，必要的话，