信息检索的革命 --基于内容的多媒体信息检索

基于内容的视频检索常用关键技术
---- 目前人们普遍认为视频结构的模型化或形式化是解决基于内容视频检索问题的关键，为此需要解决以下关键技术。
---- 1．关键帧抽取与镜头分割
---- 文本索引使用关键词作为标识句子、段落、文档的指针，同理，在视频流信息中，关键帧起着与关键词类似的作用。人们常用关键帧来标识场景、故事等高层语义单元。比帧高级一些的视频基本单元是镜头，通常视频流中的镜头由在时间上连续的视频帧组成，它代表一个场景中在时间上和空间上连续的动作，对应着摄像机的一次纪录起停操作。镜头之间可存在多种类型的过渡方式，最常见的是切变(Cut)，表现为在相邻2帧间发生突变性的镜头转换。此外，还存在一些较复杂的过渡方式，如淡入、淡出等。
国内外已开发出的原型系统
---- 1．QBIC系统
---- IBM Almaden研究中心研究开发的，是基于内容检索系统的典型代表。QBIC系统允许使用例子图像、用户构建的草图和图画、选择的颜色和纹理模式、镜头和目标运动和其他图形信息等，对大型图像和视频数据库进行查询。
---- 2．Photobook系统
---- 3．形状特征提取
---- 一般说来，形状的表示可分为基于边界的和基于区域2类，前者使用形状的外部边界，而后者使用整个区域。
---- 4．相关反馈
---- 仅仅基于图像低层特征很难给出令人满意的结果，主要原因是图像低层特征和高层语义间存在着很大的差距。为了解决这个问题，一方面需要研究出更好更有效的图像表示方法，另一方面我们可以通过人机交互的方式来捕捉和建立低层特征和高层语义之间的关联，这就是所谓的相关反馈技术。相关反馈技术最初用于传统的文本检索系统中，它的基本思想是，在检索过程中，系统根据用户的查询要求返回检索结果，用户可以对检索结果进行评价和标记，并将这些信息反馈给系统，系统则根据这些反馈信息进行学习，并返回新的查询结果，从而使得检索结果更加满足用户的要求。1998年Rui Yong在MARS系统中首次将相关反馈应用于基于内容的图像检索中，自此采用相关反馈技术进行检索的研究开始多起来。基于内容检索中的相关反馈技术大致可分为4种类型: 参数调整方法、聚类分析方法、概率学习方法和神经网络方法。
---- 过去的信息是以离散的形式(如字符、数字等)存储在关系数据库或者WWW上，并以结构化查询语言(SQL)或超链接来进行查询检索，而多媒体数据则是连续的、形式多样的、海量的信息，并且多媒体数据(如图像、视频)在不同的人眼中可能有不同的理解，我们要把所有不同的解释都用关键字(文本或数字)来表示显然是不可能的。另外，关键字不能有效地表示视频数据的时序特征，也不支持语义关系，因此需要开发出一种新的检索技术来检索多媒体数据。
---- 2．视频结构重构
---- 事实上，视频结构重构的过程就是将语义相关的镜头组合聚类到一起。举例来说，假设有一段两人对话的视频段，在拍摄过程中，摄像机的焦点在两人之间来回切换，用我们前面所属的镜头分割技术必然会把这一段视频分割为多个镜头，然而在我们人类看来，这一组在时间上连续的镜头是相关的，因为这一组镜头是一个情节。显然，故事情节是一种比镜头具有更高抽象层次的结构。然而，现有的文献对它并没有统一的定义，不同的研究者给出的名称也不尽相同，如视频段落(Video Paragraphs)、视频段(Video Segments)以及故事单元(Story Units)等。虽然可靠准确的镜头边界探测与关键帧抽取对于成功的视频分析很重要，但情节更符合人们在观看视频时对内容的理解方式。
---- 4．VisualSEEK系统
---- 美国哥伦比亚大学图像和高级电视实验室开发的。它实现了互联网上的"基于内容"的图像/视频检索系统，提供了一套工具供人们在Web上搜索和检索图像和视频。
---- 另外还有许多类似的系统，例如加利福尼亚大学Santa Barbara分校的Netra、伊利诺依大学的MARS、CMU的Infomedia以及哥伦比亚大学的VideoQ等。
---- 典型的关键帧抽取算法可分为5类，即基于镜头的方法、基于内容分析的方法、基于运动分析的方法、基于镜头活动性的方法和基于聚类的方法。基于镜头的方法为每个镜头选取一个关键帧，例如将每个镜头的第一帧选作关键帧，这种方法的运算量小，非常适合于内容活动性小或保持不变的镜头，但对于摄像机不断运动的镜头，该方法抽取的关键帧无法有效地表达其主要内容。为了克服基于镜头的方法存在的上述问题，人们提出了一种基于内容分析的方法，这种方法通过分析视频内容(颜色直方图、运动信息)随时间的变化情况来选取所需关键帧的数目，并按照一定的规则为镜头抽取关键帧。Wolf提出了一种基于运动分析的方法，该方法通过对每帧光流的计算，寻找摄像机运动的局部最小点，对应的帧将选作关键帧，这种选择基于如下的观察，当摄像机停留时通常意味着重要人物或事件的存在。当然还有其他的方法，例如用无监督聚类技术来选择关键帧等等。
---- 2．纹理特征提取
---- 纹理可以视为某些近似形状的近似重复分布，纹理描述的难点在于它与物体形状之间存在密切的关系，千变万化的物体形状与嵌套式的分布使纹理的分类变得十分困难。在70年代初期，Haralick等人提出了纹理特征的共生矩阵表示。他首先根据像素间的方向和距离构造一个共生矩阵，然后从共生矩阵中抽取有意义的统计量作为纹理表示。Tamura等人则从视觉的心理学角度提出了纹理表示方法，表示的所有纹理性质都具有直观的视觉意义，这使得Tamura纹理表示在图像检索中非常具有吸引力，而且可提供一个更友好的用户界面。QBIC系统和MARS系统进一步改进了这一纹理表示。
信息检索的革命 --基于内容的多媒体信息检索
万华林 胡宏 史忠植
---- 随着多媒体计算技术的迅猛发展，网络传输速度的提高，以及新的有效的图像/视频压缩技术的不断出现，人们通过网络实现全球多媒体信息的共享成媒体信息检索应运而生。
---- 为了适应这一需要，人们提出了基于内容的多媒体信息检索思想。基于内容的检索是指根据媒体和媒体对象的内容及上下文联系在大规模多媒体数据库中进行检索。它的研究目标是提供在没有人类参与的情况下能自动识别或理解图像重要特征的算法。目前，基于内容的多媒体信息检索的主要工作集中在识别和描述图像的颜色、纹理、形状、空间关系上，对于视频数据，还有视频分割、关键帧提取、场景变换探测以及故事情节重构等问题。由此可见，这是一门涉及面很广的交叉学科，需要利用图像处理、模式识别、计算机视觉、图像理解等领域的知识作为基础，还需从认知科学、人工智能、数据库管理系统、人机交互、信息检索等领域引入新的媒体数据表示和数据模型，从而设计出可靠、有效的检索算法、系统结构以及友好的人机界面。
---- 镜头分割方法分为非压缩域和压缩域2类，非压缩域方法有基于帧差(frame difference)的点到点比较和直方图2种，由于点到点的帧差比较算法对于噪声过于敏感，目前大多非压缩域算法都是基于直方图的。压缩域方法基于视频帧图像的压缩基础之上，切分的依据是比较前后视频帧图像的压缩系数(一般为DCT系数)，当满足一定条件时即把它们切分为2组镜头。
---- MIT的媒体实验室在1994年开发研制的。图像在装入时按人脸、形状或纹理特性自动分类，图像根据类别通过显著语义特征压缩编码。
---- 3．CORE系统
---- 新加坡国立大学开发的一个基于内容的检索机。其显著技术特色包括: 多种特征提取方法、多种基于内容检索方法、使用自组织神经网络对复杂特征度量、建立基于内容索引的新方法以及对多媒体信息进行模糊检索的新技术。
基于内容的图像检索常用关键技术
---- 1．颜色特征提取
---- 颜色内容包含2个一般的概念，一个对应于全局颜色分布，一个对应于局部颜色信息。按照全局颜色分布来索引图像可以通过计算每种颜色的像素的个数并构造颜色灰度直方图来实现，这对检索具有相似的总体颜色内容的图像是一个很好的途径。局部颜色信息是指局部相似的颜色区域，它考虑了颜色的分类与一些初级的几何特征。比如Smith等提出了颜色集合(color set)方法来抽取空间局部颜色信息并提供颜色区域的有效索引。
基于内容的多媒体检索前景展望
---- 基于内容的多媒体检索技术的日益成熟不仅将创造出巨大的社会价值，而且将改变人们的生活方式。因为它与传统数据库技术相结合，可以方便地实现海量多媒体数据的存储和管理; 与传统Web搜索引擎技术相结合，它可以用来检索HTML网页中丰富的多媒体信息。在可预见的将来，基于内容的多媒体检索技术将会在以下领域中得到广泛应用: 多媒体数据库、知识产权保护、数字图书馆、网络多媒体搜索引擎、交互电视、艺术收藏和博物馆管理、遥感和地球资源管理、远程医疗、天气预报以及军事指挥系统等等。