基于内容的多媒体信息检索

基于内容的多媒体信息检索摘要：基于内容检索是多媒体研究中的新兴热点，会逐渐在很多领域中得到广泛的应用，本文主要介绍了基于内容的多媒体信息检索的概念、特点、查询和检索过程、基于内容的检索、基于视频的检索以及基于内容的多媒体信息检索的研究方向。

关键词：基于内容的检索；多媒体；图像检索；视频检索引言随着信息时代的到来，信息多元化程度加深，人们不再满足于单一的文本交流。

多媒体技术的出现，使得信息的表达方式更生动、更容易被人们所理解，因此必将成为信息存在的主要方式。

多媒体技术的发展和不断成熟对传统的信息检索系统产生了巨大的冲击，同时也对图象信息的检索、声音信息的获得以及各种媒体信息的检索查询等提出了新的挑战。

于是，对多媒体信息的检索需要研究新的手段——需要借助计算机对多媒体信息从底层到高层进行处理、分析和理解以有效获取其内容，并根据内容实现方便快捷的检索，基于内容的多媒体信息检索便应运而生了。

基于内容的检索是指根据媒体和媒体对象的内容及上下文联系在大规模多媒体数据库中进行检索。

它的研究目标是提供在没有人类参与的情况下能自动识别或理解图像重要特征的算法。

目前，基于内容的多媒体信息检索的主要工作集中在识别和描述图像的颜色、纹理、形状和空间关系上，对于视频数据，还有视频分割、关键帧提取、场景变换探测以及故事情节重构等问题[1]。

由此可见，这是一门涉及面很广的交叉学科，需要以图像处理、模式识别、计算机视觉、图像理解等领域的知识为基础，还需从认知科学、人工智能、数据库管理系统、人机交互、信息检索等领域引入新的媒体数据表示和数据模型，从而设计出可靠、有效的检索算法、系统结构以及友好的人机界面。

1基于内容检索的概述1.1概念所谓基于内容的检索，就是从媒体数据库中提取出特定的信息检索，然后根据这些线索从大量存储在数据库中的媒体进行查找，检索出具有相似特征的媒体数据[2]。

1.2特点1.2.1从媒体内容中提取信息线索基于内容的检索突破了传统的基于表达式检索的局限，它直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引，并进行检索。

1.2.2基于内容的检索是一种近似匹配由于对内容的表示不是一种精确描述，因此，CBR采用相似性匹配方法逐步求精，以获得查询结果，即不断减小查询结果的范围，直到定位于要求的目标，这是一个迭代过程[3]。

1.2.3大型数据库(集)的快速检索实际的多媒体数据库(集)不仅数据量巨大，而且种类和数量繁多，因此，要求CBR技术也像常规的信息检索技术一样，能快速实现对大型库的检索。

1.3查询和检索过程基于内容的查询和检索是一个逐步求精的过程，检索经历了一个特征调整、重新匹配的循环过程。

(1)初始查询说明。

用户查找一个对象时，最初可以用QBE或查询语言来形成一个查询。

(2)相似性匹配。

将查询特征与特征库中的特征按照一定的匹配算法进行相似匹配。

(3)满足一定相似性条件的一组候选结果,按相似度大小排列后返回给用户。

(4)特征调整。

对系统返回的查询结果，用户可以通过遍历来挑选，直至得到满意的结果，或者从候选结果中选择一个示例，经过特征调整后，形成一个新的查询。

(5)如此逐步缩小查询的范围，直到用户对查询结果满意为止[4]。

2基于内容的图像检索计算机图像数码技术与互联网技术飞速发展的结合，使人们越来越多的接触到大量的图像信息。

如何从浩瀚的图像数据库中快速、准确地找出自己所需要的图像，已成为一个受到广泛关注的研究课题。

并成为数字化图书馆等重大研究项目中的关键技术。

基于文本的图像检索技术可以追溯到70年代末，他通过对图像进行手工注解，然后利用文本检索技术进行关键字检索。

90年代，研究者们提出了基于内容的图像检索(Content Based ImagRetrieval,CBIR)。

CBIR 使用了可以直接从图像中获得的客观的视觉内容特征，如颜色、纹理、形状等来判断图像之间的相似性。

这种方法成了现有图像检索技术研究的主流。

他的主要研究内容是在数字图像处理基础上的视觉特征提取、多维索引以及检索系统设计。

这类系统主要支持基于范例检索(examplebased retrieval)、基于草图检索(sketchbased retrieval)和随机浏览及其组合的工作方式。

就图像特征的作用域而言，CBIR 系统可分为：基于全局特征的检索和基于区域特征及其空间关系的检索。

基于全局特征的内容检索不区分图像的前景和背景，通过整幅图像的视觉特征进行图像相似度匹配；而基于区域特征及其空间关系的检索需先进行图像分割，图像的整体相似性不仅要考虑到分割出的区域间的相似性，还要考虑区域空间关系的相似性。

CBIR 的主要特点是他主要只利用了图像本身包含的客观的视觉特征，图像的相似性不需要人来解释，体现在视觉相似性上。

这导致了他不需要或者仅需要少量的人工干预，在需要自动化的场合取得了大量的应用[5]。

在各种网站的搜索引擎中，图像检索系统成为重要工具；医学CT，X射线检索系统中，可以为医生诊断提供重要的参考；商标检索系统中，可在收录了已注册商标库中查找是否有欲注册商标类似的，防止商标的雷同；公安系统中，根据嫌疑犯面部特征在照片库中进行查找类似人员等。

2.1基于内容的图像检索常用的关键技术2.1.1颜色特征提取颜色内容包含2个一般的概念，一个对应于全局颜色分布，一个对应于局部颜色信息。

按照全局颜色分布来索引图像可以通过计算每种颜色的象素个数并构造颜色灰度直方图来实现，这对检索具有相似总体颜色内容的图像是一个很好的途径。

局部颜色信息是指局部相似的颜色区域，他考虑了颜色的分类与一些初级的几何特征。

比如Smith等提出了颜色集合方法来抽取空间局部颜色信息并提供颜色区域的有效索引[6]。

2.1.2纹理特征提取纹理可以视为某些近似形状的近似重复分布，纹理描述的难点在于他与物体形状之间存在密切的关系，千变万化的物体形状与嵌套式的分布使纹理的分类变得十分困难。

在70年代初期,Haralick等人提出了纹理特征的共生矩阵表示。

他首先根据象素间的方向和距离构造一个共生矩阵，然后从共生矩阵中抽取有意义的统计量作为纹理表示。

Tamura等人则从视觉的心理学角度提出了纹理表示方法，表示的所有纹理性质都具有直观的视觉意义，这使得Tamura纹理表示在图像检索中极具吸引力，而且可提供一个更友好的用户界面。

2.1.3形状特征提取一般说来，形状的表示可分为基于边界的和基于区域的2类，前者使用形状的外部边界，而后者使用整个区域。

2.1.4相关反馈仅基于图像低层特征很难给出令人满意的结果，主要原因是图像低层特征和高层语义间存在着很大的差距。

为了解决这个问题，一方面需要研究出更好更有效的图像表示方法；另一方面可以通过人机交互的方式来捕捉和建立低层特征和高层语义之间的关联，这就是所谓的相关反馈技术。

相关反馈技术最初用于传统的文本检索系统中，其基本思想是，在检索过程中，系统根据用户的查询要求返回检索结果，用户可以对检索结果进行评价和标记，并将这些信息反馈给系统，系统则根据这些反馈信息进行学习，并返回新的查询结果，从而使得检索结果更能满足用户的要求。

基于内容检索中的相关反馈技术大致可分为4种类型: 参数调整方法、聚类分析方法、概率学习方法和神经网络方法[7]。

3基于内容的视频检索视频是多媒体数据库中的一种重要的数据，它由连续的图像序列组成。

视频主要是由镜头组成的，每一个镜头包含一个事件或一组连续的动作，要对视频序列进行检索。

可以通过全局和局部两种特征来进行。

全局特征包括视频的名字、制作人、拍摄时间、地点等，这些可由人工注释。

局部特征包括镜头关键帧的颜色、纹理等。

要获得局部特征，首先必须将视频序列分割为镜头，在镜头中找到若干关键帧来代表镜头的内容，然后再提取关键帧的视觉特征和运动参数并存人特征库中做为检索的依据。

为完成镜头分割，必须检测出镜头的切换点。

镜头的切换有两种方式，一种是突变，即镜头问没有过渡；另一种是渐变，即镜头间是缓慢过渡的，包括淡人、淡出、慢转换、扫描等。

3.1基于内容的视频检索常用关键技术3.1.1关键帧抽取与镜头分割在视频流信息中，关键帧起着与关键词类似的作用。

常用关键帧来标识场景、故事等高层语义单元。

比帧高级一些的视频基本单元是镜头，通常视频流中的镜头由在时间上连续的视频帧组成，他代表一个场景中在时间和空间上连续的动作，对应着摄像机的一次纪录起停操作。

镜头分割方法分为非压缩域和压缩域2类，非压缩域方法有基于帧差(frame difference)的点到点比较和直方图2种，由于点到点的帧差比较算法对于噪声过于敏感，目前大多非压缩域算法都是基于直方图的。

压缩域方法基于视频帧图像的压缩基础之上，切分的依据是比较前后视频帧图像的压缩系数(一般为DCT系数)，当满足一定条件时把他们切分为2组镜头。

3.1.2视频结构重构视频结构重构的过程就是将语义相关的镜头组合聚类到一起。

举例来说，假设有一段两人对话的视频段，在拍摄过程中，摄像机的焦点在两人之间来回切换，用前面所属的镜头分割技术必然会把这一段视频分割为多个镜头，然而在人类看来，这一组在时间上连续的镜头是相关的，因为这一组镜头是一个情节。

显然，故事情节是一种比镜头具有更高抽象层次的结构。

虽然可靠准确的镜头边界探测与关键帧抽取对于成功的视频分析很重要，但情节更符合人们在观看视频时对内容的理解方式[8]。

4基于内容的多媒体信息检索的研究方向基于内容的多媒体信息检索已有十多年的发展历史。

人们对它的研究已取得了巨大的进展，出现了不少好的理论研究方向，如特征的提取与约减、相似度匹配模型、相关反馈机制等，也设计和实现了一些实验系统。

但是，目前基于内容的多媒体信息检索技术在检索准确性、使用方便性等方面还难以达到实用的标准，存在不少需要进一步研究的问题。

对它的发展、趋势和前景，许多人已进行了广泛的讨论，下面列举一些值得重视的研究方向。

4.1 人机结合多媒体信息检索研究的一个根本性因素在于人的参与，这也是与其它领域研究如计算机视觉、模式识别等相区别的一个重要方面。

人是多媒体信息检索系统中不可或缺的一个环节，但在计算机视觉或模式识别领域却并非必要。

在多媒体信息检索的研究中，需要寻找一条将人和计算机进行统一结合的最佳路径。

早期的研究中人们强调的是如何实现“全自动的检索系统”，并力求寻找所谓“最优特征”。

然而这条研究途径并没有带来令人满意的成果，失败的主要原因在于计算机视觉或模式识别技术并没有发展到全自动化所需的技术水平。

因此，现在的研究人员把更多的精力投入到“交互式系统”和“人机结合”的课题上来。

4.2高层语义和底层特征之间的差距人们在日常生活中习惯于使用高层的语义概念来检索信息。

然而，目前的计算机技术能够处理的大多是多媒体内容的底层特征。