基于信息融合的多媒体内容搜索

基于信息融合的多媒体内容搜索
摘要：有效地按照基于信息融合的多媒体数据的特性搜索多媒体信息成为亟待解决的问题。

对当前多媒体内容搜索进行了深入的研究，并试图从多媒体内容分析及融合的角度加以解决。

关键词：信息融合；多媒体；搜索
1 基于信息融合的多媒体内容搜索的概念
由于基于文本的多媒体搜索所具有的局限性，人们开始研究基于内容的多媒体信息搜索(Multimedia Information Search)方法。

基于内容的多媒体信息搜索是指对多媒体从低层到高层进行处理、分析和理解，从而获取其内容并根据内容进行搜索。

与基于文本的多媒体搜索相比，基于内容的搜索能够直接对多媒体内容进行分析，因此大部分的特征提取工作可由计算机自动完成，从而大大节省了人力。

同时，由于许多低层特征直接来源于数据本身，因此它所反映的语义信息也就更客观更准确。

基于内容的多媒体信息搜索是新一代多媒体技术的核心课题，也是以后建立数字图书馆、智能信息查询系统、人机交互系统的关键技术，它在医学诊断、商品搜索、视频监督、个人图像/视频管理等领域有着广泛的应用。

多媒体内容分析和信息融合是基于内容的多媒体搜索的两
个核心问题。

多媒体内容分析是指如何有效地描述和比较图像/视频中蕴含的丰富内容，比如颜色、纹理、形状、时间信息、人物、事件等。

多媒体内容分析是一个较为广泛的概念，它不仅包含了多媒体内容的特征提取问题，还涵盖了多媒体内容的相似性比较问题。

可以说，内容分析是基于内容的多媒体搜索的重中之重，它直接影响着搜索的质量。

由于计算机视觉领域发展的滞后，多媒体内容分析的发展已经到了一个瓶颈，在现有理论及技术的基础上很难有质的飞跃。

即便如此，我们仍然可以通过信息融合技术来融合现有的内容分析成果以提高多媒体搜索的质量。

信息融合是指依照一定的准则对来自不同信息源的信息进行综合分析以获得更高质量的信息。

信息融合的概念最早来源于多传感器融合领域，不同的信息源是指来自不同传感器的信息。

而在多媒体信息融合中，不同的信息源是指多媒体内容描述的不同方面(Aspects)，比如多媒体的颜色信息、文本信息、时间信息、高层概念关联信息等。

由于多媒体蕴含着丰富的内容，使用单一的信息源进行搜索很难取得理想的效果。

为此，我们需要寻找一些鲁棒的融合方法来联合多个信息源的信息，从而提高搜索质量。

2 基于信息融合的多媒体内容搜索的优点和问题
多媒体搜索归根结底就是根据人的意愿(语义)找到符合用户需求的多媒体内容的过程。

对多媒体搜索的研究也就归结到如何填补人的高层语义和媒体低层特征的“语义鸿沟”。

由于多媒
体具有丰富的内容，使用单一媒体特征，很难取得令人满意的效果，特别是对于那些简单的低层特征，如颜色、纹理等。

为此，学者们开始融合多媒体的各方面信息以增强对多媒体的搜索能力。

当前，主要的融合方法可以用分为前融合(Early Fusion)和后融合(Late Fusion)两类。

前融合是特征级的融合，其主要思想是利用一定的组合规则将多媒体的多种特征描述组合成一个单一的特征描述，进而利用这一特征描述来实现多媒体搜索或构建概念检测器。

其主要优点是：①组合出的特征隐含了不同特征之间的关联信息；②只需要构建一个算法就可以实现多特征联合搜索。

但是，由于组合出的特征通常是一个维数非常高的特征矢量，这就很容易出现所谓的维数灾难问题。

和前融合方法不同的是，后融合是一种输出级的融合，其主要思想是单独使用单个媒体进行搜索或概念检测，最后融合所有媒体特征的搜索结果。

尽管后融合方法避免了维数灾难问题，但它需要单独的为每一个媒体特征构建一个算法，这增加了算法的设计难度。

无论是前融合还是后融合方法，早期的研究都局限于融合媒体的低层视觉特征上。

由于低层特征本身区分能力的限制，使这些融合方法很难适应大规模的多媒体数据库搜索。

随着研究的深入，人们开始将多媒体的更多信息融合到搜索过程中，比如OCR文本、翻录的文本、音频信息、视频的时间信息等。

基于概念的多媒体搜索技术远没有达到可以实际应用的地步，其主要面临以下4个问题：①缺乏大量已标注的训练集来训
练检测器；②不能找到一种泛化的概念检测器算法：③概念数量不对称；④概念之间的相似性度量问题。

3 基于信息融合的多媒体内容搜索的建议分析
多媒体检索归根结底就是根据人的意愿(语义)找到符合用户需求的媒体内容的过程。

然而，由于媒体低层特征与用户高层语义之间存在着巨大的“语义鸿沟”，特征的一致性很难和用户预期的一致性相符合，所以其很难取得理想的查询效果。

可以说，对多媒体检索的研究也就归结到如何填补用户高层语义和媒体低层特征之间的“语义鸿沟”。

由于多媒体具有丰富的内容，使用单一媒体特征，很难取得令人满意的效果，特别是对于那些简单的低层特征，如颜色、纹理等。

因此，有必要开发一些方法来融合多媒体各方面信息以便于协同地推断真正和用户意图相关的媒体内容。

此外，在设计视频搜索引擎时，充分考虑了用户在实际搜索中的一些行为特性，以便在现有技术水平下达到用户的信息搜索需求，提高用户的满意度。

基于信息融合的多媒体内容搜索的建议如下：
(1)交互式多媒体搜索中多视角协同学习
交互式多媒体搜索是一种用户导向的搜索技术，其核心思想是利用用户在搜索过程中的反馈信息，来预测用户的查询意图，以便返回符合用户要求的信息。

最新的交互式搜索技术将用户与系统的交互过程看作机器学习的过程。

也就是说，从用户提供的标注信息中学习一个新的检索函数，用该函数来进行新的搜索。

当前大部分方案是基于监督学习的，即学习一个分类器所需的大量样本完全依靠用户的标注反馈。

为了尽可能准的预测用户的查询意图，这些交互式搜索技术都要求用户尽可能多的标注正例样本和负例样本。

通常，由于初始搜索结果一般都比较差，所以标注正例样本往往需要对初始搜索列表进行深度浏览，这极大地增加了用户负担，也阻碍了此项技术的推广使用。

为了有效解决这一问题，本文提出了一种基于多视角的交互式视频搜索方法，其通过融合多个视角的信息来自动地推断初始搜索列表中的正例样本以增加反馈信息。

此方法是一种半监督的交互式视频搜索，其只需要用户标注有限几个样本就可以启动自推断机制来自动增加反馈信息，从而大大的减少了用户的标注负担。

实验结果表明，此方法在大大减轻用户标注负担的情况下，取得了优异的检索性能。

(2)视频重排序中多模态信息融合
尽管各种各样的多媒体搜索模型被提出，但大部分模型致力于返回尽可能多、尽可能精确的结果。

为此，研究者在设计搜索引擎时，关注更多的是如何开发更加有效的特征提取方案和有效的特征度量方法，而忽略了用户在实际查询过程中的行为特性。

通过分析用户的查询日志，我们发现，当用户搜索某一信息时，大多数人很少有耐心将搜索引擎返回的结果从头到尾浏览一遍。

通常，他们只查看前几个结果，以判断是否满足自己的需要。

因此，提高排在最前面结果的准确度对一个多媒体搜索引擎来说至
关重要。

本文充分考虑到用户的这种行为特性，提出了一种基于多模态融合的视频重排序方法来重新排列传统多媒体搜索引擎返回的结果，以期将最相关的结果排在最前面。

实验结果表明，此重排序方法能够有效地提高排在最前面搜索结果的精度。

(3)高层概念检测中概念间语义关联信息融合
作为多媒体检索的一个中间步骤，高层概念检测可有效地填补多媒体低层特征和用户高层语义之间的“语义鸿沟”。

在构造概念检测器时，通常的做法是为每一个概念设计一个分类器，并为其标注一定的训练样本来训练此分类器。

事实上，这种方法致力于单独概念检测模型的构建，而忽略了概念与概念之间的信息关联。

我们知道，概念通常不是单独存在的，概念与概念之间通常有着某种关联，如何利用这些关联信息来提高检测性能是我们要解决的问题。

应从本体论的观点来建立概念与概念之间的联系，提出一种基于概念间关联信息融合的概念检测方法。

实验结果表明，融合了概念间关联信息的概念检测器的性能明显优于传统的检测器。

(4)拷贝检测中的帧融合
随着多媒体编辑工具的流行，人们很容易就能将别人的媒体作品插入到自己数字作品中，这就出现了版权保护的问题。

拷贝检测试图从多媒体作品中检测出这些受版权保护的多媒体片段。

从多媒体检索的角度来看，如果一个拷贝同时出现在多个不同的多媒体作品中，那么就说明这些多媒体作品之间存在着某种语义
关联，比如，它们都是属于同一类作品、表达同一个主题等。

因此，多媒体拷贝检测可以作为多媒体检索的一个预处理步骤，来挖掘多媒体数据库中媒体文档之间语义关联，进而利用这些语义关联来提高搜索性能。

一种基于帧融合的拷贝检测算法能有效地利用拷贝帧和参考数据库中视频帧之间存在的时间一致性信息来构建鲁棒的、有效的检测算法。

实验结果表明，此方法在克服传统拷贝检测不足的同时，取得了优异的检测性能。

参考文献：
［1］孟祥增，钟义信，王翔英.信息的表征和测度方法及其应用研究［J］.情报学报，2004(1).
［2］刘俊晓，孟祥增，吴鹏飞.基于内容的视频分析与检索技术及其教学应用［J］.中国电化教育，2006(4).
［3］陈蜜.多媒体数据库若干关键技术及其实现方法［M］.北京：电子工业出版社，2002.。