多模态数据挖掘的应用

多模态数据挖掘的应用

焦隽?

(南京大学计算机科学与技术系, 南京 210093)

The application of multimodal data mining:A survey

Jun Jiao*

(Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China)

Abstract: Nowadays, m ultimodal data available to us through the Internet and other electronic media are explosively increasing both in number and in variety. Efficiently analyzing these data will save people a large amout of time. However, due to the property of multimodal data, methods used to uni-modal data usually perform ineffectively here. To handle such massive multimodal data for various purposes, new technologies are in need of development.Data Mining helps people find a potentially useful knowledge from Massive Data, and play an important role in many fields. Data mining could only handle simple text data in the past. After several decades of development, data mining can deal with the multimedia data with complex structure now. Multimedia data is a sort of multimodal data. Some fusion and cross-media data mining algorithms can be used to mine multimodal data effectively. Based on the data mining approach to the task of analyzing multimodal data, this paper briefly introduces several methods fitting for multimodal data mining.

Key words: multimodal; data mining

摘 要: 目前人们通过网络和其他电子媒体获得的多模态数据在数量和类别上都在飞速的增长。如果能对这些数据进行高效的分析，将为人们节省大量的时间。但是由于多模态数据本身的独特性质，许多传统应用于单模态数据的分析技术将无法有效的对其进行挖掘。因此人们需要新的技术来处理各种场景中大量的多模态数据。数据挖掘作为一种帮助人们从海量数据中发现潜在有用的知识的工具，在很多领域发挥了重要的作用。经过几十年的发展，数据挖掘已经从原来只能处理简单的文本数据，发展到为可以处理结构复杂的多媒体数据。多媒体数据是一种特殊的多模态数据，多媒体数据挖掘中的许多方法都利用到了目前挖掘多模态数据的核心思想。本文从数据挖掘的角度来分析多模态数据，对目前适用的几种多模态数据挖掘技术进行了简要介绍。

关键词: 多模态;数据挖掘

中图法分类号: TP301文献标识码: A

1 引言

近几十年来，计算机运算存储能力不断提高，数据产生和采集的速度也越来越快，因而数据量越来越大；而与此同时，人们面对巨量数据，能够直接获得的信息量却越来越有限。单纯的人力已经很难胜任对这样巨

?作者简介:焦隽(1986——)，男，湖南长沙人，硕士研究生，主要研究领域为数据挖掘，机器学习；

2 掘。

量的数据进行分析并提取出相关信息的任务。为了解决这种数据与信息之间的矛盾，数据挖掘应运而生。所谓数据挖掘，即从巨量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程[2] 。数据挖掘的目的就在于找出巨量数据中的潜在规律，以对未来的分析和决策提供支持，其在分析处理中的优势以及结论的正确性、有效性已经被越来越多的实践所证明。数据挖掘可以处理各种各样形式的数据，包括关系数据库、数据仓库、事务数据库中的数据，面向对象数据库、对象关系数据库以及空间数据库、时序数据库、文本数据库和多媒体数据库等面向应用的专用数据库中的数据，以及普通文本，互联网中的数据在内的各种数据都可以作为数据挖掘的对象[2] 。随着多媒体技术的广泛应用和数据收集技术的发展，计算机应用领域中出现了大量的多模态数据，数据挖掘中与之对应的技术被称为多模态数据挖本文中将对多模态数据挖掘进行简单的介绍。本文其他部分组织如下：第二部分简单介绍多模态数据挖掘中的基本概念；第三部分介绍多模态数据挖掘中的两个主要应用领域；第四部分对于多模态数据挖掘中的两个问题进行了简要讨论；第五部分总结。

2 多模态数据挖掘的概述

2.1 什么是多模态数据

多模态数据是指对于一个待描述事物，通过不同的方法或角度收集到的数据。我们把收集这些数据的每一个方法或视角称之为一个模态（Modality ）。

例如，在多模态的人脸识别中，多模态数据有可能由人脸的2D 图像和3D 形状模型这两个模态构成；在多模态的视频挖掘中，视频可以被分解为字幕、音频和图像等模态；网页中的文字和图片也可本看作不同的模态，它们从不同的角度描述了网页所要表达的信息。

在多模态数据中，每个模态均为其余的模态提供了一定的信息，既模态之间存在这一定的关联性。多模态数据挖掘与传统数据挖掘的区别在于前者在进行挖掘工作时将综合利用到多个模态之间的信息，挖掘它们之间的潜在联系。

2.2 为什么要挖掘多模态数据

随着计算机科技的飞速发展，在各种计算机应用领域遇到的多模态数据也逐渐增多，这主要有两方面的原因：

(1) 伴随着多媒体技术广泛使用，人们的日常生活中出现了大量的多媒体数据。，如果将每个媒体源均可

被视为一个模态，则多媒体数据正是一种特殊的多模态数据。

(2) 在数据收集领域的发展使得人们可以通过更加复杂多样的手段对事物进行描述。比如在人脸识别中，

3D 扫描技术的发展为传统的人脸数据中加入了3D 模型结构这一新的模态信息。

基于以上两点，多模态数据的大量应用是一种必然的趋势。因此如何能够有效的对多模态数据进行挖掘是计算机应用技术中的一个十分值得研究的问题。

2.3 多模态数据挖掘中的关键问题

目前对于多模态数据的挖掘中存在着两大关键问题：

(1) 如何有效挖掘与描述不同模态信息之间的关联性。多模态数据与传统数据最大区别就在于引入了多

个模态之间的关联性，因此对于这种关联性的挖掘是传统数据挖掘中所没有考虑到的一个重要问题。

(2) 如何将基于不同模态的挖掘结果进行整合。即使数据挖掘系统能在每个模态中都获得很好的性能，

如何有效地将这些挖掘结果进行合并仍然是一个十分复杂的问题。

3 多模态数据挖掘的应用

本节主要介绍目前多模态数据挖掘应用比较广泛的两个领域：多模态视频挖掘，多模态Web 挖掘。通过对这个领域中核心挖掘技术的介绍，读者将了解到多模态数据挖掘中的主要思想。

3

i

由于本文的主要内容是对于数据中多模态信息的整合与运用，而并非对于单个模态信息的处理，所以本节中将跳过对于基本的文本、图片和视频处理技术的介绍，并假设读者对这些内容已有初步的了解。

3.1 多模态视频挖掘

传统的视频挖掘技术通常仅使用视频数据中的视觉信息进行挖掘。由于视觉特征无法十分有效的表达语意信息，因此这种方法受到了很大的局限性。视频作为一种多媒体数据，其本身含有丰富的多模态信息，可以用来自不同媒体源的特征进行表示。

传统的多模态视频挖掘技术首先提取视频中的视觉、音频和字幕等特征，然后利用这些多模态信息之间的相关性与互补性对视频数据进行比传统单一模态技术更为有效的挖掘。用d 1，d 2…..d m 表示从m 个媒体源提取的特征。基于对这些特征使用方法的不同，多模态视频挖掘主要可以分为联合分布和多模态融合两类。

3.1.1 联合分布(Joint distribution)

基于联合分布的视频挖掘技术将从不同媒体源提取的特征信息d 1，d 2…..d m 组合成新的特征：

（d 1，d 2…..d m ）

，然后在新的特征空间上进行对视频的挖掘。 3.1.1.1 参数模型（Parametric Model ）

参数模型是对新特征空间上的概率密度进行估计的一种方法。该方法先用若干参数刻画出一个模型，然后假设音频和视频的联合分布满足给定的参数模型，并从已标记样例中估计出这些参数。

[4]中将视觉和音频信息从视频中提取出来，利用参数模型的方法对音频信号在视频画面中对应的发生区域进行了挖掘。

3.1.1.2 特征空间转换与非参数模型

[5]中指出[4] 中基于参数模型的方法有表达能力太若，因此无法准确刻画出音频和视频信息之间的联合分布，并且提出了一种不基于参数（nonparametric statistics ）的新方法。

v N v V 该方法首先将音频和视频的联合特征向量映射到一个低维子空间。设∈? 和分别为维的视频特征和维的音频特征在时间i 的采样。i v N v

v N M a N a A ∈? a N :v f ??:a a N M a f ??a v a 和为高维空间向低维空间的映射函数，控制f 和a f 的参数分别为：v α和a α。v α和a α的值满足：

{','}arg max ((,),(,))v a v v a a I f V f A αααα=

其中I(a,b)表示a 和b 之间的共有信息（mutual information ）。在映射完成之后，通过在低维空间上对于联合概率密度的估计来完成各种挖掘任务。由于最大化共有信息的降维方法有效的减少了联合概率分布的复杂性，因此在低维空间上可以获得比原来高维空间中更为准确有效的密度估计。

基于联合分布的挖掘技术的主要缺陷在于多个模态信息的联合特征一般都具有很高的维数(curse of dimensionality)，因此无法有效的完成从高维的向量空间向语意空间的映射，而且在处理速度方面也受到制约

[8] 。

3.1.2 多模态融合（Multimodal Fusion）

随着多模态视频挖掘技术的发展，随之出现的多模态融合技术有效的解决了联合分布技术中向量的高维度问题。

多模态融合的方法对于从不同媒体源提取的信息d 1，d 2…..d m 分别建立相应的模型，然后把各个模型在自身模态上的输出结果按一定方式进行融合，得到系统最后的输出结果。具体融合参数的确定一般通过在训练数据上的学习来完成。多模态融合技术几乎总是能提高视频挖掘的性能[3] 。

按照融合方式的不同，多模态融合主要可以分为：乘积组合（Product Combination ），线性融合（(Linear Fusion)，非线性融合（Non-linear fusion ）。

4

(|)i P d h 3.1.2.1 乘积组合 如果假设各个模态之间的信息是独立的，并且我们可以准确的估计出每个模态的后验概率（posterior probability ），用D 表示待挖掘的多模态数据。那么由贝叶斯理论可得：

1(|)()i i P D h P D ==n n C W W C ()(|)

m P h P d h ∏

然而在现实的多模态数据中，模态之间的独立性假设一般都无法满足，并且我们无法较为准确的估计出每个模态的后验概率，同时由于计算过程中乘法运算对于噪声的敏感性，所以该方法在很多场合均无法适用。

3.1.2.2 线性融合

设每个模态对应的分类器输出结果为C 1，C 2…..C n ，则线性融合的输出结果为：

1122........C W C =×+×+×12........1n W W W

++=

W1,W2….Wn 为每个模态在最后结果中所占的比重，如何确定这些参数是线形融合中的关键问题。

在[1] 中，视频中的视觉、音频和文字信息分别被看作一个独立的模态。对于每一个模态训练一个相应的分类器，然后利用线形融合的方法将多个分类器的分类结果进行整合。各个分类器在最后输出中所占的权重通过用户对于系统的使用经验手动给出。由用户手动给出整合权重的方法过分依赖于用户对于系统的熟悉程度，并且无法随着查询和数据库的改变而进行调整。[9] 中将视频划分成音频和视频两个模态，利用机器学习的方法，通过在一组训练样例上最小化分类误差的方法来确定两个模态在最后组合中所占的权重，一定程度上解决了上述融合系数的确定问题。

因为对于加法对于噪声的放大效果不如乘法，所以线性融合与乘积组合相比能更好的应噪声数据。但是由于线性融合采用的是一个线性模型，对于模态之间存在相关性的问题仍然无法准确描述。[13] 用理论框架分析了线形融合进行视频检索的平均精度，并且给出了相应的界限。他们指出为了更进一步的提高检索性能，融合技术中应该考虑到不同模态之间的相关性。

3.1.2.3 非线性融合(Non-linear Fusion)

图１

5

m n ×12,.....为了挖掘模态之间的相关性，进一步提高融合技术的描述能力，[11] 中提出了一种新的非线性融合的方法。在此方法中，多模态融合被分解为两个步骤：(1)建立多个互相独立的模态。(2)利用super-kernel 技术对这些模态进行融合。如图1所示。

在第一个步骤中，输入的数据为一个的矩阵X 。其中n 为训练样例的个数，每个样例的特征为从m 个媒体源获得的信息。建立多个互相独立的模态M D M M 12,的过程分为以下三小步：

1. 用PCA （principal component analysis ）去除X 中的噪声，并且降维。

2. 用ICA （independent component analysis ）获得独立特征成分的一个估计。

3. 在前两步的基础上使用IMG （independent modality grouping ）获得互相独立的模态.....D M M M 12,..... M 第二步骤中使用super-kernel 技术对D M M ij 表进行融合，可以获得比乘积组合和线性融合更强的描述能力。

3.2 多模态Web 挖掘

由于多媒体技术的广泛应用，网页中普遍包含了丰富的图片、音频和视频等多种模态信息。与文字信息相比，这部分信息对于表示网页的内容同样起到了重要的作用。多模态Web 挖掘研究的就是如何利用网页中的多种模态信息来更好的完成挖掘任务。

3.2.1 基于Web的多模态图像挖掘

传统的图像挖掘技术主要利用图像的视觉信息。基于Web 的多模态图像挖掘在利用图像视觉特征的基础上，通过获取Web 中与图像相关的其他模态信息来帮助进行图像的挖掘。目前主要的Web 图像挖掘技术都着眼于拓展网页中的文本信息与图片之间的关系。

为了描述网页中文字和图像之间的相关性，目前基于Web 的多模态图像挖掘技术主要采用了语义网，图像标记和多模态相似度传播的方法。

3.2.1.1 语义网

图

2

语义网(semantic network)所描述的是单词和图片之间的相关性，其结构如图2所示。上排结点代表图片，下排结点表示表示单词。联结单词和图片的边表示单词和图片之间的关系，边上的权重w 示单词i 和图片j 之间的关联度。对于给定的检索任务，如果我们能够构造出相应的语义网，则可以利用文本信息帮助进行检索。

早期的Web 多模态图像检索系统ifind[6] 实现了一种同时利用文本与图像视觉信息的相关反馈算法。在该系统中，文字和图像通过语义网的方式进行关联。在构建语义网时，将每张图片的文件名、ALT 标签和所

6

在网页的标题中出现的单词和该图片关联起来，初始权值为１。在用户提交检索词后，根据检索词与图片在语义网中的关联度计算初始检索结果。然后用户可以对搜索结果前端的网页进行标记，搜索引擎在获得用户标记的正例与反例后利用这些信息对语义网中的权值进行简单的调整，并根据标记图像的视觉特征训练分类器。最后搜索引擎将语义网中的相关度和视觉分类器的结果相结合，得到精化后的查询结果。

3.2.1.2 图像标记

图片标记是指用一些单词对一个给定的图片进行标记，使得这个标记可以有效的反映出图片中的语义信息。网页中与图片周围的文字信息通常与图片具有语义上的相关性，图像标记的检索方法主要思想就是利用这些文字信息加强对于图片语义信息的描述。目前对图像标记所使用到的主要文字信息有：(1)图片周围的文本，(2)图片文件名中的文本，(3)图片所在网页的标题，(4)图片ALT标签中的文本，(5)图片所指向的链接中的文本

Crotina系统[7] 使得用户可以通过关键词进行初始的语义检索，在之后的相关反馈中系统通过标记图像的视觉信息进行精化。在Crotina中，每张图片均用其在网页上周围的文字进行标注。用户输入检索词后，将检索词直接与每张图片的标注进行匹配，获得初始的基于语义的检索结果。与ifind相同，系统获得用户的相关反馈后会利用图像视觉信息更进一步的检索。

3.2.1.3 多模态相似度传播（multi-modal similarity propogation）

语义网和图像标记着重描述的都是文本与图像之间的相似度，这在用户输入的检索请求是用以描述图像语义信息的关键字时能起到一定效果。而当用户输入的检索请求是具体的图片时，上述两种方法均不适用。

[10] 提出的多模态相似度传播算法并不直接计算文本与图像之间的相似度，而是将网页中的图片和图片周围文字分离成两类事物，通过两者之间的关联矩阵将同一事物中的相似度传播到另一类事物中，得到更为精确的图片之间的相似度。如图３所示：

图3

图中上排结点T和下排结点S为对应的两类事物，实线表示同类事物之间的相似度，虚线表示两类事物之间的某种关联。多模态相似度传播的的方法利用不同事物间的这种关联，可以将一类事物的相似度传播到另一类事物中去（如图中的t2,t3,t4和s3,s4,s5），并且可以计算出一类事物中原来并未直接给出的相似度（如图中的t1,t2和s4,s5）。

在多模态相似度传播中，网页被分割成小块，在同一块中的文本和图片被视为具有关联。文字和图像的相似度矩阵按下式进行迭代，并证明了迭代的收敛性：

7 ''(1)(1)K K Z G Z G G Z G Z ααλββλ∧∧∧∧?=+????=+??

其中K,G 分别为文本块与图像的相似度矩阵。其中β和α，λ为控制收敛速率的系数。Z 为图像和文字之间的关联矩阵，其定义如下：

1 0 i ij i j Z i j

θ??=???图片属于块图片不属于块3.2.2 多模态网页挖掘 网页是一个丰富的多媒体环境，如何利用网页中的这些不同媒体源所产生的信息是多模态网页挖掘研究的主要问题。目前的多模态网页挖掘技术主要尝试共同使用网页中的图片和文字信息提高网页的检索精度。

WebSIS 系统[12] 在文本摘录的基础上提出了图片摘录的概念，并设计了一种从网页中挖掘相应图片的方法。在搜索结果的表示中，WebSIS 将文字摘录和图像摘录一起显示给用户。一个网页的图像摘录是该网页中包含的一张图片，它既可以反映网页的主题，同时又和用户输入的查询密切相关。如图４所示：

图４

图像摘录主要带来了以下几点优势：由于人类对于图片的观察和理解速度要快于文字，图像摘录可以帮助用户更加快速地判断和找到自己喜欢的网页；通过图像摘录用户将更准确的对搜索结果进行标记，从而提高相关反馈的性能，获得更加精确的检索结果。

[14] 中提出的WebSEIC 框架通过对网页中图片信息的挖掘来提高检索结果的准确率。WebSEIC 的基本思想为，如果一个网页同时在多个模态中都被判断为与查询相关，那么这个网页将比另一个仅仅在文字上被判断为相关的网页具有更大的可能与查询相关。该方法通过对传统网页检索结果前端网页中出现的图片进行筛选，获得与用户查询请求语义相关的图像视觉特征，然后利用这个视觉特征对原来的检索结果进行精化。

8

4 讨论

4.1 融合技术与多模态数据挖掘

融合模型的学习（fusion leanring）是一个离线（off-line）的过程，融合模型使用的参数与配置均可以利用训练样例提前计算，因此融合技术的实时计算开销并不显著，可以作为提升多模态检索实时性能的一个有效方法。在使用融合技术的时需要特别注意的一点是，要保证在融合模型的学习过程中学习器不与训练数据产生过配；通常情况下，这可以通过使用诸如bagging的data resampling技术实现。

虽然在视频挖掘中，多模态融合已经成为一个应用十分普遍的方法，然而在有关图像挖掘的研究中，多模态融合仍然是一项比较新颖的技术，在最近几年有关图像检索和标记的工作中，很少能看到多模态融合技术的应用。通过引入多模态融合技术，我们可以通过与其他模态相结合的方法拓展出新的用户界面、查询模式和检索结果表示。因此我觉得如何将此技术应用到图像挖掘中将成为将来一个重要的研究方向。

4.2 多模态网页检索

网页是一个多媒体环境，多种模态信息共同构成网页的上下文，因此，如果能够有效地利用文本以外的其它信息，

将有助于更好地表达网页的内容。网页中多种模态之间的关联性和互补性已引起了广泛关注。目前的多模态Web挖掘方法都是通过用户的相关反馈和历史检索记录获得少量的训练集然后采取监督学习的技术。除开上述标记的训练数据，网络中同时还含有丰富的未标记数据，因此可以通过半监督学习的方法从未标记数据中获取信息。虽然半监督学习技术在文本和图像挖掘中已经得到了大量的使用，但是在关于多模态Web挖掘的研究中却很少被使用。如果将网页中不同的模态信息看成用以描述网页的不同视图（View），在每个视图中训练一个分类器，那么类似于Co-training的半监督学习技术将可以得到使用。

5 总结

随着多媒体技术的广泛应用和数据收集技术的发展，计算机应用领域中出现了大量的多模态数据，这对传统的数据分析技术提出了巨大的挑战。数据挖掘作为一种帮助人们从大量数据中发现有用的知识的工具，经过不断地发展，已经能够处理像多模态数据这种复杂的数据。因而，使用数据挖掘技术处理多模态数据是当前的一个热点问题。多模态数据挖掘分析不同模态之间的关联信息，将多个模态的挖掘结果进行整合得到最后的挖掘结果。

本文简要阐述了多模态数据挖掘的基本概念，并通过对多模态视频与Web挖掘中的主要应用的说明介绍了目前多模态数据挖掘技术的基本方法和主要思想。

References:

[1] Amir A, Iyengar H W G, Lin C Y, Naphade M, Natsev A, Neti C, Nock H J, Smith J R, Tseng B L, Wu Y, Zhang D. IBM

research TRECVID-2003 system. NIST Text Retrieval Conf. (TREC), 2003.

[2] Han J W, Kamber M. DATA MINING: Concepts and Techniques. Morgan Kaufmann Publishers,2000.

[3] Hauptmann A G, Christel M G. Successful approaches in the trec video retrieval evaluations. In Proc. ACM Multimedia, 2004.

[4] Hershey J, Movellan J. Using audio-visual synchrony to locate sounds. Advances in Neural Information Processing Systems 12

MIT Press, Cambridge MA, 2001.

[5] III J F, Darrell T, Freeman W, Viola P. Learning joint statistical models for audio-visual fusion and segregation. Advances in

Neural Information Processing Systems 13. MIT Press, Cambridge MA, 2000.

[6] Lu Y et al. A Unified Framework for Semantics and Feature Based Relevance Feedback in Image Retrieval Systems. In Proc. ACM

MM, 2000.

9

[7] Quack T, Monich U, Thiele L, Manjunath B S. Cortina: A system for largescale, content-based web image retrieval. In Proc. ACM

Multimedia, 2004.

[8] Rui Y, Huang T S, Chang S F. Image retrieval: Past, present, and future. International Symposium on Multimedia Information

Processing, 1997.

[9] Velivelli A, Ngo C W, Huang T S. Detection of documentarty scene changes by audio-visual fusion. International conference on

Image and video retrieval, pages 227–237, 2003.

[10] Wang X J, Ma W Y, Xue G R, Li X. Multi-model similarity propagation and its application for web image retrieval. In Proc. ACM

Multimedia, 2004.

[11] Wu Y, Chang E Y, Chang K C C, Smith J R. Optimal multimodal fusion for multimedia data analysis. In Proc. ACM Multimedia,

2004.

[12] Xue X B, Zhou Z H, Zhang Z. Improve Web search using image snippets. In Proceedings of the 21st National Conference on

Artificial Intelligence, Boston, WA, 1431 - 1436, 2006.

[13] Yan R, Hauptmann A G. The combination limit in multimedia retrieval. ACM Multimedia, 2003.

[14] Zhou Z H, Dai H B. Exploiting image contents in Web search. International Joint Conferences on Artificial Intelligence,

Hyderabad, India, 2928-2933, 2007.