多媒体信息检索技术

多媒体检索
多媒体信息检索技术与方法
基于内容的图像检索技术 基于文本的信息检索方法
1
多媒体检索 概念理解
❖ 多媒体检索是一种基于内容特征的检索（CBR： content-based retrieval）。所谓基于内容 的检索是对媒体对象的内容及上下文语义环境进 行检索，如图像中的颜色、纹理、形状，视频中 的镜头、场景、镜头的运动，声音中的音调、响 度、音色等。基于内容的检索突破了传统的基于 文本检索技术的局限，直接对图像、视频、音频 内容进行分析，抽取特征和语义，利用这些内容 特征建立索引并进行检索。在这一检索过程中， 它主要以图像处理、模式识别、计算机视觉、图 像理解等学科中的一些方法为部分基础技术，是 多种技术的合成。
11
颜色特征——颜色矩
❖ 这种方法的数学基础在于图像中的任何颜色分布均可用他 的矩来表示。由于颜色分布信息主要集中在低阶矩中，所
以只采用颜色的一阶矩、二阶矩和三阶矩就可以表达图像
的颜色分布。与颜色直方图比较，该方法的一个好处就是 无需对于特征进行量化。设pij是图像中第j个像素的第i 个颜色分量，则该颜色分量上矩的计算如下：
14
颜色特征——颜色相关图
❖ 颜色相关图（color correlogram）是图像颜色分布的 另一种表达方式。这种特征不但刻画了某一种颜色的像素 数量占整个图像的比例，还反映了不同颜色对之间的空间 相关性。实验表明，颜色相关图比颜色直方图和颜色聚合 向量具有更高的检索效率，特别是查询空间关系一致的图 像。
u i
1 N
N j 1
p ij
i
(1 N
N
( p ij u i ) 2 ) 1 / 2
j 1
1
si
( N
N
( p ij u i ) 3 ) 1 / 3
j 1
❖ 图像的颜色矩一共有九个分量，每个颜色通道均有三个低 阶矩。颜色矩仅仅使用少数几个矩，从而导致过多的虚警，
因此颜色矩常和其他特征结合使用。
❖ (3) 满足用户多层次的检索要求：CBR检索系统通常由媒体库、特 征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、 视频等；特征库包含用户输入的特征和预处理自动提取的内容特征； 知识库包含领域知识和通用知识，其中的知识表达可以更换，以适应 各种不同领域的应用要求。
❖ (4) 大型数据库(集)的快速检索：CBR往往拥有数量巨大、种类繁 多的多媒体数据库，能够实现对多媒体信息的快速检索。
傅里叶性状描述符 形状无关矩 其他形状特征
基于图像分割的方法 基于图像子块方法
9
图像颜色特征
❖ 颜色特征是在图像检索中应用最为广泛的视觉特 征，主要原因在于颜色往往和图像中包含的物体 或场景十分相关。此外，与其他特征相比，颜色 特征计算简单，同时对图像本身的尺寸、方向、 视角的依赖性较小，具有较好的紧致性。
2
多媒体检索的 特点
❖ (1) 相似性检索：CBR采用一种近似匹配（或局部匹配）的方法和 技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术， 避免了因采用传统检索方法所带来的不确定性。
❖ (2) 直接从内容中提取信息线索：CBR直接对文本、图像、视频、 音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引 并进行检索。
12
颜色特征——颜色集
为了提高检索的速度，Smith和Chang提出了用 颜色集的方法，首先将RGB颜色空间转换成视觉 均衡的颜色空间（HSV），并将颜色空间量化成 若干个bin，然后运用颜色自动分割技术将图像 分为若干个区域，每个区域用量化颜色空间的某 个颜色分量来索引，从而将图像表达成一个二进 制的颜色索引表。在图像匹配中，比较不同图像 颜色集之间的距离和颜色区域的空间关系。因为， 颜色集表达为二进制的特征向量，可以构造二分 查照树来加快检索速度，对大规模的图象集合十 分有力。
3
基于内容的多媒体信息检索体系结构
媒体数据 目标标识
特征提取
知识辅助
用户 查询接口 检索引擎 索引/过滤
媒体库 特征库
知识库
数据库特征 提取子系统
数据库查询 子系统
4
多媒体信息检索过程
用户需求 内容查询
媒体资源 内容索引
匹配
5
多媒体信息检索分类
文本检索
音频检索 多媒体 检索
图像检索
视频检索
6
基于内容的图像检索--图像检索的过程就是图像特征
❖ 特征匹配：选择何种模型来衡量图像特征间的相 似度。
7
*基于内容的图像检索工作原理
用户
相关反馈
源自文库特征提取
图像检索 图像特征库 图像索引
数字图像源
8
基于内容的图像索引技术：
图
像
颜色特征
索
引
纹理特征
主
图像特征 提取技术
要
形状特征
技
术
空间关系特征
颜色直方图、颜色矩 颜色集、颜色聚合向量
、颜色相关图
Tamura纹理特征 自回归纹理模型 基于小波变换的纹理特征
的提取、分析及匹配。
❖ 特征提取：提取各种特征，如颜色，纹理，形状 等。根据提取的特征不同，采取不同的处理，比 如提取形状特征，就需要先进行图像分割和边缘 提取等步骤。选择合适的算法，并在效率和精确 性方面加以改进，以适应检索的需要，实现特征 提取模块。
❖ 特征分析：对图像的各种特征进行分析，选择提 取效率高、信息浓缩性好的特征，或者将几种特 征进行组合，用到检索领域。
13
颜色特征——颜色聚合向量
❖ 针对颜色直方图和颜色矩无法表达图像色彩的空 间位置的缺点，Pass提出了图像的颜色聚合向 量（color coherence vector）。它是颜色 直方图的一种演变，其核心思想是将属于直方图 每一个bin的像素进行分为两部分：如果该bin内 的某些像素所占据的连续区域的面积大于给定的 阈值，则该区域内的像素作为聚合像素，否则作 为非聚合像素。由于包含了颜色分布的空间信息， 颜色聚合向量相比颜色直方图可以达到更好的检 索效果。
10
颜色特征——颜色直方图
❖ ，定义如下：
h(i)ni ,i0,1,,K N
❖ 其中ni为图像中颜色取值为i的像素个数，N为像 素总数，K为可能的颜色取值范围。 这样计算得到的颜色直方图就是一个K维的特征 向量。颜色直方图所描述的是不同色彩在整幅图 像中所占的比例，而并不关心每种色彩所处的空 间位置，所以特别适合描述那些不需要考虑特定 物体空间位置的图像内容。