第九章 视频信息检索

9.2 基于内容的视频信息检索
直接按照指定的图像视觉特征进行检索。 直接按照指定的图像视觉特征进行检索。 这种系统将颜色、纹理、 这种系统将颜色、纹理、形状等视觉特征 转化为特征矢量与图像库中事先提取的图 像视觉特征矢量进行匹配。 像视觉特征矢量进行匹配。 无论是哪种类型， 无论是哪种类型，其核心都是对图像内容 特征进行处理。 特征进行处理。
9.1
概述
传统信息检索的局限性： 传统信息检索的局限性： 传统的信息检索是基于数值/字符的， 传统的信息检索是基于数值/字符的，不 能客观反映图像或视频内容的多样性。而视频 能客观反映图像或视频内容的多样性。 信息与传统的信息形式相比，具有信息量大、 信息与传统的信息形式相比，具有信息量大、 抽象程度低等特点。 抽象程度低等特点。
9.2 基于内容的视频信息检索
一、基于内容视频检索的系统结构
基于内容的视频检索系统的主要处理方法是： 基于内容的视频检索系统的主要处理方法是： 根据图像的色彩、纹理、图像对象的形状 根据图像的色彩、纹理、 以及它们的空间关系等内容特征作为图像的索 引，计算查询图像和目标图像的相似距离，按 计算查询图像和目标图像的相似距离， 照相似度匹配进行检索， 照相似度匹配进行检索，其目的是试图解决图 像数据库系统中手工建立文本标注信息的缺点 。
9.1
概述
传统的数据库检索是基于文本的检索。 传统的数据库检索是基于文本的检索。 传统的数据库检索是一种精确的匹配过程。 传统的数据库检索是一种精确的匹配过程。 传统的数据库检索技术缺乏表达图像特征多 样性的查询方式。 样性的查询方式。 传统的数据库检索技术不能有效管理具有时 空关系的多媒体数据。 空关系的多媒体数据。
第九章
9.2
视频信息检索
基于内容的视频信息检索
基于内容的视频检索（ Content基于内容的视频检索（CBVR, Content-
Based Video Retrieval）是指直接根据描述 Retrieval） 媒体对象内容的各种特征进行检索， 媒体对象内容的各种特征进行检索，它能从数 据库中查找到具有指定特征或含有特定内容的 图像或视频片断， 图像或视频片断，它区别于传统的基于关键字 的检索手段，融合了图像理解、 的检索手段，融合了图像理解、模式识别等技 术。
数字视频信息 处理与传输
侯 颖 houying@mailst.xjtu.edu.cn
第九章
9.1 概述
视频信息检索
一、信息检索概述
随着计算机网络技术和多媒体技术的快速 发展， 发展，每天都有大量的图像和视频信息不断涌 现出来，我们被“淹没”在信息的海洋中。 现出来，我们被“淹没”在信息的海洋中。如 何组织、管理这些海量地、 何组织、管理这些海量地、包含大量非结构化 信息的数据， 信息的数据，并且从中有效地查询和检索出有 用地信息，这就是信息检索地任务。 用地信息，这就是信息检索地任务。
9.1
缺点： 缺点：
概述
大部分图像或视频所包含的内容（如颜色、 大部分图像或视频所包含的内容（如颜色、 纹理等） 纹理等） 目前的技术无法多图像进行自动文本描述， 目前的技术无法多图像进行自动文本描述， 图像的收集、分类和标注都是由人工完成， 图像的收集、分类和标注都是由人工完成， 其过程费时费力。而且， 其过程费时费力。而且，文字描述受观察者 的主观因素影响很大，缺乏统一的描述标准 的主观因素影响很大， 同一幅图像在不同人眼中会有不同的描述。 同一幅图像在不同人眼中会有不同的描述。
9.1
概述
所谓信息检索 所谓信息检索，就是根据用户的信息需求 信息检索， ，从信息集合中检索出与用户信息需求相关的 信息子集。 信息子集。 视频信息数据量极其庞大， 视频信息数据量极其庞大，并且图像数据 在组织结构、 在组织结构、表达形式等方面也不同于传统地 文字数据，如何对它们进行组织、表达、 文字数据，如何对它们进行组织、表达、存储 管理、 、管理、查询和检索是对传统数据库技术提出 一个严峻挑战重大挑战 重大挑战。 地一个严峻挑战重大挑战。特别是视频信息检 索问题， 索问题，尤其是基于内容地视频和图像检索技 术已经成为国内外研究的热点问题。 术已经成为国内外研究的热点问题。
9.1
概述
9.1
产生， 检索， 利用。 产生， 检索， 利用。
概述
信息的生命周期有三个主要阶段： 信息的生命周期有三个主要阶段：
9.1
概述
信息检索的一般系统结构
9.1
概述
信息集合用来表示一个数据单元， 信息集合用来表示一个数据单元，可以是任 何的物理单元。 何的物理单元。如：文件、一个电子邮件、 文件、一个电子邮件、 WEB网页、图像、视频、音频。 WEB网页、图像、视频、音频。 网页 元数据是关于数据的组织、数据域及其关系 元数据是关于数据的组织、 的信息。 的信息。元数据为各种形态的数字化信息单 元和资源集合提供规范的一般性的描述。 元和资源集合提供规范的一般性的描述。
9源自文库1
与内容无关的元数据。 与内容无关的元数据。 与内容相关的数据： 与内容相关的数据：
概述
与图像或视频相关信息大体可分为两类： 与图像或视频相关信息大体可分为两类：
低层或中层特征的数据， 低层或中层特征的数据，即与内容相关 的元数据。例如：颜色、纹理、形状、 的元数据。例如：颜色、纹理、形状、 空间联系、运动等，以及它们的组合。 空间联系、运动等，以及它们的组合。 这种数据与感觉因素有关。 这种数据与感觉因素有关。
9.2 基于内容的视频信息检索
1. 颜色特征 2. 纹理特征 3. 形状特征
9.2 基于内容的视频信息检索
二、基于内容的视频检索
视频信息是一类复杂的信息，它不仅包含 视频信息是一类复杂的信息， 静止图像的内容， 静止图像的内容，还包含场景中目标运动的信 息和时间变化的信息。视频包含的数据量远远 息和时间变化的信息。 超过其他媒体， 超过其他媒体，因此视频数据一直是多媒体处 理和检索中最难解决的问题。 理和检索中最难解决的问题。
9.1
概述
1979 年后，人们利用成熟的文本检索技术， 年后，人们利用成熟的文本检索技术， 早期的图像数据管理和检索技术是基于文本方 式的。 式的。 其基本思想是： 其基本思想是： 先利用文本注释图像信息， 先利用文本注释图像信息，再利用基于文 本的数据库管理系统来检索图像信息。检索时 本的数据库管理系统来检索图像信息。 ，主要在这些图像的标注中搜索用户输入的检 索词。 索词。
得到关键帧以后， 得到关键帧以后，就可以使用基于内容的静 止图像检索技术对关键帧进行检索， 止图像检索技术对关键帧进行检索，于是视 频检索问题就转化为图像检索问题。 频检索问题就转化为图像检索问题。
9.2 基于内容的视频信息检索
1. 镜头检测 镜头实际上是一段时间的视频信号，在这 镜头实际上是一段时间的视频信号， 段时间内，摄像机可以由各种运动及变焦等操 段时间内， 作，但没有摄像机信号的中断，因此，一段镜 但没有摄像机信号的中断，因此， 头内的图像不会有大的变换。 头内的图像不会有大的变换。 视频镜头是视频数据的基本单元。 视频镜头是视频数据的基本单元。
9.1
概述
20 世纪 90 年代，基于内容的图像/视频 年代，基于内容的图像/ 检索技术出现后， 检索技术出现后，近十几年它已成为计算机视 觉、图像数据库与知识挖掘等领域最活跃的研 究热点之一。特别是随着多媒体内容描述接口 究热点之一。 MPEG- 标准的逐步制定和完善， MPEG-7标准的逐步制定和完善，更加推动了高 效的基于内容的视频检索系统的开发。 效的基于内容的视频检索系统的开发。 视频信息检索技术大致可以分为 基于文本检索 和 基于内容的视频检索 两大类。 两大类。
9.1
概述
我们日常接触的信息数据有多少？ 我们日常接触的信息数据有多少？
MB (10^6) -> 兆字节 ->
GB (10^9) -> 吉字节
TB (10^12) 太字节
PB (10^15) -> 派字节
EB (10^18) 艾字节
一个人不可能接受所有的信息， 一个人不可能接受所有的信息，他只关心 与自己有关的信息。 与自己有关的信息。
9.2 基于内容的视频信息检索
2. 关键帧提取 关键帧 (Key Frame) 也称代表帧，是用 也称代表帧， 于描述一个镜头的关键图像帧， 于描述一个镜头的关键图像帧，它通常反映一 个镜头的主要内容，可以是一帧图像或多帧图 个镜头的主要内容， 像。在视频信息中，关键帧起着与关键词类似 在视频信息中， 的作用。 的作用。 关键帧提取的算法主要有固定间隔抽取法 关键帧提取的算法主要有固定间隔抽取法、基 固定间隔抽取法、 于图像特征变化法、视频帧聚类法等 于图像特征变化法、视频帧聚类法等。
8.1
概述
信息检索的一般过程
9.1
概述
信息检索与数据检索的主要区别： 信息检索与数据检索的主要区别： 信息检索涉及到用户的信息需求和提交的 查询并不总是结构化的， 查询并不总是结构化的，而且具有语义模糊性 。信息检索系统必须以一种方式“解释”信息 信息检索系统必须以一种方式“解释” 库中数据单元的内容，并把检索的结果按照与 库中数据单元的内容， 用户查询的相关程度来排列。 用户查询的相关程度来排列。
所谓图像的特征是人们对图像视觉感受的 量化描述。图像特征从各个方面描述了图像的 量化描述。 内在语义，从而可以作为图像的抽象表示，然 内在语义，从而可以作为图像的抽象表示， 后根据对每个不同特征定义的相似度来表示不 同图像之间的相似程度， 同图像之间的相似程度，从而实现对图像的检 索。这就是所谓的基于特征的图像检索或称为 这就是所谓的基于特征的图像检索 基于特征的图像检索或称为 基于内容的图像检索。 基于内容的图像检索。
9.2 基于内容的视频信息检索
不同视频连接的方式主要有两种： 不同视频连接的方式主要有两种： 切变（或突变）。 切变（或突变）。 渐变。如 叠化、淡入、淡出等。 叠化、淡入、淡出等。 渐变。 镜头检测算法有模板匹配 直方图法、 镜头检测算法有模板匹配、直方图法、基 模板匹配、 于边缘的方法等。 于边缘的方法等。 的方法等
9.2 基于内容的视频信息检索
目前，已经开发出的基于内容的视频检索 目前， 系统主要分为两大类： 系统主要分为两大类： 按提供的图像示例进行检索。 按提供的图像示例进行检索。 这种检索系统所显提供示例图像特征矢量， 这种检索系统所显提供示例图像特征矢量， 再与图像库中的图像特征矢量进行比较寻找 相似的图像。 相似的图像。
9.2 基于内容的视频信息检索
在镜头检测的基础上，针对视频数据中由大 在镜头检测的基础上， 量的冗余信息， 量的冗余信息，可以采用提取镜头关键帧的 方法来表达镜头的主要内容。 方法来表达镜头的主要内容。关键帧是一幅 能描述镜头主要内容的帧。 能描述镜头主要内容的帧。
9.2 基于内容的视频信息检索
9.2 基于内容的视频信息检索
视频数据通常由一系列连续拍摄的镜头甲级 剪辑连接而成， 剪辑连接而成，镜头是视频序列的基本单元 ，因此无论是对视频进行分析和检索，所操 因此无论是对视频进行分析和检索， 作的对象都应该是针对镜头的处理。 作的对象都应该是针对镜头的处理。 视频数据检索的首要任务是进行镜头的检 测，将不同的镜头互相分开，即视频的时域分 将不同的镜头互相分开， 割。
9.1
概述
高层内容语义的数据，常称为内容描述 高层内容语义的数据， 元数据。它关心图像实体和客观世界实 元数据。 体的关系，或者与视觉符号和场景相联 体的关系， 系的时间事件、感受和意图的联系。 系的时间事件、感受和意图的联系。 基于内容地视频和图像检索技术已经成 为国内外研究的热点问题。 为国内外研究的热点问题。
一、基于内容视频检索的系统结构
9.2 基于内容的视频信息检索
该系统由查询接口 数据库管理、 该系统由查询接口、数据库管理、相似性 查询接口、 以及输出和反馈四个基本组成部分。 比较以及输出和反馈四个基本组成部分 比较以及输出和反馈四个基本组成部分。
9.2 基于内容的视频信息检索
二、基于内容的静止图像检索
9.1
概述
二、视频信息检索的发展过程
视频信息检索是指根据用户的查询从视频 视频信息检索是指根据用户的查询从视频 数据库中提取相关的视频信息的技术。 数据库中提取相关的视频信息的技术。 视频信息检索是在数据库系统和计算机视 觉两大研究领域的推动下开展起来的，其历史 觉两大研究领域的推动下开展起来的， 可追溯到 20 世纪 70 年代末期。 年代末期。