第九章 视频信息检索

一、基于内容视频检索的系统结构
9.2 基于内容的视频信息检索
该系统由查询接口 数据库管理、 该系统由查询接口、数据库管理、相似性 查询接口、 以及输出和反馈四个基本组成部分。 比较以及输出和反馈四个基本组成部分 比较以及输出和反馈四个基本组成部分。
9.2 基于内容的视频信息检索
二、基于内容的静止图像检索
得到关键帧以后， 得到关键帧以后，就可以使用基于内容的静 止图像检索技术对关键帧进行检索， 止图像检索技术对关键帧进行检索，于是视 频检索问题就转化为图像检索问题。 频检索问题就转化为图像检索问题。
9.2 基于内容的视频信息检索
1. 镜头检测 镜头实际上是一段时间的视频信号，在这 镜头实际上是一段时间的视频信号， 段时间内，摄像机可以由各种运动及变焦等操 段时间内， 作，但没有摄像机信号的中断，因此，一段镜 但没有摄像机信号的中断，因此， 头内的图像不会有大的变换。 头内的图像不会有大的变换。 视频镜头是视频数据的基本单元。 视频镜头是视频数据的基本单元。
9.1
与内容无关的元数据。 与内容无关的元数据。 与内容相关的数据： 与内容相关的数据：
概述
与图像或视频相关信息大体可分为两类： 与图像或视频相关信息大体可分为两类：
低层或中层特征的数据， 低层或中层特征的数据，即与内容相关 的元数据。例如：颜色、纹理、形状、 的元数据。例如：颜色、纹理、形状、 空间联系、运动等，以及它们的组合。 空间联系、运动等，以及它们的组合。 这种数据与感觉因素有关。 这种数据与感觉因素有关。
9.1
概述
1979 年后，人们利用成熟的文本检索技术， 年后，人们利用成熟的文本检索技术， 早期的图像数据管理和检索技术是基于文本方 式的。 式的。 其基本思想是： 其基本思想是： 先利用文本注释图像信息， 先利用文本注释图像信息，再利用基于文 本的数据库管理系统来检索图像信息。检索时 本的数据库管理系统来检索图像信息。 ，主要在这些图像的标注中搜索用户输入的检 索词。 索词。
9.1
概述
20 世纪 90 年代，基于内容的图像/视频 年代，基于内容的图像/ 检索技术出现后， 检索技术出现后，近十几年它已成为计算机视 觉、图像数据库与知识挖掘等领域最活跃的研 究热点之一。特别是随着多媒体内容描述接口 究热点之一。 MPEG- 标准的逐步制定和完善， MPEG-7标准的逐步制定和完善，更加推动了高 效的基于内容的视频检索系统的开发。 效的基于内容的视频检索系统的开发。 视频信息检索技术大致可以分为 基于文本检索 和 基于内容的视频检索 两大类。 两大类。
第九章
9.2
视频信息检索
基于内容的视频信息检索
基于内容的视频检索（ Content基于内容的视频检索（CBVR, Content-
Based Video Retrieval）是指直接根据描述 Retrieval） 媒体对象内容的各种特征进行检索， 媒体对象内容的各种特征进行检索，它能从数 据库中查找到具有指定特征或含有特定内容的 图像或视频片断， 图像或视频片断，它区别于传统的基于关键字 的检索手段，融合了图像理解、 的检索手段，融合了图像理解、模式识别等技 术。
9.1
概述
高层内容语义的数据，常称为内容描述 高层内容语义的数据， 元数据。它关心图像实体和客观世界实 元数据。 体的关系，或者与视觉符号和场景相联 体的关系， 系的时间事件、感受和意图的联系。 系的时间事件、感受和意图的联系。 基于内容地视频和图像检索技术已经成 为国内外研究的热点问题。 为国内外研究的热点问题。
9.1
概述
所谓信息检索 所谓信息检索，就是根据用户的信息需求 信息检索， ，从信息集合中检索出与用户信息需求相关的 信息子集。 信息子集。 视频信息数据量极其庞大， 视频信息数据量极其庞大，并且图像数据 在组织结构、 在组织结构、表达形式等方面也不同于传统地 文字数据，如何对它们进行组织、表达、 文字数据，如何对它们进行组织、表达、存储 管理、 、管理、查询和检索是对传统数据库技术提出 一个严峻挑战重大挑战 重大挑战。 地一个严峻挑战重大挑战。特别是视频信息检 索问题， 索问题，尤其是基于内容地视频和图像检索技 术已经成为国内外研究的热点问题。 术已经成为国内外研究的热点问题。
9.2 基于内容的视频信息检索
视频数据通常由一系列连续拍摄的镜头甲级 剪辑连接而成， 剪辑连接而成，镜头是视频序列的基本单元 ，因此无论是对视频进行分析和检索，所操 因此无论是对视频进行分析和检索， 作的对象都应该是针对镜头的处理。 作的对象都应该是针对镜头的处理。 视频数据检索的首要任务是进行镜头的检 测，将不同的镜头互相分开，即视频的时域分 将不同的镜头互相分开， 割。
9.1
概述
传统信息检索的局限性： 传统信息检索的局限性： 传统的信息检索是基于数值/字符的， 传统的信息检索是基于数值/字符的，不 能客观反映图像或视频内容的多样性。而视频 能客观反映图像或视频内容的多样性。 信息与传统的信息形式相比，具有信息量大、 信息与传统的信息形式相比，具有信息量大、 抽象程度低等特点。 抽象程度低等特点。
9.1
概述
传统的数据库检索是基于文本的检索。 传统的数据库检索是基于文本的检索。 传统的数据库检索是一种精确的匹配过程。 传统的数据库检索是一种精确的匹配过程。 传统的数据库检索技术缺乏表达图像特征多 样性的查询方式。 样性的查询方式。 传统的数据库检索技术不能有效管理具有时 空关系的多媒体数据。 空关系的多媒体数据。
9.2 基于内容的视频信息检索
1. 颜色特征 2. 纹理特征 3. 形状特征
9.2 基于内容的视频信息检索
二、基于内容的视频检索
视频信息是一类复杂的信息，它不仅包含 视频信息是一类复杂的信息， 静止图像的内容， 静止图像的内容，还包含场景中目标运动的信 息和时间变化的信息。视频包含的数据量远远 息和时间变化的信息。 超过其他媒体， 超过其他媒体，因此视频数据一直是多媒体处 理和检索中最难解决的问题。 理和检索中最难解决的问题。
9.2 基于内容的视频信息检索
不同视频连接的方式主要有两种： 不同视频连接的方式主要有两种： 切变（或突变）。 切变（或突变）。 渐变。如 叠化、淡入、淡出等。 叠化、淡入、淡出等。 渐变。 镜头检测算法有模板匹配 直方图法、 镜头检测算法有模板匹配、直方图法、基 模板匹配、 于边缘的方法等。 于边缘的方法等。 的方法等
9.1
缺点： 缺点：
概述
大部分图像或视频所包含的内容（如颜色、 大部分图像或视频所包含的内容（如颜色、 纹理等） 纹理等） 目前的技术无法多图像进行自动文本描述， 目前的技术无法多图像进行自动文本描述， 图像的收集、分类和标注都是由人工完成， 图像的收集、分类和标注都是由人工完成， 其过程费时费力。而且， 其过程费时费力。而且，文字描述受观察者 的主观因素影响很大，缺乏统一的描述标准 的主观因素影响很大， 同一幅图像在不同人眼中会有不同的描述。 同一幅图像在不同人眼中会有不同的描述。
9.1
概述
9.1
产生， 检索， 利用。 产生， 检索， 利用。
概述
信息的生命周期有三个主要阶段： 信息的生命周期有三个主要阶段：
9.1
概述
信息检索的一般系统结构
9.1
概述
信息集合用来表示一个数据单元， 信息集合用来表示一个数据单元，可以是任 何的物理单元。 何的物理单元。如：文件、一个电子邮件、 文件、一个电子邮件、 WEB网页、图像、视频、音频。 WEB网页、图像、视频、音频。 网页 元数据是关于数据的组织、数据域及其关系 元数据是关于数据的组织、 的信息。 的信息。元数据为各种形态的数字化信息单 元和资源集合提供规范的一般性的描述。 元和资源集合提供规范的一般性的描述。
所谓图像的特征是人们对图像视觉感受的 量化描述。图像特征从各个方面描述了图像的 量化描述。 内在语义，从而可以作为图像的抽象表示，然 内在语义，从而可以作为图像的抽象表示， 后根据对每个不同特征定义的相似度来表示不 同图像之间的相似程度， 同图像之间的相似程度，从而实现对图像的检 索。这就是所谓的基于特征的图像检索或称为 这就是所谓的基于特征的图像检索 基于特征的图像检索或称为 基于内容的图像检索。 基于内容的图像检索。
9.2 基于内容的视频信息检索
直接按照指定的图像视觉特征进行检索。 直接按照指定的图像视觉特征进行检索。 这种系统将颜色、纹理、 这种系统将颜色、纹理、形状等视觉特征 转化为特征矢量与图像库中事先提取的图 像视觉特征矢量进行匹配。 像视觉特征矢量进行匹配。 无论是哪种类型， 无论是哪种类型，其核心都是对图像内容 特征进行处理。 特征进行处理。
8.1
概述
信息检索的一般过程
9.1
概述
信息检索与数据检索的主要区别： 信息检索与数据检索的主要区别： 信息检索涉及到用户的信息需求和提交的 查询并不总是结构化的， 查询并不总是结构化的，而且具有语义模糊性 。信息检索系统必须以一种方式“解释”信息 信息检索系统必须以一种方式“解释” 库中数据单元的内容，并把检索的结果按照与 库中数据单元的内容， 用户查询的相关程度来排列。 用户查询的相关程度来排列。
9.2 基于内容的视频信息检索
目前，已经开发出的基于内容的视频检索 目前， 系统主要分为两大类： 系统主要分为两大类： 按提供的图像示例进行检索。 按提供的图像示例进行检索。 这种检索系统所显提供示例图像特征矢量， 这种检索系统所显提供示例图像特征矢量， 再与图像库中的图像特征矢量进行比较寻找 相似的图像。 相似的图像。
数字视频信息 处理与传输
侯 颖 houying@
第九章
9.1 概述
视频信息检索
ห้องสมุดไป่ตู้
一、信息检索概述
随着计算机网络技术和多媒体技术的快速 发展， 发展，每天都有大量的图像和视频信息不断涌 现出来，我们被“淹没”在信息的海洋中。 现出来，我们被“淹没”在信息的海洋中。如 何组织、管理这些海量地、 何组织、管理这些海量地、包含大量非结构化 信息的数据， 信息的数据，并且从中有效地查询和检索出有 用地信息，这就是信息检索地任务。 用地信息，这就是信息检索地任务。