视频检索技术
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7
Direct Show是为播放各种类型的视频数据、音频数据或其他多媒体 数据而设计的。Direct Show支持MPEG(包括MP3、AVI、MOV、WAV、DVD等 格式）。借助于Direct Show，可以很容易地实现多种格式的多媒体数据 的回放、传输和捕获。Direct Show使用Filter Graph的模型来管理整个 数据流的处理过程。利用Direct Show强大的功能，我们可以这样实现帧 的提取。首先建立过滤器图表，与特定的多媒体流相关联，然后加视频 抓帧过滤器进图表，并设置回调函数。当图表运行时，抓帧过滤器抓取 流过的视频帧(可进行设置，可以是每一帧，也可以是间隔固定帧)，把 抓取的帧存储在视频库中。 利用Direct Show 能够使开发者专注于各自的分析和处理，而无需 考虑带有共性的实现细节，极大地降低了多媒体应用开发的复杂度，并 提高了其开发效率。
4
下面对视频检索的原理进行简要的介绍。 2.基于内容的视频检索
基于内容的视频分析和检索研究的目的是通过对视频内容进行 计算机处理、分析和理解，建立结构和索引，以实现方便有效的 视频信息获取。它是根据视频的内容以及上下文关联，在大规模 视频数据中进行检索。基于内容的视频检索包括很多技术，如： 视频结构的分析 ( 镜头检测技术 ) 、视频数据的自动索引和视频聚 类等。 目前，在基于内容的视频检索技术的研究方面，除了识别和描 述图像的颜色，纹理，形状和空间关系外，其他主要集中在视频 镜头分割，特征的提取和描述(包括：视觉特征，颜色，纹理和形 状及运动信息和对象信息等)，关键帧提取和结构分析等方面。基 于内容的视频检索的系统框图见下图。
目前，国内外已研发出了多个基于内容的视频检索系统， 主要有五种，如下：
1：QBIC系统：QBIC(Query By Image Content) 是由IBM Almade n研究中心开发的，是“基于内容”检索系统的典型代表。此系统主 要利用颜色、纹理、形状、摄像机和对象运动等描述视频内容, 并以 此实现其检索。QBIC提供了对静止图像及视频信息基于内容的检索手 段, 允许用户使用例子图像、构建草图、以及颜色和纹理模式、镜头 和目标运动等信息对大型图像和视频数据库进行查询。在视频数据分 析方面包括了镜头检测、运动估计、层描述、代表帧生成等多种视频 处理手段。 2 ： Visual Seek 系统： Visual Seek 是美国哥伦比亚大学电子工 程系与电信研究 中心图像和高级电视实验室共同研究的、一种在互 联网上使用的“基于内容”的检索系统。它实现了互联网上的“基于 内容”的图像/视频检索系统，提供了一套供人们在Web上搜索和检索 图像及视频的工具。
5
基于内容的视频检索的系统框图索的目的就是要从大量的视频数据中找到所需的视频片段。 视频数据是一个二维非结构化的图像序列，要实现基于内容的视频 检索，首先要从多媒体文件中提取视频帧序列，然后对这些图像流 进行处理，使之成为结构性的数据，提取其特征，从而达到检索目 的。 首先，介绍几个关于视频的基本概念。帧(Frame) ：视频流中的 基本组成单元，每一帧均可看成是一幅独立的图像。视频流数据就 是由连续图像帧构成的。帧是视频的最小单位。镜头(Shot)：摄像机 拍下的不间断帧序列，是视频数据流进一步结构化的基础。同一组 镜头中，视频帧的图像特征基本保持稳定。若相邻图像帧之间的特 征 发 生 了 明 显 变 化 ， 则 认 为 是 发 生 了 镜 头 变 换 。 关 键 帧 （ Key Frame ）：关键帧是代表镜头内容的图像帧。在一个视频镜头内， 关键帧的数目远小于镜头所包含的图像帧的数目。用关键帧代表镜 头可以大大减小计算复杂性。场景 (Scene): 语义上相关和时间上相 邻的若干组镜头组成了一个场景。场景是视频所蕴涵的高层抽象概 念和语义的表达。像镜头可以由关键帧代表一样，场景也可以使用 属于这个场景的所有镜头所对应的关键帧集合来表示。
1
视频检索就是要从大量的视频数据中找到所需的视频片 段。根据所给出的例子或是特征描述，系统就能够自动的找 到所需的视频片片段。根据提交视频内容的不同，视频检索 一般分为镜头检索和片段检索。 目前视频检索的多数研究还集中在镜头检索上。而片 段检索方面的研究则刚刚开始。实际上，从用户的角度分析， 他们对视频数据库的查询通常会是一个视频片段而很少会是 单个的物理镜头。从信息量的角度分析，由几个镜头组成的 视频片段有比单个镜头更多的语义，它可以表示用户感兴趣 的事件。因此查询的结果也比较有意义。 由于视频拍摄的多样性和后期编辑的复杂性，片段的 相似性有多种可能。把片段检索分为这样两种类型：精确检 索和相似性检索。一个完整的视频检索系统的关键技术主要 有：关键帧提取、图像特征提取、图像特征的相似性度量、 查询方式、以及视频片段匹配等方法。 视频检索是一门交叉学科，以图像处理、模式识别、 计算机视觉、图像理解等领域的知识为基础，从认知科学、 人工智能、数据库管理系统及人机交互，信息检索等领域， 引入媒体数据表示和数据模型，从而设计出可靠、有效的检 2 索算法，系统结构以及友好的人机界面。
3
3 ： Video Q 是由美国哥伦比亚大学研究开发的 一套全自动基于内容的视频查询系统。它扩充 了传统的关键字和主题导航的查询方法，允许 用户使用视觉特征和时空关系来检索视频。
4 ： TV—FI 系 统 ： TV—FI(Tsing hua Video Find It)是清华大学开发的视频节目管理 系统。该系统可提供视频数据入库、基于内容 的浏览、检索等功能 , 并提供多种数据访问模 式 , 包括基于关键字查询、示例查询、按视频 结构浏览及按用户自定义类别进行浏览等。
视频检索技术
1. 视频检索简述
随着计算机技术和网络技术的发展，信息高速公路的建设，以 及多媒体的 推广应用, 各种视频资料源源不断地产生, 随 之建立起了越来越多的视频数据 库，出现了数字图书馆、数字 博物馆、数字电视、视频点播、远程教育、远程医疗等许多新的服务 形式和信息交流手段。 在传统的数据库系统中，信息的检索一般以数值和字符型为主， 而在多媒体数据库中集成图像、视频、音频等非格式化信息，它们具 有数据量大、信息不定长、结构复杂等特点。每一种媒体数据都有一 些难以用字符和数字符号描述的内容线索，如图像中某一对象的形状、 颜色和纹理，视频中的运动，声音的音调等。当用户要利用这些线索 对数据进行检索时，首先要将其人工转化为文本或关键词形式，这种 转换带有一定的主观性，且极其费时，因而仅仅基于关键词的检索已 不能满足用户的检索要求。数据库及其它信息系统不仅要能对图像、 视频和声音等媒体进行存储以及基于关键字的检索，而且要对多媒体 数据内容进行自动语义分析、表达和检索。
Direct Show是为播放各种类型的视频数据、音频数据或其他多媒体 数据而设计的。Direct Show支持MPEG(包括MP3、AVI、MOV、WAV、DVD等 格式）。借助于Direct Show，可以很容易地实现多种格式的多媒体数据 的回放、传输和捕获。Direct Show使用Filter Graph的模型来管理整个 数据流的处理过程。利用Direct Show强大的功能，我们可以这样实现帧 的提取。首先建立过滤器图表，与特定的多媒体流相关联，然后加视频 抓帧过滤器进图表，并设置回调函数。当图表运行时，抓帧过滤器抓取 流过的视频帧(可进行设置，可以是每一帧，也可以是间隔固定帧)，把 抓取的帧存储在视频库中。 利用Direct Show 能够使开发者专注于各自的分析和处理，而无需 考虑带有共性的实现细节，极大地降低了多媒体应用开发的复杂度，并 提高了其开发效率。
4
下面对视频检索的原理进行简要的介绍。 2.基于内容的视频检索
基于内容的视频分析和检索研究的目的是通过对视频内容进行 计算机处理、分析和理解，建立结构和索引，以实现方便有效的 视频信息获取。它是根据视频的内容以及上下文关联，在大规模 视频数据中进行检索。基于内容的视频检索包括很多技术，如： 视频结构的分析 ( 镜头检测技术 ) 、视频数据的自动索引和视频聚 类等。 目前，在基于内容的视频检索技术的研究方面，除了识别和描 述图像的颜色，纹理，形状和空间关系外，其他主要集中在视频 镜头分割，特征的提取和描述(包括：视觉特征，颜色，纹理和形 状及运动信息和对象信息等)，关键帧提取和结构分析等方面。基 于内容的视频检索的系统框图见下图。
目前，国内外已研发出了多个基于内容的视频检索系统， 主要有五种，如下：
1：QBIC系统：QBIC(Query By Image Content) 是由IBM Almade n研究中心开发的，是“基于内容”检索系统的典型代表。此系统主 要利用颜色、纹理、形状、摄像机和对象运动等描述视频内容, 并以 此实现其检索。QBIC提供了对静止图像及视频信息基于内容的检索手 段, 允许用户使用例子图像、构建草图、以及颜色和纹理模式、镜头 和目标运动等信息对大型图像和视频数据库进行查询。在视频数据分 析方面包括了镜头检测、运动估计、层描述、代表帧生成等多种视频 处理手段。 2 ： Visual Seek 系统： Visual Seek 是美国哥伦比亚大学电子工 程系与电信研究 中心图像和高级电视实验室共同研究的、一种在互 联网上使用的“基于内容”的检索系统。它实现了互联网上的“基于 内容”的图像/视频检索系统，提供了一套供人们在Web上搜索和检索 图像及视频的工具。
5
基于内容的视频检索的系统框图索的目的就是要从大量的视频数据中找到所需的视频片段。 视频数据是一个二维非结构化的图像序列，要实现基于内容的视频 检索，首先要从多媒体文件中提取视频帧序列，然后对这些图像流 进行处理，使之成为结构性的数据，提取其特征，从而达到检索目 的。 首先，介绍几个关于视频的基本概念。帧(Frame) ：视频流中的 基本组成单元，每一帧均可看成是一幅独立的图像。视频流数据就 是由连续图像帧构成的。帧是视频的最小单位。镜头(Shot)：摄像机 拍下的不间断帧序列，是视频数据流进一步结构化的基础。同一组 镜头中，视频帧的图像特征基本保持稳定。若相邻图像帧之间的特 征 发 生 了 明 显 变 化 ， 则 认 为 是 发 生 了 镜 头 变 换 。 关 键 帧 （ Key Frame ）：关键帧是代表镜头内容的图像帧。在一个视频镜头内， 关键帧的数目远小于镜头所包含的图像帧的数目。用关键帧代表镜 头可以大大减小计算复杂性。场景 (Scene): 语义上相关和时间上相 邻的若干组镜头组成了一个场景。场景是视频所蕴涵的高层抽象概 念和语义的表达。像镜头可以由关键帧代表一样，场景也可以使用 属于这个场景的所有镜头所对应的关键帧集合来表示。
1
视频检索就是要从大量的视频数据中找到所需的视频片 段。根据所给出的例子或是特征描述，系统就能够自动的找 到所需的视频片片段。根据提交视频内容的不同，视频检索 一般分为镜头检索和片段检索。 目前视频检索的多数研究还集中在镜头检索上。而片 段检索方面的研究则刚刚开始。实际上，从用户的角度分析， 他们对视频数据库的查询通常会是一个视频片段而很少会是 单个的物理镜头。从信息量的角度分析，由几个镜头组成的 视频片段有比单个镜头更多的语义，它可以表示用户感兴趣 的事件。因此查询的结果也比较有意义。 由于视频拍摄的多样性和后期编辑的复杂性，片段的 相似性有多种可能。把片段检索分为这样两种类型：精确检 索和相似性检索。一个完整的视频检索系统的关键技术主要 有：关键帧提取、图像特征提取、图像特征的相似性度量、 查询方式、以及视频片段匹配等方法。 视频检索是一门交叉学科，以图像处理、模式识别、 计算机视觉、图像理解等领域的知识为基础，从认知科学、 人工智能、数据库管理系统及人机交互，信息检索等领域， 引入媒体数据表示和数据模型，从而设计出可靠、有效的检 2 索算法，系统结构以及友好的人机界面。
3
3 ： Video Q 是由美国哥伦比亚大学研究开发的 一套全自动基于内容的视频查询系统。它扩充 了传统的关键字和主题导航的查询方法，允许 用户使用视觉特征和时空关系来检索视频。
4 ： TV—FI 系 统 ： TV—FI(Tsing hua Video Find It)是清华大学开发的视频节目管理 系统。该系统可提供视频数据入库、基于内容 的浏览、检索等功能 , 并提供多种数据访问模 式 , 包括基于关键字查询、示例查询、按视频 结构浏览及按用户自定义类别进行浏览等。
视频检索技术
1. 视频检索简述
随着计算机技术和网络技术的发展，信息高速公路的建设，以 及多媒体的 推广应用, 各种视频资料源源不断地产生, 随 之建立起了越来越多的视频数据 库，出现了数字图书馆、数字 博物馆、数字电视、视频点播、远程教育、远程医疗等许多新的服务 形式和信息交流手段。 在传统的数据库系统中，信息的检索一般以数值和字符型为主， 而在多媒体数据库中集成图像、视频、音频等非格式化信息，它们具 有数据量大、信息不定长、结构复杂等特点。每一种媒体数据都有一 些难以用字符和数字符号描述的内容线索，如图像中某一对象的形状、 颜色和纹理，视频中的运动，声音的音调等。当用户要利用这些线索 对数据进行检索时，首先要将其人工转化为文本或关键词形式，这种 转换带有一定的主观性，且极其费时，因而仅仅基于关键词的检索已 不能满足用户的检索要求。数据库及其它信息系统不仅要能对图像、 视频和声音等媒体进行存储以及基于关键字的检索，而且要对多媒体 数据内容进行自动语义分析、表达和检索。