多媒体数据库

2015/11/30
41
• • • •
(1) 电影的一个影像段。 (2) 与影像段相关的声音段。 (3) 电影提取的两个重要情节的画面图像。 (4) 给出电影的导演、男演员、女演员和其 他电影特征的文本。
2015/11/30
42
• 客户能用许多可能的方式查找VOD数据库。 举例如下： • 查询1：带有计算机动画卡通的电影有哪些? • VOD服务应答器回应：VOD服务器显示电影 的细节：“Who Framed Rabbit”和“Toy Story”。
2015/11/30 34
• 通过语音处理和识别，可以获得语音数据 的各种语义信息，这是最基本的依赖于内 容的语音单元。由于语音识别须要和大量 样板语音数据比较，空间和时间的开销都 很大。目前，用自动半自动方法提取语音 元数据还有一定的困难。
2015/11/30
35
图像元数据 • 图像元数据与图像类型和应用领域有关。 例如人像的元数据主要包括人的自然和社 会的属性以及人的各部分的特征等；卫星 图像元数据主要包括栅格结构、地理位置、 地貌特征、地域覆盖（例如国域，省域 等）、摄取时间；医学图像元数据主要包 括病人属性、检查时间，结构异常部位及 特征。
à Ã ¶ ½ Ì å Ê ý ¾ Ý ¿ â MDB
数据模型分类
• 简单性数据模型 • 复杂型数据模型 • 智能型数据模型
简单型多媒体数据模型
• 对应于多媒体简单应用。
• 特征：涉及到的对象多为静态，结构较为 简单，查询比较确定。 • 简单型多媒体数据库功能： • 对多媒体数据中的物理媒体数据的有效管 理和存取； • 建立多媒体数据及其文本说明等属性之间 的相互关系。
2015/11/30
43
• 查询2：请显示一个卡通主角讲这个句子的 电影的细节(这个声音段为：“有人污染了 海湾”)。 • VOD服务应答器回应：服务器显示出有卡通 人物Wooody讲过上述句子的电影“Toy Story”的片段。回应包括影像和声音的片段， 并带有宣传画和文本信息。
2015/11/30
如何用数据库系统来描述
如何表达多媒体信息的内容 将怎样进行检索查询 该如何处理这些数据呢
如何用数据库系统来描述
多媒体数据模型
• 是客观事物及其联系的数据描述；
• 数据的描述：指出模型中包含那些记录类 型，并对记录类型进行命名；指明各个记 录类型由那些数据构成，并对数据项进行 命名，每个数据项均需指明其数据类型和 取值范围。 • 数据间联系：指明各个不同记录间所存在 的联系和联系方式。
多媒体数据具有如下几种特性：
• • • • • • • 1. 集成特性 2. 独立特性 3. 数据量大 4. 实时性强 5. 具有交互性 6. 非解释特性 7. 非结构特性
三个难题：
• 信息媒体的多样化 • 多媒体数据集成或表现集成 • 多媒体数据与人之间的交互性
多媒体数据库技术需要研究的问题：
2015/11/30 33
声音元数据
• 在声音媒体中，语音是使用和研究得最多 的一种媒体。有限制的语音识别逐步走向 实用化。从语音鉴别发言人、按照语调和 语气来区别语义和词义也在研究之中。但 在普遍情况下，既不限词汇、不限发言人 数、不限语法、不限环境和背景，语音识 别的效果就不够好，还不能实用化。
扩展的关系数据模型
• 传统的关系数据模型缺少支持多媒体数据库的 能力。只是为管理表格字母数字形式的数据设 计的，很难实现具有空间关系和时态关系的数 据，缺乏演绎和推理操作。 • 最近，关系数据库管理系统开始使用大二进制 对象(BLOB)来存储和管理多媒体对象。BLOB可 用于图像或其他二进制数据类型的对象。关系 数据库中包括BLOB的位置信息，这些信息实际 存储在数据库之外的分离的图像或视频服务器 上。通过访问这些BLOB，为用户显示完整的数 据集。
智能型多媒体数据模型
• 具有特殊复杂对象、应用要求相当复杂的 系统。 • 特征：对系统的描述具有很高的要求。 • 智能型多媒体数据库主要功能： • 能够对多种媒体数据进行有效的存储和管 理； • 还能够支持对多种媒体数据的理解以及从 中进行知识获取； • 在知识引导下的查询及其相应智能化的操 作和处理。
2015/11/30
37
将怎样进行检索查询
多媒体数据的检索
• 对常规数据库的检索，最有效的是B+树，可 是B+树是一维线性检索，而多媒体数据库面 对的是二维以上的N维空间检索，因此B+树 就失效了，这里不存在一个能用于不同媒 体检索的索引机制，而需针对不同媒体采 用不同索引机制。
多媒体数据库查询
综上所述：
多媒体数据项对应一个复杂对象，而并不 是一个不可再分的原子数据，它的数据模 型通常具有复杂的层次结构，而不同于简 单关系模型
要求数据模型满足：
• 可扩展，以便添加新的数据类型
• 能够表示复杂空间和时间关系的基本媒体 类型和复合对象
• 灵活的，以便在不同抽象级别上指定、查 询和搜索数据项 • 允许进行有效存储和搜索
• 媒体相互间的元数据处理多个媒体和它们 相互关系信息的解释。
多媒体元数据分类
内容相关的元数据 内容描述的元数据 内容无关的元数据
多媒体元数据生成
• 文本元数据 • 文本元数据可以表示为字符串（即由键盘输入）， 也可以表示为图像（由扫描仪输入）。若用字符 串表示，其最基本的元数据是文本逻辑结构及其 展示风格的描述，描述的内容一般可由作者提供， 作者提供的不充分的某些部分仍需用自动或半自 动的方法识别，例如子标题边界的确定和关键词 的提取等。如果文本数据是由扫描仪输入，则生 成元数据需要更多的自动或半自动处理，例如行、 字、符号、图和表的识别、段落边界的确定、关 键词的提取等。
面向对象模型
• 面向对象模型是另一种表达多媒体数据库的主 要方法，许多多媒体应用中的数据管理都建立 在面向对象模型上。 • 面向对象数据库模型类的概念对多媒体数据特 别有用。一旦定义了类，所有类中的对象就被 赋予了类的属性。类定义在应用软件的开发速 度上也有着明显的优势，并且有利于为开发和 维护复杂多媒体应用软件提供更完善的功能及 更广泛的对象性能。此外，对象数据库的功能， 如消息传递、可扩展性、支持分层结构，对于 多媒体系统来说也都是非常重要的。
• 数据库查询是数据库系统最重要的功能之 一。典型的查询包括如下几部分： • 需要输出的数据项。 • 可供查询的信息库。 • 查询条件(查询谓词)。 • 根据谓词描述的内容和谓词被指定的方式 可用不同的类型对多媒体数据库进行查询。
2015/11/30
40
多媒体数据库查询实例
• 下面以电影点播(MOD)多媒体数据库系统为 例，列举一些多媒体数据库查询的实例。 客户能连接到VOD服务器，查询服务器能提 供的电影，下载和观看电影。假设VOD服务 器能存放电影的如下信息：
数据模型作用
• 为表达使用系统将要存储和检索的 数据项的性能提供框架（或语言）
• 该框架允许设计者和用户定义、插 入、删除、修改和搜索数据库项目 和性能
与传统数据类型相比较
• 多媒体数据不仅包含整型、实型、布尔型 和字符型等传统数据类型，而且还应包括 图形、图像、声音、文字、动画等复杂数 据类型
Å Ä · î Ê À ½ ç
ß ¼ Â ­ Ó ë Î ï À í Ê ý ¾ Ý Ä £ Ð Í
CDM
Ö Ê Ï µ Ê À ç RW ½
LDM LDM LDM
பைடு நூலகம்
PDM PDM PDM
CDM CDM
¯ ³ ¼ É à Ã ¶ ½ Ì å · Å Ä î Ê ý Ý Ä ¾ £ Ð Í MCDM
¯ ³ ¼ É
多媒体数据模型
• 目前，建立多媒体数据模型的方法主要有 如下两种： • 扩展现有关系数据库管理系统，用于支持 类似于二进制对象的各种多媒体对象。将 RDBMS从基本的二进制对象扩展到继承和 类这一概念。 • 转变为发展成熟的面向对象数据库，以支 持SQL语言。将数据库和应用软件转变为面 向对象的数据并使用面向对象的语言，如 C++，或使用对象的SQL来开发。
2015/11/30 36
影视元数据
• 影视数据是由一系列帧组成的。影视元数据有些 是属于帧一级的，例如某一帧的颜色或灰度特征； 有些是属于帧系列级的。帧系列还可以分为多级： 即影视级（一部电影或电视节目）、情节级（表 示影视中一段连贯的内容），场景级（在一个地 点或场地拍摄的内容），镜头级（一次连续的拍 摄）。每一级都可能有各自的元数据，例如某个 镜头中物体移动轨迹，
• 从数据量上看，常规数据与多媒体数据的 大小差别可以达到几千、几万甚至几十万 倍
与传统数据类型相比较
• 从数据长度上看，常规数据项一般采用定 长记录处理，存储结构清晰，而多媒体数 据长度可变
• 从数据传送方面看，多媒体数据不论是视 频媒体还是音频媒体，都要求连续播放， 否则将导致严重失真，这就要求CPU、I/O、 RAM、网络带宽及软件算法比常规数据快 一个档次
面向对象模型
• 不足之处： 尚无一个统一的标准； 缺乏坚实的理论基础； 许多实际技术还不够成熟 • 改进之处： 增加反映多媒体对象之间时空关系的描述， 描述多媒体对象间更深刻的语义。
如何表达多媒体信息的内容
多媒体元数据及其生成
• 多媒体数据往往由多种媒体组合而成。多媒体 数据类型不同，表示方式也各不相同。不同的 表示形式，其存取方式和绘制方式等各不相同。 因此，多媒体数据库还应包括处理不同对象的 相关方法库。 • 多媒体数据库与方法库应紧密相关联，以便进 行数据对象的组合、分解和变换等操作。所以， 多媒体数据应包括数据原始对象(也称数据源)、 数据对象的说明(元数据等)以及与对象相关联 的方法3部分
复杂型多媒体数据模型
• 表述一类结构较为复杂、可以进行某种意 义上模糊查询的多媒体应用。 • 特征：具有复杂的结构，实体之间存在多 重联系，查询方式多样。 • 复杂型多媒体数据库主要功能： • 对多媒体中所包含的物理媒体数据、逻辑 媒体数据的统一描述、有效存取和管理； • 对多媒体数据中包含的多种语义信息进行 描述、存取和管理。
数据对象说明 数据 对象 源 相关方法
• 媒体对象，如音频、图像及视频，是二进 制和非结构化的，因此也不能简单地用数 学解析式表示。多媒体数据库必须取得并 存取基于这些媒体对象内容的解释，这些 解释就成为元数据。元数据可以从媒体信 息自动地或者半自动地(或者在一些情况下 是手动地)生成。
• 元数据包含两方面的内容： • 媒体内部元数据处理媒体内信息的解释。
多媒体数据库
多媒体数据 可以有哪些数据组成？
多媒体数据是指由多种不同类型 媒体综合组成的，通常包括文本、 图形、图像、声音、视频图像和动 画等媒体形式。 只包含某种媒体的数据称为单媒 体。当然，单媒体可以看作是特殊 的多媒体。
多媒体数据的特征？
• 数据量非常庞大
• 音频视频有时间维，固定速率播放才能预 期效果 • 内容中语义结构难识别 • 空间时间协调表示多个媒体类型 • 数据含义模糊、主观 • 参数多
2015/11/30 46
多媒体数据库的查询类型
• 多媒体数据的查询可以分为不同类型，主 要方式如下。 • 1. 基于多媒体信息内容的查询 • 由于多媒体信息内容已被多媒体对象相关 的媒体数据描述了。因此，这些查询是通 过对元数据和媒体对象的直接访问进行的。
多媒体数据模型的层次
• 多媒体数据模型是用来描述任何多媒体数 据静态特性和动态特性的一组概念和定义， 一般可以分为如下三个层次。
• 概念数据模型（conceptual data model， CDM） • 逻辑数据模型（logical data model，LDM） • 物理数据模型（physical data model，PDM）
44
• 查询3：显示如下影像发生的电影片段：卡 通人物Wooody给绿军人员指派了一个监视 生日礼物的侦察任务。 • VOD服务应答器回应：服务器显示所需的电 影“Toy Story”的片段，并提供相应的声音、 宣传画和文本。
2015/11/30
45
• 查询4：显示这个电影宣传画面的电影细节 (图像描述了卡通人物Jessica Rabbit被扔出动 画马车的画面)。 • VOD服务应答器回应：服务器显示相应电影 “Who Framed Roger Rabbit”的宣传画及其 细节资料。 • 客户还能进行以上查询的组合查询，不同 组合的查询返回的多媒体对象应包括相应 的内容。