多媒体系统的数据模型概述(ppt 44页)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多媒体表现因多种媒体并存而成为复杂活动, 以 时间顺序和空间关系来安排多种媒体的合成表 现, 即是多媒体同步问题。
空间合成确定各种媒体在画面空间上位置变换 和安排,时间合成确定媒体对象在时间上的顺序
时空合成的概念描述
定义1 角色是多媒体表现环境中的资源, 它分为 视角色和听角色。视角色对应一块显示区域(窗 口), 听角色对应扬声器或声卡(声音通道)。
定义2 场景是各种媒体对象占用角色活动的多媒 体空间表现环境。
定义3 场景运算是对角色施加的操作, 它分为一 元运算和二元运算。
场景运算
场景运算 视角色
听角色
一元运算
定位(Loc), 变比(Scale), 剪裁(Cut), 旋转(Rotate) 增益(Gain)
二元运算
邻接(Abut), 覆盖(Overlay), 镶嵌(Mosaic), 交叠(Overlap) 混声(Mix)
引理2 定义关系
GENERAL(X,Y)=[(X=Y)∨GENERALIZATION(Y,X)]
序偶<O,GENERAL>是一个偏序集。
定义12 一个对象X∈O的归纳级定义为在偏序集 <O,GENERAL>中对象的高度。
8.3 信息元模型
信息元模型考虑的是信息元构造模型, 目的是 提供一个标准, 使“信息元”公共化、通用化, 成为上层各类多媒体应用(或模型)都可“调用” 的东西, 这将会大大方便多媒体数据与信息之 间的交互和通信
定义8 超文本η是一个强定义的超文本, 当且仅当 X(X∈I0) => (Y(INSTANCEOF(X)=Y))
所有的信息对象都通过它们的域对象定义。
信息结点的信息内容由对象的INFO属性表示。 INFO是一个二元组〈Position,Value〉, 其中 Position指明在信息对象中Value的位置。
形式化语言或工具: 如Petri网、时序逻辑语言。 和Z语言。
形式化语言既是正规性语言又是描述性语言,在 软件的系统建模、概念设计中起着重要作用。
集合论和一阶逻辑
定义1 序偶<S,R>, 这里S是一个集合,R是从S到S一种 关系。如果<S,R>满足下列条件称它为偏序集： (1) R是不对称的； (2) R是自反的； (3) R是传递的。
定义2 集合S一个对象x是偏序R的最小元素，如果： s∈S(R(s,x)=>(s=x))
定义3 偏序集<S,R>中, 集合S的元素X覆盖S的元 素Y(≠X)可记为covers(X,Y,<S,R>), 满足：
R(Y,X)∧ Z∈S[(R(Y,Z)∧R(Z,X))=>(Z=X)∨(Z=Y)]
定义10 聚集对象Oaggregate是一个序列对象,且须满足下述公理: (1) 聚集对象具有唯一的成分。 X,Y[AGGREGATE(X)∧AGGREGATE(Y)∧(LIST(X)=LI ST(Y))=>(X=Y)]
(2) 若一聚集对象是域对象,该对象所有成分必是域对象。
X(AGGREGATE(X)∧(X∈D0)=> Y[(Y in LIST(X))=>(Y∈D0)])
定义5 情节 表示多媒体表现环境中所发生的 事件,即媒体对象的活动。
情节可分为原子情节和复合情节,原子情节是由 一个媒体对象连续完成的活动,复合情节是由原 子情节或复合情节经情节运算构造而成。
定义6 设X1、X2为多媒体表现中的2个情节,情节 运算定义为：
(1) 并发运算 X1∧X2, X1∨X2 X1,X2同时开始执行, 都完成时X1∧X2完成(称最后并行)；
(3) 聚集对象的实例由其成分对象的实例构成。 X,Y[(AGGREGATE(X)∧(X∈INSTANCES(Y)))
=> (AGGREGATE(Y)∧(Y∈D0)∧Z[(Z in LIST(X))
=> [(Z in LIST(Y))∧T[(T in LIST(Y))∧Z∈INSTANCES(T)]]])]
表现的一系列媒体对象之间的时序关系的描述。 多媒体同步是指采用进程来协调时序关系的机制,
亦即实现时间合成方法的描述。
多媒体系统数据模型的层次结构
内容 应用层 信息元层 数据元层
表现 脚本同步 合成同步 系统同步
表现模型从“表现”入手, 根据多媒体表现强 烈的时空特性, 往往以时间为线索来组织安排 多媒体活动。
定义7 情节表达式定义为：
(1) 情节本身是情节表达式； (2) 若X为情节表达式, 则X*m,X+m也是情节表达式； (3) 若X1和X2为情节表达式, 则X1∧X2, X1∨X2和X1;X2
运算结果也为情节表达式； (4) 若X为情节表达式, 则(X)也是情节表达式； (5) 情节运算优先级为: ()优先级高, 其余运算优先级相同； (6) 情节表达式所有形式可经(1)-(5)确定的规则复合而成。
第八章 多媒体系统的数据模型
多媒体系统数据模型概述 超文本系统的形式化模型 信息元模型 表现与同步模型
8.1 多媒体系统数据模型概述
数据模型就是在计算机数据世界中建立的计算机能 接受的对现实世界中所要研究对象的抽象描述。
多媒体系统的数据模型的主要任务： 表示各种不同媒体数据构造及其属性特征; 指出不同媒体数据之间的相互关系。
定义9 序列对象Oq是有限个对象的集合, 且有:
(1)谓词SEQUENCE X(SEQUENCE(X) <=> (X∈Oq)); (2)函数LENGTH LENGTH(X)=X中所含对象的个数;
(3)函数LIST LIST(X)=X中对象的一个有序排列, 用 〈X1,X2,…〉表示; (4)谓词in 当对象X是序列Y的一个元素时, in(X,Y)或(X in Y)为真; 如果X不是Y的一个元素,即X不在Y中,则 in(X,Y)为假。
定义8 多媒体节目脚本是一个情节表达式。
时间合成
时 间 关 系 一 般 可 用 before、meets、overlap、 during、starts、finishes 和 equals 及 其 逆 关 系 来 表 示, 共有13种。
X1或X2有一个完成时X1∨X2完成(称首先并行)。 (2) 顺序运算 X1;X2
先执行情节X1,再执行情节X2,X2完成时X1;X2完成。
(3) 循环运算 X*m
循环m(m>1)次执行情节X, X每次执行有不同对象参与。
(4) 重复运算 X+m
重复m(m>1)次执行情节X, X每次执行都同一对象参与。
(3)成分之间的链接描述—基本的链接功能。
信息元的大小就是上述3项内容之和。
信息元的合成主要指多个数据元之间的时空合 成, 亦即时空关系的描述。
面向对象一些特点,如封装、继承、聚合等, 恰 好适合于为复杂多媒体数据和信息提供强有力 的抽象机制。
多媒体信息元模型更是利用了面向对象的方法。
投射器(Projector)对象 基本(Basic)对象 合成(Composite)对象 条件与动作
MHEG的同步机制
(1)脚本同步 (2)条件同步 (3)空间—时间同步 (4)系统同步
8.4 表现与同步模型
表现是把各种媒体信息展示给用户的活动, 是多 媒体数据的合成再现。
定义4 偏序集<S,R>中, S中对象的高度是一个从S 到自然数集合的函数, 其定义为:
(1) 如果X是<S,R>最小元素,则height(X)=1; (2) 如果covers(X,Y,<S,R>),则height(X)=height(Y)+1
定义5 一个超文本η是这样一个集合, 它包括:
定义11 归纳定义为对象集合O中的一种关系.若 GENERALIZATION(X,Y), 则称X是Y的归纳。归纳满足下 述公理：
(1)关系GENERALIZATION是不对称的,非自反的和传递的。
(2)如果X是一信息对象,它是域对象Y的实例,则Y是X的归纳。
(INSTANCEOF(X)=Y) => GENERALIZATION(Y,X) (3)如果X是Y的归纳,并且Y是一个域对象,则X必是域对象。
MHEG标准
由ISO/IEC JTC1/SC29/WG12专家组(MHEG)来制 定超文本信息元标准。
主要集中在以下几个方面:①交互性和多媒体同 步;②实时表示;③实时交换;④对象格式变换 。
分两个部分来完成标准化工作:第一部分是概念/ 原理性定义,第二部分主要是超媒体信息对象及 MHEG链的表示。
定义4 场景表达式 由角色经场景运算而产生的 结果。它可递归定义为:
(1) 角色本身是场景表达式； (2) 若Q为场景表达式,则Q一元运算结果为场景表达式； (3) 若Q1和Q2为场景表达式,则Q1和Q2二元运算结果为场
景表达式； (4) 若Q为场景表达式, 则(Q)也是场景表达式； (5) 场景运算优先级由高到低为：(),一元运算,二元运算； (6) 场景表达式经(1)-(5)确定的规则复合而成。
同步指对多个对象间的时间关系的协调控制,同 步模型是以时间为线索来组织多媒体表现。
同步也是有层次的,一般分为用户级同步、复合 对象内部的同步及系统同步。
8.2 超文本系统的形式化模型
形式化描述就是用数学概念或类数学概念来精确 定义和描述信息系统的基本特性的一种方法。
优点：精确定义和描述; 便于模型性质的分析;有 利于研究新模型; 指导系统实现。
采用面向对象的方法来分析设计模型。
MH对象的分类
输出内容(Output Content)对象 一般输入(Generic Input)对象
(1)按钮(Button) (2)菜单选择(Menu selection) (3)多项选择(Multiple selection) (4)字符串(Character string) (5)位置(Location) (6)数值(Numberical value)
多媒体信息元是具有一定语义的组成信息系统 应用的信息子块
多媒体信息元是一个或多个媒体数据元经过一 定的添加与包装而合成的超数据元
多媒体信息元3个基本特性：
(1)数据元本身的组织附加其表现属性—基本对象的内 容与表现/单媒体对象的表现。
(2)多个数据元的时空同步关系描述—复合对象的同步 /多媒体的同步。
多媒体数据时空关系的建模是多媒体系统研究的重 要特色，这种时空关系主要由多媒体系统表现模型 刻划。
多媒体系统表现模型
多媒体表现是多媒体数据的合成再现。 多媒体合成主要包括空间和时间合成。 空间合成是同一表现空间域中共存的一系列媒体
对象之间的空间特性、位置关系的描述。 时间合成是在某一时间域内并发(包括顺序和并行)
X,Y[(GENERALIZATION(X,Y)∧Y∈D0)=>(X∈D0)]
(4) 如果Y是X的归纳,并且X是一个信息对象,Y是一个域对象, 则X在Y的实例集中。
X,Y[[GENERALIZATION(Y,X)∧(X∈I0)∧(Y∈D0)]=>
(X∈INSTANCES(Y))]
引理1 如果X是Y的归纳并且Ym在Y的实例集中， 则Ym在X的实例集中。
(1) 域对象集D0和信息对象集I0; 且有 D0∩I0 =φ, D0∪I0=O
其中φ为空集, O是对象集。
(2) 谓词集合π;
(3) 属性(性质)集合A。
对超文本η, D0[η]表示η的域对象集, I0[η]表示 η的信息对象集, A[η]表示η中的属性集, π[η] 表示η中的谓词ห้องสมุดไป่ตู้合。
定义6 谓词集合π,由以下3个子集组成:
(1)π1:一元谓词,表示对象的特征。SET(X) (2)π2:二元谓词,表示对象的关系。P(X1,X2) (3)π3:三元谓词,表示对象的某种属性的取值。ATR(X,Y,Z) 定义7 D0是一个表示η的域对象的独有符号的集合, I0是表示 信息对象符号的集合, 集合O=D0∪I0被称为对象集合。 信息对象(I0)与域对象(D0)的关系可以通过函数INSTANCEOF 和INSTANCES来建立。INSTANCEOF(X)=Y表示X是一个信 息对象,它是域对象Y的一个实例。 INSTANCES(X)={X1,X2,…}则等价于INSTANCEOF(X1)=X, INSTANCEOF(X2)=X,…。
空间合成确定各种媒体在画面空间上位置变换 和安排,时间合成确定媒体对象在时间上的顺序
时空合成的概念描述
定义1 角色是多媒体表现环境中的资源, 它分为 视角色和听角色。视角色对应一块显示区域(窗 口), 听角色对应扬声器或声卡(声音通道)。
定义2 场景是各种媒体对象占用角色活动的多媒 体空间表现环境。
定义3 场景运算是对角色施加的操作, 它分为一 元运算和二元运算。
场景运算
场景运算 视角色
听角色
一元运算
定位(Loc), 变比(Scale), 剪裁(Cut), 旋转(Rotate) 增益(Gain)
二元运算
邻接(Abut), 覆盖(Overlay), 镶嵌(Mosaic), 交叠(Overlap) 混声(Mix)
引理2 定义关系
GENERAL(X,Y)=[(X=Y)∨GENERALIZATION(Y,X)]
序偶<O,GENERAL>是一个偏序集。
定义12 一个对象X∈O的归纳级定义为在偏序集 <O,GENERAL>中对象的高度。
8.3 信息元模型
信息元模型考虑的是信息元构造模型, 目的是 提供一个标准, 使“信息元”公共化、通用化, 成为上层各类多媒体应用(或模型)都可“调用” 的东西, 这将会大大方便多媒体数据与信息之 间的交互和通信
定义8 超文本η是一个强定义的超文本, 当且仅当 X(X∈I0) => (Y(INSTANCEOF(X)=Y))
所有的信息对象都通过它们的域对象定义。
信息结点的信息内容由对象的INFO属性表示。 INFO是一个二元组〈Position,Value〉, 其中 Position指明在信息对象中Value的位置。
形式化语言或工具: 如Petri网、时序逻辑语言。 和Z语言。
形式化语言既是正规性语言又是描述性语言,在 软件的系统建模、概念设计中起着重要作用。
集合论和一阶逻辑
定义1 序偶<S,R>, 这里S是一个集合,R是从S到S一种 关系。如果<S,R>满足下列条件称它为偏序集： (1) R是不对称的； (2) R是自反的； (3) R是传递的。
定义2 集合S一个对象x是偏序R的最小元素，如果： s∈S(R(s,x)=>(s=x))
定义3 偏序集<S,R>中, 集合S的元素X覆盖S的元 素Y(≠X)可记为covers(X,Y,<S,R>), 满足：
R(Y,X)∧ Z∈S[(R(Y,Z)∧R(Z,X))=>(Z=X)∨(Z=Y)]
定义10 聚集对象Oaggregate是一个序列对象,且须满足下述公理: (1) 聚集对象具有唯一的成分。 X,Y[AGGREGATE(X)∧AGGREGATE(Y)∧(LIST(X)=LI ST(Y))=>(X=Y)]
(2) 若一聚集对象是域对象,该对象所有成分必是域对象。
X(AGGREGATE(X)∧(X∈D0)=> Y[(Y in LIST(X))=>(Y∈D0)])
定义5 情节 表示多媒体表现环境中所发生的 事件,即媒体对象的活动。
情节可分为原子情节和复合情节,原子情节是由 一个媒体对象连续完成的活动,复合情节是由原 子情节或复合情节经情节运算构造而成。
定义6 设X1、X2为多媒体表现中的2个情节,情节 运算定义为：
(1) 并发运算 X1∧X2, X1∨X2 X1,X2同时开始执行, 都完成时X1∧X2完成(称最后并行)；
(3) 聚集对象的实例由其成分对象的实例构成。 X,Y[(AGGREGATE(X)∧(X∈INSTANCES(Y)))
=> (AGGREGATE(Y)∧(Y∈D0)∧Z[(Z in LIST(X))
=> [(Z in LIST(Y))∧T[(T in LIST(Y))∧Z∈INSTANCES(T)]]])]
表现的一系列媒体对象之间的时序关系的描述。 多媒体同步是指采用进程来协调时序关系的机制,
亦即实现时间合成方法的描述。
多媒体系统数据模型的层次结构
内容 应用层 信息元层 数据元层
表现 脚本同步 合成同步 系统同步
表现模型从“表现”入手, 根据多媒体表现强 烈的时空特性, 往往以时间为线索来组织安排 多媒体活动。
定义7 情节表达式定义为：
(1) 情节本身是情节表达式； (2) 若X为情节表达式, 则X*m,X+m也是情节表达式； (3) 若X1和X2为情节表达式, 则X1∧X2, X1∨X2和X1;X2
运算结果也为情节表达式； (4) 若X为情节表达式, 则(X)也是情节表达式； (5) 情节运算优先级为: ()优先级高, 其余运算优先级相同； (6) 情节表达式所有形式可经(1)-(5)确定的规则复合而成。
第八章 多媒体系统的数据模型
多媒体系统数据模型概述 超文本系统的形式化模型 信息元模型 表现与同步模型
8.1 多媒体系统数据模型概述
数据模型就是在计算机数据世界中建立的计算机能 接受的对现实世界中所要研究对象的抽象描述。
多媒体系统的数据模型的主要任务： 表示各种不同媒体数据构造及其属性特征; 指出不同媒体数据之间的相互关系。
定义9 序列对象Oq是有限个对象的集合, 且有:
(1)谓词SEQUENCE X(SEQUENCE(X) <=> (X∈Oq)); (2)函数LENGTH LENGTH(X)=X中所含对象的个数;
(3)函数LIST LIST(X)=X中对象的一个有序排列, 用 〈X1,X2,…〉表示; (4)谓词in 当对象X是序列Y的一个元素时, in(X,Y)或(X in Y)为真; 如果X不是Y的一个元素,即X不在Y中,则 in(X,Y)为假。
定义8 多媒体节目脚本是一个情节表达式。
时间合成
时 间 关 系 一 般 可 用 before、meets、overlap、 during、starts、finishes 和 equals 及 其 逆 关 系 来 表 示, 共有13种。
X1或X2有一个完成时X1∨X2完成(称首先并行)。 (2) 顺序运算 X1;X2
先执行情节X1,再执行情节X2,X2完成时X1;X2完成。
(3) 循环运算 X*m
循环m(m>1)次执行情节X, X每次执行有不同对象参与。
(4) 重复运算 X+m
重复m(m>1)次执行情节X, X每次执行都同一对象参与。
(3)成分之间的链接描述—基本的链接功能。
信息元的大小就是上述3项内容之和。
信息元的合成主要指多个数据元之间的时空合 成, 亦即时空关系的描述。
面向对象一些特点,如封装、继承、聚合等, 恰 好适合于为复杂多媒体数据和信息提供强有力 的抽象机制。
多媒体信息元模型更是利用了面向对象的方法。
投射器(Projector)对象 基本(Basic)对象 合成(Composite)对象 条件与动作
MHEG的同步机制
(1)脚本同步 (2)条件同步 (3)空间—时间同步 (4)系统同步
8.4 表现与同步模型
表现是把各种媒体信息展示给用户的活动, 是多 媒体数据的合成再现。
定义4 偏序集<S,R>中, S中对象的高度是一个从S 到自然数集合的函数, 其定义为:
(1) 如果X是<S,R>最小元素,则height(X)=1; (2) 如果covers(X,Y,<S,R>),则height(X)=height(Y)+1
定义5 一个超文本η是这样一个集合, 它包括:
定义11 归纳定义为对象集合O中的一种关系.若 GENERALIZATION(X,Y), 则称X是Y的归纳。归纳满足下 述公理：
(1)关系GENERALIZATION是不对称的,非自反的和传递的。
(2)如果X是一信息对象,它是域对象Y的实例,则Y是X的归纳。
(INSTANCEOF(X)=Y) => GENERALIZATION(Y,X) (3)如果X是Y的归纳,并且Y是一个域对象,则X必是域对象。
MHEG标准
由ISO/IEC JTC1/SC29/WG12专家组(MHEG)来制 定超文本信息元标准。
主要集中在以下几个方面:①交互性和多媒体同 步;②实时表示;③实时交换;④对象格式变换 。
分两个部分来完成标准化工作:第一部分是概念/ 原理性定义,第二部分主要是超媒体信息对象及 MHEG链的表示。
定义4 场景表达式 由角色经场景运算而产生的 结果。它可递归定义为:
(1) 角色本身是场景表达式； (2) 若Q为场景表达式,则Q一元运算结果为场景表达式； (3) 若Q1和Q2为场景表达式,则Q1和Q2二元运算结果为场
景表达式； (4) 若Q为场景表达式, 则(Q)也是场景表达式； (5) 场景运算优先级由高到低为：(),一元运算,二元运算； (6) 场景表达式经(1)-(5)确定的规则复合而成。
同步指对多个对象间的时间关系的协调控制,同 步模型是以时间为线索来组织多媒体表现。
同步也是有层次的,一般分为用户级同步、复合 对象内部的同步及系统同步。
8.2 超文本系统的形式化模型
形式化描述就是用数学概念或类数学概念来精确 定义和描述信息系统的基本特性的一种方法。
优点：精确定义和描述; 便于模型性质的分析;有 利于研究新模型; 指导系统实现。
采用面向对象的方法来分析设计模型。
MH对象的分类
输出内容(Output Content)对象 一般输入(Generic Input)对象
(1)按钮(Button) (2)菜单选择(Menu selection) (3)多项选择(Multiple selection) (4)字符串(Character string) (5)位置(Location) (6)数值(Numberical value)
多媒体信息元是具有一定语义的组成信息系统 应用的信息子块
多媒体信息元是一个或多个媒体数据元经过一 定的添加与包装而合成的超数据元
多媒体信息元3个基本特性：
(1)数据元本身的组织附加其表现属性—基本对象的内 容与表现/单媒体对象的表现。
(2)多个数据元的时空同步关系描述—复合对象的同步 /多媒体的同步。
多媒体数据时空关系的建模是多媒体系统研究的重 要特色，这种时空关系主要由多媒体系统表现模型 刻划。
多媒体系统表现模型
多媒体表现是多媒体数据的合成再现。 多媒体合成主要包括空间和时间合成。 空间合成是同一表现空间域中共存的一系列媒体
对象之间的空间特性、位置关系的描述。 时间合成是在某一时间域内并发(包括顺序和并行)
X,Y[(GENERALIZATION(X,Y)∧Y∈D0)=>(X∈D0)]
(4) 如果Y是X的归纳,并且X是一个信息对象,Y是一个域对象, 则X在Y的实例集中。
X,Y[[GENERALIZATION(Y,X)∧(X∈I0)∧(Y∈D0)]=>
(X∈INSTANCES(Y))]
引理1 如果X是Y的归纳并且Ym在Y的实例集中， 则Ym在X的实例集中。
(1) 域对象集D0和信息对象集I0; 且有 D0∩I0 =φ, D0∪I0=O
其中φ为空集, O是对象集。
(2) 谓词集合π;
(3) 属性(性质)集合A。
对超文本η, D0[η]表示η的域对象集, I0[η]表示 η的信息对象集, A[η]表示η中的属性集, π[η] 表示η中的谓词ห้องสมุดไป่ตู้合。
定义6 谓词集合π,由以下3个子集组成:
(1)π1:一元谓词,表示对象的特征。SET(X) (2)π2:二元谓词,表示对象的关系。P(X1,X2) (3)π3:三元谓词,表示对象的某种属性的取值。ATR(X,Y,Z) 定义7 D0是一个表示η的域对象的独有符号的集合, I0是表示 信息对象符号的集合, 集合O=D0∪I0被称为对象集合。 信息对象(I0)与域对象(D0)的关系可以通过函数INSTANCEOF 和INSTANCES来建立。INSTANCEOF(X)=Y表示X是一个信 息对象,它是域对象Y的一个实例。 INSTANCES(X)={X1,X2,…}则等价于INSTANCEOF(X1)=X, INSTANCEOF(X2)=X,…。