第六章 多媒体的时间表示与同步

6.1.2 同步的种类 1．多媒体数据内部约束关系：多媒体数据所包含的各种媒体对 象之间存在着多种相互制约的关系 The inherent dependencies between the information coded in the media objects must be reflected in the integrated processing including storage, manipulation, communication, capturing and, in particalar, the presentation of the media objects. （1）基于内容的约束关系：在用不同的媒体对象代表同一内容 的不同表现形式时，内容与表现形式之间所具有的约束关系。
Байду номын сангаас素决定。
图 H.261 码流中 的LDU 的不同 划分
3.Classification of Logical Data Units (1) For digital video, often the frames are selected as LDUs.
Figure Example of video LDUs
语音 声音 视频 图像 引导音乐 世界报道片头 音乐渐隐 播音员全景 播音员上方的照片 整理讲稿 整理领带 播音员播第一条新闻 时间 记者念的第一条新闻
（播音员）
4．Multimedia Systems
（1）Three criteria for the classification of a multimedia system can be distinguished: the number of media, the types of supported media and the degree of media integration. （2）Combining all three criteria, we propose the following definition of a multimedia system：a system or application that supports the integrated processing of several media types with at least one time-dependent medium. （3）classification of media use in multimedia systems
the LDU hierarchy
（3）Closed LDUs have a predictable duration. Examples are LDUs that are parts of stored media objects of continuous media like audio and video, or stored media objects with a fixed duration. The duration of open LDUs is not predictable before the execution of the presentation. Open LDUs typically represent input from a live source, for example, a camera or a microphone, or media objects that include a user interaction. (4) LDU的划分:由具体的应用、编码方式、数据的存储方式和传输方式等因
(4) Streams are more complex when the LDUs vary in duration.
Figue LDUs of varying duration

An example is the recording of events at a graphical user interface to replay a user interaction. In this case, an LDU is an event with a duration lasting until the next event. The duration of LDUs depends on the user interaction an varies accordingly.
LDUs may be selected by the user.
User-defined LDU duration is the frames of an animation
sequence. For the presentation of a two-second animation sequence, 30 to 60 pictures may be generated depending on the necessary quality. Thus the LDU duration depends on the selected picture rate.
2．Time-dependent Presentation Units 连续数据可以看成是由LDU构成的时间序列（或称为流） （1）Time-dependent media objects usually consist of a sequence of information units. Such information units are known as Logical Data Units (LDUs) （2）There are two kinds of hierarchies. The first is a content hierarchy that is implied by the content of the media object. The second is the coding hierarchy based on the data encoding
（2） 空域约束关系/布局关系(spatial relations& layout relationships）：在多媒体数据显示过程中的某一时刻，不同 媒体对象在输出设备上的空间位臵关系。

结构化文档生成系统中需要解决的首要问题 ODA(Office Document Architecture)：定义结构化文档的国 际标准，后更名为开放性文档结构 采用树状模型对ODA定义的逻辑文档结构和布局文档结构进行 了层次化描述
(2) In the case of the basic physical unit being too small to handle, often LDUs are selected that block the samples into units of a fixed duration. Figure Example of audio LDUs


同步：与统一的时间基准（时钟）相关联的概念。
媒体同步：由多媒体数据所具有的独特特征而引发出的问题 Synchronization in multimedia systems refers to the temporal relation between media objects in the multimedia system. Use Synchronization in multimedia systems as comprising content, spatial and temporal relations between media objects. 内容：媒体对象之间的相关性
time-dependent（media stream） & time-independent media objects（any
kind of traditional media like text and images）
3.多媒体同步或合成（Orchestration）：组织时基的、非 时基的多种媒体序列通过传输、合成并达到某种表现效果。
合成（由计算机完成）
声音、视频信号
动画
静止图像
文本、图形
获取数据和合成数据：随着语音合成技术、OCR等技术的应用，划分的
界线越来越模糊
基于时间的媒体（Time-based Media，时基媒体）或时间依赖媒体
（Time-dependent）：媒体与时间有着强烈的依赖关系，在采样、传 输和回放表现时更需要以时间为参照系进行有序的组织

实时媒体数据：有着严格时间关系的音频、视频等类型的数 据（又称为连续媒体数据）

非实时媒体数据（离散媒体数据或静态媒体数据）：其它类 型的数据。
2．媒体数据的成份：同步的过程与时间有密切的关 系，大多数同步都建立在时间的基础上。
时间敏感性 生成方式 连续媒体（敏感） 静态媒体（不敏感）
获取（源自现实世界）

Temporal relations define the temporal dependencies between media objects.
（4） 总结：时阈特征是最重要的一种，是多媒体数据语义的
重要组成部分。

Content and spatial relations are well-known from publishing and integrated application systems with databases, spreadsheets, graphical tools and word processing systems. The key aspect in multimedia systems is the temporal ralation derived from the integration of time-dependent media objects.
Figure classifies applications according to the three criteria. The arrows indicate the increasing degree of multimedia capability for each criterion.
LDUs are formed comprising 512samples, one sample is coded with one Byte, and hence, each block contains 512 Bytes.
(3) In computer-generated media objects, the duration of
第六章 多媒体的时间表示与同步 6.1 多媒体同步的基本概念 6.1.1 同步的基本概念
1．多媒体数据的特点：
（1） 复合信息的实体； （2） 在计算机的控制之下合成的形成过程
（3） 数字化的方式表示、存储、传输和处理的（描述多媒体 数据的关键之一）
（4） 这种复合的多媒体数据体中至少包含着一种非实时数据 和一种实时数据

（Content relations define a dependency of media objects from
some data.)

多媒体系统需要解决的主要问题：在多媒体数据更新过程中确保不
同媒体对象所含信息的一致性
解决办法：定义原始数据和不同类型媒体之间的转换原则，并由系统完
成对多媒体文档内容的调整
根

叶子：文档内容，属性表明数据的媒体类型 逻辑结构：内容的组织方式 布局结构：各数据之间的空域关系
复合布局结构 图 ODA的布局文档结构 单元 （映射关系、基本布局对象 和复合布局对象） 复合布局结构 复合布局结构 单元 单元
复合布局结构 单元
（3） 时域约束关系：媒体对象在时间上的相对依赖关系
(5) Open LDUs of unpredictable duration are given in the case that the LDU has no inherent duration.