多媒体信息处理

descriptors to be associated with a specific point or range within a media resource. linking back from within a media resource to the anchor.
锚(anchor)必须在一个组件中予以说明，从而允许描述符与媒 体资源中的一个指定点或指定范围相关联，也允许从媒体资 源反向链接到锚。
多媒体技术
2.2 Digital Item Declaration
多媒体技术
Goal
Establish a uniform and flexible abstraction and interoperable schema for defining digital items. 为定义数字项而建立一个统一、灵活的 抽象表示和可互操作的模式。
– 取样声音 , image , video
合成媒体(使用计算机创建的媒体)
– 合成语音, MIDI , graphics , animation
多媒体技术
多媒体系统中听觉媒体的分类
来源
自 然 媒 体
机外形式 语言 语言 语言 语言
空间属性 1D 多维 1D 多维 1D 多维 1D 多维
媒体名称 波形语音 多声道波形语音 波形声音 声道/3D 语音 多声道 音 多声道 语音 MIDI音 音 体声
自 然 媒 体 合 成 媒 体
静止 静止 静止
多媒体技术
自然媒体与合成媒体的区别
自然媒体
来源 表示方法 表现能力 可编辑性 存储 检索 传输 展现 获取 取样表示 真实感强 有限 数据量很大 困难 要求高 处理容易
合成媒体
创建 符号表示 真实感有限 全部 数据量很小 容易 要求低 处理复杂
多媒体技术
元素与相应描述符之间的关系显式地进行定义 Descriptors may be simple statements or full media components.描 述符可以是简单语句也可以是整个媒体组件 Descriptors can be described by other descriptors.描述符也可以由 其它描述符描述 Anchors must be declarable within a component that allow:
多媒体技术
多媒体是信息技术发展的必然趋势
计算机 数值计算 数据处理 图形、图象处理 声音处理 数据通信 视频处理 多媒体 综合业务 (N-ISDN) 通 信 邮政 电报 电话 传真 大众传媒 书，刊，报纸 广播 电影 电视 光盘出版物 网络出版 交互电视
支持宽带综合业务的数据通信网络 信息技术走向汇聚和融合
多媒体技术
举例: MPEG-4的场景说明
MPEG-4 视听场景(audiovisual scenes) 是由若干媒体对 象(media objects)以层次方式组合而成的，最低层的称 为初级(primitive) 媒体对象, 如:
多媒体技术
Digital Item Declaration的需求1
Digital items are open and extensible to any and all media resources types and description schemes.数字项是
开放的，可扩展到所有媒体资源类型和描述模式.
多媒体技术
多媒体信息处理
( Multimedia Computing )
×××××
多媒体技术
内 容
0 Space of Multimedia Computing 1 Media and Multimedia 2 Media Processing
2.1 2.2 2.3 2.4 2.5 Media Food(Value) Chain Digital Item Declaration Multimedia Content Representation(coding) Digital Item Identification and Description Content Management and Usage
合 成 媒 体
语言 语言 音 音
多媒体技术
多媒体系统中视觉媒体的分类
来源 机外形式 时间 空间属性
文字 图画 图画 图画 图画 文字 图画 图画 图画 图画 静止 静止 静止 2D 2D 3D 2D 3D 2D 2D 3D 2D 3D
媒体名称
取样文本 取样图像（image） 全景图像 视 （video） 视 文本（ 称文本） 图形 图形 画 画
开放和可扩展的方式进行.
多媒体技术
Digital Item Declaration的需求2
Digital items explicitly define the relationships between elements and their corresponding descriptors.数字项对其
多媒体技术
表示媒体的空间属性
1D媒体
– 单声道speech , music ,
2D媒体
– 双声道music ; text , image , 2D graphics ,
3D及多维媒体
– 3D graphics , 全景图像 , 空间立体声music ,
多媒体技术
表示媒体的生成属性
自然媒体(使用数字化方法从现实世界获 取的媒体)
3 Networked Multimedia Applications
多媒体技术
0 多媒体信息处理空间
应用模式 离散媒体： text, image,… 连续媒体： audio, video, ... 网络应 用模式 单机应 用模式
以文本为主 以音频为主 以视(音)频为主
获 取 明 码 创 建 ) ( 说 编 辑 理 编 管 描 述 索 输 现 检 传 展
类 型 视觉媒体
听觉媒体
触觉媒体 嗅觉媒体 味觉媒体
力,运动,温度 气味 滋味
多媒体技术
表示媒体的时间属性
time-independent ( discrete ) media（离散 媒体，值不会随着时间而变化） – text , graphics , static image, …. time-dependent ( continuous ) media （连续 媒体，值随着时间而变化） – speech , music , video , animation, ….
1.3 多媒体
多媒体强调的是使用多种媒体、综合表达 信息内容并进行交互式处理的技术。从本质 上来说，它具有三种最重要的特性：
1 媒体的多样性，其中至少有一种连续媒体； 2 媒体的集成性（综合性），多种不同媒体综合地 表现某个内容，取得更好的效果； 3 处理的交互性，使人们获取和使用信息的过程中 具有细粒度的控制和操纵能力。
媒体处理
媒体类型
多媒体技术
多媒体信息处理的总目标
To enable transparent and augmented use of multimedia resources across a wide range of networks and devices. 使能跨越各种不同网络和设备, 透明地、 强化地使用多媒体资源。
多媒体技术
Digital Item Declaration的需求
An individual element may be referenced by multiple locations within a digital item. 一个元素可以被数字项中的
多个地方引用.
To enable applications to correctly manipulate and validate digital items.能使应用程序正确操纵和验证数字项. Identification and revision of digital items and their components must be supportable in an open and extensible manner.对数字项及其组件的标识和修改必须以
多媒体技术
1 Media and Multimedia
多媒体技术
1.1 计算机与媒体
媒体又称媒介、媒质，指的是用于表示、存 储、分发、传输和展现数据(信息) 的手段、 方法、工具、设备或装置。 ( In general, one describes medium as a means for representation, storage, distribution, transmission and presentation of data. )
多媒体技术
计算机与媒体
表示媒体 展现媒体 感觉 媒体 展现媒体
Input Device
CPU
Output Device
感觉 媒体
表示媒体
Storage
存储媒体 传输 媒体
多媒体技术
1.2 感觉媒体与表示媒体
感觉媒体是人与人、人与计算机交换信 息所使用的媒体； 表示媒体是计算机内部、计算机与计算 机之间交换信息所使用的媒体； 多媒体技术所指的媒体是：感觉媒体及 其相应的表示媒体。
多媒体技术
媒体食物(价值)链
媒体消费
媒体 准备 媒体 准备 媒体 准备 媒体 准备 媒体 编辑 媒体 编辑 媒体 编辑 媒体 编辑
文本 媒体通信 图像
媒 体 展 现
网络 媒体 集成
多媒体作 品(文档)
音频
内容 (content)
视频 数字项 (digital item)
媒体 展现
媒体消费
多媒体技术
多媒体技术
Current Situation
目前还没有数字项的标准模型或表示方法: – 没有一种能适合任何场合中说明各种各样内 容的通用的、灵活的、可以互操作的解决方 案, , – 也没有一个能将任何种类媒体资源同各种类 型媒体描述信息链接在一起的统一的方法。 由于数字项的概念是建立在显式地描述媒体数 据与描述数据之间关系的想法之上，这就严重 限制了标准模型或表示的存在。
多媒体技术
感觉媒体
名称 景象 分类 文字 景象 声音 语言 声音
表示媒体举例
时间属性/空间属性 生成属性 时间属性 空间属性/生成属性 空间属性 图象（image） 图形（graphics） 文本（text） text 视频（video） 动画（animation） 波形声音(wave) 合成语音 MIDI音乐(MIDI) MP3音乐
Composite items can be constructed from other items, without losing the structure and properties of the subitems. 复合项由子项组合而成,子项的结构和性质不丢失. Multiple composite items may share individual elements.多个复合项可以共享单个元素.
多媒体(内容)处理的7要素
1 数字项目说明(Digital Item Declaration) 2 内容表示(Content Representation) 3 数字项目的标识与描述(Digital Item Identification and Description) 4 内容管理与使用(Content Management and Usage) 5 知 识 产 权 管 理 与 保 护 ( Inte11ectual Property Management and Protection) 6 内容发送与终端及网络(Terminals and Networks) 7 事件报告(Event Reporting)。
多媒体技术
2 Media Processing
多媒体技术
2.1 媒体食物(价值ຫໍສະໝຸດ Baidu链
多媒体技术
媒体处理内容
对媒体进行的各种处理：
– 媒体准备(media preparation) 媒体获取/媒体创建 – 媒体编辑(media editing) – 媒体集成/组合(media integration / composition) 结构描述、特征描述、应用描述…. – 媒体通信/发送(media communication / delivery) – 媒体消费(media consumption) 媒体转换(码)，展现, 浏览, 检索，…..