多媒体信息处理

媒体类型
多媒体技术ቤተ መጻሕፍቲ ባይዱ
多媒体信息处理的总目标
• To enable transparent and augmented use of multimedia resources across a wide range of networks and devices.
• 使能跨越各种不同网络和设备, 透明地、 强化地使用多媒体资源。
多媒体技术
计算机与媒体
展现媒体
感觉 Input 媒体 Device
表示媒体
CPU
展现媒体
Output 感觉 Device 媒体
表示媒体
Storage
存储媒体
传输 媒体
多媒体技术
1.2 感觉媒体与表示媒体
• 感觉媒体是人与人、人与计算机交换信 息所使用的媒体；
• 表示媒体是计算机内部、计算机与计算 机之间交换信息所使用的媒体；
电话
电影
传真
数据通信
综合业务 (N-ISDN)
电视 光盘出版物 网络出版 交互电视
支持宽带综合业务的数据通信网络 信息技术走向汇聚和融合
多媒体技术
2 Media Processing
多媒体技术
来源 表示方法 表现能力 可编辑性 存储 检索 传输 展现
自然媒体
获取 取样表示 真实感强 有限 数据量很大 困难 要求高 处理容易
合成媒体
创建 符号表示 真实感有限 全部 数据量很小 容易 要求低 处理复杂
多媒体技术
1.3 多媒体
多媒体强调的是使用多种媒体、综合表达 信息内容并进行交互式处理的技术。从本质 上来说，它具有三种最重要的特性：
多媒体技术
1 Media and Multimedia
多媒体技术
1.1 计算机与媒体
• 媒体又称媒介、媒质，指的是用于表示、存 储、分发、传输和展现数据(信息) 的手段、 方法、工具、设备或装置。 ( In general, one describes medium as a means for representation, storage, distribution, transmission and presentation of data. )
多媒体技术
表示媒体的时间属性
• time-independent ( discrete ) media（离散
媒体，值不会随着时间而变化）
– text , graphics , static image, …. • time-dependent ( continuous ) media （连续
媒体，值随着时间而变化）
多媒体技术
表示媒体的生成属性
• 自然媒体(使用数字化方法从现实世界获 取的媒体)
– 取样声音 , image , video
• 合成媒体(使用计算机创建的媒体)
– 合成语音, MIDI , graphics , animation
多媒体技术
多媒体系统中听觉媒体的分类
自然媒体 合成媒体
来源
机外形式 语言 语言 非语言 非语言 语言 语言 音乐 音乐
多媒体技术
多媒体信息处理
( Multimedia Computing )
×××××
多媒体技术
内容
0 Space of Multimedia Computing 1 Media and Multimedia 2 Media Processing
2.1 Media Food(Value) Chain 2.2 Digital Item Declaration 2.3 Multimedia Content Representation(coding) 2.4 Digital Item Identification and Description 2.5 Content Management and Usage
时间 空间属性
静止 2D 静止 2D 静止 3D 活动 2D 活动 3D 静止 2D 静止 2D 静止 3D 活动 2D 活动 3D
媒体名称
取样文本 取样图像（image） 全景图像 视频（video） 临境视频 编码文本（简称文本） 二维图形 三维图形 二维动画 三维动画
多媒体技术
自然媒体与合成媒体的区别
1 媒体的多样性，其中至少有一种连续媒体；
2 媒体的集成性（综合性），多种不同媒体综合地 表现某个内容，取得更好的效果；
3 处理的交互性，使人们获取和使用信息的过程中 具有细粒度的控制和操纵能力。
多媒体技术
多媒体是信息技术发展的必然趋势
计算机
通信
大众传媒
数值计算
邮政
书，刊，报纸
数据处理
电报
广播
图形、图象处理 声音处理 视频处理 多媒体
空间属性
1D 多维 1D 多维 1D 多维 1D 多维
媒体名称 波形语音 多声道波形语音 波形声音 双声道/3D立体声 合成语音 多声道合成语音 合成音乐（MIDI音乐） 多声道合成音乐
多媒体技术
多媒体系统中视觉媒体的分类
自然媒体 合成媒体
来源
机外形式
文字 图画 图画 图画 图画 文字 图画 图画 图画 图画
• 多媒体技术所指的媒体是：感觉媒体及 其相应的表示媒体。
多媒体技术
感觉媒体
类型 视觉媒体 听觉媒体
名称 景象 声音
分类 文字 景象 语言 声音
触觉媒体 嗅觉媒体 味觉媒体
力,运动,温度 气味 滋味
表示媒体举例
时间属性/空间属性/生成属性
图象（image） 图形（graphics） 文本（text） 视频（video） 动画（animation） 波形声音(wave) 合成语音 MIDI音乐(MIDI) MP3音乐
3 Networked Multimedia Applications
多媒体技术
0 多媒体信息处理空间 应用模式
离散媒体： text, image,… 连续媒体：
audio, video, ...
网络应 用模式
单机应 用模式
•以文本为主 •以音频为主 •以视(音)频为主
媒体处理
展现
传输 检索 描述 管理 编辑 编码 说明 获取(创建)
– speech , music , video , animation, ….
多媒体技术
表示媒体的空间属性
• 1D媒体
– 单声道speech , music ,
• 2D媒体
– 双声道music ; text , image , 2D graphics ,
• 3D及多维媒体
– 3D graphics , 全景图像 , 空间立体声music ,