多媒体计算机技术-2

•
媒体食物(价值)链
媒体消费
媒体 准备 媒体 准备 媒体 准备 媒体 准备 媒体 编辑 媒体 编辑 媒体 编辑 媒体 编辑
返回
媒 体 显 示
文本 媒体通信 图像
网络 媒体 集成
多媒体作 品(文档)
音频
内容 (content)
视频 数字项 (digital item)
媒体 显示
媒体消费
几种媒体的关系
多核处理器
• 从理论上讲，由于将两个或多个运算核封装 在一个芯片内部，首先节省了大量的晶体管 和封装成本（CPU的核很小，将多个核封装在 一起给外形尺寸带来的变化并不显著），同 时还能显著提高处理器的性能。 • 多核处理器对外的“界面”还是统一的（有 的多核产品甚至不会改变针脚数），所以整 个计算机系统需要为此做出的改变就很有限， 这意味着用户不会在主板、硬件体系方面做 大的改变，从兼容性和系统升级成本方面来 考虑有诸多的优势
CD-ROM
150kB/s 最大寻址时间1s 8bit数字声音 8个合成音 MIDI 640×480 16色 30MB MIDI I/O,摇杆端 口，串并联端口
声卡
显示 硬盘容量 彩色视频播放 输入输出端口
MIDI I/O,摇杆端 MIDI I/O,摇杆端 口，串并联端口 口，串并联端口
多媒体的软硬件平台
思 考 题
• 多媒体技术的应用
• 多媒体技术促进了计算机、通讯和大众媒体的融合
媒体的定义和分类
• 什么是媒体？ ？ 媒体（Medium）在计算机领域中有两种含义，一 是指用以存储信息的实体，如磁盘、磁带、光盘和 半导体存储器；一是指信息的载体，如数字、文字、 声音、图形图像和视频等。 CCITT曾给媒体做了如下的分类：
表示媒体的空间属性
• 1D媒体
– 单声道speech , music ,
• 2D媒体
– 双声道music ; text , image , 2D graphics ,
• 3D及多维媒体
– 3D graphics , 全景图像 , 空间立体声music ,
表示媒体的生成属性
• 自然媒体(使用数字化方法从现实世界 获取的媒体)
返回
• 软件及硬件平台是实现多媒体系统的物质基础，其中每一项重 要的技术突破都直接影响到多媒体的发展与应用的进程。
视频信号I/O接口卡 音频信号I/O接口板 多媒体硬件 视频、音频压缩解压缩 视频、音频信号实时处理 在初始化引导程序作用下把它安装到系统RAM 中常驻内存。一个驱动器对应一种硬件设备的接 口。
多媒体计算机技术 及其发展历史
• 1987年，RCA公司推出了交互式数字视频系 统DVI(Digital Video Interactive)，以计算机为 基础，使用标准光盘来存储、检索多媒体数 据； • 1989年IBM公司推出AVC系统(Audio Visual Connection)，提供了多媒体编辑功能; • 1990年Philips等十多家厂商成立了多媒体市 场协会，并制定了MPC(多媒体计算机)的市场 标准MPC1
多核处理器
• 目前最快的PC处理器上晶体管的数目 已经达到了5500万个，保守一点估计， 到2007年一个处理器将集成10亿只晶 体管（频率大约是6GHz）。 • 巨大的晶体管数量意味着巨大的能耗， 随之而来的散热问题也日益凸显。 • 毫无疑问，工艺的提升有助于部分地 解决散热问题，但生产工艺提升本身 就是一个耗资巨大（一条0.18微米的 生产线造价大约是20亿美元）的工程
驱动软件(Driver)
驱动器接口模板
视频/音频支撑系统 或视频/音频核心部件
多媒体计算机的核心软件
专用芯片
• 数字化后的音频和视频数据量非常大，因此 必须进行压缩并需要大容量的存储器；音频 和视频的输入和输出是实时的，需要高速度。 要实现以上最基本的要求，在很多情况下， 需要专用硬件支持。 • 多媒体计算机专用芯片可归纳为两种类型： 一种是固定功能的芯片；一种是可编程的处 理器 • 片上系统(System on a chip,SOC)适应了人们对 于提高性能、缩小尺寸、降低能耗、快速上 市和降低成本等诸多方面的需求
交Baidu Nhomakorabea性
返回
• 这是人们获取和使信息变被动为主动的 最为重要的特征。 • 多媒体信息空间中的交互性向用户提供 更加有效地控制和使用信息的手段，同 时也为应用开辟了更广阔的领域，交互 可以增加对信息的注意和理解，延长保 留的时间。
多媒体信息处理的总目标
返回
• 使能跨越各种不同网络和设备, 透明地、 强化地使用多媒体资源。
MPC2 4MB 25 MHz 486SX 300kB/s 最大寻址时间 400ms CD-ROM XA 16bit数字声音 8个合成音 MIDI 640×480 65536色 160MB -
MPC3 8MB 75 MHz Pentium 同等级X86 600kB/s 最大寻址时间 200ms CD-ROM XA 8bit数字声音 Wavetable(波表) MIDI 640×480 65536色 540MB 352×240 30fps
专用芯片
•
返回
•
•
NEC公司称其已开发出了一种用于图像识别的单芯 片并行处理器。这种处理器每秒能处理50.2G(1G＝ 10亿)条指令。这一速度是3GHz的PC处理器的4倍， 能耗却只有1/10 这个由3270万个晶体管构成的芯片由一个128个8位 RISC处理单元和一个用于控制功能的16位处理器并 行构成。每个处理单元只有100MHz的工作频率，从 而大幅降低了能耗，其每个处理单元都拥有2KB的 存储空间，用于存储图像数据 这个处理器的功耗相当于PDA的处理器、图形处理 性能相当于4台PC，而尺寸却只有11×11毫米
表示媒体 显示媒体 感觉 媒体 显示媒体
Input Device
CPU
Output Device
感觉 媒体
表示媒体
Storage
存储媒体 传输 媒体
感觉媒体
感觉媒体是指能直接作用于人的感 官，使人能直接产生感觉的一类媒体。 感觉媒体有人类的各种语言、音乐，自 然界的各种声音、图形、静止和运动的 图像等。
– 取样声音 , image , video
• 合成媒体(使用计算机创建的媒体)
– 合成语音, MIDI , graphics , animation
返回
自然媒体与合成媒体的区别
自然媒体
来源 表示方法 表现能力 可编辑性 存储 检索 传输 展现 获取 取样表示 真实感强 有限 数据量很大 困难 要求高 处理容易
多媒体计算机技术 及其发展历史
返回
• 1993年5月MPC联盟又制定了第二代多媒 体计算机标准－MPC2，主要是提高了基 本部件的性能指标 • 1995年6月制定了MPC第三代的标准。增 加了全屏幕、全动态(30帧/秒)视频及 增强版CD音质的视频和音频硬件标准
返回
项目 RAM 运算处理器
MPC1 2MB 16MHz 386SX
表示媒体举例
时间属性/空间属性 生成属性 时间属性 空间属性/生成属性 空间属性 图象（image） 图形（graphics） 文本（text） text 视频（video） 动画（animation） 波形声音(wave) 合成语音 MIDI音乐(MIDI) MP3音乐
表示媒体的时间属性
• time-independent ( discrete ) media（离 散媒体，值不会随着时间而变化） – text , graphics , static image, …. • time-dependent ( continuous ) media （连 续媒体，值随着时间而变化） – speech , music , video , animation, ….
感觉媒体（ Medium） 感觉媒体（Perception Medium） 表示媒体（ Medium） 表示媒体（Representation Medium） 显示媒体（ Medium） 显示媒体（Presentation Medium） 存储媒体（ Medium） 存储媒体（Storage Medium） 传输媒体（ Medium） 传输媒体（Transmission Medium）
合成媒体
创建 符号表示 真实感有限 全部 数据量很小 容易 要求低 处理复杂
显示媒体
返回
显示媒体是指感觉媒体与用于通信 的电信号之间转换用的一类媒体。它包 括输入显示媒体（如键盘、摄像机、话 筒等）和输出显示媒体（如显示器、喇 叭和打印机等）。
存储媒体
返回
存储媒体是用来存放表示媒体，以 方便计算机处理加工和调用，这类媒体 主要是指与计算机相关的外部存储设备。
多核处理器
• 双核或多核处理器早已有之，SOC、多媒体、 网络等一些嵌入式处理器中都采用了多核技 术 • IBM Power 4处理器一样，将两颗完全一样的 处理器封装在一个芯片内，达到双倍或接近 双倍的处理性能，由于共享了缓存和系统总 线，因此这种做法的优点是能节省运算资源。 而Sun公司明年即将发布的双核处理器Ultra SPARC IV则将两颗处理器集成在一个硅片上， 这样封装面积更小，相对功耗也更低
集成性
返回
• 这不仅是指多媒体设备集成，而且也包含多 媒体信息集成或表现集成。 • 早期的各项技术都可以单一使用和应用，但 很难有大的作为，因为它们是单一的、零散 的，如声音、图像和交互式技术等。 • 信息空间的不完整（例如，仅有静态图像而 无动态视频、仅有声音而无图形等）都限制 了信息空间中的信息组织，也就限制了信息 的有效使用。
多媒体计算机技术
第一章 多媒体技术概述
• 多媒体技术基本概念
– 媒体的定义和分类 – 多媒体的定义和特征 – 多媒体信息处理的总目标
• 多媒体计算机技术及其发展历史 • 多媒体技术的主要内容
– 多媒体的软硬件平台 – 专用芯片 – 多核处理器 – 数据压缩及编码技术 – 多媒体同步 –多媒体网络与分布式处理技术 –信息的组织与管理 –多媒体数据存储 –虚拟现实技术 –人机界面技术 –高速多媒体通信技术
多媒体的特征
返回
多媒体从本质上来说具有三个最重 要的特征:
-- 多维化 -- 集成性 -- 交互性
除了以上三个特征，实际上多媒体 还具有很多其它的特征，例如实时性， 它主要指类似声音和视频这样的媒体， 它们具有很强的时间相关性。
多维化
返回
• 多维化是指信息媒体的多样化。它使人 们思想的表达不再限于顺序的、单调的、 狭小的范围内，而有充分自由的余地。 • 多媒体信息多维化不仅是指输入，而且 还指输出，目前主要包括听觉和视觉两 个方面。
传输媒体
返回
传输媒体是用来将媒体从一个地方 传送到另一个地方的物理载体。传输媒 体是通信的信息载体，如双绞线、同轴 电缆、光纤等。
多媒体的定义
• “多媒体”译自20世纪80年代初产生的英文词 “multimedia”，最早出现于美国麻省理工学 院(MIT)递交给国防部的一个项目计划报告中。 • 多媒体是指信息表示媒体的多样化，常见的 多媒体有文字、图形、图像、声音、音乐、 视频、动画等多种形式。 • 多媒体技术是利用计算机技术把文本、声音、 视频、动画、图形和图像等多种媒体进行综 合处理，使多种信息之间建立逻辑连接，集 成为一个完整的系统。
多媒体信息处理空间
应用模式 离散媒体： text, image,… 连续媒体： audio, video, ... 网络应 用模式 单机应 用模式
获 取 明 码 创 建 ) ( 说 编 辑 理 编 管 描 述 索 输 现 检 传 展
返回
媒体处理
媒体类型
多媒体计算机技术 及其发展历史
• 1984年Apple公司在苹果机Macintosh(也称为 Mac)上引入了位图(Bitmap)概念进行图形处理， 并使用了窗口(Windows)和图标(Icon)作为用 户界面，标志了多媒体及多媒体技术的产生 和应用。 • 1986年，Philips公司和Sony公司联合推出了交 互式紧凑光盘系统CD-I（Compact Disc Interactive），能够将声音、文字、图形图像 等多媒体信息数字化并存储到光盘片上
感觉媒体
类 型 视觉媒体 名称 景象 分类` 分类 文字 景象 声音 语言 声音
听觉媒体
触觉媒体 嗅觉媒体 味觉媒体
力,运动,温度 气味 滋味
表示媒体
表示媒体是为了加工、处理和传输 感觉媒体而人为地研究、构造出来的一 种媒体。其目的是能将感觉媒体从一个 地方向另一个地方传送，以便于加工和 处理。表示媒体有各种编码方式如语音 编码、文本编码、静止和运动图像编码 等。