最新多媒体计算机技术2ppt课件

多维化 返回
• 多维化是指信息媒体的多样化。它使人 们思想的表达不再限于顺序的、单调的、 狭小的范围内，而有充分自由的余地。
• 多媒体信息多维化不仅是指输入，而且 还指输出，目前主要包括听觉和视觉两 个方面。
集成性 返回
• 这不仅是指多媒体设备集成，而且也包含多 媒体信息集成或表现集成。
• 早期的各项技术都可以单一使用和应用，但 很难有大的作为，因为它们是单一的、零散 的，如声音、图像和交互式技术等。
MIDI 640×480 65536色
160MB -
返回
MPC3
8MB 75 MHz Pentium
同等级X86 600kB/s 最大寻址时间 200ms CD-ROM XA 8bit数字声音 Wavetable(波表)
MIDI 640×480 65536色
540MB 352×240 30fps
输入输出端口
MIDI I/O,摇杆端 口，串并联端口
MIDI I/O,摇杆端 MIDI I/O,摇杆端 口，串并联端口 口，串并联端口
多媒体的软硬件平台
返回
• 软件及硬件平台是实现多媒体系统的物质基础，其中每一项重 要的技术突破都直接影响到多媒体的发展与应用的进程。
视频信号I/O接口卡
多媒体硬件
音频信号I/O接口板 视频、音频压缩解压缩
数据压缩及编码技术
• 多媒体系统要求具有综合处理声、图、文的 能力，面临的主要问题是巨大的数据量，尤 其是对动态图形和视频图像
多媒体信源引起了“数据爆炸”
如果不进行数据压缩
多媒体 数据
传输和存储都难以实用化
1分钟数字音频信号需要的存储空间
数字音 频格式 电话
会议电 视伴音 CD-DA
DAT
数字音 频广播
• 多媒体技术促进了计算机、通讯和大众媒体的融合
表示媒体举例
时间属性/空间属性/生成属性
图象（image） 图形（graphics） 文本（text） 视频（video） 动画（animation） 波形声音(wave) 合成语音 MIDI音乐(MIDI) MP3音乐
表示媒体的时间属性
多核处理器
• 从理论上讲，由于将两个或多个运算核封装 在一个芯片内部，首先节省了大量的晶体管 和封装成本（CPU的核很小，将多个核封装在 一起给外形尺寸带来的变化并不显著），同 时还能显著提高处理器的性能。
• 多核处理器对外的“界面”还是统一的（有 的多核产品甚至不会改变针脚数），所以整 个计算机系统需要为此做出的改变就很有限， 这意味着用户不会在主板、硬件体系方面做 大的改变，从兼容性和系统升级成本方面来 考虑有诸多的优势
• 1990年Philips等十多家厂商成立了多媒体市 场协会，并制定了MPC(多媒体计算机)的市场 标准MPC1
多媒体计算机技术
及其发展历史
返回
• 1993年5月MPC联盟又制定了第二代多媒 体计算机标准－MPC2，主要是提高了基 本部件的性能指标
• 1995年6月制定了MPC第三代的标准。增 加了全屏幕、全动态(30帧/秒)视频及 增强版CD音质的视频和音频硬件标准
项目 RAM
运算处理器
MPC1 2MB
16MHz 386SX
CD-ROM
150kB/s 最大寻址时间1s
声卡
显示 硬盘容量 彩色视频播放
8bit数字声音 8个合成音 MIDI 640×480 16色 30MB -
MPC2 4MB
25 MHz 486SX
300kB/s 最大寻址时间
400ms CD-ROM XA 16bit数字声音 8个合成音
多核处理器
• 目前最快的PC处理器上晶体管的数目 已经达到了5500万个，保守一点估计， 到2007年一个处理器将集成10亿只晶 体管（频率大约是6GHz）。
• 巨大的晶体管数量意味着巨大的能耗， 随之而来的散热问题也日益凸显。
• 毫无疑问，工艺的提升有助于部分地 解决散热问题，但生产工艺提升本身 就是一个耗资巨大（一条0.18微米的 生产线造价大约是20亿美元）的工程
多核处理器
返回
• 采用0.13微米工艺的Madison芯片面积将 降低到200～300mm2之间；到2004年采 用0.09微米工艺的第五代安腾处理器 Montecito的产品面积可能会进一步降低 到150mm2；直到2005年65纳米工艺诞 生，IA64处理器的大小可能会降低到 100mm2以下，届时，这些技术进展会 为Intel多核处理器的诞生打下坚实的基 础
1620
576×25
HDTV
1280×720
亮度信号
×60
60
8
3600
数据压缩的好处 返回
✓ 时间域压缩──迅速传输媒体信源 ✓ 频率域压缩──并行开通更多业务 ✓ 空间域压缩──降低存储费用 ✓ 能量域压缩──降低发射功率
多媒体计算机技术 及其发展历史
• 1987年，RCA公司推出了交互式数字视频系 统DVI(Digital Video Interactive)，以计算机为 基础，使用标准光盘来存储、检索多媒体数 据；
• 1989年IBM公司推出AVC系统(Audio Visual Connection)，提供了多媒体编辑功能;
合成媒体
创建 符号表示 真实感有限 全部 数据量很小 容易 要求低 处理复杂
显示媒体
返回
显示媒体是指感觉媒体与用于通信 的电信号之间转换用的一类媒体。它包 括输入显示媒体（如键盘、摄像机、话 筒等）和输出显示媒体（如显示器、喇 叭和打印机等）。
存储媒体
返回
存储媒体是用来存放表示媒体，以 方便计算机处理加工和调用，这类媒体 主要是指与计算机相关的外部存储设备。
多核处理器
• 双核或多核处理器早已有之，SOC、多媒体、 网络等一些嵌入式处理器中都采用了多核技 术
• IBM Power 4处理器一样，将两颗完全一样的 处理器封装在一个芯片内，达到双倍或接近 双倍的处理性能，由于共享了缓存和系统总 线，因此这种做法的优点是能节省运算资源。 而Sun公司明年即将发布的双核处理器Ultra SPARC IV则将两颗处理器集成在一个硅片上， 这样封装面积更小，相对功耗也更低
数字电视 空间×时间 取样率
格 式 ×分辨率
(MHz)
量化位数
存储容量 (MB)
公用中间 352×288
格式（CIF）
×30
亮度 3； 亮度、色差
4:1:1
共 12
270
PAL720×
CCIR 601 480× 30 亮 度 13.5 亮 度 、色 差
1620
号建议 NTSC720× 4:2:2
共 16
传输媒体
返回
传输媒体是用来将媒体从一个地方 传送到另一个地方的物理载体。传输媒 体是通信的信息载体，如双绞线、同轴 电缆、光纤等。
多媒体的定义
• “多媒体”译自20世纪80年代初产生的英文 词“multimedia”，最早出现于美国麻省理 工学院(MIT)递交给国防部的一个项目计划报 告中。
• 多媒体是指信息表示媒体的多样化，常见的 多媒体有文字、图形、图像、声音、音乐、 视频、动画等多种形式。
创 建
媒体处理
()
媒体类型
多媒体计算机技术 及其发展历史
• 1984年Apple公司在苹果机Macintosh(也称为 Mac)上引入了位图(Bitmap)概念进行图形处理， 并使用了窗口(Windows)和图标(Icon)作为用 户界面，标志了多媒体及多媒体技术的产生 和应用。
• 1986年，Philips公司和Sony公司联合推出了交 互式紧凑光盘系统CD-I（Compact Disc Interactive），能够将声音、文字、图形图像 等多媒体信息数字化并存储到光盘片上
第一章 多媒体技术概述
• 多媒体技术基本概念
– 媒体的定义和分类
– 多媒体的定义和特征 – 多媒体信息处理的总目标
思
• 多媒体计算机技术及其发展历史
考 题
• 多媒体技术的主要内容
– 多媒体的软硬件平台 – 专用芯片 – 多核处理器 – 数据压缩及编码技术 – 多媒体同步
• 多媒体技术的应用
–多媒体网络与分布式处理技术 –信息的组织与管理 –多媒体数据存储 –虚拟现实技术 –人机界面技术 –高速多媒体通信技术
• 信息空间的不完整（例如，仅有静态图像而 无动态视频、仅有声音而无图形等）都限制 了信息空间中的信息组织，也就限制了信息 的有效使用。
交互性 返回
• 这是人们获取和使信息变被动为主动的 最为重要的特征。
• 多媒体信息空间中的交互性向用户提供 更加有效地控制和使用信息的手段，同 时也为应用开辟了更广阔的领域，交互 可以增加对信息的注意和理解，延长保 留的时间。
• 多媒体计算机专用芯片可归纳为两种类型： 一种是固定功能的芯片；一种是可编程的处 理器
• 片上系统(System on a chip,SOC)适应了人们对 于提高性能、缩小尺寸、降低能耗、快速上 市和降低成本等诸多方面的需求
专用芯片
返回
• NEC公司称其已开发出了一种用于图像识别的单芯 片并行处理器。这种处理器每秒能处理50.2G(1G＝ 10亿)条指令。这一速度是3GHz的PC处理器的4倍， 能耗却只有1/10
表示媒体的空间属性
• 1D媒体
– 单声道speech , music ,
• 2D媒体
– 双声道music ; text , image , 2D graphics ,
• 3D及多维媒体
– 3D graphics , 全景图像 , 空间立体声music ,
表示媒体的生成属性
• 自然媒体(使用数字化方法从现实世界 获取的媒体)
– 取样声音 , image , video
• 合成媒体(使用计算机创建的媒体)
– 合成语音, MIDI , graphics , animation
返回
自然媒体与合成媒体的区别
来源 表示方法 表现能力 可编辑性 存储 检索 传输 展现
自然媒体
获取 取样表示 真实感强 有限 数据量很大 困难 要求高 处理容易
驱动软件(Driver)
视频、音频信号实时处理
在初始化引导程序作用下把它安装到系统RAM 中常驻内存。一个驱动器对应一种硬件设备的接 口。
驱动器接口模板
视频/音频支撑系统 或视频/音频核心部件
多媒体计算机的核心软件
专用芯片
• 数字化后的音频和视频数据量非常大，因此 必须进行压缩并需要大容量的存储器；音频 和视频的输入和输出是实时的，需要高速度。 要实现以上最基本的要求，在很多情况下， 需要专用硬件支持。
• 这个由3270万个晶体管构成的芯片由一个128个8位 RISC处理单元和一个用于控制功能的16位处理器并 行构成。每个处理单元只有100MHz的工作频率，从 而大幅降低了能耗，其每个处理单元都拥有2KB的 存储空间，用于存储图像数据
• 这个处理器的功耗相当于PDA的处理器、图形处理 性能相当于4台PC，而尺寸却只有11×11毫米
• 多媒体技术是利用计算机技术把文本、声音、 视频、动画、图形和图像等多种媒体进行综 合处理，使多种信息之间建立逻辑连接，集 成为一个完整的系统。
多媒体的特征
返回
多媒体从本质上来说具有三个最重 要的特征:-Βιβλιοθήκη 多维化 -- 集成性 -- 交互性
除了以上三个特征，实际上多媒体 还具有很多其它的特征，例如实时性， 它主要指类似声音和视频这样的媒体， 它们具有很强的时间相关性。
频带 (Hz)
200~3400
50~7000 20~20000 20~20000
20~20000
带宽 (KHz)
3.2
7 20 20
20
取样率 (KHz)
8
16 44.1
48
48
量化 存储容 位数 量 (MB)
8
0.48
14
1.68
16 5.292× 2
16 5.76× 2
16 5.76× 6
1 分钟数字视频信号需要的存储空间
多媒体信息处理的总目标
返回
• 使能跨越各种不同网络和设备, 透明地、 强化地使用多媒体资源。
多媒体信息处理空间
离散媒体： text, image,… 连续媒体：
audio, video, ...
应用模式
网络应 用模式
单机应 用模式
返回
获 说 编 编 管 描 检传 展 取 明 码 辑 理 述 索输 现
• time-independent ( discrete ) media（离
散媒体，值不会随着时间而变化）
– text , graphics , static image, …. • time-dependent ( continuous ) media （连
续媒体，值随着时间而变化）
– speech , music , video , animation, ….