多媒体技术及其应用领域

多媒体技术及其应⽤领域
多媒体技术及其应⽤领域
清点⼈数，组织教学。

复习：
多媒体计算机系统的组成
授新：
⼀、多媒体技术研究的主要⽅向
多媒体涉及的技术范围很⼴，是多种学科和多种技术交叉的领域。

⽬前，多媒体技术研究的主要⽅向有以下⼏个⽅⾯：
1、多媒体数据的表⽰技术
包括⽂字、声⾳、图形、图像、动画、影视等媒体在计算机中的表⽰⽅法。

由于多媒体的数据量⼤得惊⼈，尤其是声⾳和影视，包括⾼清晰度数字电视（High Definition Television，简称HDTV）这类的连续媒体，为克服数据传输通道带宽和存储器容量的限制，投⼊了⼤量的⼈⼒和物⼒来开发数据压缩和解压缩技术；⼈—机接⼝技术，如语⾳识别和⽂本—语⾳转换（Text To Speech，简称TTS）也是多媒体研究中的重要课题；虚拟现实（Virtual Reality，简称VR）是当今多媒体技术研究中的热点技术之⼀。

2、多媒体数据的存储技术
多媒体数据的存储的⽬标是实现⼤容量信息的存储和管理。

在发展集中式的海量存储技术的同时，也在向分布存储、并⾏访问的⽅向发展。

分布数据存储技术与多媒体存储技术将在计算机通信⽹络中融合起来。

3、多媒体的应⽤开发
包括多媒体CD-ROM节⽬（Title）制作、多媒体数据库、环球超媒体信息系统（Web）、多⽬标⼴播技术（Multicasting）、影视点播（Video On Demand，简称VOD）、电视会议（Video Conferencing）、远程教育系统、多媒体信息的检索等。

4、多媒体创作和编辑⼯具的研究开发
基本⽬标是功能强⼤、适应性强、使⽤⽅便等，为将来⼈⼈都会使⽤多媒体创作和编辑⼯具提供了条件。

⼆、⾳频信息处理
多媒体技术的特点是交互式地综合处理声⾳、⽂字和图像等多种信息。

在多媒体系统中，语⾳和⾳乐是必不可少的，没有⾳频的视频是不可接受的。

⾳频和视频同步，使视频图像更具真实性。

娓娓动听的⾳乐和解说，使静态图像变得更加丰富多彩。

可视电话、电视会议中的声⾳更为重要。

1. 声⾳的基本概念
声⾳是⼈类进⾏交流和认识⾃然的主要媒体形式。

从本质上说，声⾳是通过⼀定介质（如空⽓、⽔等）传播的⼀种连续的波，在物理学中称为声波。

声⾳的强弱体现在声波的振幅上，⾳调的⾼低体现在声波的周期或频率上。

声波是随时间连续变化的模拟量，它有以下三个重要指标：
1）振幅
声波的振幅通常是指⾳量，它是声波波形的⾼低幅度，表⽰声⾳信号的强弱程度。

2）周期
声⾳信号的周期是指两个相邻声波之间的时间长度，即重复出现的时间间隔，以秒为单位。

3）频率
声⾳信号的频率是指信号每秒钟变化的次数，即为周期的倒数，以赫兹(Hz)为单位。

声⾳质量是⽤声⾳信号的频率范围来衡量，频率范围⼜叫频域或频带，不同种类的声源其频带也不同。

⼀般⽽⾔，声源的频带
越宽，表现⼒越好，层次越丰富。

2. 声⾳的数字化
声⾳是⼀种具有⼀定的振幅和频率且随时间变化的声波，通过话筒等转化装置可将其变成相应的电信号，但这种电信号是⼀种模拟信号，不能由计算机直接处理，必须先对其进⾏数字化，即将模拟的声⾳信号经过模数转换器ADC变换成计算机所能处理的数字声⾳信号，然后利⽤计算机进⾏存储、编辑或处理。

在数字声⾳回放时，由数模转换器DAC将数字声⾳信号转换为实际的声波信号，经放⼤由扬声器播出。

把模拟声⾳信号转变为数字声⾳信号的过程称为声⾳的数字化，它是通过对声⾳信号进⾏采样、量化和编码来实现的。

1）采样
以固定的时间间隔（采样周期）抽取模拟信号的幅度值。

采样后得到的是离散的声⾳振幅
样本序列，仍是模拟量。

采样频率越⾼，声⾳的保真度越好，但采样获得的数据量也越⼤。

在MPC中，采样频率标准定为11.25kHz、22.05kHz、44.1kHz。

2）量化
把采样得到的信号幅度的样本值从模拟量转换成数字量。

数字量的⼆进制位数是量化精度。

在MPC中，量化精度标准定为8位、16位。

采样和量化过程称为模/数（A/D）转换。

3）编码
把数字化声⾳信息按⼀定数据格式表⽰。

3. ⾳频⽂件的格式
⾳频数据都是以⽂件的形式保存在计算机中。

⾳频的⽂件格式主要有WA V、MP3、WMA 等，专业数字⾳乐⼯作者⼀般都使⽤⾮压缩的WA V格式进⾏操作，⽽普通⽤户更乐于接受压缩率⾼、⽂件容量相对较⼩的：MP3或WMA格式。

三、图像信息处理
图像是多媒体中携带信息的极其重要的媒体，有⼈发表过统计资料，认为⼈们获取的信息的70%来⾃视觉系统，实际就是⽂字、图像和视频。

⼈们最易接受的是图像和视频，⽽视频也是由图像组成的，可见图像在多媒体中的重要性。

计算机绘制的图⽚有两种形式：图形和图像。

图形⼜称⽮量图形或⼏何图形，它是⽤⼀组指令来描述的，这些指令给出构成该画⾯的所有直线、曲线、矩形、椭圆等的形状、位置、颜⾊等各种属性和参数。

这种⽅法实际上是⽤数学⽅法来表⽰图形，然后变成许许多多的数学表达式，再编制程序，⽤语⾔来表达。

计算机在显⽰图形时从⽂件中读取指令并转化为屏幕上显⽰的图形效果。

图像⼜称点阵图像或位图图像，它是指在空间和亮度上已经离散化的图像。

可以把⼀幅位图图像理解为⼀个矩形，矩形中的任⼀元素都对应图像上的⼀个点，在计算机中对应于该点的值为它的灰度或颜⾊等级。

这种矩形的元素就称为像素，像素的颜⾊等级越多则图像越逼真。

因此，图像是由许许多多像素组合⽽成的。

响图像数字化质量的主要参数有分辨率、颜⾊深度等，在采集和处理图像时，必须正确理
解和运⽤这些参数。

四、视频处理
视频信息是连续变化的影像，通常是指实际场景的动态演⽰，例如电影、电视、摄像资料等。

视频信息带有同期⾳频，画⾯信息量⼤，表现的场景复杂，常采⽤专门的软件对其进⾏加⼯、修改。

连续的图像变化每秒超过24帧（Frame）画⾯时，根据视觉暂留原理，⼈眼⽆法辨别每幅单独的静态画⾯，看上去是平滑连续的视觉效果。

这样的连续画⾯叫做视频。

当连续图像变化每秒低于24帧画⾯时，⼈眼有不连续的感觉，叫做动画（Cartoon）。

视频的数字化
模拟视频数据流进⼊计算机时，每帧画⾯均应对每⼀像素进⾏采样，并按颜⾊或灰度量化，故每帧画⾯均形成⼀幅数字图像。

对视频按时间逐帧进⾏数字化得到的图像序列即为数字视频。

因此，可以说图像是离散的视频，⽽视频是连续的图像。

五、虚拟现实
1、虚拟现实的概念
虚拟现实（VR，Virtual Reality）技术也称虚拟灵境或⼈⼯环境，是⼀种可以创建和体验虚拟世界的计算机系统。

它利⽤计算机技术⽣成⼀个逼真的具有视、听、触等多种感知的虚拟环境，⽤户通过使⽤各种交互设备，同虚拟环境中的实体相互作⽤，使之产⽣⾝临其境感觉的交互式视景仿真和信息交流。

它是⼀种先进的数字化⼈机接⼝技术。

2、虚拟现实系统的组成
虚拟现实系统由输⼊部分、输出部分、虚拟环境数据库、虚拟现实软件组成。

1）输⼊部分
虚拟现实系统通过输⼊部分接收来⾃⽤户的信息。

⽤户基本输⼊信号包括⽤户的头、⼿位置及⽅向、声⾳等。

其输⼊设备主要有：
2）输出系统
虚拟现实系统根据⼈的感觉器官的⼯作原理，通过虚拟现实系统的输出设备，使⼈对虚拟现实系统的虚拟环境得到虽假犹真、⾝临其境的感觉。

3）虚拟环境数据库
虚拟环境数据库的作⽤是存放整个虚拟环境中所有物体的各⽅⾯信息，包括物体及其属性如约束、物理性质、⾏为、⼏何、材质等。

4）虚拟现实软件
3、分布式虚拟现实系统的应⽤
分布式虚拟现实系统在远程教育、⼯程技术、建筑、电⼦商务、交互式娱乐、远程医疗、⼤规模军事训练等领域都有着极其⼴泛的应⽤前景，利⽤它可以创建多媒体通信、设计协作系统、实境式电⼦商务、⽹络游戏、虚拟社区全新的应⽤系统。

六、流媒体
流媒体(Streaming Media)指在数据⽹络上按时间先后次序传输和播放的连续⾳/视频数据流。

以前⼈们在⽹络上看电影或听⾳乐时，必须先将整个影⾳⽂件下载并存储在本地计算机上，然后才可以观看。

与传统的播放⽅式不同，流媒体在播放前并不下载整个⽂件，只将部分内容缓存，使流媒体数据流边传送边播放，这样就节省了下载等待时间和存储空间。

流媒体数据流具有三个特点：
连续性（Continuous）
实时性（Real-time）
时序性，即其数据流具有严格的前后时序关系。

⼩结：
本节主要对多媒体技术及其应⽤领域等知识进⾏详解。

作业：
巩固其相关知识。