第1章 多媒体技术基础知识

到对象位置、大小、方向、方位、质地等性质。
7
多媒体技术就是计算机综合处理声、文字、图信息的技 术，具有集成性、实时性和交互性。
它集文字、声音、图像、视频、通信等多项技术于一体， 采用计算机的数字记录和传输传送方式，对各种媒体进行处 理，具有广泛的用途。
多媒体技术的研究涉及计算机硬件、计算机软件、计算 机网络、人工智能、电子出版等，其产业涉及电子工业、计 算机工业、广播电视、出版业和通讯业等。
本教材主要讨论文字、图像、音频、视频、动画等处理 技术。
8Байду номын сангаас
多媒体除了具有信息媒体多样化的特征之外，还具有以下 4个特性：
1．数字化——多媒体技术是一种“全数字”技术。以数字技 术为基础进行生成、存储、处理和传送。
2．交互性——指人机交互，使人能够参与对信息的控制、使 用活动。
3．集成性——是将多种媒体信息有机地组合到一起，共同表 现一个事物或过程，实现“图、文、声”一体化。
15
（3）数字图像再现的方法利用不同的技术可以在一台宽幅 输出设备上产生数字图像，其中液体喷墨技术、静电技术、 固体喷墨技术、热转换技术和照相技术是当今采用的几种主 要的技术。
（4）后处理使用特殊的介质、油墨或滚压成像的图像，都 能够经受得住日晒和日常气候条件变化的影响。
计算机图像技术就是对图像进行计算机处理，使其更适 合人眼或仪器的分辨，拾取其中信息。
有损压缩意味着解压缩后的数据与压缩前的数据不一致。 在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音 频信息，而且丢失的信息不可恢复。
11
（2）帧内和帧间压缩： 帧内（Intraframe）压缩也称为空间压缩（Spatial
compression）。当压缩一帧图像时，仅考虑本帧的数据而不 考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。 帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有 相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。 帧内压缩一般达不到很高的压缩。
17
3．数字音频技术 数字音频是一个数据序列，在时间上是断续的。 数字音频是通过采样和量化，把模拟量表示的音频信号
转换成由许多二进制数1和0组成的数字音频信号。 计算机内的基本数制是二进制，为此我们也要把声音数
据写成计算机的数据格式，这称之为编码音频数字化。 计算机内的音频必须是数字形式的，因此必须把模拟音
一是指存储信息的实体，如磁盘、光盘、磁带、 半导体存储器等，中文常译作媒质；
二是指传递信息的载体，如数字、文字、声音、 图形等，中文译作媒介。从字面上看，多媒体就是由 单个媒体复合而成的，因此上叫多媒体。
3
媒体在计算机科学中有两层含义：
一种含义是指信息的物理载体，如磁盘、光盘、磁带、 卡片等；
另一种含义指信息的存在和表现形式，如文字、声音、 图像、动画等，多媒体中的媒体是指后者。多媒体计 算机不仅能处理文字数据之类的信息媒体，而且能处 理声音、图形、图像等各种形式的信息载体。
5
多媒体技术中所说的媒体通常分成如下3类：
1．视觉类媒体 视觉类媒体（vision media）包括图像、图形、符号、视频、动画等。
图像（image）即位图图像（bitmap），将所观察的景物按行列方式进行数字 化，对图像的每一点都用一个数值表示，所有这些值就组成了位图图像。
图形（graphics）是图像的抽象，它反映图像上的关键特征，如从点、 线、面到三维空间的黑白或彩色几何图，也称量图（Vector Graphic）。
19
4．数字视频技术 数字视频就是先用摄像机之类的视频捕捉设备,将外界
影像的颜色和亮度信息转变为电信号，再记录到储存介质 （如录像带、磁盘、光盘等）。
播放时，视频信号被转变为帧信息，并以每秒约30帧的 速度投影到显示器上，使人类的眼睛认为它是连续不间断地 运动着的，电影播放的帧率大约是每秒24帧。
息都可以用数字形式的数据进行处理和存储，数字图像就是 这种以数字形式进行存储和处理的图像。利用计算机可以对 它进行常规图像处理技术所不能实现的加工处理，还可以将 它在网上传输，可以多次拷贝而不失真。
14
2．数字图像技术 （1）获得图像的方法许多带有图像的文件都使用仿真图像 如35mm幻灯片、透射片或反射片。要获得一个数字图像必 须将图像中的像素转换成数字信息，以便在计算器上进行处 理和加工。将仿真图像转换成数字图像的工作，通常可由扫 描仪来完成。 （2）设计规划数字化的方法一个应用范围广泛的软件可以 支持数字化的图像处理，如产生数字图形，修改数字图片， 进行一些诸如页面设计之类的技术加工，并将一些图素组合 在一个图像中。
4．实时性——多媒体技术处理的信息有些和时间密切相关， 必须实时处埋，比如新闻报导等，需及时采集、处理和传送。
9
1．数据压缩与编码技术
多媒体系统要处理文字、声音、图形、图像、动画、活 动视频等多种媒体信息，高质量的多媒体系统要处理三维图 形、高保真立体声音、真彩色全屏幕运动画面等。
为了得到理想视听效果，还要实时处理大量的数字视频、 音频信息。多媒体系统的数据量大的令人难以想象。
1
• 1．多媒体技术的基本概念 • 2．多媒体特征与关键技术 • 3．多媒体计算机系统（软件和硬件） • 4．常见多媒体文件格式 • 5．多媒体技术的发展与应用 • 6．多媒体作品设计的一般流程
2
一、 媒体的定义 “多媒体”一词译自英文“Multimedia”，媒体
（medium）原有两重含义：
因此，对多媒体信息进行压缩是十分必要的（如果没有 这种技术，可以结论，多媒体技术便没有今天的繁荣且方兴 未艾的大好景象）。
10
（1）有损和无损压缩：在视频压缩中有损（Lossy ）和无损 （Lossless）的概念与静态图像中基本类似。
无损压缩也即压缩前和解压缩后的数据完全一致。多数 的无损压缩都采用RLE行程编码算法。
第三阶段是高级阶段，在这一阶段，普通个人计算机进 入了成熟的多媒体计算机时代。
21
数字视频技术与数字音频技术相似，数字视频技术一般应 包括：
（1）视频采集回放——把模拟视频转成数字视频,并按数字 视频文件的格式保存，以及把数字视频播放出来的技术。
（2）视频编辑——是对磁盘上的视频文件进行剪辑、逐帧 修编、加入特技等处理。
4
国际电话电报咨询委员会CCITT把媒体分成5类： 1.感觉媒体（Perception Medium）——指直接作用于人的感觉器官， 使人产生直接感觉的媒体。如引起听觉反应的声音，引起视觉反应的 图像等。 2.表示媒体（representation Medium）——指传输感觉媒体的中介媒体， 即用于数据交换的编码。如图像编码（JPEG、MPEG等）、文本编码 （ASCII码、GB2312等）、声音编码和视频编码等。 3.表现媒体（Presentation Medium）——指进行信息输入和输出的媒 体，如键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体；显示器、 打印机、喇叭等为输出媒体。 4.存储媒体（Storage Medium）——又称存储介质，指用于存储表示媒 体的物理介质。如硬盘、软盘、磁盘、光盘、ROM及RAM等。 5.传输媒体（Transmission Medium）——指传输媒体的物理介质。如 各种导线、电缆、光缆、电磁波等。
频信号转换成有限个数字表示的离散序列，即实现音频数字 化。
在这一处理技术中，涉及到音频的抽样、量化和编码。
18
多媒体技术中的数字音频技术包括三个方面的内容： （1）声音采集及回放技术——把模拟音频转成数字音频， 并按数字音频文件的格式保存，以及把数字音频播放出来的 技术。 （2）音识别技术——将声音转换成为文本（文字）或代码。 （3）音合成技术——声音合成技术主要用于语音合成和音 乐合成（MIDI音乐）。
（3）三维动画视频制作——是运用相应软件，将静止图像 转换成为动画视频图像。
视频编辑和三维动画视频制作可以在没有图像采集卡的 环境下完成。
22
5．多媒体网络技术
可运行多种媒体的计算机网络称为多媒体网络，数字化 的多媒体网络将多媒体信息的获取、处理、编辑、存储融为 一体，并在网络上运行，这样的多媒体系统不受时空的限制， 多个用户可以共享网上的多媒体信息。此外，多个用户还可 以同时对同一个文件进行编辑。
6
2．听觉类媒体 听觉类媒体包括话音、音乐和音响。
话音（speech）也叫语音，是人类为表达思想通过发 音器官发出的声音，是人类语言的物理形式。
音乐是符号化了的声音，比语音更规范。
音响则指自然界除语音和音乐以外的声音，包括天空 的惊雷、山林的狂风、大海的涛声等，也包括各种噪声。
3．触觉类媒体 触觉类媒体通过直接或间接与人体接触，使人能感觉
16
计算机图像处理的过程包括输入、数字化处理和输出： 输入即图像采集和数字化，就是要对模拟图像抽样、 量化后得到数字图像，并存储到计算机中以待进一步处理。 数字化处理是按一定要求对数字图像进行。诸如滤波、 锐化、复原、重现、矫正等处理，以提取图像中的主要信 息。 输出则是将处理后的数字图像显示、打印或以其他方 式表现出来。
符号（symbol）包括文字和文本，主要是人类的各种语言。
视频（video）又称动态图像，是一组图像按时间顺序的连续表现。
动画（animation）是动态图像的一种，与视频不同之处在于，动画中的 图像采用的是计算机产生出来或人工绘制的图像或图形，而视频中的图像采 用的是真实的图像。动画包括二维动画、三维动画等多种形式。
不对称或非对称意味着压缩时需要花费大量的处理能力 和时间，而解压缩时则能较好地实时回放，也即以不同的速 度进行压缩和解压缩。
目前有多种视频压缩编码方法，但其中最有代表性的是 MPEG数字视频格式和AVI数字视频格式。对于静态图像压 缩的标准算法是JPEG。
13
2．数字图像技术 随着数字技术的不断发展和应用，现实生活中的许多信
在任意两个节点之间可以有许多不同的路径，用户可以 根据需要选择使用。
24
多媒体系统是指能够提供交互式处理文本、声音、图像 和视频等多种媒体信息的计算机系统。
故通常认为其由4个部分组成：多媒体硬件系统、多媒 体操作系统、媒体处理系统工具和用户应用软件。
1．多媒体硬件系统——包括计算机硬件、声音／视频 处理器、多种媒体输入／输出设备及信号转换装置、通信传 输设备及接口装置等。其中，最重要的是根据多媒体技术标 准而研制成的多媒体信息处理芯片和板卡、光盘驱动器等。
25
多媒体计算机硬件系统主要包括以下几部分：
（1）多媒体主机，如个人机、工作站、超级微机等。 （2）多媒体输入设备，如摄像机、电视机、麦克风、录像 机、视盘、扫描仪、CD-ROM等。 （3）多媒体输出设备，如打印机、绘图仪、音响、电视机、 喇叭、录音机、录像机、高分辨率屏幕等。 （4）多媒体存储设备，如硬盘、光盘、声像磁带等。 （5）多媒体功能卡，如视频卡、声音卡、压缩卡、家电控 制卡、通信卡等。 （6）操纵控制设备，如鼠标器、操纵杆、键盘、触摸屏等。
在进行多媒体网络通信时，有时需要实时同步传送音频 和视频信号；有时传送非实时的多媒体信息。前者称为同步 通信，后者称为异步通信。
23
6．超媒体技术 超媒体是收集、存储、浏览离散信息并建立和表示信息
之间关系的技术，它可以理解为将多媒体用链连接而组成的 网，媒体之间的链接是错综复杂的。
用户可以对该网进行查询、浏览等操作。这种非线性网 络结构由节点和链组成，其中节点是存储信息的单元，而链 代表不同节点中所存信息之间的联系。
采用帧间（Interframe）压缩是基于许多视频或动画的连 续前后两帧具有很大的相关性，或者说前后两帧信息变化很小 的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这 一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量， 减小压缩比。
12
（3）对称和不对称编码：
对称性（symmetric）是压缩编码的一个关键特征。对 称意味着压缩和解压缩占用相同的计算处理能力和时间，对 称算法适合于实时压缩和传送视频，如视频会议应用就以采 用对称的压缩编码算法为好。
20
数字视频技术的发展
数字视频的发展主要是指在个人计算机上的发展，可以 大致分为初级、主流和高级几个历史阶段：
第—阶段是初级阶段，其主要特点就是在台式计算机上 增加简单的视频功能，但是由于设备还未能普及，都是面向 制作视频制作领域的专业人员。在普通PC用户还无法奢望 在自己的电脑上实现视频功能。
第二个阶段为主流阶段，在这个阶段数字视频在计算机 中得到广泛应用，成为主流。