第3章多媒体信息处理技术

第三章多媒体信息处理技术

通过本章学习，了解多媒体信息处理技术的基本问题，包括多媒体数据的分类、多媒体信息的计算机表示、多媒体数据压缩和编码技术、音频卡和视频卡的应用。重点掌握多媒体信息处理技术的基本概念，学会音频卡和视频卡的安装与使用，了解多媒体技术中数据的压缩与编码方法。

3．1 多媒体数据的分类

媒体是承载信息的载体，是信息的表示形式。信息媒体元素是指多媒体应用中可以显示给用户的媒体组成元素，目前主要包括文本、图形、图像、声音、动画和视频等媒体。

一、多媒体数据的特点

多媒体数据具有数据量巨大、数据类型多、数据类型间差别大、数据输入和输出复杂等特点。多媒体数据类型多，包括图形、图像、声音、文本和动画等多种形式，即使同属于图像一类，也还有黑白、彩色、高分辨率和低分辨率之分，由于不同类型的媒体内容和格式不同，其存储容量、信息组织方法等方面都有很大的差异。

二、多媒体数据的分类

1．文字

在计算机中，文字是人与计算机之间信息交换的主要媒体。文字用二进制编码表示，也就是使用不同的二进制编码来代表不同的文字。

文本是各种文字的集合，是人和计算机交互作用的主要形式。

文本数据可以在文本编辑软件里制作，如Word编写的文本文件大都可以直接应用到多媒体应用系统中。但多媒体文本大多直接在制作图形的软件或多媒体编辑软件时一起制作。

2．音频

音频泛指声音，除语音、音乐外，还包括各种音响效果。将音频信号集成到多媒体中，可提供其他任何媒体不能取代的效果，从而烘托气氛、增加活力。

3．图形、图像

凡是能被人类视觉系统所感知的信息形式或人们心目中的有形想象都称为图像。

图形文件基本上可以分为两大类：位图和向量图。

位图图像是一种最基本的形式。位图是在空间和亮度上已经离散化的图像，可以把一幅位图图像看成一个矩阵，矩阵中的任一元素对应于图像的一个点，而相应的值对应于该点的灰度等级。

图形是指从点、线、面到三维空间的黑白或彩色几何图形，也称向量图。图形是一种抽象化的图像，是对图像依据某个标准进行分析而产生的结果。

向量图形文件则用向量代表图中的文件，以直线为例，在向量图中，有一数据说明该元件为直线，另外有些数据注明该直线的起始坐标及其方向、长度或终止坐标，

图形文件保存的不是像素点的值，而是一组描述点、线、面等几何图形的大小、形状、位置、维数等其他属性的指令集合，通过读取指令可以将其转换为屏幕上显示的图像。由于大多数情况下不需要对图形上的每一个点进行量化保存，所以，图形文件比图像文件数据量小很多。图形与图像是两个不同的概念。

4．动画

图像或图形都是静止的。由于人眼的视觉暂留作用，在亮度信号消失后亮度感觉仍可保持1／20s～1／10s。利用人眼视觉惰性，在时间轴上，每隔一段时间在屏幕上展现一幅有上下关联的图像、图形，就形成了动态图像。任何动态图像都是由多幅连续的图像序列构成的，序列中的每幅图像称为一帧，如果每一帧图像是由人工或计算机生成的图形时，称为动画；若每帧图像为计算机产生的具有真实感的图像时，称为三维真实感动画；当图像是实时获取的自然景物图像时就称为动态影像视频，简称视频。

用计算机制作动画的方法有两种：一种称为造型动画，另一种称为帧动画。帧动画由一幅幅连续的画面组成图像或图形序列，是产生各种动画的基本方法。造型动画则是对每一个活动的对象分别进行设计，赋予每个对象一些特征（如形状、大小、颜色等），然后用这些对象组成完整的画面。

5．视频

影像视频是动态图像的一种。与动画一样，由连续的画面组成，只是画面图像是自然景物的图像。

计算机视频图像可来自录像带、摄像机等视频信号源，这些视频图像使多媒体应用系统功能更强、更精彩。

3．2 多媒体信息的计算机表示

一、文本文件格式

常用的文本文件的格式有TXT、RTF以及WORD格式的DOC、DOT文件。

二、声音文件格式

常用的声音文件格式有WAV、MID和MP3等。

Windwos使用的标准数字音频称为波形文件，文件的扩展名为WAV，记录了对实际声音进行采样的数据。在适当的硬件及计算机控制下，使用波形文件能够重现各种声音，无论是不规则的噪音还是CD 音质的音乐，也无论是单声道还是立体声。

通过Windows的对象连接与嵌入技术，波形文件可以嵌在其他Windows应用系统中使用。由于波形文件记录的是数字化音频信号，因此，可由计算机对其进行处理和分析。如放慢或加快放音速度，将声音重新组合或抽取一些片段单独处理等等。

WAV文件还原成的声音的音质取决于声音卡采样样本的尺寸。一般来说，采样的样本尺寸越大，采样频率越高，音质就越好，但波形音频文件也就越大，开销就越大。因此，波形音频一般适用于以下几个场合：

①播放的声音是讲话语音，音乐效果对声音的质量要求不太高的场合。

②需要从CD-ROM光盘驱动器同时加载声音和其他数据，声音数据的传输不能独占处理时间的场合。

③需要在PC硬盘中存储的声音数据在1分钟以下以及可用存储空间足够的场合。

2． MIDI文件

MIDI（Musical Instrument Digital Interface）是指乐器数字化接口，MIDI文件的扩展名是MID。MIDI标准是数字式音乐的国际标准。把一个MIDI设备连接到PC的主要目的是记录MIDI乐器产生的声音。然后，对记录的音乐进行编辑和后期处理，把它们与其他乐器的录音进行组合，以产生出类似管弦乐队演奏效果的音乐。

3．MP3文件

MP3格式的音乐越来越受到人们的欢迎。MP3文件是一种压缩格式的声音文件，其扩展名为MP3。MP3文件的特点是音质好、数据量小。

三、图形、图像文件格式

常见的图形文件的格式有如下几种：BMP、PCX、GIF、TIF、JPG、TGA等。

1．GIF(Graphic Interchange Format)文件

2．BMP（bitmap）文件

3．JPG文件

4．TGA文件

5．TIF文件

6．PCX文件