多媒体技术基础

(2)MIDI文件及其播放


MIDI声音与数字化波形声音完全不同， 它不是对声波进行采样、量化和编码， 而是将电子乐器键盘的弹奏信息记录下 来，包括键名、力度、时值长短等，这 些信息称之为MIDI消息，是乐谱的一种 数字式描述。 当需要播放时，只需要从相应的MIDI文 件中读出MIDI消息，生成所需要的乐器 声音波形，经放大后由扬声器输出。
2. 智能计算机的研制工作推动了 计算机多媒体技术的诞生和发展
研究人员开始认识到人－机界面问题 的重要性：良好的人机界面能充分发 挥人类理解能力、想象能力以及计算 机巨大存储和分析计算能力的优势。 多媒体计算机技术可以认为是这种努 力的继续和发展，它最终将实现人与 计算机的自然交流。
3.*多媒体技术的主要内容
(2) 矢量图形的特点 矢量图形的一个很大的优点就是容易进 行移动、缩放、旋转和扭曲等变换； 用矢量图形格式表示复杂图像 ( 如人物或 风景照片 )的开销太大，因此矢量图形主 要用于表示线框型的图画、工程制图、 美术字等。 绝大多数 CAD 和 3D 造型软件使用矢量图 形作为基本的图形存储格式。

用数字方式记录声音，首先需对声波 采样。
S(t)
t
T 3T 5T

Nyquist(奈奎斯特)的采样定理：若输入信 号包含的最高频率为fn, 则以不低于2fn，采 样频率对原输入信号进行采样所得的采样 信号所得的采样值可以无失真地重构原输 入信号。 入耳听觉的频率上限在20kHz左右，根据 采样理论，为了保证声音不失真，采样频 率应在40kHz左右。经常使用的采样频率 有11.025kHz、22.05kHz和44.1kHz等。 采样频率越高，声音失真越小、音频数据 量越大。
§9．1 多媒体技术基础
一、多媒体技术概论 二、音频技术 三、视频技术 四、数字图像技术 五、数据压缩技术 六、光存储技术及其标准化
一、多媒体技术概论
1、多媒体计算机技术



计算机的发明不仅使信息处理变得更精确、 灵活，更重要的是拓展了人类处理复杂信息 的能力和手段； 多媒体技术的出现使信息的载体更加丰富， 它标志着第四次信息革命的开始，它也将给 人类带来极其深刻的影响。 多媒体计算机技术是指用计算机综合处理和 控制多媒体信息――文字、声音、图形、图 象、动画和活动影像等，使多种信息建立逻 辑连接，集成为一个系统并具有交互性。
3．分辨率与图像深度
(1) 分辨率 分辨率有屏幕分辨率、图像分辨率 。 屏幕分辨率：屏幕分辨率是指屏幕上水 平与垂直方向的像素最大个数。 例如：640×480， 800 × 600， 1024 ×768 图像分辨率：图像分辨率指数字图像在 水平与垂直方向的像素个数。

图像分辨率与屏幕分辨率不同： 例如，若图像分辨率为320×240，屏 幕分辨率为 640 × 480，则该图像在屏 幕上显示时只占据屏幕四分之一。图 像分辨率与屏幕分辨率相同时，显示 的图像正好占满整个屏幕区域；图像 分辨率大于屏幕分辨率时，屏幕上只 能显示出图像的一部分。

4. 视频技术

视频技术包括视频信号数字化和 视频编码两个方面。
(1) 视频信号数字化



通常， NTSC 制式、 PAL 制式和 SECAM 制 式的视频信号都是模拟的，在进入计算机 前必须进行数字化处理。 与音频数字化一样，视频数字化的目的是 将模拟视频信号经模数转换和彩色空间变 换等过程,转换成数字计算机可以显示和处 理的数字信号。 视频的数字化是指在一段时间内以一定的 速度对视频信号进行捕获并加以采样后形 成数字化数据的处理过程。
数字图像:
数字图像指由数字摄像机、数字相 机或扫描仪等设备输入并存储在计 算机中的数字信息。 数字图像通常有位图和矢量图形两 种表示形式。

1. 矢量图形
(1) 什么是矢量图形？ 矢量图形是用一组指令集合来描述图形的 内容，这些指令用来描述构成该图形的所 有直线、圆、圆弧、矩形、曲线等图元的 位置、维数和形状。在屏幕上显示矢量图 形要有专门软件将描述图形的指令转换成 在屏幕上显示的形状和颜色。



NTSC－National Television Standard C ommittee) 美国、日本、台湾等地区使用NTSC NTSC制式规定，每秒30帧视频画面， 水平扫描线为525条(垂直分辨率)，水平 分辨率为240—400个像素点，采用隔行 扫描方式，场频(又称垂直扫描频率)为60 Hz。
(2) 图像深度 图像深度：表示位图中一个像素的颜色信 息所用的二进制数据位数，称为图像深度。 深度为1的图像只能有两种颜色(通常 为黑色和白色)，通常称为单色图像； 深度为4的图像可以有16种颜色； 深度为8的图像可表示256种颜色。
位图图像所需的存储空间可用下面的 公式计算： 文件的字节数=(位图高度×位图宽度 ×位图深度)/8
量化位数越高音质越好，数据量也越大 。
(3)声道数


描述一：记录声音时，如果每次生成一个声波 数据，称为单声道；每次生成二个声波数据， 称为立体声(双声道)，立体声更能反映人的听 觉感受。 描述二：声道数是指所使用的声音通道的个数， 它表明声音记录只产生一个波形（即单音或单 声道）还是两个波形（即立体声或双声道）。 当然，立体声听起来要比单声音丰满优 美，但需要两倍于单音的存储空间。
4.乐器数字接口(MIDI) 协议
(1) “ MIDI”指的是什么？

MIDI－－Musical Instrument Digital Interface


MIDI是为了把电子乐器与计算机相连而 制定的一个规范，是数字音乐的国际标 准。 MIDI标准规定了电子乐器与计算机连接 的电缆硬件以及电子乐器之间、乐器与 计算机之间传送数据的通信协议等规范。 MIDI标准使不同厂家生产的电子合成乐 器可以互相发送和接收音乐数据。
五、数据压缩技术
数据压缩就是减少用于存储和传输信息的 位数。 (1)数据压缩的必要性 (2)数据压缩的可能性 (3)数据压缩方法简介 (4)三种流行的数据压缩国际标准
1. 数据压缩的必要性
(1) 各种媒体信息(特别是图像和动态视频)数据量 非常之大：
•
一幅640×480分辨率的24位真彩色图像 的数据量为: 640×480×24/8=921,600B
声音的模 拟信息
采样
量化
编辑
声音的数 字信息
(1)采样
对信号的时间采样指的是在有规律的时间 间隔T内，对模拟信号进行检测和测量。 由此，某个连续信号S(t)的采样样本可表 示为： S(t)={S(T), S(2T), S(3T),…, S(nT)} 其中，T为采样周期，而采样频率可以表 示成f=1/T，采样频率是对声音波形每秒钟 进行采样的次数。
2. 位图图像
(1)什么是位图？ 位图图像由数字阵列信息组成，用以描 述图像中各像素点的强度与颜色。
(2)位图图像特点



位图适合于表现含有大量细节(如明暗变 化、场景复杂和多种颜色等 )的画面，并 可直接、快速地在屏幕上显示出来。 位图占用存储空间较大，一般需要进行 数据压缩。 位图文件格式：为了便于位图的存储和 交流，产生了种类繁多的文件格式，常 见有PCX、BMP、DIB、PIC、GIF、TG A和TIFF等。
(2)视频编码

视频编码是将数字化视频信号经过 编码成为电视信号，从而可以录制 到录像带上或在电视上播放。
四、数字图像技术
图形与图像: 计算机科学中的 图形和图像概念是有区别的： 图形 (Graphics) 图形一般指用计算机绘制 (draw)的画面，如直线、圆、圆弧、矩形、 任意曲线和图表等； 图像 (image 或 Picture 等 ) 图像则指由输入 设备捕捉实际场景画面产生的数字图像。

(2)量化与编码

在完成了对模拟信号的采样后，再对采样 值进行量化并编码成二进制位。 量化：量化过程就是把采样值表示成一个 离散振幅值的集合。 编码：用二进制数表示每个取样点的数值 大小。 量化位数：表示每个取样点二进制数位数 。量化位数决定了被记录和重放的声音最 高与最低之间的差值。
例如： 3位量化位数，则由000变化到111，仅 有8个不同的值； 8位量化位数每个采样点可以表示256个 (0--255)不同量化值； 16位量化位数则可以表示为216,即6553 6个不同的量化值。
数字视频：
而数字视频可以弥补这些缺陷。它不仅 可以无失真地进行无限次复制，而且还 可以对视频进行创造性的编辑，如特技 效果等。
2. 数字视频技术的涵义


数字视频技术有两层涵义: 一是将模拟视频信号输入计算机进行数字 化视频编辑，最后制成数字视频产品； 二是指视频图像由数字摄像机拍摄下来， 从信号源开始，就是无失真的数字视频， 当输入计算机时不再考虑视频质量的衰减 问题。这种才是更为纯粹的数字视频技术。 现在的数字视频技术主要还是第一层 涵义，即模拟视频的数字化处理、存储和 输出技术。
(2)PAL制式
• PAL－－Phase Alternate Line(相位交替扫 描线) • 中国及欧洲大多数地区使用PAL制式 • PAL制式规定：每秒25帧，每帧625行， 每行240—400个像素点，隔行扫描方式， 场频为50Hz。
(3) SECAM制式
SECAM--Sequential Color and Memory System(顺序传送彩色 和存储电视) 适用于法国、苏联、非洲地区 SECAM规定：水平扫描线为625 条，水平分辨率为625个像素点， 场频为50Hz

声音数字化后每秒所需的存储量(假定 不经压缩)估算公式： 存储量 (byte) ＝ ( 采样频率×量化位数 ) ／8 若采用双声道录音，存储量再增加一 ‘倍。
2. 数字音频数据的获取途径