多媒体技术复习资料

多媒体技术感觉媒体直接作用于人的感官、使人能直接产生感觉的一类媒体。

声音、文字、图形和图像，物体的质地、形状、温度表示媒体为了加工感觉媒体而构造出来的一种媒体。

各种编码：语音编码、图像编码等显示媒体感觉媒体与通信电信号进行转换的一类媒体可分为：输入表现媒体，输出表现媒体存储媒体用于存放表示媒体的一类媒体如：硬盘、光盘等传输媒体用来将表示媒体从一处传送到另一处的物理传输介质，如各种通信电缆。

多媒体概念以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并能具有良好交互性的技术。

简言之, 多媒体技术就是计算机综合处理声、文、图信息, 具有多样性、集成性和交互性多媒体的关键特性多样性—适应了信息载体的多样性 交互性—易于人和计算机的交互集成性—实现了信息处理的集成性多媒体计算机的关键技术视频音频信号获取技术；多媒体数据压缩编码和解码技术；视频音频数据的实时处理和特技；视频音频数据的输出技术。

要把一台普通的计算机变成多媒体计算机需要解决哪些关键技术？答：视频音频信号的获取技术；多媒体数据压缩编码和解码技术；视频音频数据的实时处理和特技；视频音频数据的输出技术。

多媒体计算机的关键技术及其主要应用领域。

答：多媒体计算机的关键技术是：①视频音频信号获取技术；②多媒体数据压缩编码和解码技术；③视频音频数据的实时处理和特技；④视频音频数据的输出技术。

多媒体计算机的主要应用领域：①多媒体数据库和基于内容的检索；②多媒体通信；③多媒体创作工具。

音频处理技术什么是模拟音频和数字音频？它们的特点是什么？声音是机械振动。

振动越强，声音越大，话筒把机械振动转换成电信号，模拟音频技术中以模拟电压的幅度表示声音强弱。

在计算机内，所有的信息均是以数字表示的。

各种命令是不同的数字，各种幅度的物理量也是不同的数字。

当然，语音信号也是由一系列数字来表示，称之为数字音频。

数字音频的特点是保真度好，动态范围大。

模拟声音在时间上是连续的。

数字声音在时间上是断续的。

什么是音频信息的数字化？计算机内的音频必须是数字形式的，因此必须把模拟音频信号转换成用有限个数字表示的离散序列，即实现音频数字化。

在这一处理技术中，涉及到音频的采样、量化和编码。

声音数字化的两个步骤是什么：声音数字化的两个步骤是：采样和量化。

采样就是每间隔一段时间就读一次声音信号的幅度，量化就是把采样得到的声音信号幅度转换为数字值。

时间 上的离散叫采样，幅度上的离散称为量化。

什么是采样和量化？音频实际上是一个连续的信号，或称连续时间函数x(t)。

用计算机处理这些信号时，必须先对连续信号采样，即按一定的时间间隔(T)取值, 得到x(nT)(n为整数)。

T称采样周期，1/T称为采样频率。

称x(nT)为离散信号。

离散信号x(nT)是从连续信号x(t)上取出的一部分值，在满足采样定理的条件下，可以用x(nT)通过数字---模拟转换恢复出x(t)。

为了把采样序列x(nT)存入计算机，必须将样值量化成一个有限个幅度值的集合x(nT)。

通常情况下用二进制数字表示量化后的样值。

常用的音频采样频率有哪些？常用的音频采样频率有：8kHz、11.025kHz、16kHz、22.05kHz、37.8kHz、44.1kHz、48kHz等。

如果采用更高的采样频率，还可以做出DVD的音质。

音频编码的目的是什么？从哪些方面来考虑音频信号的冗余度？音频编码的目的在于压缩数据。

在多媒体音频数据的存储和传输中，数据压缩是必须的。

通常数据压缩造成音频质量的下降、计算量的增加。

因此，人们在实施数据压缩时，要在音频质量、数据量、计算复杂度三方面进行综合考虑。

从信息保持的角度讲，只有当信源本身有冗余时，才能对其进行压缩。

根据统计分析结果，语音信号中存在多种冗余，其最主要部分可以分别从时域和频域来考虑。

另外，由于语音主要是给人听的，所以也要考虑人的听觉感知机理。

因此，可以从以下三个方面来考虑音频信号的冗余度：时域信息的冗余度频域信息的冗余度人的听觉感知机理。

时域信息和频域信息的冗余度体现在哪些方面？如何从人的听觉感知机理方面对音频信息进行压缩？时域信息冗余度体现在以下几个方面：幅度的非均匀分布样本间的相关周期之间的相关基音之间的相关静音系数长时自相关函数频域信息冗余度体现在以下几个方面：非均匀的长时功率谱密度语音特有的短时功率谱密度人的听觉感知机理方面人的听觉具有掩蔽效应人耳对不同频段的声音的敏感程度不同人耳对语音信号的相位变化不敏感。

音频编码是如何分类的？音频编码的分类如下：（1）基于音频数据的统计特性进行 编码，其典型技术是波形编码。

其目标是使重建语音波形保持原波形的形状。

PCM（脉冲编码调制）是最简单最基本的编码方法。

它直接赋予抽样点一个代码，没有进行压缩，因而所需的存储空间较大。

为了减少存储空间，人们寻求压缩编码技术。

利用音频抽样的幅度分布规律和相邻样值具有相关性的特点，提出了差值量化（DPCM）、自适应量化（APCM）和自适应预测编码（ADPCM）等算法，实现了数据的压缩。

波形编码适应性强，音频质量好，但压缩比不大，因而数据率较高。

（2）基于音频的声学参数，进行参数编码，可进一步降低数据率。

其目标是使重建音频保持原音频的特性。

常用的音频参数有共振峰、线性预测系数、滤波器组等。

这种编码技术的优点是数据率低，但还原信号的质量较差，自然度低。

将上述两种编码算法很好地结合起来，采用混合编码的方法。

这样就能在较低的码率上得到较高的音质。

如码本激励线性预测编码（CELP）、多脉冲激励线性预测编码（MPLPC）等。

（3）基于人的听觉特性进行编码：从人的听觉系统出发，利用掩蔽效应，设计心理声学模型，从而实现更高效率的数字音频的压缩。

其中以MPEG标准中的高频编码和DolbyAC-3最有影响。

量化可以分为几类？量化有好几种方法，但可以归纳为两类：一类称为均匀量化，另一类称为非均匀量化。

采用的量化方法不同，量化后的数据量也不同。

因此，可以说量化也是一种压缩。

什么是均匀量化？什么是非均匀量化？它们的特点是什么？采用相等的量化间隔对采样得到的信号做量化就是均匀量化。

均匀量化就是采用相同的"等分尺"来度量采样得到的幅度，也称为线性量化。

用这种方法量化输入信号时，无论对大的输入信号还是对小的输入信号一律都采用相同的量化间隔。

为了适应幅度大的输入信号，同时又要满足精度高的要求，就需要增加样本的位数。

但是，对语音信号来说，大信号出现的机会并不多，增加的样本位数就没有充分利用。

为了克服这个不足，就出现了非均匀量化的方法，这种方法也称为非线性量化。

非均匀量化的基本思想是，对输入信号进行量化时，大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔，这样就可以在满足精度要求的情况下使用较少的位数来表示。

声音数据还原时，采用相同的规则。

什么是自适应量化PCM？改变量化阶距有哪两种方法？自适应量化PCM (adaptive pulse code modulation , APCM)是一种根据输入信号幅度大小来改变量化阶距大小的一种波形编码技术。

这种自适应可以是瞬时自适应，即量化阶距的大小每隔几个样本就改变，也可以是音节自适应，即量化阶距的大小在较长时间周期里发生变化。

改变量化阶距的大小有两种方法：一种称为前向自适应（forward adaptation），另一种称为后向自适应（backward adaptation）。

前向自适应是根据未量化的样本值的均方根值来估算输入信号的电平，以此来确定量化阶距的大小，并对其电平进行编码作为边信息传送到接收端。

后向自适应是从量化器刚输出的过去样本中来提取量化阶距信息。

由于后向自适应能在发和收两端自动生成量化阶距，所以它不需要传送边信息。

什么是调频音乐合成？什么是波表合成？调频音乐合成是使高频振荡波的频率按调制信号规律变化的一种调制方式。

采用不同调制波频率和调制指数，就可以方便的合成具有不同频谱分布的波形，再现某些乐器的音色。

我们可以采用这种方法得到具有独特效果的"电子模拟声"，创造出丰富多彩的声音，是真实乐器所不具备的音色，这也是FM音乐合成方法特有的魅力之一。

波表的英文名称为"WAVE TABLE"，从字面翻译就是"波形表格"的意思。

其实它是将各种真实乐器所能发出的所有声音（包括各个音域、声调）录制下来，存贮为一个波表文件。

播放时，根据MIDI文件纪录的乐曲信息向波表发出指令，从"表格"中逐一找出对应的声音信息，经过合成、加工后回放出来。

什么是MIDI？什么情况下使用MIDI？MIDI是乐器数字接口的缩写，它始建于1982年，MIDI泛指数字乐器接口国际标准。

标准的多媒体PC平台能够通过内部合成器或连到计算机端口的外部合成器播放MIDI文件。

MIDI标准规定了不同厂家的电子乐器与计算机连接的电缆和硬件。

它还指定了从一个装置传送数据到另一个装置的通信协议。

这样，任何电子乐器，只要有处理MIDI信息的处理器和适当的硬件接口都能变成MIDI装置。

MIDI间靠这个接口传递消息(massage)，消息是乐谱(Score)的数字描述。

乐谱由音符序列、定时和合成音色(Patches)的乐器定义所组成。

当一组MIDI消息通过音乐合成芯片演奏时，合成器解释这些符号，并产生音乐。

以下几种情况下，使用MIDI谱曲比使用波形音频更合适，如：需要播放长时间高质量音乐。

比如你想在硬盘上存储的音乐大于1分钟，而硬盘又没有足够的存储容量。

需要以音乐作为背景音响效果。

同时从CD-ROM中装载其他数据，如图像、文字的显示。

需要以音乐作背景音响效果。

同时播放波形音频或实现文--语转换，以实现音乐和语音同时输出。

什么是AC-3 ?美国杜比公司（Dolby）制定的环境立体声音频压缩编码标准，它在制定了AC-1和AC-2后又制定了AC-3。

AC-3采用了频谱分析技术，非线性子带带宽分配、动态时域／谱域带宽分配、心理声学模型和多声道耦合技术，具有很高的数据压缩率和很低的失真度。

杜比AC-3有完全独立的６个声道，全频带的左、右、中、左环绕、右环绕和一个低于120HZ的超低音，因此，又称为5.1声道。

多媒体数据压缩文本文本是计算机文字处理程序的基础，包括ASCII、中文。

图形一般指用计算机绘制的画面。

也称矢量图。

图像图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。

静止的图像是一个矩阵，由一些排成行列的点组成，这些点称之为像素点（pixel），这种图像称为位图（bitmap）。

视频由连续的画面组成。

这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉音频波形声音，包含了所有的声音形式，它可以把任何声音都进行采样量化。