多媒体技术教程-2

2．声音的符号化
波形声音可以把音乐、语音都进行数据化并 且表示出来，但是并没有把它看成音乐和语音。
对于声音的符号化（也可以称为抽象化）表 示包括两种类型：一种是音乐，一种是语音。
2.2.2 音频的数字化和符号化
（1）音乐的符号化－MIDI
MIDI(Music Instrument Digital Interface)是 指乐器数字接口的国际标准。
声音是时间函数，通过傅里叶变换可做出其频 谱图。人耳对频谱成分的波峰和波谷是非常敏感 的。在语言中，元音很少有频谱变速变化的区域。 基频改变，人耳是很敏感的。例如：快进的录像， 音调会发生变化。
音色非常复杂，目前尚在研究中。音色的处 理将使我们能识别音源，音色也代表和声音有关 的主观质量。
2.2.1 声音心理学
例如：字符A的ASCII码值为065； 字符B的ASCII码值为066； 字符C的ASCII码值为067；
2.1.2汉字
1.汉字的输入编码 （1）数字编码 数字编码输入的优点是无重码，缺点难以记
忆。 （2）拼音码 以汉语拼音为基础的输入法，汉字输入法重
码率很高，同音字的选择影响了输入速度 的提高。 （3）字型编码 五笔
采样位数
存放一个采样点所需的比特数。一般的采样 位数为8位或16位，即把声音采集为256等份或 65536等分。
2.2.2 音频的数字化和符号化
声道数
有单声道、双声道和多声道。如多种语言音 频混存时，需要多声道
数据量
(采样频率×每点采样位数×声道数)
数据量＝ 8
(字节/秒)
2.2.2 音频的数字化和符号化
–媒体结合是多层次的 –媒体结合有利于信息接受和理解
隐喻
–交互的概念模型，也称心智模型
威海北洋职业技术学校《多媒体技术教程》
2.2 听觉媒体技术
2.2.1 声音心理学
1.声音的量纲
声音的振动是一种正弦波，声音的变化必须 确定三件事：频率（变化的速度）、幅度（产生 的压力）、相位（何时开始）。
–计算机设计动画方法
• 造型动画 • 帧动画
2.1.1 常见的媒体元素
动画
–帧动画
2.1.1 常见的媒体元素
动画
–帧动画
2.1.2 媒体的种类
视觉
视觉
（静止）
图像 抽象化
图形
抽象化 文字
（动态）
图像
图形 其它表示为视觉的媒体
符号 语言文字 动态影像视频 真实感三维动画 二维动画 三维动画
• 采样精度
–每次采样信息量
• 8位、16位 数据量计算：
• 通道数
(采样频率×采样精度×通道数 ×时间 )/8 字节
–声音产生的波形数
• 单声道、立体声道、5.1声道
2.1.1 常见的媒体元素
动画
–动画的概念
运动的图画，实质是一幅幅静态图像的连 续播放。动画的连续播放既指时间上的连续， 也指图像内容上的连续，即播放的相邻两幅图 像之间内容相差不大 。
–分类
2.语音
–人的说话声虽是一种特殊的媒体，但也是一种波 形，所以和波形声音的文件格式相同。
3.音乐
–符号化了的声音， 乐谱可转变为符号 媒体形式。
2.2.1 数 字 音 频
音频
–数字声音波形质量的主要技术参数
• 采样频率
–等于波形被等分的份数，份数越多，质量越好
• 11.025KHZ、 22.05KHZ、44.1KHZ
2.2.1 声音心理学
听觉空间
人耳可听到来自各个方向的声音，并用不同 的因素来判定声源的位置。声源的位置不论对于 增进人们的感受还是增进对声音的理解，都是非 常重要的。通过声音的精确再现，就可以构造出 听觉空间。
方位的线索是各种声音到达两耳的精确时间 和强度。
2.2.1 声音心理学
听觉的频谱特性
在计算机中，所有的信息都以数字来表示。 声音信号也是由一系列的数字来表示的，称为数 字音频。数字音频的特点就是保真度好，动态范 围大。
数字声音是一个数据序列。它是由外界声音 经过采样、量化和编码后得到的。
2.2.2 音频的数字化和符号化
对声音进行采样用奈奎斯特采样定理来决定 采样的频率。根据该定理，只要采样频率高于信 号中最高频率的两倍，就可以从采样中完全恢复 原始信号的波形。因为人耳所能听到的频率范围 为20Hz到20KHz，所以实际的采样过程中，为了 达到好的效果，就采用44.1KHz作为高质量声音 的采样频率。如果达不到这么高的频率，声音恢 复的效果就会差一些，例如电话声音的质量等。 一般来说，声音恢复和采样频率、信道带宽都有 关。
2.2.1 声音心理学
两者之间确有关系：例如声音的响度 取决于强度和频率两个因素，如果频率不 变，强声显得比弱声要响些。但如果强度 不变，过高频率的声音和过低频率的声音 似乎比中频的声音听起来都要弱一些。由 此可见，响度依赖于频率，原因是人耳能 反应的频率范围是有上限和下限的。
心理变量
2.2.1 声音的量纲
率上的强度是不同的。先设一个音为标准音，给 予固定的频率、强度和持续时间，例如1000Hz、 40分贝、持续0.5秒；再给一个音也持续0.5秒，但 频率不同，通过调整使其响度听起来一样，得到 的这样一组曲线称之为等响曲线。等响曲线描述 的是响度与频率和强度的关系。从声音心理学考 虑，对同一响度的声音在频率上和强度上可以有 很大的差别，这对声音表现有重要意义。
相位
从声音的波形来看，声音的起点和方向也要 反映声音的特性，这就是声音的相位。当两个声 音相同相位完全相反时，它们将相互抵消；当两 个声音相同而且相位也相同时，声音就会得到加 强。
相位的确定对于多声道声音系统的设计非常 重要，其可以应用在回声的消除、会议系统的声 音设计上。
2.2.1 声音心理学
2.2.1 声音心理学
临界频带
在频率的某一临界区里，各种声音是相互 作用的，合成声音的响度由这些频率共同决定。 如果超出临界区，声音的响度不再相互作用， 声音的响度随频率的改变而改变。这个临界区 就是临界频带，其宽度视其中心频率而定。对 于临界频带的确定，使得对声音响度的处理能 够有的放矢。
2.2.1 声音心理学
MIDI消息，是指乐谱的数字描述。
任何电子乐器，只要有处理MIDI消息的微处 理器和合适的硬件接口，就构成了一个MIDI设 备。当一组MIDI消息通过音乐合成芯片处理时， 合成器能解释这些符号并且产生音乐。
MIDI的关键是作为媒体能够记录这些音乐的 符号，相应的设备能够产生和解释这些符号。它 给出了一种得到音乐声音的方法。
另外一方面，人们可以感觉到声音的强弱， 可以感觉到歌唱家音调的高低。
因此，声音的量纲分为声音的物理量纲和心 理量纲。
2.2.1 声音心理学
物理量纲可以用精确的值来描述，但 对某一具体声音得来的心理印象却不容易 说明白，因为心理印象要由被测者的经验 而定。
声音的心理属性和物理属性不可等同， 首先，这些关系不是线性的；其次这些关 系不是孤立的；第三这些关系不是不变的。
2.汉字内码
汉字内码用于汉字信息的存储、交换、 检索等操作的机内代码，一般采用两 个字节表示。
3.汉字字模码
字模码是用点阵表示的汉字字形代码， 它是汉字的输出形式
2.2 音 频
音频
–分类
1.波形声音
–包含了所有的声音形式，它可以把任何声音都进 行采样量化，并恰当地恢复出来。
2.2音 频
音频
首要的物理变量
次要的物理变量
响度 音调 音色 音量 密度 谐和（流畅或粗糙） 噪声 骚扰声
声强 声波频率 声波复合 频率和强度 频率和强度 谐波结构
强度 强度
声波频率 声强 － －
－ 音乐技巧
频率组合，各种时间参量
频率组合，无意义
2.2.1 声音心理学
2.听觉特性
等响曲线 由于响度与频率和强度有关，所以在不同频
威海北洋职业技术学校《多媒体技术教程》
第二章 多媒体信息的表示
威海北洋职业技术学校《多媒体技术教程》
【学习目标】
1.掌握：位图、矢量图的定义。 2.理解：音频信号的数字化处理，矢量图与位图、图像与 图形的比较。 3.了解：超文本与超媒体。 【学习要点】
多媒体信息（文字、音频、视觉媒体、动画）在计算机中 是如何表示的。
语音指构成人类语音信号的各种声音。在采 集和存储上可以与波形声音一样，但由于语音是 由一连串的音素组成。“一句话”中包含许多音 节以及上下文过渡过程的连接体等特殊的信息， 并且语音本身与语言有关，所以要把它作为一个 独立的媒体来看待。
2.2.2 音频的数字化和符号化
声 音 的 采 样 以 及 量 化 图
2.2.2 音频的数字化和符号化
与数字音频相关的重要特性：
采样频率
采样频率与声音的质量关系最为紧密。采样 频率越高，声音质量越接近原始声音，所需的存 储量便越多。标准的采样频率有三个：44.1KHz， 22.05kHz，和11.025kHz。
2.2.2 音频的数字化和符号化
MIDI的特点：
与波形声音相比，MIDI不是声音数据而是指令， 所以数据量要少得多。30分钟的音乐， 用MIDI文 件记录只需200KB，用16位CD品质的未压缩WAV 文件记录需317MB
MIDI可以与其他波形声音配合使用，形成伴乐的 效果。而两个波形声音一般是不能同时使用的
对MIDI的编辑也很灵活，用户可以自由地改变音 调、音色等属性，直到自己想要的效果
MIDI在音质上还不能与真正的乐器完全相似。无 法模拟自然界中其它非乐曲类声音
2.2.2 音频的数字化和符号化
（2）语音的符号化
语音与文字是对应的。波形声音可以记录表示 语音，它是不是语音取决于听者对声音的理解。 对语音的符号化实际上就是对语音的识别，将语 音转变为字符，反之也可以将文字合成语音。