游戏中的音效设计

常见的声音引擎
常见的声音引擎（续）
常见的声音引擎（续）
常见的声音引擎（续）
常见的声音引擎（续）
常见的声音引擎（续）
常见的声音引擎（续）
三维声音基础知识

人对声音所在位置分辨的主要依据取决于：
◦ 响度（Loudness）：对于同样一个物体，它离听众越近，发 出的声音就越响，反之就越远； ◦ 强度差（Interaural intensity difference）：左方的声源虽 然也会到达右耳，但是声音就会比左耳听到的略轻一些，由 此就可以推断出声音来自左方； ◦ 时间差（Interaural time difference）：概念与上面基本相 同。左方的声源会使声音到达左耳的时间比到达右耳的时间 早一些（当然，这也要取决于两耳间的距离）； ◦ 模糊（Muffling）：人耳的结构更加适合辨别来自前方的声 音。如果音源来自后方，听起来就有些模糊的感觉。
计算三维声音的声波跟踪法


根据声波在空间中的传输方式，从声源出发，发 射声波并依据场景的三维几何属性进行描述，计 算声波在空间中反射、折射等不同的传播途径与 衰减程度，最终获得人耳所感知的各个方向的声 音。 需要建立一个类似于图形绘制的几何引擎。 真正的三维几何声波传播计算耗费资源，因此游 戏场景中用于声音计算的几何通常非常简单。在 音效重要性高的游戏中（例如第一人称射击游 戏），三维音效场景几何则要复杂一些。
◦ 玩家不能听到大墙背后的声音
目标2: 营造一种美学意境

能传递不同的心情和意境 ◦ 沉重的、压迫感的和狭窄的能造成热的 空间感 ◦ 回音能造成开阔、冷的空间感 ◦ 其他的环境相关的声音操作
游戏中的音频编程

更好地贴切游戏中声音的意义
◦ 声音做为载体在空间传播 ◦ 玩家和游戏智能利用声音做出gameplay决 定
不同频率波形的简单叠加 从已有波形中选择 叠加后进行滤波
调频合成
通过改变频率调整输出波形
波表
录制下来的每种乐器的声音，以数字化形式存放， 通过选择哪件乐器演奏、音量和音速、混合和平 移参数等来“奏响”记录下来的声波来合成出新 的声音。
对Biblioteka Baidu音的操作
混音：同时播放多个声音（背景音乐，语音， 事件反应音等） 最简单的方法就是将两个声音样本的数值依 次相加起来，如图所示：
游戏中的音效设计
主要内容
声音播放 调节声音 三维立体声 音效

什么是声音
什么是声音？

声音表现为波形, 可以记录、保存以及精确播放 声音(Sound)不等同于音乐(Music)
PCM(脉冲编码调制)播放所有 交互、电影、游戏中所需要的.

声音可以被合成出任意效果
什么是声音？
体检
声音在游戏中的重要性

可以根据声音收集我们周围物体的信息
在游戏中，除了视觉以外，最重要的信息 获取手段就是声音

甚至比视觉更为集中、有效 通常可以指导视觉
目标1：营造沉浸感

空间的暗示使得玩家能判断自己的方位
◦ ◦ ◦ ◦ 距离 方向感 当音源和听者移动时的更新 连续性是关键!

在实体的世界中
每次采集的数据称为采样（Sample) 每秒钟采样次数称为采样频率 （Sample Frequency） 通常的采样率：11025Hz, 22050Hz和 44100Hz (44.1k HZ， CD音质) 采样品质：类似于图像像素的位深.通 常为8bit和16bit。

声音的编码存储
什么是声音？

声音是一个时间域上的函数： x( t ) (从物理属性上看, 是一个时间箭头) 频率域：X( f ) (从数学和人的感知上看) 声音的产生：是什么造成了声音？ 感知：我们自己的感受！


什么是声音？

时间域：与声音的生成最相关
频率域：与人的感知最相关
考虑声音的传播（Propagation）？

如果声音处理不好
◦ 玩家将忽视声音的存在 ◦ 对于有遮挡物的室内场景，将给玩家错误的暗示
玩家的空间定位
空间的合成感
玩家所在空间 的材质
对声音的操作

采样（Sampling）
◦ 通过任意方式录制声音

合成 (Synthesis)
◦ 模拟合成 ◦ 调频合成
◦ 波表合成
对声音的操作
模拟合成
三维声音的传播方式


计算环境和音源的交互作用 声源发射出的声波，有以下几种不同的途径被人 耳所感知：
◦ 直接通道（direct path）：声波直接从声源传入人耳； ◦ 一次反射（1st order reflection）：声波经过某个界 面的反射后被人耳感知； ◦ 二次或多次反射(2nd order or late reflection)：声波 在进入人耳之前，经过多次的界面之间的反射； ◦ 遮挡（occlusion）：在声源与人耳之间存在隔音设备 或遮挡物体，其结果是人耳无法感知声源播放的声音；
对声音移动的建模方法 例如:

◦ ◦ ◦ ◦

存在很多遮挡物的室内场景 室外场景 多材质界面 一般的第一人称视角游戏
声音其实能给人某种暗示
三维声音

考虑下列影响人感知声源位置的因素， 把声音作三维定位，创造出三维的环境 声响
◦ 声源越远，音量越小 ◦ 从左边发出的声音将在左耳中产生较大的 音量 ◦ 从左边发出的声音将首先到达左耳，左右 耳朵相差1微秒左右 ◦ 从脑后传来的声音，与从前方传来的声音 相比，有一定程度的减弱

每秒钟CD品质的声音信号占据的空间 是176KB，3分钟长度的歌曲容量是 31MB 音频的压缩和解压缩：利用时空连贯性、 查找表等技术。
◦ 有损压缩：MPEG Layer 3 （MP3)：把部 分并不需要的信息过滤掉，例如一些人耳 听不到的高频率信号，或者一些无用的环 境噪音。 ◦ 无损压缩：RLE，运长编码
对声音的操作

MIDI - Musical Instrument Digital Interface （乐器数字界面） 用于控制音乐合成器 MIDI数据
◦ 合成细节由合成器决定
◦ 仅仅是一个事件的列表，描述了一个声音卡或其他播 放设备要产生某种声音的特定的步骤 ◦ 每一个描述乐器演播的动作的字都赋给一个特定的二 进制代码 。要奏响一个音符，你要发出一个“音符开” （Note On）消息，然后对该音符赋以一个“速度”， 用以判断该音符能奏多响。 ◦ 其他控制包括选择哪件乐器演奏、混合和平移声音以 及控制电子乐器等。