虚拟声的原理

由前面 （ 至 ５ 式的分析，由于扬声器到倾听者双耳的传输函数是和扬声器与倾听 ） （） ４ 者之间的相对位置有关的 因此特定的串声消除网 ， 络只能对特定的听音位置 有效。 倾听者 当
在一 研究中， 提出了 进耳 发 象的 １ 包 采用 者自 的Ｈ Ｔ 函 些 也 改 机重 声 方法９ 括 倾听 己 ＲＦ １ 。
数进行信号处理； 在信号处理中加入人工反射声； 采用传感器跟踪倾听者头部的位置， 并根 据头部的位置进行自 适应信号处理等。 这些措施对改善声象效果有一定的作用， 但同时也增 加了系统的复杂性。因而简单而有效的改善声象效果方法仍是值得探讨的问题。 ３ ． ３扬声器重发的声象稳定性和声象位置畸变
声器到双耳的传输函数分别为 Ｈ 厂 Ｈ Ｌ 坑 Ｈ 尺 ，十 ｌ ｅｓ ｌｒ ｅｓ ｌ 一一 一一 ｅｓ ．凡 ｓｅｅｓ Ｈ Ｈ Ｒ Ｈｒ， ｅｓ
Ｌ Ｊ
那么双耳声压为：
Ａ Ａ
， 二
「ｌ 厂 ｗｅ
， ‘
１ ｅｓ ｅｓ ｅｓ ｅｓ Ｊ 」 ． ｌ ｌｗｅ ｌ
Ｅ Ｅ
「 ！ ｓｅ １
３ 有关虚拟声的进展与存在问题 ，
３１ Ｆ ． Ｔ 的测量与计算 Ｈ Ｒ 虚拟声的核心是用ＨＴ进行信号处理， ＲＦ 因而ＨＴ的获取成为关键问题之一。 ＲＦ 通过 ＲＦ ＨＴ可 实验测量得到， 它与头部、 耳廓等的尺寸有关， 是因人而异的。 严格来说， 应在每个倾听者 对不同空间方向声源的ＨＴ进行测量。 ＲＦ 并利用倾听者自身的ＨＴ进行信号处理， ＲＦ 才能得到理
（ｏｔＣ ｉ Ｕ ｉ ｒｔｏＴｃｎｌ ｙＡ ｐｅ Ｐｙｉ Ｄ ｐ， ｎｚｏ， Ｃ ｉ ） Ｓｕ ｈ ａ ｖ ｓｙ ｅｈｏ ｇ， ｌｄ ｓ ｓ ｔＧ ａｇｈｕＰ ．ｈ ａ ｈ ｎ ｎ ｅ ｉ ｆ ｏ ｐ ｉ ｈ ｃ ｅ． ｕ ． ｎ Ｒ
虚拟声是国际上近十年新发展的一项技术。它是在声音重发中，采用信号处理的方法， 模拟出空间不同位置的声源所发出的声波到双耳的传输，从而模拟出相应的空间听觉效果。 由于虚拟声系统在硬件结构上较为简单，故在多媒体与虚拟现实、心理声学研究、 室内声 学模拟、 家用声重发等领域有广泛的应用前景， 并成为国际上研究的热门课题。 但虚拟声也 存在有待改进的缺陷。本文将评述虚拟声的原理、进展、应用和需要进一步解决的问题。
库， 在｀ 上公 ４ 实 倾听 头部 尺寸 信号 理 头 模型 井 ｆ ． 联网 布￡ １当 际 者的 等的 与 处 用的 部 接近时， 可 较好的 发 得到 重 效果； 之， 会带 象 畸 我 最 研究 ［ 头 尺寸 反 则 来声 位置 变。 们 近的 表明５ 部 １ ，
改变时， 特别容易引起侧向的虚拟声象位置畸变。 因而采用 “ 普遍” ＲＦ 的ＨＴ进行信号处理存 在重发效果因人而异的问 这是虚拟声系统的一人缺陷。 题， 特别是广泛采用的ＫＭＲ Ｌ ＥＡ人＿头， 它是根据欧洲人的平均生理数据所建立的听觉生理模型， 不一定适合于中国人。目前还没有
用 有效的 插值方法， 减少数 误差 一个意 研究 题〔 据的 也是 义的 课 ６ ｌ ０
ＩＴ 函数也可通过理论计算得到。 最早的方法是将头部简化成半径为ａ ＩＦ Ｒ 的刚性球体， 双耳简化为球面上相对的两点， 然后利用刚球对声波散射的瑞利公式计算ＨＴ， ＲＦ 改变参数ａ
还可以模拟出不同的头部尺寸。该模型虽然简单， 但忽略了头部形状， 耳廓和躯体对声波的
使得扬声器重发时的双耳声信号与耳机重发的情况一致， 完全消除串声干扰。 考虑左右对称 性，可设Ｈ ＝Ｈ ＝ａ ｉ ｒ ， ｒ ｐ，而馈给扬声器的重发信号可以写成： 『
［ ＿ 一一 “ 五 一１ 「 」 一 一
Ｌ Ｊ “ 一Ｐ － ＂ Ｌ Ｐ
｝Ｄ Ｉ ＿２ Ｄ ２ ． Ｉ ａ
Ｅ １［ ｏ ａ ＝ － －Ｄ ｚ 一
（ ３）
其中各小写字母所代表的物理量与 （）式的大写字母所对应的物理量互为付立叶变换。而 ２ ｈ（ ， ｔ称为头相关脉冲响应或 （ ， ） ｈ（ ｔ ｒ） 自由场）双耳脉冲响应。 虚拟声信号 Ｌ Ｒ Ｅ Ｅ也可以利用一对左右对称的扬声器重发。 ， 但这时会产生一种交叉串声 效应，即不但左耳， 而且右耳都会听到左扬声器所发出的声音，反之亦然。因而Ｅ Ｅ Ｌ Ｒ ， 在馈 给扬声器之前应经过一串声抵消网络，以消除交叉串声。如图 ２ 所示，设 （）式的 Ｅ Ｅ ２ ， Ｒ 信号经过 ２２ ＊ 串声消除网络 （ 矩阵［］ 后变为Ｌ Ｒ Ａ） ， 信号而馈给左右、 扬声器， 而左、 右扬
散射等因素，只能适用于频率小于３４ ｚ － ｋ 的情况。也有研究采用刚性椭球作为头部模型， Ｈ
并利用数值计算Ｈ Ｔ１ 更进一步的 包括了 ＲＦ１ ＇ 。 模型 耳廓的影响。 ．． ｍｒ 等人则利用 而ＮＡＧ ｅ ｖ ｕ ｏ 多 重散射的 方法，计 躯体散 影响８ 这些新的 算了 射的 ［ １ １ 。 计算模型当 然较刚 球模型 准确， 但计
虚拟声的原理、 进展及应用’
谢菠荪
（ 华南理工大学 应用物理系 广州 ５０４） １ １ ６
Ｔ ｅ ｃ ｌ Ｐｏｒ ｓ Ａ ｐｃｔｎ ｉｕｌ ｎ ｈ Ｐｉ ｉｅ ｒｇ ｓａｄ ｌａｏ ｏＶｒ ａＳｕｄ ｒ ｐ ， ｅ ｎ ｐ ｉ ｉ ｆ ｎ ｔ ｏ
Ｍ ｅ ｓ ｎ Ｂ ｕ ｏ
算上更为复杂， 且与实际测量结果还有一定的差别。 最近也有研究提出利用计算机仿真技术，
通过头 部的图 进行头 模型 模， 利 值计 方 象 部 建 并 用数 算的 法计算Ｈ Ｔ１ ＲＦ１ ＇
３ ． ２耳扫重发声象的改善 Ｌ
月耳机重发虚拟声可产生三维空间的声象。 Ｉ 但实验表明， 对不少的倾听者会产生头中定
其中Ｐ为头部不存在时头部中心位置处的声压； 而Ｈ ， 称为头相关传输函数 （Ｒ Ｆ， 。 ＬＨ Ｒ ＨＴ） 它们反映了头部等对声波的散射作用，包含了声音的空间信息，并且和声源的方位 ｅ 、小、 距离ｒ（ 远场近似时与ｒ 无关） 角） 、（ 频率。 、头部等的几何尺寸ａ 有关。 由于双耳处的声压包含了声音的空间信息， 通过对双耳声信号的捡拾、 模拟、 传输和重 发， 就可重发声音空间信息。 传统上是采用人工头进行双耳声信号捡拾的。 近年可采用 Ｈ Ｔ ＲＦ
想的 音效 国 有多 研究 组 声 果。 外己 个 小 进行了 方面的 作〔 但是 种方 在实际 这 工 ３ ］ ， 这 法 应用中
困难较大。 更多的是通过对某个特定的人工 头模型（ 或有代表性的倾听者） 进行侧量得到“ 普
遍” ｉ Ｆ 并川其进行信号处理。 ＭＴ 的ＩＴ ， Ｒ Ｉ媒体实验室通过测量得到ＫＭＲ ＥＡ人工头的 ＲＦ ＨＴ数据
、中的声源所 并采用耳机进行重发，那么倾听者双耳处的声压将正比于 （）式的方位为 ｅ １ ２ １ 产生的Ｐ， ＬＰ Ｒ ，从而在听觉中虚拟出相应的声象，这就是虚拟声的基本原理。（ ）式或 （ ） 式可表示为等价的时域卷积形式：
ｅｔ＝ （ 必ｒ， ｏ ｅ ） ｈ（， ｔ ＊ｏ ，，ｔ ）ｅ（ ｔ＝ ｒ ， ）ｅ（ ， 乓 ９ ， ＊ ｔ （ ） ａ ） ｒ Ｂ０ｒ， ｔ （ ， ａ ）
信号处理的 法 方 模拟出 耳声 双 信号。 把单 频信号Ｅ按 式 行处 ［ｌ 当 路声 。 下 进 理１ ， １ ［ ２
Ｅ ＝ Ｌ ，） ） Ｅ ＝ Ｒ ， ａＥ １ ｏａＥ ， Ｈ （ ０ｒ ， ｏ Ｒ Ｈ （， ｃ ） ． （ ， ９ ９０ｒ ， ｏ ， ｏ （） ２
１ 引言 ．
２ 空间听觉与虚拟声的基本原理 ．
人类是利用双耳感知声音空间特性的。 声源产生的（ 直达） 声波经头部等的散射后到达双
耳，产生双耳时间 （ Ｄ和声级差 Ｉ ） 听觉系 差（ ） Ｉ Ｔ （Ｄ。 Ｌ 统利用双耳 差和过去的 经验比 较，从而
判断声源的方向。 而耳廓对声波的衍射所引起的梳状滤波效应和头部的转动引起双耳差的改 变对 （ 前后和中垂面）定位也有重要的作用。 在有限空间内， 除直达声外， 边界的反射声也 会到达双耳。 各种反射声的组合使听觉系统产生对周围声学空间环境一种综合的、 总体印像 的感觉。因而人类对声音空间特性的感觉包括对直达声和反射声的感觉两部分。
位效应， 声象常集中在人头内部或表面， 而不是在头外分布， 从而造成一种不自 然的听觉效
果。 另外前方声象也很容易出现在后方的镜象位置， 导致声象位置畸变。 产生畸变的可能原
因包括：（） ａ 信号处理用的Ｈ Ｔ 头部模型）与实际倾听者的Ｈ Ｔ 差别较大． Ｒ Ｆ（ ＲＦ 特别是耳 廓部分， 因为耳廓对声波的散射所引起的双耳声压的梳状滤波效应对区分前后镜象位置声象 是非常重要的。 ｂ 对真实声源的倾听中， （） 头部转动所引起的双耳声信号的改变对区分前后 镜象位置声源和头外定位是重要的， 但虚拟声却忽略了这因素。ｃ 在对真实声源的倾听中， （） 环境的反射声对头外定位是重要的，而耳机重发正是缺少这部分的信息。
Ｆｏｔ ｒｎ
Ｈ ａ ｅｄ
图 １ 声源到双耳的传输
图 ２扬声器重发
如图 １ 所示，自由场条件下，点声源在双耳产生的频域声压可表示为：
几 ＝ Ｊ ， ｃ ａＰ Ｈ Ｏ ） ） ６ ， ｒ ， Ｏ ，
凡 ＝ Ｒ ， ａＰ Ｈ （， ， ） ｅＯ ） Ｏ ｒ ， ｏ
（） Ｉ
＊教育部优秀青年教师资助计划和 Ｔ Ｌ王牌电子有限公司项目 Ｃ
Ｒ Ｌ
ｒ ｓｅ １ ‘ ‘１ 且１
Ｅ
－ｌ Ｌ ｅｓ ｅｓ ｅｓ Ｒ Ｊ ｅｓ ｅｓ ｅｓ
一－
Βιβλιοθήκη Baidu
ｒ
［ ［］ Ｈ］ Ａ
ｓｅ ｅｓ Ｌ
ｅｓ
Ｅ
（） ４
不难证明， 当选择串 声消除网 络的 络网 传输特性， 使得〔 二Ｈ ‘ 就有Ｐ ＝ Ｐ ＝ Ｅ Ａ ［ ， 〕 丁 ＬＥ Ｒ ＇ ＇ Ｒ Ｌ ， ，
根据中国人的生理数据所建立的听觉生理模型。 在耳道的不同位置测量得到的ＨＴ也会不同。 ＲＦ 但从耳道入口到鼓膜可近似为一维声学传
输， 基本与 源方 声 位无关。 而 道不同 因 耳 位置的 Ｒ 可 信号 理的 法相 转换ｕ ＨＴ 用 处 方 互 Ｆ ］ ０
另外由于ＨＴ 是和空间方向有关的。但实际测量中只能按一定的间隔 ＲＦ 对空间有限个方 向进行测量 （ 空间采样） 因而空间其它方向的ＨＴ 函数就要通过数据插值的方法得到。 ， ＲＦ 采
ａ ：刀 Ｒ Ｈ 一Ｈ ＬａＲ Ｕ 一Ｐ Ｌ 刀Ｈ ＋ ｌ 一
ｔ． １ ．ｓｅ ｌ
Ｉ
Ｅ
八 Ｕ
（） ５
上式的第二个等号表明，串声抵消的信号处理与 （）式的虚拟声信号处理可以 ２ 合在一起进 行，直接得到适合于扬声器重发的虚拟声信号。 由于声波从声源到双耳的传输可看成是线性系统，因此可以 采用 （） （） ２ 或 ５ 式的信号 处理方法，在耳机或扬声器重发中同时虚拟出多个空间不同方向的声象。 对于 存在房间反射声的情况，（）式的 ｈ（ ， ｔ ３ ， ｈ（ ｔ ｝ ） ）可推广为双耳 （ 或头相关）房间 脉冲响应， 它表示包括声源到双耳的直达声和房间反射声的脉冲响应， 包含了直达声和特定 的房间 （ 如某音乐厅）反射声的空间信息。如果将单路音频信号按 （）式用双耳房间脉冲 ３ 响应进行处理， 即可在耳机重发中虚拟出 相应的空间听觉 （ 包括直达声定位和反射声的环境 信息） 。对于扬声器重发，理论上也可以利用类似 （）和 （）式的方法，引入串声消除网 ４ ５ 络， 消除扬声器到双耳的交叉串声和重发房间 （ 注意是听音室， 不是要虚拟的音乐厅） 的反 射声干扰。 但由于普通房间的双耳脉冲响应的长度较自由场的情况长得多， 并且其对应的频 域响应可能存在零点和极点， 这些都给信号处理带来困难。 因而实际的扬声器重发应该在消 声室至少是低混响听音室内进行，这样才能有效地实现串声抵消。