基于声学特征的乐器识别综述

振腔） 的物理特征。共振峰是语音识别 的必要信息 ，同时也是乐器识别 的一个重要特征 。倒谱 系数是 表 示共 振 峰值 的一个 方 法 ，包含 信号 量 Ｙ （ 的倒谱 系数 定义 为 ： ）
ｃ Ｉ ：Ｆ ｌ ＦＩ （ ） ｝ （） ｔ ｛０ ｌ ｒ ｎ ］ｌ ｇ
利用同态处理方法 ，对语音信号求离散傅里叶变换 Ｄ Ｔ后取对数 ，再求反变换 ｉＦ Ｆ Ｄ Ｔ即得到倒谱系 数 。实验 表 明 ，使用 倒 谱可 以提 高特 征参 数 的稳定 性 。
第 ｌ 第 ３期 ９卷 ２ １ ０ ２年 ６ 月
Ｊ ＯＵＲＮ ＡＬ ＯＦ ＤＯＮＧＧ ＵＡＮ ＵＮ ＶＥ Ｉ Ｙ Ｏ Ｅ ＨＮＯ ＯＧＹ Ｉ ＲＳＴ Ｆ Ｔ Ｃ Ｌ
东 莞 理 工 学 院 学 报
Ｖ１９Ｎ． ｏ １ Ｏ３ ．
Ｊ ｎ ｕ． ２ ２ ０１
基 于 声 学 特 征 的 乐 器 识 别 综 述
Ｐ ｏ ｅ ｓｎ 、 Ｉ ＥＥ Ｉ ｔｒ ａｉ ｎ ｌ Ｃｏ ｆ ｒ ｎ ｅ ｏ ｏ ｓｉｓ Ｓ ｅ ｃ ｎ ｉ ｎ ｌ Ｐ ｏ ｅ ｓ ｇ Ｉ Ｅ ｎ ｅ ｎ ｔ ｎ ｌ ｒ ｃ ｓ ｉ ｇ Ｅ ｎ ｅ ｎ ｔ ａ ｎ ｅ ｅ ｃ ｎ Ａｃ ｕ ｔ 、 ｐ ｅ ｈ ａ ｄ Ｓ ｇ ａ ｒ ｃ ｓ ｉ 、 Ｅ Ｅ Ｉ ｔ ｒ ａｉ ａ ｏ ｃ ｎ ｏ
：
１ ）时域 特征 ：将 乐器 音频 信号 作为 一个 整体 计算 （ 分成 帧 ） 不 ，特征 例如 起始 时 间 、有效 时 间等 ； ２ 能量特 征 ：此 类 特 征 跟 信 号 中包 含 的能 量 特 征 有 关 ，例 如 总 的能 量 、和 声 能 量 、噪音 部 分 能 ）
量 ；
１ 特 征 抽 取
对于使用不同乐器的独奏表演或者不 同的音乐片段 ，基于不 同的声学特征进行识别 ，识别精度往往
差 别很 大 ，并 且不 能找 到一 个 良好 的声学 特征 在识 别各 种乐 器 时均能 表现 出 良好 的健 壮 学特 征 。根据 数据 的抽 取领 域 ，抽取 的声 学特 征可 以分 为下 面几类
Ｃ ｎｅｅ ｃ ｎＭ ｌ —ｍ ｄａａｄＥ ｐ 和 Ｉｔｒａｉ ａ Ｓｍｐｓ ｍ ｏ ｓ ｎｏｍａ ｏ ｅｒ ｖｌ 。下文 我 ｏｆｒｎ ｅｏ ｕｔ ｉ ｅｉ ｎ ｘ ｏ ｎｅｎ ｔ ｎ ｌ ｙ ｏｉ ｎ Ｍｕｉ Ｉｆｒ ｔ ｎ Ｒ ｔｅａ 等 ｏ ｕ ｃ ｉ ｉ
们 将 对基 于声 学特 征 的乐器识 别 领域 现有 的研 究成 果进 行综 述 。
基金项 目： ０ ９年 Ｎ Ｆ ． ２０ Ｓ Ｃ 广东省联合基金重点项 目：三维戏曲动画合成技术研究 （ ０３ ０ ３ 。 Ｕ ９ ５ ０ ） 作者简 介：邓见光 （９ １ ） １８ 一 ，男 ，河南周 口人 ，博 士生 ，助理研 究员 ，主要从 事网络与信息安全研究。
第 ３期
邓见光 ，等 ： 于声学特征的乐器识别综述 基
Ｆ表示 离 散傅 丽 叶变换 （ Ｆ＂。上 面等 式 中有两 个 傅 丽 叶 变换 ，其 计算 效 率 不 是很 高 ，如果 用 带 Ｄ ｑ）
小 号 、短 号 、法 国号 、萨克号 、低 音 号等 。木 管乐 器包 括 长笛 、双 簧管 、单 簧 管 、排萧 和低 音管 等 。 同 类 的乐器 ，如小 提琴 和 中提琴 、双簧 管和 中音 双 簧管 （ 国管 ） 以及 长 号 和 圆 号 （ 国号 ） 等在 声 音 英 法 上差 别 不大 ，应 用人 工 的方 法很 难 区分 ；尽 管如此 ，不 同类 的乐器 很容 易 区分 。基 于计 算 机 的乐器 识别 方法 也 有类 似 的识别 效 果 ，乐器 类别 的识 别精 度 比识 别 出具体 乐器 的精 度 要高 。 因识别 的相似性 ，乐器 识别 方法 是在 语 音识 别 和说话 者识 别 的基 础上 发展 起来 的 ，其 方法 与语 音识
别问题做了特征比较研究 ，他考虑的特征包括 Ｍ ｌ ｅ频率 、线性预测倒谱系数和 ｄｌ 倒谱系数等 ，其对 ｅａ ｔ 乐 器 族 的最 高识别 率仅 为 ７ ％ 。Ｋ ｓｎ ｌ等 同样 在单 音符 乐器 识别 问题 中比较 了不 同特征 （ Ｃ ７ ｉ ｆｈａ６ ＭＦ Ｃ和 Ｌ
Ｐ Ｃ 和分 类 方 法 （ 斯 混 合 模 型 和 Ｋ 近邻 法 ） 的 作 用 ，其 针 对 １ Ｃ ） 高 ４种 乐 器 的最 高 平 均 识 别 率 可 达 ９ ％ 。文献 ［ ］使用 高 斯混合 模 型和 支持 向量 机来 分类 ９种乐 器 的音乐 片断 ，用线 性预 测参数 （ Ｐ ） ０ ７ Ｌ Ｃ 和 基 于倒谱 系数和 ＭＦ Ｃ系数特 征 组合 的傅 里叶变 换 获得 ７ ％ 的识 别率 。在 文献 ［ ］ 中 ，Ｍａｉ 用 Ｃ ０ ８ ｒｎ使 ｔ
３ ３％ 。 ．１
下面对 目前研究 中用 的 比较 多 的特征 进行 详 细描述 ，并 对具 体 的抽取 算法 进行 简单概 述 。
１ １ 倒谱 系数 ．
共 振 峰是 指在 声音 频谱 中能 量 相对 集 中 的一些 区域 ，其是 音 质 的决 定 因 素 ， 同时反 映 了声 道 （ 共
ｌ
和 语音 信号 处 理及识 别 相 比 ，对 于基 于 声学 特征 的乐 器识 别 的研 究相 对较 少 。进 入 ２ ０世 纪 ９ ０年 代 以后 ，这个 领域 的研 究 工作 取得 了很 大进 展 ，国际上 发表 的有 关 论文 数量 大 幅增 长 。尽管 如此 ， 目前 国
收 稿 日期 ： ０ ２— ４— ６ ２ １ ０ ０
别类 似 ，主要 流程 如 图 １ ：
牺八ｌ … 一 性预测分析器 ｝ 线
ｌ 能量包 ｝ 征抽 ｌ ’
专
｝散丽过器 。 傅叶滤 离 ｜
模训 型
Ｉ 质 『 心 ＼ ｌ 包 ｆ
１其 特 算 Ｉ 它征法
图 １ 乐器 识 别 流 程
９ 分 类
５ ９
内有关 该领 域 的 比较全 面 的综 述 文章 还未 出现 ，因此有 必要 对最 近十 余年 的研 究工作 进行 一下 总结 。在 该 领域 比较 代 表性 的期 刊 和会 议 包 括 ＩＥ ｒｎａｔｎｏ ｐｅｈａｄＡ ｄ ｒｃｓｉ 、ＩＥ ｒｎａｔ ｎ Ｅ ＥＴａｓｃｏ ｎＳ ｅｃ ｎ ｕ ｉ Ｐｏｅｓ ｇ Ｅ ＥＴａｓｃｏ ｉ ｏ ｎ ｉ
３ ）波谱特征 ： 基于信号的短时傅丽叶变换的特征 （ ＴＴ ｓ Ｆ ）计算出来的特征 ，例如波谱质心 、波谱 ｒ
差 幅 、波谱 斜 度 ；
４ 和声特 征 ：基 于信 号 的正 弦和声模 型的计算 的特征 ，例 如基 础频率 、非 和声 、奇 偶 比率 等 ； ） ５ ）感 知特 征 ：利用 人类 的听觉 过程 的模 型来计 算 的特征 ，例如 ＭＥ Ｌ倒谱 系数 、音 量 、刺 耳度 等 。 近年来 ，关 于 特征 抽取 的研 究 已有很 多成 果公 开发 表 。Ｅｏｅ ＿针 对 １ ｒｎｎ５ ６种西 方 管 弦乐 器 的 自动 识
一
系 列 的感知 特征 来分 类 ２ ７种乐 器 ，得 到 了 ８ ％ 的乐 器族 识别 率 和 ７ ％ 的个体 乐器 识别率 ，所 建立 的 ６ １
系统 在处 理噪 音 和混 响 的音 节具 有 较 好 的健 壮 性 。文 献 ［ ］使 用 一 系 列感 知 特 征来 分 类 ３ ９ Ｏ种乐 器 的
迅 速 发 展 ，音 频 与 音 乐信 号 分 析 也 逐 渐 成 为一 个新 的 研 究 热 点 。 乐 器 识 别 是 音 乐 分 析 的 一 个 重要 应 用 ，其 主
要的研 究方向是基 于声学特征的识别 ，近年 来，在 该领 域有 众 多研 究成 果 出现 。文 章对 十 多年 来在基 于声 学
独 奏 音节 ，得 到 了 ９ ％ 的乐 器族识 别 率和 ８％ 的个 体乐 器识 别率 。在 文献 ［Ｏ 中 ，Ａ ｏｔ ｉ ４ ５ １］ ｇｓｎ 只使用 波 ｉ
谱特征来分类 ２ 种乐器 ，得到了大约 ９ ％ 的乐器族识别率和大约 ９ ％ 的个体识别率。在文献 ［ １ ７ ６ ２ １］ 中，作者使用基本频率依靠波谱 、时域 、调制及其它特征的多元正态分布得 到大约 ９ ％的乐器族识别 ０ 率 和 大约 ８ ％ 的个体 乐 器识 别 率 。在 文 献 ［２ 中 ，作 者 采 用 一 种 称 为 Ａ Ｔ Ｐ的 神经 网络 来 对 钢 ０ １］ Ｒ ＭＡ 琴 、吉他 、小号、萨克斯和长笛等五类乐器所演奏 的单音符信号进行区分 ，并取得 了不错的分类效果 。 在文献 ［３ １ ］中，作者采用频谱特征对来 自２ ７种乐器所演奏的 １０ 段音频信号进行 了自动分类研究 ， ０７ 实 验结 果 表 明二次 分类 器所 取得 的效 果 最好 ，其 优 于 目前 流行 的 Ｓ Ｍ 分 类 器 和传 统 的最 近邻 分 类 器 ， Ｖ 该分类器对来 自具体乐器所演奏 的音符的平均分类错误率为 ７ １％ ，对乐器族 的平均识别错误率仅为 ．９
乐 器 ，泛 指 可 以用 各 种方 法奏 出声 音 的工具 ，一般 分为 民族 乐器 与 西方 乐器 ， 目前 主要研 究 的是 西 方 乐器 。传 统 上把 西方 乐 器分 成 ３大类 ，分 别 为弦 乐器 、铜 管乐 器 、木 管乐 器 。弦乐 器按 发声 方法 分 为
擦 弦 乐器 、拨 弦 乐器 和击 弦乐 器 。擦 弦乐 器 主要有 小提 琴 、中提琴 、大 提琴 、低 音 大提 琴 ；拨 弦乐器 主 要 有 吉他 、竖 琴 ；击 弦乐 器有 钢 琴 。铜 管 乐器 是一 种将 气 流吹 进 吹嘴之 后造 成 嘴唇 振动 的乐 器 ，主 要有
术 （ 语音 识 别 ） 提供 有效 参考 。虽 然乐 器 识 别 的 复杂 度 与 说 话 者识 别 和语 音识 别 差 不 多 ，但 由于 其 如 商 业应 用 的不 足 ， 目前 还 不像说 话 者识别 和语音 识别 那样 得 到成 熟发 展 ，因此 其将 成 为音 频处 理 领域 的
下 一个 研究 热 点 。
ｏ ｔｅ ｎ Ａｎ ｙ ｉ ｎｄ Ｍａ ｈ ｎ ｎ ｅ ｌｇ ｎ ｅ Ｉ ｎ Ｐａｔｒ ａ ｓｓ ａ ｃ ｉ ｅ Ｉ ｔ ｌｉｅ ｃ ＥＥＥ ａ ｓ ｃｉｎ ｏ Ｍｕ ｔｍｅ ｉ ｌ Ｔｒ ｎ ａ ｔｏ ｎ ｌｉ ｄ ａ、 Ｉ ＥＥＥ Ｔｒ ｎ ａ ｔｏ ｎ Ｓ ｇ ａ ａ ｓ ｃｉｎ ｏ ｉ ｎ ｌ
邓 见 光 ， 潘 晓衡 林 玉 志
（ ．东莞理工学院 １ 工程技术研 究院 ，广东东莞 ５３ ０ ２ ２ ８ ８ ．华南 理工大学 计算机科学 与工程学院 ，广州 ５０ ０ ） １０ ６
摘要 ：在机 器听觉领域 中，语音信 号处理 与识 别早 已成为 一个传 统的研 究热 点 ；随 着信 息科 学与技 术的
特征 的乐器识 别领 域所取得的研 究成 果进行 综述 ，总结 乐器识别技 术常用的声学特征和识别方 法。
关 键 词 ：乐 器 识 别 ；特 征 抽 取 ；模 式 识 别 ；分 类 中 图分 类 号 ：Ｏ ４ １ 文 献 标 识 码 ：Ａ 文 章 编 号 ：１０ ０ １ （０ ２ ３— ０ ８— ７ ０ ９— ３ ２ ２ １ ）０ ０ ５ ０
声 源识 别在 自动检 索和 分类 应用 中发 挥着 重要 的作用 ，其 可 以让 人从 目前 巨量 的数 字 音频信 号 检索 中解 放 出来 。作 为声 源识 别 的一 种 ，音乐 内容分 析包 含多 方 面 的内容 ，如 媒体 注 释 、歌 手识 别 、音 乐写
谱 、音 频编 码 以及 信息 提取 等 。乐器 识别 是 音乐 内容 分析 的一个 重要 子 问题 ，它 可 以为其 它声 源识 别技