基于模型的单通道语音分离综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第２ ７卷 第 １ １期
２１ ０ ０年 １ １月
计 算 机 应 用 研 究
Ａｐ ｌ ａ ｉｎ Ｒｅ ｅ ｒ ｈ ｏ ｏ ｕ ｅ ｓ ｐ ｉ ｔ ｓ ａ ｃ ｆＣ ｍｐ ｔ ｒ ｃ ｏ
Ｖｏ ＿ ７ Ｎｏ １ ｌ２ ． １
ＮＯ Ｖ． ２ Ｏ ０ｌ
基 于 模 型 的 单 通 道 语 音 分 离 综 述
ｔｉ ｏ ｃ． ｈ ｓｔｐｉ
Ｋｅ ｒ ｓ ｉｇ ｅｃ ａ ｎ ｌｓ ｅ ｃ ｅ ａ ａｉｎ；ｍｏ ｅ— ａ ｅ ；ｓ ｅ ｋ ｒｄ ｐ ｎ ｅ ｔ ｐ ａ ｅ —ｅｅ ｔ ｎ ｐ ａ ｅ ・ ｄ ｐ ｎ ｅ ｔ ｙ ｗｏ ｄ ：ｓｎ ｌ —ｈ ｎ ｅ ｐ ｅ ｈ ｓ ｐ ｒｔ ｏ ｄ ｌ ｓ ｄ ｐ ａ ｅ — ｅ ｅ ｄ ｎ ；ｓ ｅ ｋ ｒｓ ｌｃｉ ；ｓ ｅ ｋ ｒｉ ｅ ｅ ｄ ｎ ｂ ｏ ｎ
ｓｅｋｒ ｅｅｄｎ，ｐａ ｅ ｓｌｃｏ ｎ ｐａｅ— ｄｐ ｎｅ ｔ ｅ ａａｏ ． ｎｌ ｅ ｈ ａｏ ｓｏｔ ｍ ｎｓｏ ｅｃ ｅｈｄ ｐ ａｅ— ｐ ｎｅｔｓｅｋｒ ｅ ｔ ｎａｄ ｓｅｋｒ ｎ ｅｅｄｎ ｐｒｔ ｎ Ａ ａｙ ｄｔｅｍ ｊｒ ｈｒ ｏ ｉｇ ｆ ａｈｍ ｔｏ ｄ － ｅｉ ｉ ｓ ｉ ｚ ｃ
鸡 尾 酒 会 问题 … 。
这 类 病 态 问题 有 近 似 唯 一 解 。 欠 定 问题 中有 一 种 极 端 情 况 就 是 Ｍ ＝１的情 形 ， 类 语 音 这
ｓｅ ｃ ｅ ａａ ｏ ｎ ｉ ｕｓ ｄ ｍ ｊｒｍｅ ｏ ｓｄ ｖ ｌ ｅ ｎ ｔ ｉ ｒｔｒ ｗ ｉ ｏ ｌ ｇｏ ｐ ｉｔ ｔｒｅ ｍ ｊｒ ａｅｏｉｓ ｐ ｅ ｈ ｓｐ ｒ ｉ ａ ｄ ｄｓ ｓｅ ａｏ ｔｎ ｃ ｔ ｄ ｅ ｅ ｐ ｄ ｉ ｈ ｌ ｅ ｕｅ ｈｃ ｃｕｄ ｒｕ ｎ ｈｅ ａｏ ｃ ｔｇｒ ： ｈ ｏ ｅ ｔａ ｈ ｏ ｅ
离研 究发 展 方 向 进 行 了展 望 。
关键 词 ：单通道 语音 分 离；基 于模 型 ；说 话人依 赖 ；说话人 选择 ；说话 人独 立 中图分类 号 ：Ｔ ３ １４ Ｐ９ ．２ 文献 标志码 ：Ａ 文章 编号 ：１０ — ６ ５ ２ １ ） １４ ２ — ７ ０ １３ ９ （ ０ ０ １ — ０ ５ ０
杨 海 滨 ，张 军
（ 国防科 学技 术 大学 信 息 系统与 管理 学院 ，长 沙 ４ ０ ７ ） １０ ３
摘
要 ： 音 分 离是 实现机 器 听觉的一 个 重要 而基 础 性 的 任 务 ， 通 道语 音 分 离是 语音 分 离 中最 为 困难 的 问 语 单
题 。讨论 了基 于模型 的单通 道语 音分 离方 法 ， 话人 依赖 的 、 话 人 选择 的和 说 话 人独 立 的 三类 单通 道 语音 对说 说 分 离问题展 开分析 ， 并指 出当前方 法存在 的 问题 和影 响算 法性 能的 关键 因素 。最后 对基 于模 型的 单通 道语 音 分
Leabharlann Baidu
定 问题相对 困难得多 ， 往往需 要对 源信 号作 更强 的假设 ， 得 使
０ 引言
多源混合 语音 信号的识别一 直 以来 是机器 听觉 的一 个重 要而又困难的问题 。而人类 却 可以在 嘈杂 的声音 环境 中集 中 听力于某些感 兴趣 的语音 ， 类似于从混合语音信号 中分离 出其 想要 的源信号 。如何用计算 机实现 人类所 具有 的从多声 源混 合信 号中分离 出全部或部分感兴趣源信号 的能力 ， 通常被称为
ａ ｄ ｓｕ ｉｄ ｔ ｅ ｋ ｙ ｆｃ ｏ ｓｔ ａ ｆ ｃｅ ｈ ｅｆ ｒ ｎ ｅ ｏ ｈ ｌ ｏｉ ｍ． ｉ ａｌ ， ｉｃ ｓ ｅ ｈ ｕ ｕ ｅ ｒ ｓ ａ ｃ ｉ ｃｉ ｎ ｎ ｎ ｔ ｄ ｅ ｈ ｅ ａ ｔ ｒ ｈ ｔａｆ ｔｄ ｔ ｅ ｐ ｒ ｍａ ｃ ｆｔ ｅ ａ ｇ ｒｔ ｅ ｏ ｈ Ｆ ｎ ｌ ｄ ｓ ｕ ｓ ｄ ｔ ｅ ｆ ｔ ｒ ｅ ｅ ｒ ｈ ｄｒ ｔ ｓ ｏ ｙ ｅ ｏ
Ａｂ ｔ ａ ｔ ｐ ｅ ｈ ｓ ｐ ｒ ｔ ｎ ｉ ｎｉ ｏ ｔｎ ｎ ａ ｉ ｔｓ ｏ ｏ ｕ ｅ ｕ ｉ ｏ ｓｒ ｃ ：Ｓ ｅ ｃ ｅ ａ ａ ｉ ｓ ｍｐ ｒａ ｔ ｄ ｂ ｓｃ ａ ｋ ｆｒｃ ｍｐ ｔ ｒ ｄ ｔ ｎ，ａ ｄ ｓｎ ｌ —ｈ ｎ ｅ ｐ ｅ ｈ ｓ ｐ ｒ ｔ ｎ ｉ ｔｅ ｏ ａ ａ ａ ｉ ｎ ｉ ｇｅ ｃ ａ ｎ ｌ ｅ ｃ ｅ ａ ａｉ ｓ ｈ ｓ ｏ ｍｏ ｔｄｆ ｃ ｌ ｐ ｏ ｌ ｍ ｉ ｈ ｅｄ ｏ ｐ ｅ ｈ ｓ ｐ ｒｔ ｎ Ｔ ｉ ａ ｅ ｅ ｉｗ ｄ ｔ ｅ ｒ ｓ ａ ｃ ｏ ｉ ｆ ｍｏ ｅ — ａ ｅ ｉ ｇｅ ｃ ａ ｎ ｌ ｓ ｉ ｕ ｔ ｒ ｂ ｅ ｎ ｔｅ ｆ ｌ ｆｓ ｅ ｃ ｅ ａ ａｉ ． ｈ ｓｐ ｐ ｒｒ ｖｅ ｅ ｈ ｅ ｅ ｒ ｈ ｔ ｐ ｃ ｏ ｄ ｌ ｓ ｄ ｓ ｌ ｈ ｎ ｅ ｉ ｉ ｏ ｂ ｎ
Ｙ ＡＮＧ Ｈａ — ｉ Ｚ ｉｂｎ． ＨＡＮＧ Ｊ ｎ ｕ
（ ｃｏｌｆＩ ｏｍａｉ ｙｔ ＆ Ｍａａ ｅ ｅｔ Ｎ ｔ ｎ ｌ ｎｖｒｔ ｏ ｆｒｅＴｃｎｌｇ ，Ｃ ａｇｈ １０ ３ ｈｎ ） Ｓｈｏ ｏ ｎ ｒ ｔｎＳｓ ｍ ｆ ｏ ｅ ｎ ｇｍ ｎ ， ａｉ ａ ｉ ｓｙ ｆＤｅ ｉ ｅｈｏｏｙ ｈｎ ｓａ４ ０７ ，Ｃ ｉａ ｏ Ｕ ｅ ｉ ｅｃ
ｄ ｉ１ ．９ ９ ｊｉ ｎ １０ —６ ５ ２ １ ． １０ ６ ｏ：０ ３ ６ ／． ｓ． ０ １３９ ．０ ０ １ ．０ ｓ
Ｓ ｒ ｅ ｆｍｏ ｅ － ａ ｅ ｉ ｇｅ－ｈ ｎ ｅ ｐ ｅ ｈ ｓ ｐ ｒ ｔｏ ｕ ｖ ｙ ｏ ｄ ｌｂ ｓ ｄ ｓｎ ｌ － ａ ｎ ｌｓ ｅ ｃ ｅ ａ ａ ｉ ｎ － ｃ
２１ ０ ０年 １ １月
计 算 机 应 用 研 究
Ａｐ ｌ ａ ｉｎ Ｒｅ ｅ ｒ ｈ ｏ ｏ ｕ ｅ ｓ ｐ ｉ ｔ ｓ ａ ｃ ｆＣ ｍｐ ｔ ｒ ｃ ｏ
Ｖｏ ＿ ７ Ｎｏ １ ｌ２ ． １
ＮＯ Ｖ． ２ Ｏ ０ｌ
基 于 模 型 的 单 通 道 语 音 分 离 综 述
ｔｉ ｏ ｃ． ｈ ｓｔｐｉ
Ｋｅ ｒ ｓ ｉｇ ｅｃ ａ ｎ ｌｓ ｅ ｃ ｅ ａ ａｉｎ；ｍｏ ｅ— ａ ｅ ；ｓ ｅ ｋ ｒｄ ｐ ｎ ｅ ｔ ｐ ａ ｅ —ｅｅ ｔ ｎ ｐ ａ ｅ ・ ｄ ｐ ｎ ｅ ｔ ｙ ｗｏ ｄ ：ｓｎ ｌ —ｈ ｎ ｅ ｐ ｅ ｈ ｓ ｐ ｒｔ ｏ ｄ ｌ ｓ ｄ ｐ ａ ｅ — ｅ ｅ ｄ ｎ ；ｓ ｅ ｋ ｒｓ ｌｃｉ ；ｓ ｅ ｋ ｒｉ ｅ ｅ ｄ ｎ ｂ ｏ ｎ
ｓｅｋｒ ｅｅｄｎ，ｐａ ｅ ｓｌｃｏ ｎ ｐａｅ— ｄｐ ｎｅ ｔ ｅ ａａｏ ． ｎｌ ｅ ｈ ａｏ ｓｏｔ ｍ ｎｓｏ ｅｃ ｅｈｄ ｐ ａｅ— ｐ ｎｅｔｓｅｋｒ ｅ ｔ ｎａｄ ｓｅｋｒ ｎ ｅｅｄｎ ｐｒｔ ｎ Ａ ａｙ ｄｔｅｍ ｊｒ ｈｒ ｏ ｉｇ ｆ ａｈｍ ｔｏ ｄ － ｅｉ ｉ ｓ ｉ ｚ ｃ
鸡 尾 酒 会 问题 … 。
这 类 病 态 问题 有 近 似 唯 一 解 。 欠 定 问题 中有 一 种 极 端 情 况 就 是 Ｍ ＝１的情 形 ， 类 语 音 这
ｓｅ ｃ ｅ ａａ ｏ ｎ ｉ ｕｓ ｄ ｍ ｊｒｍｅ ｏ ｓｄ ｖ ｌ ｅ ｎ ｔ ｉ ｒｔｒ ｗ ｉ ｏ ｌ ｇｏ ｐ ｉｔ ｔｒｅ ｍ ｊｒ ａｅｏｉｓ ｐ ｅ ｈ ｓｐ ｒ ｉ ａ ｄ ｄｓ ｓｅ ａｏ ｔｎ ｃ ｔ ｄ ｅ ｅ ｐ ｄ ｉ ｈ ｌ ｅ ｕｅ ｈｃ ｃｕｄ ｒｕ ｎ ｈｅ ａｏ ｃ ｔｇｒ ： ｈ ｏ ｅ ｔａ ｈ ｏ ｅ
离研 究发 展 方 向 进 行 了展 望 。
关键 词 ：单通道 语音 分 离；基 于模 型 ；说 话人依 赖 ；说话人 选择 ；说话 人独 立 中图分类 号 ：Ｔ ３ １４ Ｐ９ ．２ 文献 标志码 ：Ａ 文章 编号 ：１０ — ６ ５ ２ １ ） １４ ２ — ７ ０ １３ ９ （ ０ ０ １ — ０ ５ ０
杨 海 滨 ，张 军
（ 国防科 学技 术 大学 信 息 系统与 管理 学院 ，长 沙 ４ ０ ７ ） １０ ３
摘
要 ： 音 分 离是 实现机 器 听觉的一 个 重要 而基 础 性 的 任 务 ， 通 道语 音 分 离是 语音 分 离 中最 为 困难 的 问 语 单
题 。讨论 了基 于模型 的单通 道语 音分 离方 法 ， 话人 依赖 的 、 话 人 选择 的和 说 话 人独 立 的 三类 单通 道 语音 对说 说 分 离问题展 开分析 ， 并指 出当前方 法存在 的 问题 和影 响算 法性 能的 关键 因素 。最后 对基 于模 型的 单通 道语 音 分
Leabharlann Baidu
定 问题相对 困难得多 ， 往往需 要对 源信 号作 更强 的假设 ， 得 使
０ 引言
多源混合 语音 信号的识别一 直 以来 是机器 听觉 的一 个重 要而又困难的问题 。而人类 却 可以在 嘈杂 的声音 环境 中集 中 听力于某些感 兴趣 的语音 ， 类似于从混合语音信号 中分离 出其 想要 的源信号 。如何用计算 机实现 人类所 具有 的从多声 源混 合信 号中分离 出全部或部分感兴趣源信号 的能力 ， 通常被称为
ａ ｄ ｓｕ ｉｄ ｔ ｅ ｋ ｙ ｆｃ ｏ ｓｔ ａ ｆ ｃｅ ｈ ｅｆ ｒ ｎ ｅ ｏ ｈ ｌ ｏｉ ｍ． ｉ ａｌ ， ｉｃ ｓ ｅ ｈ ｕ ｕ ｅ ｒ ｓ ａ ｃ ｉ ｃｉ ｎ ｎ ｎ ｔ ｄ ｅ ｈ ｅ ａ ｔ ｒ ｈ ｔａｆ ｔｄ ｔ ｅ ｐ ｒ ｍａ ｃ ｆｔ ｅ ａ ｇ ｒｔ ｅ ｏ ｈ Ｆ ｎ ｌ ｄ ｓ ｕ ｓ ｄ ｔ ｅ ｆ ｔ ｒ ｅ ｅ ｒ ｈ ｄｒ ｔ ｓ ｏ ｙ ｅ ｏ
Ａｂ ｔ ａ ｔ ｐ ｅ ｈ ｓ ｐ ｒ ｔ ｎ ｉ ｎｉ ｏ ｔｎ ｎ ａ ｉ ｔｓ ｏ ｏ ｕ ｅ ｕ ｉ ｏ ｓｒ ｃ ：Ｓ ｅ ｃ ｅ ａ ａ ｉ ｓ ｍｐ ｒａ ｔ ｄ ｂ ｓｃ ａ ｋ ｆｒｃ ｍｐ ｔ ｒ ｄ ｔ ｎ，ａ ｄ ｓｎ ｌ —ｈ ｎ ｅ ｐ ｅ ｈ ｓ ｐ ｒ ｔ ｎ ｉ ｔｅ ｏ ａ ａ ａ ｉ ｎ ｉ ｇｅ ｃ ａ ｎ ｌ ｅ ｃ ｅ ａ ａｉ ｓ ｈ ｓ ｏ ｍｏ ｔｄｆ ｃ ｌ ｐ ｏ ｌ ｍ ｉ ｈ ｅｄ ｏ ｐ ｅ ｈ ｓ ｐ ｒｔ ｎ Ｔ ｉ ａ ｅ ｅ ｉｗ ｄ ｔ ｅ ｒ ｓ ａ ｃ ｏ ｉ ｆ ｍｏ ｅ — ａ ｅ ｉ ｇｅ ｃ ａ ｎ ｌ ｓ ｉ ｕ ｔ ｒ ｂ ｅ ｎ ｔｅ ｆ ｌ ｆｓ ｅ ｃ ｅ ａ ａｉ ． ｈ ｓｐ ｐ ｒｒ ｖｅ ｅ ｈ ｅ ｅ ｒ ｈ ｔ ｐ ｃ ｏ ｄ ｌ ｓ ｄ ｓ ｌ ｈ ｎ ｅ ｉ ｉ ｏ ｂ ｎ
Ｙ ＡＮＧ Ｈａ — ｉ Ｚ ｉｂｎ． ＨＡＮＧ Ｊ ｎ ｕ
（ ｃｏｌｆＩ ｏｍａｉ ｙｔ ＆ Ｍａａ ｅ ｅｔ Ｎ ｔ ｎ ｌ ｎｖｒｔ ｏ ｆｒｅＴｃｎｌｇ ，Ｃ ａｇｈ １０ ３ ｈｎ ） Ｓｈｏ ｏ ｎ ｒ ｔｎＳｓ ｍ ｆ ｏ ｅ ｎ ｇｍ ｎ ， ａｉ ａ ｉ ｓｙ ｆＤｅ ｉ ｅｈｏｏｙ ｈｎ ｓａ４ ０７ ，Ｃ ｉａ ｏ Ｕ ｅ ｉ ｅｃ
ｄ ｉ１ ．９ ９ ｊｉ ｎ １０ —６ ５ ２ １ ． １０ ６ ｏ：０ ３ ６ ／． ｓ． ０ １３９ ．０ ０ １ ．０ ｓ
Ｓ ｒ ｅ ｆｍｏ ｅ － ａ ｅ ｉ ｇｅ－ｈ ｎ ｅ ｐ ｅ ｈ ｓ ｐ ｒ ｔｏ ｕ ｖ ｙ ｏ ｄ ｌｂ ｓ ｄ ｓｎ ｌ － ａ ｎ ｌｓ ｅ ｃ ｅ ａ ａ ｉ ｎ － ｃ