声学场景深度识别系统设计
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
，
ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ，ｔａｒｇｅｔ ｓｏｕｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ．Ｉｔ ｃａｎ ａｃｈｉｅｖｅ ｔｈｅ ｓｏｕｎｄ ｓｃｅｎｅ ａｕｔｏｍ ａｔｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｉｎｆｏｒｍ ａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎ，ａｎｄ ｈａｓ ｂｒｏａｄ ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｓｐｅｃｔｓ．
增 强以后的语音 幅度谱 函数可 以表达 为
ｒ ｒ
］Ｉ ．］
Ｘ（ｍ，ｋ）＝ａｒｇｍＸｉｎ Ｅ｛Ｌ ｄＩ Ｌ Ｘ （ｍ， ），Ｘ ｊｆ ｌｙｏＪ｝
Ｍ ：
！：
（ｍ， ）＋ Ｉ 一１
则 有
Ｅ ，七）１）＝Ｅ｛Ｘ （ ，七）பைடு நூலகம் （ｍ，Ｊｉ｝）Ｉ）
＝ Ｅ｛ｌ （ ，七）一 （１＋ ｙ）ｙ （ ，七）Ｉ）
Ｋ ｅｙｗ ｏｒｄｓ：Ｖｏｉｃｅ Ｒｅｃｏｇｎｉｔｉｏ；Ｓｏｕｎｄ Ｓｃｅｎｅ；Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ；Ｎｅｕｒａｌ Ｎ ｅｔｗｏｒｋｓ
ｌ 引言
声学场 景深度 识别系统 既可对 目前 的视频 监控 进行有益 的补充 ，以应对遮 蔽、光 照变化 、死角等情 况 ，还可对 声音信 号场景 进行识别 ，方便 自动搜 索海 量 数据、识 别 目标 ，并实时 发现 和处理突发事件。
２．１系统总体架构
系统 总体框 架如 图１所示 。
该 系统可 实现 如下几个功 能：场 景识别 ，身份识 别 ，内容检索 ，声源定位与信号增强 。
３ 关键 技 术原理
Ｉ！兰竺竺 型Ｆ 兰竺！竺 ｝：：
图１ 系统总体架构
兰 兰塑
３．１信号特 征提 取
通 过 对 公共 场 所 异常 声 音声 谱 图等 特 性 的分 析 ，将 公共 场所异 常声音信 号转 换为 异常声 音 的声 谱 图，采用２Ｄ．Ｇａｂｏｒ滤 波器对声谱 图时频特 征进行
２ 系统设 计
２
． ２网络 拓扑
音 频传 感 器尺 寸较小 ，可较 为 隐 蔽 的布 放 ，也 可 以和 视 频摄像 头布置在 一起 ，作为对 视频 监 控 的 有益补充 ，将采 集 的音频 特征 通过Ｗｉ—Ｆｉ、数 据 网络 或 者有线方 式传输 给后台数 据 中心处 理。
２．３功能设计
下面描述基于人耳掩蔽 效应的增 强算法 。由于语 的误 差 函数
音信号通常是逐 帧进行处 理 的，写成帧 的形式
６（ｍ， ）＝Ｘ （ ，七）一 （ｍ，七）
ｙ（ｍ ｎ） ｘ（ｍ．ｎ）＋ ｄ｛ｍ．ｎ）
根 据可 听闻阈的要求 ，令
式 中，ｍ为 帧的序 号，ｍ＝ｌ，２，３…； 为 帧内数据 点序号，ｎ＝Ｏ，１… ．，Ｎ．１，Ｎ为帧 长 。对 等 式两边 进 行 傅里 叶变 换，可得
声 学 场 景 深 度 识 别 系统 设计
李 嘉 ，黄程 韦 。韩 辰’
（１．江苏省广播 电视 总台，南京 ２１００１３；２．苏州大学，苏州 ２１５００６）
摘 要 ：基于视 频的监控 系统 存在很 多不足 ，声学场 景识 别 系统依据 基于人 耳 听觉仿 生的 目标声音 识 别技 术 ，积 极探 索先 进 的人 耳仿 生理 论、特征 提 取技 术 、目标声音分 类技 术，实现 对声音 场景进 行 自动化 分类和信 息抽取 ，具有广泛 的 应 用前 景 。
－ －
Ｅ｛Ｉｘ （ ，ｋ）－Ｍ（１＋Ｍｙ）（Ｘ（ｍ，七）＋Ｄ（ ，．ｊ｝）） Ｉ）
式 中 ， 是 ｍ 帧 带 噪 语 音 的 傅 立 叶 变 换 ，
厂
＾ ］
＝ （０，尼）， （１，尼），．．．，ｒｍ．（ｍ’，Ｉｉ｝）｝； ｄＩ Ｘ（ｍ， ）， Ｉ是
＝ ｌＥ｛ｘ。（ ，ｋ）｝－Ｍ（１＋ 却）Ｅ｛（ （ ， ）＋Ｄ（ｍ，七）） ）１
关键 词 ：声音 识别 ；声音 场景 ；特征 提 取 ；神经 网络 ｄｏｉ：１０．３９６９／Ｊ．ＩＳＳＮ ．１６７２—７２７４．２０１６．０７．００５ 中图分 类号 ：ＴＮ９１２ 文献标 示码 ：Ａ 文章 编号 ：１６７２—７２７４（２０１６）０７—００１２—０３
Ｔａｌｋ ａｂｏｕｔ Ａｃｏｕｓｔｉｃ Ｓｃｅｎｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ
Ｌｉ Ｊｉａ ，Ｈ ｕａｎｇ Ｃｈｅｎｇｗ ｅｉ ，Ｈ ａｎ Ｃ ｈｅｎ
（１．Ｊｉａｎｇｓｕ Ｂｒｏａｄｃａｓｔｉｎｇ Ｃｏｒｐｏｒａｔｉｏｎ，Ｎａｎｊｉｎｇ，２１００１３；２．Ｓｏｏ Ｃｈｏｗ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２１５００６）
Ａｂｓｔｒａｃｔ：Ａ ｓ ｖｉｄｅｏ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ ｓ ｈａｓ ｍ ａｎｙ ｄｅｆｉｃｉｅｎｃｉｅｓ，Ａ ｃｏｕｓｔｉｃ Ｓｃｅｎｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ ｉｓ ｂｕｉｌｔ ｏｎ ｔａｒｇｅｔ ｖｏｉｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｂａｓｅｄ ｏｎ Ｂｉｏｎｉｃ ｅａｒ ｈｅａｒｉｎｇ，ａｎｄ ａｃｔｉｖｅｌｙ ｅｘｐｌｏｒｅ ａｄｖａｎｃｅｄ ｅａｒ ｂｉｏｎｉｃ ｔｈｅｏｒｙ
１ ２ ＤＩＧＩＴＣＷ２。 。
Ｔｅｏｈｎｏｌｏｇｙ Ｓｔｕｄｙ
■
技术研 究
特 征 描述 ；采 用随机 非负独 立成 分分 析 （ＳＮＩＣＡ） 提 取 异常声音 的声谱 图特 征 ，最 后采 用稀疏 表 示分
Ｘ （ｍ，｜ｉ ｝）＝
ｒ（ｍ，｜ｉ｝）
类 （ＳＲＣ）方法进 行分类识别 。
式 中，ｚ（ｍ，．ｊ｝）是 时 间和频 率 的 函数 ，定义 如 下
≤Ｔ（ｍ，｜ｉ｝）
Ｘ（ｍ， ）和 的距 离度 量 函数 ，用来 度 量 语 音增 强前 后 语音 谱的接 近程 度。
目标是找 到 ｆ 。后１使得在条件期望之下的距离度 量 函数最小。如果ｍｌ＜ ，那么就是对 ｆ ，后）的因果估 计 ；如 果 ，，ｚ ＞，，２，那 么 就 是 对 （ ， ）的 非 因果 估 计。
Ｉ （ ，ｋ）１］≤Ｔ（ｍ， ）
上式就 是 令畸变 噪声 的能量在掩 蔽 阈值 以下，
Ｙ（ｍ．ｋ）＝Ｘ（ｍ．ｋ）＋ Ｄ（ｍ．ｋ）
而不被 人耳感 知。为了推 导方便 ，令
式中，ｋ是离散 频率 ；Ｙ（ｍ， ，Ｘ（ｍ， ，Ｄ ， 分 别是 含 噪语音ｙ（ｍ， 、纯净语 音 ， 、噪声ｄｏｎ， 的傅 立叶变换 。
ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ，ｔａｒｇｅｔ ｓｏｕｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ．Ｉｔ ｃａｎ ａｃｈｉｅｖｅ ｔｈｅ ｓｏｕｎｄ ｓｃｅｎｅ ａｕｔｏｍ ａｔｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｉｎｆｏｒｍ ａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎ，ａｎｄ ｈａｓ ｂｒｏａｄ ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｓｐｅｃｔｓ．
增 强以后的语音 幅度谱 函数可 以表达 为
ｒ ｒ
］Ｉ ．］
Ｘ（ｍ，ｋ）＝ａｒｇｍＸｉｎ Ｅ｛Ｌ ｄＩ Ｌ Ｘ （ｍ， ），Ｘ ｊｆ ｌｙｏＪ｝
Ｍ ：
！：
（ｍ， ）＋ Ｉ 一１
则 有
Ｅ ，七）１）＝Ｅ｛Ｘ （ ，七）பைடு நூலகம் （ｍ，Ｊｉ｝）Ｉ）
＝ Ｅ｛ｌ （ ，七）一 （１＋ ｙ）ｙ （ ，七）Ｉ）
Ｋ ｅｙｗ ｏｒｄｓ：Ｖｏｉｃｅ Ｒｅｃｏｇｎｉｔｉｏ；Ｓｏｕｎｄ Ｓｃｅｎｅ；Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ；Ｎｅｕｒａｌ Ｎ ｅｔｗｏｒｋｓ
ｌ 引言
声学场 景深度 识别系统 既可对 目前 的视频 监控 进行有益 的补充 ，以应对遮 蔽、光 照变化 、死角等情 况 ，还可对 声音信 号场景 进行识别 ，方便 自动搜 索海 量 数据、识 别 目标 ，并实时 发现 和处理突发事件。
２．１系统总体架构
系统 总体框 架如 图１所示 。
该 系统可 实现 如下几个功 能：场 景识别 ，身份识 别 ，内容检索 ，声源定位与信号增强 。
３ 关键 技 术原理
Ｉ！兰竺竺 型Ｆ 兰竺！竺 ｝：：
图１ 系统总体架构
兰 兰塑
３．１信号特 征提 取
通 过 对 公共 场 所 异常 声 音声 谱 图等 特 性 的分 析 ，将 公共 场所异 常声音信 号转 换为 异常声 音 的声 谱 图，采用２Ｄ．Ｇａｂｏｒ滤 波器对声谱 图时频特 征进行
２ 系统设 计
２
． ２网络 拓扑
音 频传 感 器尺 寸较小 ，可较 为 隐 蔽 的布 放 ，也 可 以和 视 频摄像 头布置在 一起 ，作为对 视频 监 控 的 有益补充 ，将采 集 的音频 特征 通过Ｗｉ—Ｆｉ、数 据 网络 或 者有线方 式传输 给后台数 据 中心处 理。
２．３功能设计
下面描述基于人耳掩蔽 效应的增 强算法 。由于语 的误 差 函数
音信号通常是逐 帧进行处 理 的，写成帧 的形式
６（ｍ， ）＝Ｘ （ ，七）一 （ｍ，七）
ｙ（ｍ ｎ） ｘ（ｍ．ｎ）＋ ｄ｛ｍ．ｎ）
根 据可 听闻阈的要求 ，令
式 中，ｍ为 帧的序 号，ｍ＝ｌ，２，３…； 为 帧内数据 点序号，ｎ＝Ｏ，１… ．，Ｎ．１，Ｎ为帧 长 。对 等 式两边 进 行 傅里 叶变 换，可得
声 学 场 景 深 度 识 别 系统 设计
李 嘉 ，黄程 韦 。韩 辰’
（１．江苏省广播 电视 总台，南京 ２１００１３；２．苏州大学，苏州 ２１５００６）
摘 要 ：基于视 频的监控 系统 存在很 多不足 ，声学场 景识 别 系统依据 基于人 耳 听觉仿 生的 目标声音 识 别技 术 ，积 极探 索先 进 的人 耳仿 生理 论、特征 提 取技 术 、目标声音分 类技 术，实现 对声音 场景进 行 自动化 分类和信 息抽取 ，具有广泛 的 应 用前 景 。
－ －
Ｅ｛Ｉｘ （ ，ｋ）－Ｍ（１＋Ｍｙ）（Ｘ（ｍ，七）＋Ｄ（ ，．ｊ｝）） Ｉ）
式 中 ， 是 ｍ 帧 带 噪 语 音 的 傅 立 叶 变 换 ，
厂
＾ ］
＝ （０，尼）， （１，尼），．．．，ｒｍ．（ｍ’，Ｉｉ｝）｝； ｄＩ Ｘ（ｍ， ）， Ｉ是
＝ ｌＥ｛ｘ。（ ，ｋ）｝－Ｍ（１＋ 却）Ｅ｛（ （ ， ）＋Ｄ（ｍ，七）） ）１
关键 词 ：声音 识别 ；声音 场景 ；特征 提 取 ；神经 网络 ｄｏｉ：１０．３９６９／Ｊ．ＩＳＳＮ ．１６７２—７２７４．２０１６．０７．００５ 中图分 类号 ：ＴＮ９１２ 文献标 示码 ：Ａ 文章 编号 ：１６７２—７２７４（２０１６）０７—００１２—０３
Ｔａｌｋ ａｂｏｕｔ Ａｃｏｕｓｔｉｃ Ｓｃｅｎｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ
Ｌｉ Ｊｉａ ，Ｈ ｕａｎｇ Ｃｈｅｎｇｗ ｅｉ ，Ｈ ａｎ Ｃ ｈｅｎ
（１．Ｊｉａｎｇｓｕ Ｂｒｏａｄｃａｓｔｉｎｇ Ｃｏｒｐｏｒａｔｉｏｎ，Ｎａｎｊｉｎｇ，２１００１３；２．Ｓｏｏ Ｃｈｏｗ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２１５００６）
Ａｂｓｔｒａｃｔ：Ａ ｓ ｖｉｄｅｏ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ ｓ ｈａｓ ｍ ａｎｙ ｄｅｆｉｃｉｅｎｃｉｅｓ，Ａ ｃｏｕｓｔｉｃ Ｓｃｅｎｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ ｉｓ ｂｕｉｌｔ ｏｎ ｔａｒｇｅｔ ｖｏｉｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｂａｓｅｄ ｏｎ Ｂｉｏｎｉｃ ｅａｒ ｈｅａｒｉｎｇ，ａｎｄ ａｃｔｉｖｅｌｙ ｅｘｐｌｏｒｅ ａｄｖａｎｃｅｄ ｅａｒ ｂｉｏｎｉｃ ｔｈｅｏｒｙ
１ ２ ＤＩＧＩＴＣＷ２。 。
Ｔｅｏｈｎｏｌｏｇｙ Ｓｔｕｄｙ
■
技术研 究
特 征 描述 ；采 用随机 非负独 立成 分分 析 （ＳＮＩＣＡ） 提 取 异常声音 的声谱 图特 征 ，最 后采 用稀疏 表 示分
Ｘ （ｍ，｜ｉ ｝）＝
ｒ（ｍ，｜ｉ｝）
类 （ＳＲＣ）方法进 行分类识别 。
式 中，ｚ（ｍ，．ｊ｝）是 时 间和频 率 的 函数 ，定义 如 下
≤Ｔ（ｍ，｜ｉ｝）
Ｘ（ｍ， ）和 的距 离度 量 函数 ，用来 度 量 语 音增 强前 后 语音 谱的接 近程 度。
目标是找 到 ｆ 。后１使得在条件期望之下的距离度 量 函数最小。如果ｍｌ＜ ，那么就是对 ｆ ，后）的因果估 计 ；如 果 ，，ｚ ＞，，２，那 么 就 是 对 （ ， ）的 非 因果 估 计。
Ｉ （ ，ｋ）１］≤Ｔ（ｍ， ）
上式就 是 令畸变 噪声 的能量在掩 蔽 阈值 以下，
Ｙ（ｍ．ｋ）＝Ｘ（ｍ．ｋ）＋ Ｄ（ｍ．ｋ）
而不被 人耳感 知。为了推 导方便 ，令
式中，ｋ是离散 频率 ；Ｙ（ｍ， ，Ｘ（ｍ， ，Ｄ ， 分 别是 含 噪语音ｙ（ｍ， 、纯净语 音 ， 、噪声ｄｏｎ， 的傅 立叶变换 。