基于深度学习的说话人识别技术研究

大连理工大学硕士学位论文
摘要
说话人识别通常称为声纹识别，是一种身份认证技术。

它具有用户接受度高、所需设备成本低、可扩展性好以及便于移植等优势，可广泛应用于国防军事、银行系统、通信、互联网、公安司法等领域。

说话人识别技术已经取得重要进展，并有产品问世，但尚有许多问题有待深入研究。

深度学习是近年来发展起来的一种神经网络模型，它具有克服学习不充分、深度不足等特点，可用于模式分类、目标跟踪等领域。

本文将深度学习理论用于说话人识别中，从基于深度学习的说话人识别系统、改进特征的说话人识别算法、改进统计准则的说话人识别算法三个方面，对说话人识别技术进行了研究，主要工作如下：
（１）基于深度学习的说话人识别系统的性能研究。

将深度学习理论引入到说话人识别系统中，在此基础上分析了测试语音不同单位长度对说话人识别率的影响；在相同测试条件下，不同语音特征参数对说话人识别准确性的影响；在相同条件下，不同的深度学习层数以及层上节点数对于系统识别率的影响，证明了深度学习在说话人识别系统中应用的正确性与可靠性。

（２）基于改进特征的说话人识别算法。

本文将模拟人耳听觉特性的ＭＦＣＣ与ＧＦＣＣ语音特征参数结合起来，组成语音特征向量，并应用于说话人识别系统中，提高了系统识别率。

（３）基于改进统计准则的说话人识别算法。

考虑到传统的系统统计识别算法对于多个说话人识别时存在潜在的误判，本文应用分帧概率打分的统计准则，并进行了说话人识别实验。

实验仿真验证了改进统计准则的可行性与有效性。

关键词：说话人识别：深度学习；受限玻尔兹曼机；梅尔倒谱系数；Ｇａｍｍａｔｏｎｅ频率倒谱系数
基于深度学习的说话人识别系统研究
ＳｔｕｄｙｏｎＤｅｅｐＬｅ锄ｉｎｇ—ｂａｓｅｄＳｐｅａ】ｂｒＲｅｃｏｇｎｉｔｉｏｎ
Ａｂｓｔｒａｃｔ
Ｓｐｅａｌ（ｅｒｒｅｃｏｇＩｌｉｔｉｏｎｉｓｃａｌｌｅｄＶｏｉｃ印ｒｉｎｔｉｄｅｎｔｍｃａｔｉｏｎ．Ｉｔｉｓａｋｉｌｌｄｏｆａｕｔｌｌｅｎｔｉｃａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ．Ｓｐｅａｌ【ｅｒｒｅｃｏｇＩｌｉｔｉｏｎｔｅｃｌｌＩｌｏｌｏｇｙｈａＳｍａｎｙａｄＶａｎ切【ｇｅｓ，ｉｎｃｌｕｄｉｎｇＫ曲ｕｓｅｒａｃｃｅｐｔａｎｃｅ，ｌｏｗｅｑｕｉｐｍｅｎｔｃｏｓｔｓ，ｓ包ｆｏｎｇｓｃａｌａｂｉｌｉ够ａｎｄｅａＬｓｙｔ０仃ｊｍｓｐｌａｎｔａｔｉｏｎ．Ｉｔｉｓｗｉｄｅｌｙｕｓｅｄｉｎｍｉｌｉｔａｒｙｆｉｅｌｄ，ｂ砌【ｓｙｓｔｅｍ，ｉｎｔｅｍｅｔｓｅｃｕｒｉ够ａ１１ｄｊｕｄｉｃｉａｌｓｅｃ谢够．Ｓｐｅａｋｅｒｒｅｃｏ鲥ｔｉｏｎｔｅｃｌｌｌｌｏｌｏｇｙｉｓｒｅｌａｔｅｄｔｏｏｕｒｌｉｆｅｃｌｏｓｅｌｙａＩｌｄｈａＳｇｒｅａｔｒｅｓｅａｒｃｈ
Ｖａｌｕｅ孤ｄｐｒａＣｔｉｃ２Ｌｌｉ够．Ｔｌｌｉｓｔ１１ｅｓｉｓｍａｉｌｌｌｙｓｔｕｄｉｅｓ廿ｌｅＳｐｅａｌ【ｅｒｒｅｃｏ鲥ｔｉｏｎｓｙｓｔｅｍ晰Ⅱｌｄｅｅｐｌｅａ玎１ｉＩｌｇｍｏｄｅｌ．Ｓｏｍｅｂａｓｉｃｓｙｓｔｅｍｐｅｒｆｏｍ捌ｎｃｅｔｅｓｔｉＩｌｇｉｓｃｏｍｐｌｅｔｅｄａｎｄｄｉｓｃｕＳｓｅｄ，ａｎｄｔｔｌｉｓｐａｐｅｒｍｏｄｉｆｉｅｄｓｐｅｅｃｈｆｅａｔｕｒｅｐａｒａｍｅｔｅｒｓａ１１ｄｓｔａｔｉｓｔｉｃａｌｍｅｍｏｄｔｏｏｂｔａｉｎａ１１ｉ曲ｅｒｓｐｅａ：ｋｅｒｒｅｃｏｇＩｌｉｔｉｏｎｓｙｓｔｅｍｒａｔｅ．‰ａｒｅｔｌｌｉｓ
ｐａｐ盯ｔ２Ｌｌｌ（ｉｎｇａｔ，０ｕｔｉｓ２ｕｓｆｏｌｌｏｗｓ：
（１）１１１ｅｂａＳｉｃｐｅｍ彻ａｎｃｅｏｆｓｙｓｔ锄ｂａＬｓｅｄｏｎｄｅｅｐ１ｅａｎ血ｇ．１１１ｅｄｅ印ｌｅａｎｌｉｎｇｍｏｄｅｌｉｓｉｎ仃ｏｄｕＣｅｄｉｎｓｐｅａｌ（ｅｒｒｅｃｏ嘶ｔｉｏｎｓｙｓｔｅｍ．Ｔｈｅｉｍｐａｃｔｏｆｍｅｄｉ毹ｒｅｎｔｌｅｎｇｔｌｌｏｆｓｐｅｅｃｈｕ１１ｉｔｓｏｎｓｐｅａｋｅｒｒｅｃｏｇＩｌｉｔｉｏｎｓｙｓｔｅｍｒａｔｅｉｓｓｔｕｄｉｅｄ．Ｏｎｔ１１ｅｓａｍｅｔｅｓｔｃｏｎｄｉｔｉｏｎ，ｍｅｉＩｎｐａｃｔｏｆｄｉｆｆｅｒｅｎｔｓｐｅｅｃｈｆ．ｅａｎ】ｒｅｓｏｎｓｐｅａｋｅｒｒｅｃｏ驴“ｉｏｎｓｙｓｔｅｍｒａｔｅｉｓａｌｓｏｓｔｌｌｄｉｅｄ．Ｔｈｅｉｍｐａｃｔｏｆｄｉ脆ｒｅｎｔｌａｙｅｒｓａＩｌｄｎｏｄｅｓｏｆｄｅ印ｌｅａＨｌｉｌｌｇｍｏｄｅｌｏｎｓｙｓｔｅｍｒｅｃｏ班ｔｉｏｎｒａｔｅｉｓｓｔｕｄｉｅｄ．ｎｌｅａｃｃｕｒａＣｙａ１１ｄｒｅｌｉａｂｉｌ时ｏｆｄｅｅｐｌｅａ玎１ｉＩｌｇｍｏｄｅｌａｐｐｌｉｅｄｏｎｓｐｅａｋｅｒｒｅｃｏｇＩｌｉｔｉｏｎｓｙｓｔｅｍｉｓｐｒｏＶｅｄ．
（２）ＢａＳｅｄｏｎｈＵｍａＩｌａｕｄｉｔｏ巧Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｗｅａｐｐｌｙａｎｅｗＳｐｅｅｃｈｆＩｅ锨鹏ｂｙｃｏｍｂｉｌｌｉｎｇ
ＭＦＣＣｗ池ＧＦＣＣｔｏＳｐｅａｋｅｒｒｅｃｏ鲥ｔｉｏｎｓｙｓｔｅｍｔ０沛ｐｒ０Ｖｅｍｅｒｅｃｏ鲥ｔｉｏｎｒａｔｅ．（３）Ｃｏｎｓｉｄｅｒｉｎｇｔｌｌｅｔｍｄｉｔｉｏｎａｌｓｙｓｔｅｍｓｔａｔｉｓｔｉｃｓａｌｇｏｒｉｔｌｌｍｆｏｒｍｌｌｌｔｉ—ｓｐｅａｋｅｒｒｅｃｏｇＩｌｉｔｉｏｎ
ｌｅａｄｓｔｏ耐匈ｕｄｇｍｅｎｔ，、Ⅳｅｐｒｏｐｏｓｅｄａｍｏｄｉｆｉｅｄｓ蜥ｓｔｉｃｓ
ａＪｇｏｒｉｍｍｆｏｒｍｕｌｔｉ－ｓｐｅａｋｅｒ
ｒｅｃｏ卿ｔｉｏｎｓｙｓｔｅｍ．１１１ｅｅ豌ｃｔｉＶｅｎｅｓｓｏｆｍｏｄｉｆｉｅｄｍｅｍｏｄｉｓｐｒ０ＶｅｄｂｙｅＸｐｅ血１ｅ鹏．ＫｅｙＷｏｒｄｓ：Ｓｐｅａｌ【ｅｒＲｅｃｏ鲥ｔｉｏｎ；Ｄｅ印Ｌｅ锄ｉ１１９；Ｉ沁ｓｔｒｉｃｔｅｄＢｏｌｔｚｍ锄Ｍａｃｈｍｅ；Ｍｅｌ－ＦｒｅｑｕｅｎｃｙＣ印ｓｎｍＣｏｅｍｃｉｅｎｔｓ；Ｇ锄ｍａｔｏｎｅＦｒｅｑｕｅｎｃｙＣ印ｓ觚ｌＩＩｌＣｏｅ伍ｃｉｅｎｔｓ；
一ＩＩ—
基于深度学习的说话人识别系统研究
２说话人识别基本知识
说话人识别系统包含语音预处理部分、端点检测部分、特征计算部分以及识别模型的选择部分等。

语音预处理部分主要有预加重、分帧与加窗，但是在进行说话人识别之前，还要进行语音端点检测，来区分这段信号是语音还是静音。

此外，不同的识别模型，也会导致系统识别率的不同。

２．１语音信号的产生与数学模型
在进行说话人识别研究前，首先了解语音信号的生成机理。

语音信号的产生大致需要以下步骤：第一，说话人需要在大脑中构思好想要表达的信息，将想要表达的信息转化为语言，就是要将想要表达的信息转化成语音一些特征，例如，语音共振峰、基音周期等；然后通过调节肌肉神经来塑造说话人声道形状以及声带的振动情况；最后，将想要表达的信息以语音特征的表述方式传达出去，同时，肌肉神经必须控制腭、舌头、嘴唇和鼻腔软腭等调音过程中所关联到的所有部位。

在语音信号产生后，向听者传递信息，然后人的听觉感知过程开始工作，通过频谱分析的内耳基底膜接收到传输过来的声音信号，然后将分析后的信号传递给听觉神经，在由听觉神经产生相关的信号后，传递给大脑中枢系统，最后信号将在大脑中枢转化成语音，经过此过程，具有语义的信息就由此产生。

语音产生的原理图如图２．１所示。

肌力
０鼻音
§口音
图２．１语音产生的示意图
Ｆｉｇ．２．１ＤｉａｇｒａＩＩｌｏｆｓｐｅｅｃｈｇｅｎｅ洲ｏｎ
从图２．１可以看出，在发音过程中，肺部与肌力构成了人体发声机制的激励源。

当说话人声道呈收缩状态时，气流通过声带，声带振动，由此说话人发出的声音通常称做
基于深度学习的说话人识别系统研究
（５）离散余弦变换
将步骤（４）中得到的对数能量ｓ（，，ｚ）做离散余弦变换，将其转换到时域，得到参数ｃ（，ｚ），即是需要的梅尔倒谱系数。

ｃｃ，ｚ）＝萋ｓｃｍ，ｃｏｓ（学），。

≤玎＜＾，ｃ２．２５，
ｃ（，ｚ）＝∑ｓ（，，２）ｃｏｓＩ旦等型ｌ，ｏ≤玎＜Ｍ（２．２５’
ｍ＝０＼』“／
２．４．２Ｇａ嗍ａｔｏｎｅ频率倒谱系数
由本文２．１节可知，在语音的产生以及听觉感应的形成中，内耳的基底膜起到了至关重要的作用，其具有对频率的分辨与选择的能力。

正是因为这些特性，所以可以设计特定的带通滤波器来模拟内耳的基底膜。

很多学者对其展开了研究，也取得了一定的成
果，如Ｌｙｏｎ与Ｍｅａｄ提出了共振峰滤波器【３５，３６１，Ｐａ舵ｒｓｏｎ等提出了Ｉ沁ｅｘ滤波器【３７】等，然而最为通用的还是１９７２年ＪｏｈａＩｌＩｌｅｓｍａ提出的Ｇ黜ａｔｏｎｅ（ＧＴ）滤波器模型【３羽。

该模型
在语音识别领域和说话人识别领域取得了一定的效果，该滤波器的冲激响应的时域表达式为：
ｇ（ｆ）＝Ｂ”ｆ川ｅ印（－２刀研）Ｃ０ｓ（２砺ｆ＋矽）·己他）（２．２６）
Ｂ＝岛职Ｂ（Ｚ）（２．２７）其中，玎为滤波器阶数，∥为滤波器增益，≯为初始相位，．７；为滤波器的中心频率，６ｌ一般取为１．０１９，职ｆ）为单位阶跃响应，Ｅ衄∞是ＧａＩＩｍａｔｏｎｅ滤波器组的等价矩形带宽【３９１，函数表达式为：
职Ｂ（Ｚ）＝２４．７＋０．１０８Ｚ（２．２８）根据人耳的感知特性，类似于本文２．４．１中的Ｍｅｌ滤波器组的中心频率，每个ＧＴ滤波器的中心频率在对数域上大致呈均匀分布，中心频率的计算公式为：
ｚ＝（厶＋２２８．７）唧【去）－２２８．７，１＜坯凹（２．２９）这里，詹是滤波器组的截止频率，１，是用来标示各ＧＴ滤波器的重叠程度，通常被称为重叠因子。

当式（２．２６）中忽略初始相位以及增益的影响，且令６＝２柏，∞ｆ＝２顽，那么ＧＴ滤波器的时域表达式可以改写为：
蜀（ｆ）＝ｆ州ｅ》驴（一６ｆ）ｃｏｓ（ｑｆ）Ｕ（ｆ）（２．３０）对式（２．３０）做Ｌａｐｌａｃｅ变换计算出４阶ＧＴ滤波器在ｓ域的转移函数为
大连理工大学硕士学位论文
通过本文２．４．２中描述的求解ＧＦＣＣ语音参数的过程，求出１６维的ＧＦＣＣ，然后将１６维的ＧＦＣＣ与１６维的ｍＣＣ参数组成的３２维特征向量作为深度信念网络的输入，进行训练，得到模型参数，最后将测试语音输入训练后的深度信念网络模型中去，得到测试结果。

５．３．２实验过程与结果分析
以下是具体的实验条件：选取１０个说话人，每个说话人用来训练的语音长度大约１０秒，用来测试的语音单元长度分别取Ｏ．４秒、Ｏ．８秒、１．２秒、１．６秒与２．Ｏ秒，语音特征参数分别选取１６维的ＭＦＣＣ、１６维的ＧＦＣＣ以及ＭＦＣＣ与ＧＦＣＣ组合成３２维的特征向量，深度信念网络模型的隐含层层数为３层，每个隐含层上的神经元个数为５０个，设第一层隐含层（ＧＢＲＢＭ）的学习率设置为Ｏ．０００４，训练次数５００次，其余隐含层
（ＢＢＲＢＭ）的学习率设置为０．００４，训练次数为５００次，训练数据的最小分批大小为１００。

系统识别率采用式（５．１）的传统的统计方法，识别结果如表５．７所示，然后将得到的不同语音特征的系统识别结果绘制出折线图如图５．７所示。

表５．７分别采用特征参数ＧＦＣＣ、ＭＦＣＣ、ＧＦＣＣ艄伍ＣＣ特征的说话人识别率
Ｔａｂ．５．７Ｓｐｅ＿ａｌ（ｅｒｒｅｃｏ鲥ｔｉｏｎｒａｔｅｕＳｉｎｇＭＦＣＣＶＳ．ＧＦＣＣＶＳ．＾伍ＣＣ＋ＧＦＣＣｆｅａｎ鹏ｓ
图５．７应用ＭＦＣＣ、ＧＦＣＣ、ＭＦＣａ电ＦＣＣ特征的系统识别率
Ｆｉｇ．５．７Ｓｐｅａｌ【ｅｒｒｅＣｏ则ｔｉｏｎ触ｕＳ吨ｍＣＣＶｓ．ＧＦＣＣＶｓ．ⅧＣＣ＋ＧＦＣＣｆｅａｔｕｒｅｓ。