基于i-vector和深度学习的说话人识别

合集下载

基于多特征I-Vector的短语音说话人识别方法研究

重庆邮电大学硕士学位论文摘要摘要近年来，说话人识别作为人机交互领域的一个主要研究方向之一，已经在现实生活中得到了广泛的应用。

然而在实际应用中，能够提取到的说话人语音较短，导致系统识别效果较差。

因此，本文研究的主要内容为短语音说话人识别系统。

首先，本文概述了说话人识别系统的总体框架，并分别描述了各模块的性能以及处理过程，明确地把特征提取和匹配模型部分作为本文的主要研究方向。

其次，在说话人特征提取部分，针对短语音条件下，单一特征的MFCC特征参数无法充分表征说话人特性的问题，利用不同特征可以从不同的角度对说话人特征分布进行描述的优点，确定了3种常用特征参数作为说话人特征，分别是：MFCC、GFCC和LPCC。

考虑到直接拼接的特征无法获得很好的识别性能，提出了基于Fisher 比的MFCC、GFCC和LPCC的多特征融合算法，并把新特征命名为LP_MGFCC。

该种算法有效地利用了不同特征分量在识别系统中的贡献率不同的特点，通过选取系统贡献率较高的特征分量，进而提升了系统的识别效果。

接着，由于融合的LP_MGFCC特征分量之间存在一定的相关和冗余信息，为了进一步提升短语音说话人识别性能，提出了基于PCA和LDA的LP_MGFCC特征补偿算法，得到了正交且说话人区分性较强的特征，同时，小了计算复杂度。

再者，匹配模型的选择对短语音说话人识别系统的性能也会产生影响。

本文对GMM-UBM模型进行深入研究，并通过实验确定了模型的混合度为1024时，系统的性能最优。

同时，介绍了目前主流的I-Vector模型，并分析了I-Vector模型相比于GMM-UBM模型的优势，并在本文测试语音较短的情况下，对两种模型进行了实验对比，结果表明I-Vector模型相比于GMM-UBM模型具有更好的识别性能。

最后，本文对基于多特征I-Vector的短语音说话人识别系统进行了仿真实验。

在测试语音为8s时，验证了不同特征在基线I-Vector说话人识别系统中的性能，结果表明本文提出的多特征算法具有更好的识别性能。

基于ECAPA-TDNN网络改进的说话人确认方法

基于ECAPA-TDNN网络改进的说话人确认方法作者：张家良张强来源：《电脑知识与技术》2024年第01期关键词：说话人确认；语音特征；ECAPA-TDNN；感受野；多尺度特征0 引言说话人确认技术是判断某段测试语音是否来自所给定的说话人，是“一对一”的判别问题。

该技术已经应用于许多实际的领域，如智能家居、金融安全、刑侦破案等。

近10年来，说话人确认技术得益于深度神经网络（Deep Neural Network，DNN）强大的学习能力得到了快速发展。

鉴于DNN强大的特征提取能力，在说话人确认领域已经广泛应用。

2014年，Variani[1]等人基于DNN的基础上，提出了一种具有帧级别说话人聲学特征的模型，将训练好的DNN从最后一个隐藏层提取的说话人特定特征的平均值作为说话人的模型，称为d-vector。

相对于i-vector[2]，d-vector在小规模文本相关的说话人确认任务上有着更好的性能。

由于d-vector只能提取帧级别的特征，Snyder[3]等人提出了x-vector，其主要利用多层时延神经网络结构（Time-delay Neural Net⁃work，TDNN）和统计池化层，将帧级别的输入特征转化为句子级别的特征表达。

此外，杨宇奇[4]还在TDNN 的基础上建立多分支聚合TDNN网络的方式来提取说话人的嵌入特征。

近年来，研究者开始将卷积神经网络应用到说话人确认领域。

Nagrani[5]基于循环神经网络提出了VG⁃GVox模型。

在残差网络（Residual Networks，ResNet） [6]的基础上，Chung[7] 等人提出ResNetSE34L，ResNe⁃tSE34V2模型，采用不同尺度的卷积核提升多尺度特征的表达能力。

此外，Desplanques 等人[8]还在基于TDNN 的x-vector 架构上，提出了ECAPA-TDNN 模型，采用引入SE-Net[9]模块、通道注意机制和多层特征融合等增强方法，进一步扩展时间上下文，该模型已成为说话人确认领域最优秀的框架之一。

智能语音识别的技术实现方案

鲁棒性评估
鲁棒性
口音鲁棒性
衡量系统在各种噪声和口音下的性能表现。
评估系统对不同地区口音的识别能力。
噪声鲁棒性
评估系统在有噪声环境中的性能，如风声、背景音乐等。
优化策略与实践
01
02
03
04
数据增强
通过增加训练数据的多样性来提高模型的泛化能力。
深度学习模型优化
采用更先进的深度学习模型结构，如Transformer、CRNN
感谢您的观看
技术发展对社会的ቤተ መጻሕፍቲ ባይዱ远影响
改变信息获取方式
智能语音识别将使人们更加便捷地获取信息，不再受限于文字输入。
提升生产效率
智能语音识别在各行各业的广泛应用，将有助于提升生产效率和服务质量。
改变人机交互方式
智能语音识别的普及将推动人机交互方式的变革，使交互更加自然、便捷。
THANKS FOR WATCHING
个性化需求满足
随着用户对语音交互体验的追求，智能语音识别将更加注重个性化需求的满足。
当前面临的挑战与问题
数据隐私和安全
智能语音识别涉及大量用户数据，如何保障数据隐私和安全成为亟待解决的问题。
方言和口音识别
如何提高对不同方言和口音的识别准确率，以满足更广泛用户的需求。
噪音干扰处理
如何在噪音环境下提高语音识别的清晰度和准确性，是技术实现的一大挑战。
语音识别中的语言模型
语言模型用于预测输入语音对应的文本序列的概率分布，是提高语音识别准确率的重要手段。
基于统计的语言模型，如n-gram、隐马尔可夫模型（HMM ）和循环神经网络语言模型（RNN-LM），能够根据上下文信息对输出文本序列进行概率计算，提高了语音识别的性能。

基于i向量的SVM说话人确认_吴文昭

第３０卷第３期２０１６年５月兰州文理学院学报（自然科学版）Ｊｏｕｒｎａｌ　ｏｆ　Ｌａｎｚｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｒｔｓ　ａｎｄ　Ｓｃｉｅｎｃｅ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅｓ）Ｖｏｌ．３０Ｎｏ．３Ｍａｙ　２０１６收稿日期：２０１６－０３－２０基金项目：甘肃省教育厅科研项目（２０１５Ｂ－０９０）作者简介：吴文昭（１９６６－），男，甘肃天水人，副教授，硕士，主要从事生物特征识别研究．Ｅ－ｍａｉｌ：１２５３３０９１３＠ｑｑ．ｃｏｍ．文章编号：２０９５－６９９１（２０１６）０３－００５３－０３基于ｉ向量的ＳＶＭ说话人确认吴文昭（兰州城市学院信息工程学院，甘肃兰州７３００００）摘要：针对ＳＶＭ处理定长语音向量的局限，将新型的定长ｉ向量应用于说话人确认．该算法首先在整体注册说话人的高斯混合通用背景模型上应用ＭＡＰ自适应算法提取说话人的ＧＭＭ超向量，紧接着在超向量空间分析全局差异空间矩阵，获得低维的定长ｉ向量，用于支持向量机的训练．仿真实验结果验证了该算法的有效性．关键词：说话人确认；ｉ向量；高斯混合通用背景模型；ＧＭＭ超向量：支持向量机中图分类号：ＴＰ３９１文献标志码：Ａ0　引言语音是人类交流的最重要的信息载体，其中不仅包含所要表达的信息，同时也包含了大量说话人的个性特征，如说话人发音器官的特点、发音的习惯等，这使得说话人的语音具有强烈的个人特色，也使得通过分析语音信号来识别说话人成为可能．说话人识别［１－３］作为生物身份认证的一个重要分支，以其独有的优势在身份认证领域占有重要的地位，在声音拨号、电话银行、电话购物、数据库访问、信息服务、语音电子邮件、安全控制、计算机远程登录等领域具有广泛的应用前景．说话人确认是说话人识别研究的一个重要分支，它通过提取话者语音信号中的个性特征参数，构建识别模型，从而对话者的身份进行验证．高斯混合模型（Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌ，ＧＭＭ）［４］和支持向量机［５］（Ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ，ＳＶＭ）的结合是目前该方向研究的热点．然而在实际应用中，ＳＶＭ具有定长向量处理的局限，无法充分发挥其良好的分类性能．为了解决这一问题，Ｃａｍｐ－ｂｅｌｌ·Ｗ［６］最早提出定长ＧＭＭ超向量的概念．ＧＭＭ超向量是在话者高斯通用背景模型（Ｇａｕｓｓｉａｎ　Ｍｉｘｔｕｒｅ　Ｍｏｄｅｌ　Ｕｎｉｖｅｒｓａｌ　ＢａｃｋｇｒｏｕｎｄＭｏｄｅｌｓ，ＧＭＭ－ＵＢＭ）的基础上，对话者的ＧＭＭ的均值向量应用ＭＡＰ自适应算法获取．Ｃａｍｐ－ｂｅｌｌ·Ｗ将其应用于ＳＶＭ说话人确认系统，获得了良好的实验结果．然而，在研究中发现ＧＭＭ超向量的维数较高，不利于后续分类算法的训练．为了获取更为低维的定长向量，文献［７］在联合因子分析（ｊｏｉｎｔ　ｆａｃｔｏｒ　ａｎａｌｙｓｉｓ，ＪＦＡ）的基础上，提出基于全局差异空间（Ｔｏｔａｌ　Ｖａｒｉａｂｉｌｉｔｙ　Ｓｐａｃｅ）的低维ｉ向量（ｉｄｅｎｔｉｔｙ　ｖｅｃｔｏｒ，ｉ－ｖｅｃｔｏｒ）概念，该特征向量的维数一般在４００至６００之间．在以上研究的基础上，本文将ｉ向量应用于ＳＶＭ说话人确认系统，和传统ＳＶＭ说话人确认系统、ＧＭＭ和余玄距离评分（Ｃｏｓｉｎｅ　Ｓｉｍｉｌａｒｉｔｙ　Ｓｃｏ－ｒｉｎｇ，ＣＳＣ）分类器进行比较，测试ｉ向量的性能．1　基于i 向量和SV M 的说话人确认针对ＳＶＭ处理定长向量的局限，本文提出基于ｉ向量的ＳＶＭ说话人确认算法，系统框图如图１所示．图１　基于ｉ向量和ＳＶＭ的说话人确认系统框图DOI:10.13804/ki.2095-6991.2016.03.012１．１　ｉ向量的生成ｉ向量是基于ＧＭＭ超向量生成的．ＧＭＭ超向量是一种定长向量，首先采用ＥＭ算法生成系统注册话者的ＧＭＭ通用背景模型（ＵｎｉｖｅｒｓａｌＢａｃｋｇｒｏｕｎｄ　Ｍｏｄｅｌ，ＵＢＭ），紧接着采用ＭＡＰ映射算法只对说话人ＧＭＭ的均值向量进行自适应，从而提取说话人的ＧＭＭ超向量，在此过程中假设系统所有话者ＧＭＭ的协方差矩阵和权重向量都是相同的．假设系统ＧＭＭ－ＵＢＭ为：ｐ（ｘ）＝∑Ｍｉ＝１ｗｉＮ　ｘ；ｍｉ，∑（）ｉ，（１）其中：Ｎ（ｘ；ｍｉ，∑ｉ）为训练语音ｘ的高斯密度函数，ｗｉ，ｍｉ，∑ｉ分别表示第ｉ个高斯分量的混合权重、均值向量和对角化的协方差矩阵．采用ＭＡＰ对说话人的ｄ维输入语音数据Ｘ＝｛ｘ１，ｘ２，…，ｘｎ｝的均值向量进行自适应，即可得到说话人ｑ维的ＧＭＭ超向量μ＝｛μ１，μ２，…，μｎ｝，其中μ＝｛μ１１，μ１２，…，μ１ｑ｝ｔ．说话人的ＧＭＭ超向量获取后，在不严格区分语音空间和信道空间的基础上，在该向量序列中进行联合因子分析，则ＧＭＭ超向量可表示为：μ＝珔μ＋Ｔｗ，（２）其中：μ是和说话人的语音空间和信道空间都相关的超向量．珔μ表示与信道无关的说话人超向量的均值向量，Ｔ是低维的全局差异空间矩阵．ｗ是全局变异因子，它服从标准正态分布Ｎ（０，１），也即ｉ向量，其维数一般在４００至６００之间．在ｉ向量的生成过程中，全局差异空间矩阵的训练是关键，对每个目标说话人的Ｂａｕｍ－Ｗｅｌｃｈ统计量应用ＥＭ算法即可训练全局差异空间矩阵Ｔ．１．２　ＳＶＭ分类支持向量机（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ，ＳＶＭ）以其出色的分类性能，成为说话人识别研究的热点．ＳＶＭ的基本原理是将样本由原空间映射到高维特征空间，在新特征空间中构造最优分类超平面，该超平面可以最大程度地将给定的属于两个不同类别的样本分开．在ＳＶＭ中，根据两类样本与超平面的距离最大化构造超平面．ＳＶＭ的决策分类函数是：ｆ（ｘ）＝ｓｇｎ∑ｌｉ＝１ｙｉαｉＫ（ｘｉ，ｘ）＋（）ｂ，（３）其中：ｘｉ∈ｎ，ｉ＝１，２，…，ｌ是用于训练的约简向量集，ｙｉ∈｛－１，１｝是类别标号，αｉ＞０是Ｌａｇｒａｎｇｅ系数，对应于支持向量（ＳＶ）的αｉ取值非零，其余取值为零．而ｂ是分类的域值，可以由任意一个线性支持向量求得．Ｋ（ｘｉ，ｘ）是核函数用于替代点积运算，避免在高维特征空间进行复杂的运算．在本文中，选择类似于ＧＭＭ的径向基核函数［８］：Ｋ（ｘｉ，ｘｊ）＝ｅｘｐ（－‖ｘｉ－ｘｊ‖２／２σ２）．（４）2　仿真实验与分析２．１　仿真实验语音库参数设置本仿真实验测试基于ｉ向量的ＳＶＭ说话人确认系统的性能．实验采用自建语音库，共录制５８人语音，其中男性２７人，女性３１人．为了反映每位话者的语音变化，分２次间隔２个月进行录制．每位话者共录制语音３０段，随机选取话者１５个语音段用于训练，而剩余语音段用于测试．语音数据的采样频率为１１０２５Ｈｚ、量化位数为１６ｂｉｔ，通过单声道的Ａ／Ｄ转换成数字信号存储．说话人原始语音特征向量由１３维的ＭＦＣＣ参数及它的一阶和二阶差分构成，共计３９维，ｉ－向量的维数选择５５０．评价性能指标主要采用等错误率（Ｅ－ｑｕａｌ　Ｅｒｒｏｒ　Ｒａｔｅ，ＥＥＲ）、最小决策代价函数（Ｍｉｎ－ｉｍｕｍ　Ｄｅｃｉｓｉｏｎ　Ｃｏｓｔ　Ｆｕｎｃｔｉｏｎ，ｍｉｎＤＣＦ）值和识别时间（Ｒｅｃｏｇｎｉｔｉｏｎ　Ｔｉｍｅ，ＲＴ）．２．２　实验结果分析本文从ｉ向量的性能测试和ＳＶＭ的性能测试两个方面进行仿真实验．（１）ｉ向量性能测试．在该实验中，将本文提出的算法和标准ＧＭＭ、ＳＶＭ进行比较，实验结果如表１所列．表１　ｉ向量性能分析特征向量ＥＥＲ（％）ＭｉｎＤＣＦｉ向量＋ＳＶＭ　５．３３　０．０３７７ＳＶＭ　９．４３　０．０６２９ＧＭＭ　１１．２３　０．０８４４由表１可知，本文提出算法的ＥＥＲ为５．３３％，ｍｉｎＤＣＦ是０．０３７７．相比于标准ＳＶＭ说话人确认系统，ＥＥＲ降低了４．１％，ｍｉｎＤＣＦ降低了０．０２５２；相比于ＧＭＭ，ＥＥＲ降低了５．９％．由此验证了ｉ向量是一种有效的特征向量．（２）分类性能测试．４５兰州文理学院学报（自然科学版）第３０卷该实验侧重于ＳＶＭ分类性能的测试，实验中将其与基于ｉ向量的余弦距离得分分类算法进行比较分析，实验结果如表２所列．表２　分类性能分析特征向量ＥＥＲ（％）ＭｉｎＤＣＦ　ＲＴ（ｓ）ｉ向量＋ＳＶＭ　５．３３　０．０３７７　３．７ｓｉ向量＋余弦距离得分分类器６．３２　０．０４３５　２．３ｓ由表２可知，相比于余弦距离得分分类器，ＳＶＭ的ＥＥＲ降低了将近一个百分点，同时ｍｉｎＤＣＦ降低了０．００５８．然而，余弦距离得分分类器的识别时间缩短了１．４ｓ，主要是因为ＳＶＭ的训练复杂度高于余弦距离得分分类器．3　结语提出一种基于ｉ向量和支持向量机的说话人确认算法．借助于ｉ向量低维定长的特性，充分发挥支持向量机的分类优势．仿真实验结果表明本文提出的算法具有良好的性能，ＥＥＲ为５．３３％，ｍｉｎＤＣＦ为０．０３７７．然而，实验结果也表明ＳＶＭ的计算复杂度较高，因此在后续的研究中，我们将侧重于ＳＶＭ复杂度约简的研究．参考文献：［１］ＤＥＨＡＫ　Ｎ，ＫＥＮＮＹ　Ｐ　Ｊ，ＤＥＨＡＫ　Ｒ，ｅｔ　ａｌ．Ｆｒｏｎｔ－ｅｎｄ　ｆａｃｔｏｒ　ａｎａｌｙｓｉｓ　ｆｏｒ　ｓｐｅａｋｅｒ　ｖｅｒｉｆｉｃａｔｉｏｎ［Ｊ］．Ａｕｄｉ－ｏ，Ｓｐｅｅｃｈ，ａｎｄ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，２０１１，１９（４）：７８８－７９８．［２］蒋晔．基于段语音和信道变化的说话人识别研究［Ｄ］．南京：南京理工大学，２０１２．［３］ＫＩＮＮＵＥＮ　Ｔ，ＬＩ　Ｈ．Ａｎ　ｏｖｅｒｖｉｅｗ　ｏｆ　ｔｅｘｔ－ｉｎｄｅｐｅｎｄ－ｅｎｔ　ｓｐｅａｋｅｒ　ｒｅｃｏｇｎｉｔｉｏｎ：Ｆｒｏｍ　ｆｅａｔｕｒｅｓ　ｔｏ　ｓｕｐｅｒｖｅｃ－ｔｏｒｓ［Ｊ］．Ｓｐｅｅｃｈ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ，２０１０，５２（１）：１２－４０．［４］蒋晔，唐振民．ＧＭＭ文本无关的说话人识别系统研究［Ｊ］．计算机工程与应用，２０１０，４６（１１）：１７９－１８２．［５］王波，徐毅琼，李弼程．基于ＳＶＭ的多分类器融合算法在说话人识别中的应用［Ｊ］．计算机工程与设计，２００７，２８（１２）：２９０９－２９１０．［６］ＣＡＭＰＢＥＬＬ　Ｗ，ＳＴＵＲＩＭ　Ｄ，ＲＥＹＮＯＬＤＳ　Ｄ．Ｓｕｐ－ｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｕｓｉｎｇ　ＧＭＭ　ｓｕｐｅｒｖｅｃｔｏｒｓ　ｆｏｒｓｐｅａｋｅｒ　ｖｅｒｉｆｉｃａｔｉｏｎ［Ｊ］．Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓ　Ｌｅｔｔｅｒｓ，２００６，１３（５）：３０８－３１１．［７］ＧＡＲＣＩＡ－ＲＯＭＥＲＯ　Ｄ，ＭＣＣＲＥＥ　Ａ．Ｓｕｐｅｒｖｉｓｅｄ　ｄｏ－ｍａｉｎ　ａｄａｐｔａｔｉｏｎ　ｆｏｒ　Ｉ－ｖｅｃｔｏｒ　ｂａｓｅｄ　ｓｐｅａｋｅｒ　ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］／／ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ，２０１４：４０４７－４０５１．［８］李杰，刘贺平．高斯序列核支持向量机用于说话人识别［Ｊ］．计算机工程与应用，２０１０，４６（１８）：１８３－１８５．［责任编辑：邢玉娟］ＳＶＭ　Ｓｐｅａｋｅｒ　Ｖｅｒｉｆｉｃａｔｉｏｎ　Ｂａｓｅｄ　ｏｎ　ｉ－ｖｅｃｔｏｒＷＵ　Ｗｅｎ－ｚｈａｏ（Ｓｃｈｏｏｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｌａｎｚｈｏｕ　Ｃｉｔｙ　Ｕｎｉｖｅｒｓｉｔｙ，Ｌａｎｚｈｏｕ　７３００００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｓｏｌｖｅ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｏｆ　ＳＶＭ’ｓ　ｆａｉｌｉｎｇ　ｉｎ　ｐｒｏｃｅｓｓｉｎｇ　ｆｉｘｅｄ　ｌｅｎｇｔｈ　ｖｅｃｔｏｒｓ，ｔｈｉｓ　ｓｔｕｄｙｐｒｏｐｏｓｅｓ　ａ　ｎｏｖｅｌ　ｓｐｅａｋｅｒ　ｖｅｒｉｆｉｃａｔｉｏｎ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎ　Ｉ－ｖｅｃｔｏｒ．Ｔｈｉｓ　ｍｅｔｈｏｄ　ｕｔｉｌｉｚｅｓ　ＭＡＰ　ａｌｇｏｒｉｔｈｍｂａｓｅｄ　ｏｎ　ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｕｎｉｖｅｒｓａｌ　ｂａｃｋｇｒｏｕｎｄ　ｍｏｄｅｌ　ｔｏ　ｅｘｔｒａｃｔ　ＧＭＭ　ｓｕｐｅｒ－ｖｅｃｔｏｒｓ　ｆｉｒｓｔｌｙ．Ａｎｄｔｈｅｎ，ｉ－ｖｅｃｔｏｒｓ　ｔｈａｔ　ａｒｅ　ｌｏｗｅｒ　ｄｉｍｅｎｓｉｏｎａｌ　ａｎｄ　ｆｉｘｅｄ－ｌｅｎｇｔｈ，ａｒｅ　ｇｅｎｅｒａｔｅｄ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ａｎａｌｙｓｉｓ　ｏｆ　ｔｏ－ｔａｌ　ｖａｒｉａｂｉｌｉｔｙ　ｓｐａｃｅ．Ｆｉｎａｌｌｙ，ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ　ｉｓ　ａｄｏｐｔｅｄ　ａｓ　ｃｌａｓｓｉｆｉｅｒ　ｔｏ　ｖｅｒｉｆｙ　ｔａｒｇｅｔ　ｓｐｅａｋｅｒ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｖｅｒｉｆｉｅｓ　ｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｏｆ　ｍｅｔｈｏｄ．Ｋｅｙ　ｗｏｒｄｓ：Ｓｐｅａｋｅｒ　ｖｅｒｉｆｉｃａｔｉｏｎ；ｉ－ｖｅｃｔｏｒ；Ｇａｕｓｓｉａｎ　Ｍｉｘｔｕｒｅ　Ｕｎｉｖｅｒｓａｌ　Ｂａｃｋｇｒｏｕｎｄ　Ｍｏｄｅｌ；ＧＭＭ　ｓｕｐｅｒ－ｖｅｃｔｏｒ；ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ５５第３期吴文昭：基于ｉ向量的ＳＶＭ说话人确认。

语音识别中基于i-vector的说话人归一化研究

关键词：
说话人识别；ｉ－ｖｅｃｔ０ｒ；最大似然线性变换；特征提取；说话人归一化；ＬＢＧ算法
基金项目：国家自然科学基金资助项目（Ｎｏ．６１３６５００５、Ｎｏ．６０９６５００２）
０引言
般常用的特征归一化方法＿ｌ＿主要有倒谱均值归
一
化（Ｃｅｐｓｔｒａ１ＭｅａｎＮ０ｔｉｎａｌｉｚａｔｉ０ｎ。ＣＭＮ）｝ ¨ 和倒谱方差
归一化（ＣｅｐｓｔｒａｌＶａｒｉａｎｃｅＮｏｒｍａｌｉｚａｔｉｏｎ，ＣＶＮ）回．两者
谱域中消除了包含大部分信道失真的直流分量．而
ＣＶＮ通过对方差的进一步归一化．使得带噪语音信号和纯净语音信号的概率密度函数的差异减小我们将
道空间被定义为特征信道矩阵Ｕ然后提出基于单一
摘要：
ｉ－ｖｅｃｔｏｒ是反映说话人声学差异的一种重要特征，在目前的说话人识别和说话人验证中显示了有效性。将ｉ－ｖｅｃｔｏｒ应用于语音识别中的说话人的声学特征归一化，对训练数据提取ｉ－ｖｅｃｔｏｒ并利用ＬＢＧ算法进行无监督聚类，然后对各类分别训练最大似然线性变换并使用说话人自适应训练来实现说话人的归一化。将变换后的特征用于训练和识别。实验表明该方法能够提高语音识别的性能。

基于I-Vector的多核学习SVM的说话人确认系统

软件与算法Software and Algorithms基于1-V ector的多核学习S V M的说话人确认系统龚铖，琚炜(中国科学技术大学信息科学技术学院，安徽合肥230026)摘要：自I-V ector(身份认证矢量）被提出以来，基于I-V e c to r的说话人确认系统迅速取代了基于G M M超矢量的系统并开始流行。

I-Vector-S V M系统作为其中之一，在通常训练样本较少的说话人确认领域有着独特的优势，但其性能受核函数影响较大。

因此，基于多核学习（Multiple Kernel Learning，M KL)思想，构建了基于I-V e cto r的多核学习S V M说话人确认系统，并与I-Vector-S V M基线系统进行了性能比较。

基于N IS T语料库的实验表明，基于I-V e cto r的多核学习说话人确认系统相对于基线系统可取得一定的性能提升。

关键词：说话人确认；多核学习SV M;I-Vector中图分类号：TP181 文献标识码：A D0I：10. 19358/j.issn. 1674-7720.2017.22.005引用格式：龚铖，琚炜.基于I-V e c to r的多核学习S V M的说话人确认系统[J].微型机与应用，2017,36(22):15-18,22.Speaker verification system of m ultiple-kem el-leam ing SVM based on I-VectorGong Cheng，Ju Wei(School of Information Science and Technology，University of Science and Technology of China，Hefei 230026，China)A b s tr a c t:As the c cnccpt ‘I-V ector’was put forward，the text-independent speaker verification systems based on GMM super vector was replaced by the same systems based on I-"Vector. As one of the systems，I-Vector-SVM system has a pot amount of training data. But its performance is infliaenced by its kernel too much. Under this situation，this paper builds a MKL-SVM speaker verification system based on I-Vector inspired by the ccnccpt ‘multiple kernel learning’，and compares it witli the I-"Vector-JSVM baseline system. The experiment result based on NIST database showed，this system has an advantage in performance comparing wit!i the baseline system.K e y w o r d s:speaker certification ；multiple-kernel-learning-SVM (I-Vector〇引言说话人确认是说话人识别的一个重要的研究方向，已经在相当广泛的内发挥出重要的作用。

基于GMMi—vector的说话人识别研究

基于GMMi—vector的说话人识别研究作者：王致垚来源：《中国新技术新产品》2018年第16期摘要：语音识别技术飞速发展，在现实生活中扮演着越来越重要的角色，语音识别简单来说就是让计算机理解人的语音，它有两大研究领域：语种识别和说话人识别。

说话人识别是指计算机能够识别出语音来自那个说话人，在身份验证等众多领域有很广泛的应用。

本文着重探究哪种细微声音对说话人识别的效果好，这些细微声音有“嗯”“啧啧”“清嗓子”“清鼻子”等，最后进行人机大战，得出机器的准确率普遍比较高的结论。

关键词：语音识别;说话人识别;高斯混合模型;深度学习中图分类号：TP391 文献标志码：A0 前言随着移动互联网的兴起，手机APP的广泛应用以及移动电子商务的需求，人们对安全保密系统的要求也越来越高。

除了传统的密码输入方式外，基于生物特征的身份认证（如指纹、虹膜、掌纹以及人脸等）成为目前最主要的研究方向。

在这其中，语音信号是用于个人身份辨识和确认的一种有效的生物特征，其技术在生物识别中占有重要地位。

语音信号处理是用数字信息技术处理语音，可以分为语音合成、语音识别、语音编程和说话人识别。

说话人识别是指从语音信号中提取说话人的特征，并对说话人进行识别的研究领域。

说话人识别实际上是一个模型识别问题。

而基于Kaldi的GMM i-vector说话人识别系统则是其中比较新颖的技术。

本文探讨的是利用i-vector说话人识别系统来处理一些比较特殊的问题。

1 说话人识别研究的目的及意义信息输入方式的变化，也是由于生物识别技术的发展。

说话人识别技术能够更加快捷便利的确定说话人的身份，能够应用于说话人核对，（例如语音类别身份证）电子设备，信息系统的安全工作，刑侦技术的人员追踪，公安、军事、机密的防护等众多领域、将会在电脑、手机、汽车、电子锁等电子产品上有众多应用说话人识别也叫做声纹识别，属于生物识别技术的一种。

相对于传统认证，具有安全、保密、不易伪装、不会遗忘或丢失，方便等优点。

声纹识别（说话人识别）技术

声纹识别（说话⼈识别）技术说话⼈识别（Speaker Recognition，SR），⼜称声纹识别（Voiceprint Recognition,VPR），顾名思义，即通过声⾳来识别出来“谁在说话”，是根据语⾳信号中的说话⼈个性信息来识别说话⼈⾝份的⼀项⽣物特征识别技术。

便于⽐较，语⾳识别（Automatic Speech Recognition，ASR）是通过声⾳识别出来“在说什么”。

为了简便，后⽂统⼀称为VPR。

传统的VPR系统多是采⽤MFCC特征以及GMM模型框架，效果相当不错。

后续也出现了基于i-vector，深度神经⽹络的等更多的算法框架。

【持续更新……】基础声纹识别的理论基础是每⼀个声⾳都具有独特的特征，通过该特征能将不同⼈的声⾳进⾏有效的区分。

这种独特的特征主要由两个因素决定，第⼀个是声腔的尺⼨，具体包括咽喉、⿐腔和⼝腔等，这些器官的形状、尺⼨和位置决定了声带张⼒的⼤⼩和声⾳频率的范围。

因此不同的⼈虽然说同样的话，但是声⾳的频率分布是不同的，听起来有的低沉有的洪亮。

每个⼈的发声腔都是不同的，就像指纹⼀样，每个⼈的声⾳也就有独特的特征。

第⼆个决定声⾳特征的因素是发声器官被操纵的⽅式，发声器官包括唇、齿、⾆、软腭及腭肌⾁等，他们之间相互作⽤就会产⽣清晰的语⾳。

⽽他们之间的协作⽅式是⼈通过后天与周围⼈的交流中随机学习到的。

⼈在学习说话的过程中，通过模拟周围不同⼈的说话⽅式，就会逐渐形成⾃⼰的声纹特征。

因此，理论上来说，声纹就像指纹⼀样，很少会有两个⼈具有相同的声纹特征。

美国研究机构已经表明在某些特点的环境下声纹可以⽤来作为有效的证据。

并且美国联邦调查局对2000例与声纹相关的案件进⾏统计，利⽤声纹作为证据只有0.31%的错误率。

⽬前利⽤声纹来区分不同⼈这项技术已经被⼴泛认可，并且在各个领域中都有应⽤。

⽬前来看，声纹识别常⽤的⽅法包括模板匹配法、最近邻⽅法、神经元⽹络⽅法，VQ聚类法等。

语谱图是声⾳信号的⼀种图像化的表⽰⽅式，它的横轴代表时间，纵轴代表频率，语⾳在各个频率点的幅值⼤⼩⽤颜⾊来区分。

基于核函数的IVEC-SVM说话人识别系统研究

说话人识别是指通过从说话人的语音信号中提取声纹特征从而进行辨识或确认说话人身份的一项技术. 作为一种重要的基于生物特征的身份鉴定技术, 目前说话人识别已广泛应用于国家安全、司法鉴定、语音拨号、电话银行等诸多领域. 近几年来, 以高斯混合模型 – 通用背景模型 (Gaussian mixture model – universal background model, GMM-UBM)[1] 为基础的说话人建模技术取得了非常大的成功, 使得说话人识别系统的系统性能有了显著提升[2−3].
Citation Li Zhi-Yi, Zhang Wei-Qiang, He Liang, Liu Jia. Speaker recognition with kernel based IVEC-SVM. Acta Automatica Sinica, 2014, 40(4): 780−784
收稿日期 2012-09-12 录用日期 2013-01-18 Manuscript received September 12, 2012; accepted January 18, 2013 本文责任编委宗成庆 Recommended by Associate Editor ZONG Cheng-Qing 国家自然科学基金 (61005019, 61273268, 90920302, 61370034) 资助 Supported by National Natural Science Foundation of China (61005019, 61273268, 90920302, 61370034) 1. 清华大学电子工程系清华信息与科学技术国家实验室北京 100084 1. Tsinghua National Laboratory for Information Science and Tech-

说话人识别方法综述

说话人识别方法综述【综述】随着语音识别技术和人工智能技术的不断发展，说话人识别技术已经逐渐成为了人们研究的热点和难点。

说话人识别技术是指计算机通过语音信号识别说话人的身份，实现自动说话人识别。

在实际应用中，说话人识别技术已经广泛应用于身份认证、声纹加密、电话客服等领域。

本文将就说话人识别技术的算法、特点及应用做一综述。

【算法】1.基于GMM-UBM的方法GMM-UBM（Gaussian Mixture Model-Universal Background Model）方法是一种经典的说话人识别算法，它利用GMM模型对语音信号进行建模，并以通用背景模型（UBM）作为训练数据。

该方法通常用于短时语音信号的识别，准确度较高，但对噪声以及长时语音信号的识别效果较差。

2.基于i-vector的方法i-vector方法是由NIST提出的一种说话人识别算法，它将说话人的隐含向量表示为i-vector。

该方法将说话人的长时语音信号进行建模，具有很好的抗噪性能，但需要大量的训练数据和计算复杂度高。

3.深度学习方法随着深度学习技术的发展，深度学习方法在说话人识别领域得到了广泛应用。

其中，卷积神经网络（CNN）和长短时记忆网络（LSTM）是常用的神经网络结构。

该方法具有很高的准确度和鲁棒性，但需要大量的训练数据和计算资源。

【特点】1. 鲁棒性说话人识别技术在实际应用中需要具有较好的鲁棒性，即能够在嘈杂环境和不同话语语速下识别说话人的身份。

基于深度学习的方法和i-vector方法具有很好的抗噪能力。

2. 精度说话人识别技术需要具有较高的识别精度，能够准确识别说话人的身份。

在精度方面，基于GMM-UBM的方法表现并不理想，而基于i-vector和深度学习的方法可以达到很高的准确度。

3. 训练数据说话人识别技术需要大量的训练数据才能得到较好的效果。

基于GMM-UBM的方法需要大量的训练数据才能获得较高的识别精度，而基于i-vector和深度学习的方法需要更多的训练数据。

《基于i-vector的说话人识别的研究》范文

《基于i-vector的说话人识别的研究》篇一基于i-vector的说话人识别技术研究一、引言随着人工智能技术的不断发展，说话人识别技术已成为生物特征识别领域的重要研究方向之一。

i-vector技术作为一种有效的说话人识别方法，其准确性和鲁棒性在众多研究中得到了验证。

本文旨在探讨基于i-vector的说话人识别技术的研究，从算法原理、数据集、实验设计及结果等方面进行深入分析。

二、i-vector算法原理i-vector算法是一种基于高斯混合模型（GMM）的说话人识别方法，其核心思想是将说话人的语音特征表示为一个固定长度的向量。

该算法首先通过高斯混合模型将语音数据进行建模，提取语音数据的全局特征，然后将这些特征转换为固定维度的i-vector。

i-vector包含了说话人的独特信息，可以有效地用于说话人识别任务。

三、数据集本文采用的数据集为公开的语音数据集，包括不同语言、不同背景的语音数据。

数据集的选取对于说话人识别的准确性和鲁棒性至关重要。

在数据预处理阶段，需要进行语音信号的预加重、分帧、加窗等操作，以提取出高质量的语音特征。

四、实验设计本文通过实验验证了i-vector算法在说话人识别任务中的性能。

实验中，我们采用了不同的参数配置和特征提取方法，以找到最佳的模型参数和特征表示。

同时，我们还对比了其他说话人识别方法，如传统的基于声纹特征的识别方法和深度学习模型等。

五、实验结果与分析实验结果表明，i-vector算法在说话人识别任务中具有较高的准确性和鲁棒性。

我们通过对比不同参数配置和特征提取方法的性能，找到了最佳的模型参数和特征表示。

同时，我们还发现i-vector算法对于不同语言、不同背景的语音数据具有良好的泛化能力。

与其他说话人识别方法相比，i-vector算法在准确性和鲁棒性方面具有明显优势。

六、结论与展望本文研究了基于i-vector的说话人识别技术，通过实验验证了其性能和泛化能力。

i-vector算法通过高斯混合模型将语音数据进行建模，提取出固定维度的i-vector作为说话人的特征表示。

《基于i-vector的说话人识别的研究》范文

《基于i-vector的说话人识别的研究》篇一基于i-vector的说话人识别技术研究一、引言随着语音技术的不断发展，说话人识别技术逐渐成为人们关注的焦点。

说话人识别技术是一种通过分析语音信号中的特征信息，从而确定说话人身份的技术。

i-vector技术作为一种有效的语音特征提取方法，在说话人识别领域得到了广泛的应用。

本文旨在研究基于i-vector的说话人识别技术，探讨其原理、方法及优势，为相关领域的研究提供参考。

二、i-vector技术原理i-vector是一种基于高斯混合模型（GMM）的语音特征提取方法。

其基本原理是将语音信号中的特征信息通过高斯混合模型进行建模，然后通过统计方法得到一个能够描述语音特性的向量，即i-vector。

该向量包含了语音信号中的各种特征信息，如声学特征、音素特征等，可以有效地表征说话人的语音特性。

三、基于i-vector的说话人识别方法基于i-vector的说话人识别方法主要包括以下几个步骤：1. 语音信号预处理：对输入的语音信号进行预处理，包括去噪、归一化等操作，以便后续的特征提取。

2. 特征提取：利用i-vector技术对预处理后的语音信号进行特征提取，得到每个语音信号的i-vector向量。

3. 模型训练：采用高斯混合模型（GMM）对提取的i-vector 向量进行建模，训练得到说话人的模型参数。

4. 说话人识别：将待识别的语音信号进行同样的特征提取和模型训练，然后与已建立的说话人模型进行比对，从而确定说话人的身份。

四、i-vector技术的优势相比其他说话人识别技术，i-vector技术具有以下优势：1. 特征提取能力强：i-vector技术能够有效地提取语音信号中的各种特征信息，形成能够表征说话人特性的向量。

2. 鲁棒性高：i-vector技术对噪声、信道等干扰因素具有较强的鲁棒性，能够在不同的环境下实现稳定的说话人识别。

3. 计算效率高：i-vector技术的计算过程相对简单，能够快速地完成大量的语音数据处理。

利用i-vectors构建区分性话者模型的话者确认

利用i-vectors构建区分性话者模型的话者确认语音识别领域中的话者确认是一个非常重要的问题，因为话者确认的准确性直接决定了语音识别系统的性能。

话者确认要解决的问题是如何确定说话人的身份，这可以通过语音中的声音特征来完成。

目前，利用i-vectors构建区分性话者模型已经成为话者确认的一种主流方法。

i-vectors是一种短时说话人语音的低维度表示。

简单来说，i-vectors是通过对说话人语音进行模型化，提取出某个说话人语音在模型下的统计特征而形成的。

通过这种方式，i-vectors可以用于区分不同的说话人。

区分性话者模型的主要思想是，通过训练一个分类器，在给定i-vector和已知说话人的数据库的情况下，使用这个分类器来判断该i-vector所代表的说话人身份是否为先前在数据库中已经标记的说话人。

利用i-vectors构建区分性话者模型的具体方法可以分为以下几个步骤：1.语音特征提取。

通常使用Mel频率倒谱系数（MFCC）或滤波组（LFCC）等技术提取语音特征。

2.建立话者模型。

为了提取i-vectors，需要建立一个语音模型，通常使用高斯混合模型（GMM）或I-vector的变体，如klb-ivector等。

3.提取i-vectors。

通过对训练语音的i-vector进行提取，使用训练过程中的GMM或I-vector模型，将所有说话人的i-vector聚类以获得说话人的话者向量。

最终得到的i-vector将用于区分不同的说话人。

4.建立分类器。

通常使用支持向量机（SVM）或高斯混合模型的UBM-i-vector建立分类器。

5.测试。

给定一组未知身份的语音数据，得到其i-vector，并使用分类器来预测其所属的说话人。

利用i-vectors构建区分性话者模型的方法具有以下优点：1.由于i-vectors能够捕捉到每个说话人的特征，模型具有更高的区分性能。

2.建模过程可以在线性空间中进行，使得整个模型能够在较短的时间内完成训练，从而满足实时性的需求。

语音识别中基于i-vector的说话人归一化研究

语音识别中基于i-vector的说话人归一化研究李亚琦;黄浩【期刊名称】《现代计算机（普及版）》【年(卷),期】2014(000)005【摘要】i-vector is an important feature which reflects differences of acoustic characteristics between speakers, and has shown effectiveness in speaker identification and speaker verification. Applies the i-vector method to speaker normalization in speech recognition:extracts the i-vectors of training data and carries out unsupervised clustering using the LBG algorithm. Then performs speaker adaptive training using the cluster information. Speech recognition experiments show that this method can consistantly improve the performance.%i-vector是反映说话人声学差异的一种重要特征，在目前的说话人识别和说话人验证中显示了有效性。

将i-vector应用于语音识别中的说话人的声学特征归一化，对训练数据提取i-vector并利用LBG算法进行无监督聚类，然后对各类分别训练最大似然线性变换并使用说话人自适应训练来实现说话人的归一化。

将变换后的特征用于训练和识别，实验表明该方法能够提高语音识别的性能。

【总页数】5页(P3-7)【作者】李亚琦;黄浩【作者单位】新疆大学信息科学与工程学院，乌鲁木齐 830046;新疆大学信息科学与工程学院，乌鲁木齐 830046【正文语种】中文【相关文献】1.基于GMM i-vector的说话人识别研究 [J], 王致垚2.基于i-vector说话人识别算法中训练时长研究 [J], 马平;黄浩;程露红;杨萌萌3.基于说话人语音特征归一化的语音识别研究 [J], 钱洪伟;贺苏宁4.基于改进i-vector的说话人感知训练方法研究 [J], 梁玉龙;屈丹;邱泽宇5.基于总体变化子空间自适应的i-vector说话人识别系统研究 [J], 栗志意;张卫强;何亮;刘加因版权原因，仅展示原文概要，查看原文内容请购买。

用说话人相似度i-vector的非负值矩阵分解说话人聚类

用说话人相似度i-vector的非负值矩阵分解说话人聚类哈尔肯别克·木哈西;钟珞;达瓦·伊德木草【摘要】Based on Bayesian or full Bayesian criterion, the speaker clustering or recognition method is mainly used to repeat the similarity measure of the whole utterance segment, and then combine the similar utterance segment to realize speaker clustering.In this method, if the number of utterance segment is increased, the combined computation time is longer and the system real-time property is worse.Moreover, the speaker model is established by GMM.The reliability of GMM is reduced when the speech time is short, which affects the accuracy of speaker clustering.Aiming at the above problems, this paper proposes a high-accuracy fast speaker clustering method based on non-negative matrix factorization and i-vector of speaker similarity.%基于贝叶斯或者全贝叶斯准则的说话人自动聚类或者识别方法,主要采取重复换算全发话语音段的相似量度,再组合相似性较大的语音片段实现说话人的聚类.这种方法中如果发话语音片段数越多,组合计算时间就越长,系统实时性变差,而且各说话人模型用GMM方法建立,发话语音时间短暂时GMM的信赖性降低,最终影响说话人聚类精度.针对上述问题,提出引用i-vector说话人相似度的非负值矩阵分解的高精度快速说话人聚类方法.【期刊名称】《计算机应用与软件》【年(卷),期】2017(034)004【总页数】5页(P165-168,242)【关键词】说话人分割及聚类;非负值矩阵分解;i-vector;GMM;电话语音【作者】哈尔肯别克·木哈西;钟珞;达瓦·伊德木草【作者单位】武汉理工大学计算机科学与技术学院湖北武汉 430070;武汉理工大学计算机科学与技术学院湖北武汉 430070;新疆大学多语言技术重点实验室新疆乌鲁木齐 830046【正文语种】中文【中图分类】TP391随着信息技术和存储技术的发展，音频数据量呈现爆炸式增长。

基于说话人特有特征集的GMM和i-矢量方法的说话人识别

基于说话人特有特征集的GMM和i-矢量方法的说话人识别沈思秋;吕勇;杨芸;齐彦云【摘要】在说话人识别中，当存在两个或多个发声类似的说话人时，会导致错误识别。

为了提高在这种情况下的识别准确率，在音素层次上找出说话人特有的特征，将这些特征的子集构成一个该说话人特有的特征集，然后在这些特征集的基础上用GMM和i-矢量的方法对说话人进行识别。

在实验室环境下收集了50个说话人的声音，分别在不同信噪比的环境下进行测试。

实验结果表明提出的方法能够提高当存在发声类似的说话人时的识别准确率。

%In speaker recognition tasks, one of the reasons for reduced accuracy is due to closely resembling speakers in the acoustic space. In order to improve the recognition accuracy in this condition, this paper proposes a technique by finding speaker-specific features at the level of phonemes and formulate a text using the subset of features that are unique, for speaker recognition task using GMM-based approach and i-vector based approach. Collecting 50 speakers’ speech in the labtorary environment and test them under different Signal-to-Noise Ratios. The experiments show that the proposed method can improve the recognition accuracy when there are closely resembling speakers.【期刊名称】《电子设计工程》【年(卷),期】2014(000)023【总页数】5页(P184-188)【关键词】说话人识别;GMM;i-矢量;特有特征集【作者】沈思秋;吕勇;杨芸;齐彦云【作者单位】河海大学计算机与信息学院，江苏南京 210096;河海大学计算机与信息学院，江苏南京 210096;河海大学计算机与信息学院，江苏南京 210096;河海大学计算机与信息学院，江苏南京 210096【正文语种】中文【中图分类】TN912.34高斯混合模型（Gaussian Mixture Modeling：GMM）[1]和隐马尔可夫模型（Hidden Markov Modeling：HMM）[2]已经被成功应用于多种分类识别中，最大似然估计（MLE）和期望最大（EM）算法能有效地估计模型的参数。