改进的非匹配信道法庭自动说话人识别方法

改进的非匹配信道法庭自动说话人识别方法
王华朋;杨军;吴鸣;许勇
【摘要】在新的似然比法庭证据评估体系下,为降低对问题语音和嫌疑人语音样本数量的要求,提出了改进的基于GMM-UBM识别核心的法庭自动说话人识别系统.为降低信道差异对法庭自动说话人识别系统性能的影响,提出了一种不同信道间说话人模型补偿与Logistic回归混合处理的方法.固定电话信道和移动电话信道的实验结果表明:改进的自动识别系统在非匹配信道中使用4秒的测试语音,与未使用模型补偿的系统相比,错误认定率从28.95％下降为6.32％,大幅度提高了系统在非匹配条件下的可靠性.
【期刊名称】《电声技术》
【年(卷),期】2013(037)004
【总页数】8页(P61-67,71)
【关键词】非匹配信道;法庭说话人识别;似然比
【作者】王华朋;杨军;吴鸣;许勇
【作者单位】中国科学院噪声与振动重点实验室(声学研究所),北京100190;中国刑事警察学院,辽宁沈阳110854;中国科学院噪声与振动重点实验室(声学研究所),北京100190;中国科学院噪声与振动重点实验室(声学研究所),北京100190;中国科学院噪声与振动重点实验室(声学研究所),北京100190
【正文语种】中文
【中图分类】TP391
1 引言
法庭语音证据来源检验，与普通的说话人识别技术不同，它通过反映同源变化性和异源变化性的统计模型进行评估，最终以似然比(Likelihood Ratio，LR)的形式作为法庭证据强度评估的结果。

目前最新的法庭自动说话人识别系统，在可控的录音环境中表现出优异的性能。

然而，法庭调查中的语音录制往往是不可控的，需要处理的语音不仅来自不同类型的传输信道，也同时来自不同类型的话机和不同的语音编解码技术，使信道差异问题尤为显著。

信道差异是导致法庭说话人识别系统性能下降的重要因素之一，也是说话人识别技术得到广泛使用的最大阻力［1］。

瑞士联邦理工学院的A.Alexander等人对比了法庭自动说话人识别系统和普通人听觉
的识别率后发现，在非匹配环境下，法庭自动说话人识别系统的识别率与普通人的听觉识别性能相当，甚至更差［2］。

F.Botti等人采用在分数域使用 TNorm 的方法对法庭说话人识别系统的得分进行规整，对非匹配环境引起的对同源得分分布和异源得分分布的影响进行补偿，在一定程度上提高了系统的识别性能［3］。

美国MIT林肯实验室提出了一个置信度估计框架，除了考虑到识别系统的得分，还考
虑到其他的信息，比如通道类型、信噪比和发音时长等［4］。

西班牙马德里ATVS语音和信号处理小组，提出了目标相关的似然比校正算法，以减弱非匹配信道的影响［5］。

在过去的几年中，还有很多自动说话人识别的研究团体使用了对信道和噪声鲁棒的前端语音特征。

但是，上述研究大部分是从普通说话人识别的思路上对系统进行改进，以提高识别率，为了提高识别速度和实现实时识别，没有应用其他可以使用的信息。

与之不同，法庭说话人识别不要求实时识别，但是对系统的可靠性有更高的要求。

因此，本文尝试建立一个小型的与嫌疑人年龄和口音相似的同性别说话人语音库，称为参考集，其中的每个人分别使用嫌疑人样本信道和罪犯样本信道建立语音样本，然后统计分析参考集中说话人在不同信道下的变化特性，
利用该先验知识使用Logistic递归的方法，对似然比结果进行校正。

该方法需要
建立不同信道对应的参考数据库，很难应用于对实时性有要求的普通的说话人识别系统，但是，对于法庭说话人识别来说，该方法更有利于保证非匹配信道条件下识别结果的可靠性。

2 基于似然比证据评估体系的法庭说话人识别系统
在普通说话人识别中，一般选取等误率(Equal Error Rate，EER)的点作为识别的
门限，但是，在法庭说话人识别中，EER不具有解释证据结果的作用。

法庭说话
人识别有其自身的特点，它不仅仅要求给出一个识别的结果，还必须能够对该结果进行科学的和符合逻辑的解释。

目前在DNA鉴定使用的似然比证据评估体系逐渐成为其他法庭证据检验的“黄金准则”，它可以量化表示证据对鉴定结论支持的力度，为很多国际法庭科学家所认可。

LR可以表示成在一个给定的假设条件下观测
到犯罪证据(罪犯和嫌疑人样本间的声学差异)的概率和在完全相反的假设条件下观测到犯罪证据概率的比值。

LR的分子，用来估计在罪犯样本和嫌疑人样本来自同
一人的假设条件下，获得当前样本间匹配程度的概率，它量化了罪犯样本和嫌疑人样本之间相似的程度;LR的分母，用来估计在罪犯样本和嫌疑人样本来自不同人的假设条件下，获得当前样本间匹配程度的概率，它量化了罪犯样本和嫌疑人样本在背景人群里的典型性。

因此，它们的比值就是当前语音证据支持同一人的假设和支持不是同一人假设的相对强度。

如果罪犯样本和嫌疑人样本越相似，它们来自同一人的可能性就越大，LR的值也就会越大;然而，这个结果还需要样本的典型性来平衡。

贝叶斯理论明确指明，相似性和典型性对证据评估来说都是必不可少的［6］。

强度的大小反映在似然比的幅度上，LR的值和1之间的相对距离，反映了证据强
度的大小。

LR的值和1之间的差距(如果LR＜1，则取其倒数值)越大，说明证据
对同一人假设(LR＞1)或者不同人假设(LR＜1)的支持力度越大［7］。

与普通的说
话人识别系统门限可以根据需要动态调整不同，在法庭说话人识别中，门限“1”
具有实际的物理意义，而且不能改变。

似然比的值并不是“认定”或“否定”的二值表示，它只是量化表示了当前语音证据对鉴定结论支持的强度。

如果用P表示概率，E表示证据，H0表示当前比较的语音对来自同一说话人假设，H1代表当前比较的语音对来自不同人的假设，那么似然比可写成下面的形式:
法庭自动说话人识别，就是在上述的似然比证据评估框架中，量化输出自动说话人识别系统的得分。

本文使用目前主流的基于GMM－UBM的说话人识别系统作为识别核心，它其实是一个图1所示的似然比检测系统。

其分子是表示目标说话人
语音特征的概率分布模型，以一个GMM表示，分母是表示完全相反假设的背景
说话人的UBM，是由背景说话人大量语音训练而成的与说话人无关的GMM。

图1 基于GMM－UBM的似然比检测系统
在GMM－UBM系统中，目标说话人统计模型采用其语音样本，从UBM中利用
最大后验概率(Maximum A Postieri，简称 MAP)算法［8］自适应计算得到。

这
与标准的使用最大似然算法训练与UBM无关说话人模型不同，它的最基本的思想是通过自动更新训练好的UBM的参数来得到说话人的语音模型，该方法在说话人模型和UBM之间提供了紧密的耦合，它不仅比非耦合模型具有更好的识别性能，并且它具有快速计算识别得分的优势［9］，自适应GMM－UBM系统的详细介
绍参见参考文献［9］。

Andrzej Drygajlo提出了法庭自动说话人识别系统的系统框图［10］，详情参见
参考文献［10］。

在其提出的识别系统中，对嫌疑人样本的数量要求非常大，用
来评估嫌疑人本身的同源变化特性，在实际案件中，往往不能满足这一条件。

本文提出了改进的基于GMM－UBM系统的法庭自动说话人识别系统，其系统框图如图2所示。

采用与嫌疑人和罪犯无关但性别相同、年龄口音相近的小型参考人群
数据库(实验中采用20人数据，包括20个同源比较对，190个非同源比较对)，
来获得近似的同源得分(目标得分)分布模型和非同源得分(非目标得分)分布模型，
所有不同人的目标得分统计模型用来近似描述嫌疑人自身的同源变化性。

在图2中，首先采用最大似然的方法训练参考背景人群数据库语音，获得与说话人无关的UBM，它是近似表示该类人群语音共同特征分布的GMM，即图2中的RBM(与
一般采用上千人语音数据的UBM不同，本文采用50人的性别相同、年龄相近的
有针对性的数据库，因此文中称之为Reference Background Model，RBM)。

嫌疑人语音样本和参考数据库中每一对比较语音中的一个样本，都通过RBM，采
用MAP算法获得嫌疑人模型和参考人群中每个人的统计模型。

问题语音与嫌疑人模型进行比较分析，获得证据得分E;参考数据库中的同源比较对和异源比较对通
过交叉比较分析分别获得一系列同源得分和非同源得分。

图2中的比较分析部分，就是如图1所示的基于GMM－UBM的似然比检测器。

然后，证据得分E分别在由目标得分训练而成的同源变化性模型(GMM)上计算似然比分子，在由非目标得
分训练而成的异源变化性模型(GMM)上计算似然比分母，最后获得似然比的值。

图2 改进的基于GMM－UBM系统的法庭说话人识别系统流程图
3 FSR中非匹配信道的处理方法
本文在基于GMM－UBM的识别核心中，RBM的训练采用固话信道与手机信道
的混合数据进行，对得分具有归一化的作用，再继续使用TNorm或HNorm［11］的分数域处理方法，对识别性能影响不大，参见图3，细线为归一化前得分分布，其中，实线为目标得分分布曲线，虚线为非目标得分的分布曲线;粗线为TNorm
归一化之后的分布情况，其中，实线为目标得分分布曲线，虚线为非目标得分分布曲线。

图3 信道得分归一化前后分布对比
图3(a)中都为手机信道的数据，可以看出在TNorm归一化之前后，目标得分和非目标得分都具有良好的分布，交叠区域很小。

但是，在图3(b)中，使用的是手机
信道的语音与固话信道的统计模型得到的得分分布，可以看出，目标得分和非目标得分在TNorm归一化之前有大量的交叠区域，归一化之后依然有大量的交叠区域，说明，TNorm归一化处理不能继续提高系统性能，因此，本文尝试在模型域进行模型补偿和Logistic回归来减弱信道不匹配的影响;特征域处理也会提高系统性能，本文中没有涉及到特征域处理。

3.1 不同信道间说话人模型的转换方法
不同信道间说话人模型转换示意图如图4所示，转换过程可以分为以下4个步骤。

图4 不同信道说话人模型转换示意图
(1)首先训练一个与信道无关的RBM，在法庭说话人识别中，嫌疑人和罪犯的语音样本最多来自两个信道，因此，本文选择对应的两个信道(固话信道与GSM信道)
等量的语音特征训练混合通道的RBM，训练算法为Expectation－Maximization(EM)算法。

(2)对应不同的信道，利用该信道下的多个说话人的语音数据，从混合通用背景模
型使用MAP自适应的算法计算出特定信道参考背景模型。

比如:A信道的RBM是使用A信道的语音特征在混合信道RBM上推导所得。

(3)每个说话人的统计模型，以其训练语音的信道对应的特定信道RBM为基础，
使用训练语音以MAP算法自适应得到。

(4)如果待测说话人模型与测试语音经不同的信道传输所得，比如说话人模型是通
过信道A的RBM自适应所得，那么需要把说话人模型由信道A转化到信道B模
型上，对应说话人模型的转换公式如下:
其中，(wm，μm，∑m)分别为说话人GMM第m个混合的权值、均值和方差，RBM代表对应信道的参考背景模型。

为了加强说话人在A信道的模型与B信道模型的对应关系，本文在步骤(2)和(3)中的MAP算法都未对统计模型的混合权值和
各混合的方差进行调整，只是使用公式(2)对模型各混合的均值进行了调整。

因此，A和B两信道参考背景模型各混合的权重和方差是相等的，说话人模型各混合的
权重和方差也是相等的。

3.2 Logistic 回归校正
对于法庭自动说话人识别系统，在非匹配环境中，经上述方法处理后，一般仍不能满足似然比证据评估框架的要求。

本文提出使用参考人群数据库对得分进行校正，该数据库中每个人都有两种待比较信道的语音，分析其得分，获得不同信道下得分变化的先验知识，使用Logistic回归方法，对受信道不匹配影响的识别系统得分
进行校正。

Logistic回归是著名的模式识别技术，广泛应用在信息融合等许多问题上［12］，最近又应用于校正类问题［13］。

Logistic回归的目标是获得输入数据的一个仿
射变换(比如:移位和尺度调整)，使目标函数的值最小。

假设E={E1，E2，…，Ek}
为K个不同说话人识别系统的输出得分。

Logistic回归的仿射变换可以按下式变
换
式中为贝叶斯理论的后验比，O(θp)为先验比。

根据贝叶斯理论可知，
O(θp|E)=LR·O(θp)，那么
经过推理可得
从上面的推导可以看出，从分数到后验比的Logistic回归变换是非可逆的，除非
这是一个常数变换。

权值{a0，a1，…，aK}可以通过训练数据的优化过程获得，对于一个已知的先验比，定义为说话人识别系统目标得分;定义为K个自动说话人识
别系统的非目标得分。

Logistic回归通过使目标测试的尽可能的接近1和使非目标
测试的尽可能的接近0来计算系数{a0，a1，…，aK}的值。

这样的优化过程可以
使下面的目标函数最小。

式中，Nt是值的个数，Nnt是值的个数，它们都是在训练数据中获得。

Logistic
回归的优化目标恰好就是训练分数集的经验交叉熵(ECE)，训练的目的就是获得参
数{a0，a1，…，aK}的合适的值，使 ECE 具有一个整体的最小值。

因为Logistic
回归是对ECE的优化，所以它可以应用在结果校正和融合中。

如果系统的个数K
大于1，Logistic回归就会融合K个系统的得分，然后映射到一个后验对数比的值上。

因为是使目标最优，上述的融合过程也具有校正的功能。

如果系统的个数为K 等于1，那么输入分数经过Logistic回归模型的仿射变换会输出一个校正后的值。

3.3 法庭说话人识别系统可靠性评估方法
法庭说话人识别系统的识别性能常由与先验概率无关的对数似然比代价函数来评估，这个代价函数就是NIST说话人识别技术评测中心使用的系统性能评估函数:
在公式(9)中，Nss和Nds分别是相同说话人比较对和不同说话人比较对的个数，LRssi和LRdsi是由相同说话人比较对和不同说话人比较对计算产生的似然比值。

作为对法庭说话人识别可靠性的一种测量方法，Cllr已经被应用于法庭自动说话人识别和声学语音学法庭语音比对的研究中［14］。

识别系统越可靠，Cllr的值就
会越低，相反，越不可靠的系统就会产生越高的Cllr值。

4 实验与结果
4.1 实验设置
罪犯为手机信道通话语音样本，时长为4 s(去除静音段后)，嫌疑人为固定电话信
道通话语音样本。

本文所提取的语音特征均为16阶MFCC和16阶的ΔMFCC特征，共32维，所有说话人的统计模型都是GMM，其混合个数都是64。

识别系
统的核心为GMM－UBM说话人识别系统，所用的全背景模型UBM为混合通道
数据训练得到的参考背景模型，即图4中的混合信道RBM。

参考背景数据库模型:由50人语音样本组成，每人分两次录音，一次通话信道为固定电话通信网络，简称固话信道，另一次通话信道为移动GSM通信网络，简称手机信道。

在两个录音信道中各选择30 s语音，提取上述语音特征，使用EM算法，训练出混合通道RBM，记为FM_RBM。

固话信道参考背景数据库模型:在50人的背景数据库中，每人提取前10 s固定电
话信道的语音数据，提取语音特征后，组成特征序列，使用MAP算法，从混合通道参考背景模型FM_RBM中计算出固定电话信道的参考背景模型，记为F_RBM。

手机信道参考背景数据库模型:在50人的背景数据库中，每人提取前10 s移动电
话信道的语音数据，提取语音特征后，组成特征序列，使用MAP算法，从混合通道参考背景模型FM_RBM中计算出固定电话信道的参考背景模型，记为M_RBM。

在此处的MAP算法只对GMM的均值进行了自适应调整，方差和权值保持不变。

说话人模型训练:不论是参考数据中说话人，还是待测试说话人，其对应信道的统
计模型都是使用对应信道的30 s数据(包含第一次录音的20 s，第二次录音的10 s)，使用MAP算法，从其对应信道的参考背景数据库模型上计算每个人的统计模型。

比如:固话数据则使用F_RBM计算，手机信道数据则使用M_RBM计算。

参考人群数据库:采用10 s手机通话数据与自适应计算得到的手机信道的说话人模型进行比较，共包含20个目标说话人比较对，190个非目标说话人比较对。

利用上述20个目标说话人比较对GMMUBM系统的输出分数，建立表示同源变化特
性的统计模型;利用上述190个非目标说话人GMM－UBM系统的输出分数建立
表示非同源变化特性的统计模型，均为单混合的GMM。

4.2 实验结果及分析
在似然比的讨论中，似然比经常以10为底的对数值表示，因为在对数域，越大的
正数对同源假设提供越大的支持力度，越大的负数对非同源假设提供越大的支持力度。

例如，对数似然比+1表示在当前的语音证据条件下，问题语音和嫌疑人语音来自同一人的概率是来自不同人概率的10倍;对数似然比－1表示，在当前的语音证据条件下，问题语音和嫌疑人语音来自不同人的概率是来自同一人概率的10倍，以此类推。

图5中两条虚线为非匹配信道条件下的似然比Tippett图［15］，向
左上延伸的曲线(图中以DS指示)表示不同说话人比较对中，对数10似然比大于
等于x轴刻度的样本所占的比率;向右上延伸的曲线(图中以SS指示)表示同一说话人比较对中，对数10似然比小于等于x轴刻度的样本所占的比率。

两曲线相交的点为等误差点，可以用来判断该鉴别系统的性能。

Tippett图中在x轴0处的竖线(图中以T指示)为识别阈值“1”，取对数后值为0，即x轴坐标为0的竖线，后
续的Tippett图也都采用相同的指示方法。

在图中可以看出，右上的曲线表示相同说话人比较对的曲线，完全越过阈值，说明其完全识别错误。

两条实线为经过TNorm归一化后的非匹配信道条件下的似然比Tippett图，虽然相同说话人比较
对结果有所改善，但仍然错误率较大。

如果以等误率进行比较，两者性能基本类似，但两者都严重偏离门限1，不满足似然比证据评估体系的要求，因此必须使用参考人群的结果进行校正。

图5 TNorm归一化前后似然比Tippett图
图6中，虚线是只用Logistic回归校正的识别结果，实线是使用模型补偿算法和Logistic回归校正后的识别结果。

可以看出，进行校正后，两曲线开始以门限“1”为界，两曲线下方超越门限的部分即是识别错误的部分。

使用模型补偿算法以后，两线的交点(普通说话人识别中为EER点)降低，也就是说如果使用可变门限时，其识别正确率提高。

在似然比评估框架中，其错误否定率(False Negative Rate，FNR)保持10%不变，错误认定率(False Positive Rate，FPR)从 28.95% 下降到6.32%，可见，通过模型补偿，显著地降低了系统的错误认定率，而且实线的范围
在虚线之外，说明证据强度的范围增加，证据对结论的支持力度也就越大。

其他条件下测试结果见表1，其中C代表校正，T代表TNorm，M表示模型补偿。

从表1中可以看出，使用TNorm归一化前后，对系统的识别性能没有影响，基本上保持原性能不变。

图6 模型补偿前后似然比Tippett对比图
表1 FNR和FPR测试结果及Cllr值?
虽然在法庭说话人识别中，不采用DET曲线评价系统的性能，但可以从一个侧面反应本文提出的方法对识别系统可靠性的提升，见图7。

其中，T1为只进行Logistic回归校正的结果，T2为进行模型补偿和Logistic回归校正的结果，T3为信道非匹配条件下的识别结果，T4为信道非匹配条件下只进行TNorm归一化的识别结果。

可见，在本文所提出的法庭自动说话人识别系统中，TNorm归一化对系统性能影响不大，而模型补偿和Logistic回归校正则能显著提高系统的识别性能。

图6中实线是经过模型补偿和Logistic回归校正后的Tippett图。

其对应的错误认定率FPR=6.32%，错误否定率FNR=10%，Cllr值为0.3067。

在相同说话人比较对中，最小的似然比值为0.248 4，它对错误结论的支持强度只是对正确结论的1/0.2484=4.03倍，属于很小的证据强度范围。

在不同说话人比较对中，最大的似然比值为14.5，它对错误结论的支持强度是对正确结论支持强度的14.5倍，也属于较小的证据强度范围。

也就是说，本系统可靠性很高，即使识别错误，也不会产生比较大的证据强度，从而避免对事实的认定造成重大的影响。

图7 多种条件下的DET曲线
5 结论
为处理法庭案件中常见的罪犯语音和嫌疑人语音来自不同信道的情况，本文在改进的基于GMMUBM法庭自动说话人系统中，提出了说话人统计模型补偿变换与
Logistic回归校正相结合的方法，既减弱了非匹配信道的影响，又满足了似然比证据评估体系的要求。

通过固定电话信道和移动电话信道实验证明，本文提出的非匹配信道的法庭说话人识别方法，具有较好的识别性能，当测试语音的时长为4 s时，错误认定率为6.32%，错误否定率为10%，与未使用模型补偿的系统相比，错误
认定率下降了78.2%，大幅度地提高了法庭说话人识别系统的可靠性。

研究结果
表明，基于小型参考数据库的Logistic回归的校正方法，在实际的法庭语音比对
中具有良好的效果。

参考文献
［1］BIMBOT F，BONASTRE J，FREDOUILLE C，et al.A tutorial on text-independent speaker verification［J］.Eurasip Journal on Applied Signal Processing，2004(4):430－451.
［2］ALEXANDER A，BOTTI F，DESSIMOZ D，et al.The effect of mismatched recording conditions on human and automatic speaker recognition in forensic applications［J］.Forensic science international，2004，146:95－99.
［3］BOTTI F，ALEXANDER A，DRYGAJLO A.On compensation of mismatched recording conditions in the Bayesian approach for forensic automatic speaker recognition［J］.Forensic Science International，2004，146:101－106.
［4］CAMPBELL W，REYNOLDS D，CAMPBELL J，et al.Estimating and evaluating confidence for forensic speaker recognition［C］//2005 IEEE International Conference on Acoustics，Speech，and Signal Processing.Philadelphia，USA:IEEE Press，2005(1):717－720.
［5］GONZALEZ－RODRIGUEZ J，DRYGAJLO A，RAMOSCASTRO D，et
al.Robust estimation，interpretation and assessment of likelihood ratios in forensic speaker recognition［J］.Computer Speech ＆Language，2006，20(2):331－355.
［6］ROSE P.Forensic voice comparison with secular shibboleths-a hybrid fused gmm-multivariate likelihood ratio-based approach using alveolo-palatal fricative cepstral spectra［C］//2011 IEEE International Conference on Acoustics，Speech，and Signal Processing.Prague，Czech:IEEE Press，2011:5900－5903.
［7］MORRISON G.Likelihood-ratio forensic voice comparison using parametric representations of the formant trajectories of diphthongs ［J］.Journal of the Acoustical Society of America，2009，125(4):2387－2397.
［8］GAUVAIN J L，LEE C.H.Maximum a posteriori estimation for multivariate Gaussian mixture observations of Markov chains［J］.IEEE Transactions on Speech and Audio Processing，1994，2(2):291－298. ［9］REYNOLDS D，QUATIERI T F，DUNN R B.Speaker verification using adapted Gaussian mixture models［J］.Digit Signal Process，2000，10(1－3):19－41.
［10］DRYGAJLO A.Statistical evaluation of biometric evidence in forensic automatic speaker recognition［M］.Springer Berlin Heidelberg:［s.n.］，2009.
［11］REYNOLDS parison of background normalization methods for text-independent speaker verification［C］//Proceedings of EUROSPEECH'97.Rhodes，Greece:［s.n.］，1997:963－966.
［12］BRUMMER N，BURGET L，CERNOCKY J，et al.Fusion of heterogeneous speaker recognition systems in the STBU submission for the NIST speaker recognition evaluation 2006［J］.IEEE Transactions on Audio Speech and Language Processing，2007，15(7):2072－2084. ［13］GONZALEZ－RODRIGUEZ J，ROSE P，RAMOS D，et al.Emulating DNA:Rigorous quantification of evidential weight in transparent and testable forensic speaker recognition［J］.IEEE Transactions on Audio Speech and Language Processing，2007，15(7):2104－2115.
［14］BRUMMER N，PREEZ J.Application-independent evaluation of speaker detection［J］.Computer Speech ＆ Language，2006，20(2－3):230－275.
［15］ROSE P.Accounting for correlation in linguistic-acoustic likelihood ratio-based forensic speaker discrimination［C］//IEEE Odyssey Speaker and Language Recognition Workshop.San Juan:IEEE Press，2006:1－8.。