基于说话人声音识别的技术研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x=fh*k/N;
特征值欧氏Βιβλιοθήκη Baidu离
fucdno(cp:ti,iepos)n==dzs=eurmdo(is(s(xt1e,-uP()yx;(,:,y)p+copies)) [Mf.,o^r2N,]n 1=)'s1;i:zNe(x); %音频x赋值给【M，N [M】y的2),e距n.Pd^离]%2d%,=(成n1s,对)i:;z)欧e(=氏y)s距;um离%((音的x频(两:y,个赋n矩值+c阵给op的【ie列Ms2)之，-间P en】d end iedfls=(eMd.~^=0.M52;)
MFCC倒谱特征提取流图
预处理
连续语音
预加重
分帧
加窗
FFT
Mel倒谱系数 DCT
Mel频率滤波器组
1.预加重
预加重处理其实是将语音信号通过一个高通滤波器：
式中μ的值介于0.9-1.0之间，我们通常取0.97。预 加重的目的是提升高频部分，使信号的频谱变得平坦，保 持在低频到高频的整个频带中，能用同样的信噪比求频谱 。同时，也是为了消除发生过程中声带和嘴唇的效应，来 补偿语音信号受到发音系统所抑制的高频部分，也为了突 出高频的共振峰。
所以，人们从低频到高频这一段频带内按临界带宽的大小由密 到疏安排一组带通滤波器，对输入信号进行滤波。将每个带通滤波 器输出的信号能量作为信号的基本特征，对此特征经过进一步处理 后就可以作为语音的输入特征。由于这种特征不依赖于信号的性质 ，对输入信号不做任何的假设和限制，又利用了听觉模型的研究成 果。因此，这种参数比基于声道模型的“线性预测系数LPC”相比更 好，更符合人耳的听觉特性，而且当信噪比降低时仍然具有较好的 识别性能。
度不ecro相rpoi等re(s'不= 匹ze配ro！s('1),N)%;两个音频时间长 end for p = 1:P
d = zeros(N, P);
if (N < P)%在两个音频时间长度相等的前 提下
语音匹配
function finalmsgms=g tf=eisntap(lrtmiesnsgttfd=(i'r'第,此%n位d,位说说话
训练 模型训练
模型参数 存储
特征提取
识别 模式匹配
识别结果 判决识别
梅尔倒谱系数（MFCC）简述
在话者识别方面，最常用到的语音特征就是梅尔倒谱系数（ MFCC）。因为，根据人耳听觉机理的研究发现，人耳对不同频率的 声波有不同的听觉敏感度，得出从200Hz到5000Hz的语音信号对语音 的清晰度影响最大。
基于声音的说话人身份信息识别技术研究
通信1203班 成员：艾 洲、刘安邦、汪中日
余文正、王玉贵、宁文静 2014-12-28
项目背景
伴随着全球化、网络化、信息化、数字化时代的到来，我 们对高可靠性的身份验证技术与身份识别技术的需求也日益增 长。
在生物学和信息科学高度发展的今天，根据人体自身的生 理特征(指纹、虹膜…)和行为特征(声音…)来识别身份的生物 技术认证作为一种便捷、先进的信息安全技术已经在现实生活 中得到广泛的应用，它是集光学、传感技术、红外扫描和计算 机技术于一身的第三代身份验证技术，能满足现代社会对于身 份鉴别的准确性、安全性与实用性的更高要求。
而语音是人的自然属性之一，由于说话人发声器官的生理 差异以及后天形成的行为差异，每个人的语音都带有强烈的个 人色彩，这使得通过分析语音信号来识别说话人成为可能。
设计总体框架
1.语音库的建立
2.声音样本采集
2.1 特征参数提取 2.2 识别模型建立
3.语音识别测试
基本原理流图
语音输入 预处理
自适应
ds差it测模要isez值vts试板求e[mt(为s=i!d人语d,nd'i,:mimd;r语音1%iff=ssi,)1fsctgs%音信;0]c4cpk界fd(;=()的号i=smf=m;面%'s,siss不m变,twgnusge显afampc匹l换dvs>=l(r)示倒ir)%mmi;配得se;dss阈in语谱taipgnt,到)dsr值(f句系不;(ti=d(一fmn设,'，数符iit'[与个lnf置此]可合e(,模距)'处位2随要;第)板离说)%意求%语此的话d/设!%位音人\量者定n得说信匹'不,到 话号配符k者的)合;与
三角带通滤波器有两个主要目的：
对频谱进行平滑化，并消除谐波的作用，突显原先语音的共振 峰（因此一段语音的音调或音高，是不会呈现在 MFCC 参数内，换 句话说，以 MFCC 为特征的语音辨识系统，并不会受到输入语音的 音调不同而有所影响） 此外，还可以降低运算量。
预加重代码：
len=length(x1); heigt=0.98; for i=2:len
话c者o者d符e与)合模要板求语!'音;信%界号面匹显配示,符语合句要，求可!随\n意',设定
fko)r; k = 1:n disp(msg);
% read
算t人e得s不ft到i匹ls模eo配eu板n=dndd和s=pf要rdiiil判nsett断feo(uf的'(%ve声s,asc音%chdo之.dswep间a{ev1a的'}k,)e“;r距离%”%计此
3.加窗
将每一帧乘以汉明窗，以增加帧左端和右端的连续 性。假设分帧后的信号为S(n), n=0,1…,N-1, N为帧的 大小，那么乘上汉明窗后 W(n)形式如下：
不同的a值会产生不同的汉明窗，一般情况下a取0.46。
4.快速傅里叶变换
由于信号在时域上的变换通常很难看出信号的特性，所以通常将 它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同 语音的特性。所以在乘上汉明窗后，每帧还必须再经过快速傅里叶变 换以得到在频谱上的能量分布。对分帧加窗后的各帧信号进行快速傅 里叶变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信 号的功率谱。设语音信号的DFT为：
if，板d则i里s就t面是<只e=这n有dd个i一ds人it个sm。pi文(nm件s%g%)就一;判个断阈一值次，，小因于为阈模值
end
1.语音库的建立： 2.声音样本采样： 3.语音识别（识别成功） 4.语音识别（识别不成功）
THANKS
——The End
2.分帧
先将N个采样点集合成一个观测单位，称为帧。通常 情况下 N 的值为256或512，涵盖的时间约为20~30ms左右 。为了避免相邻两帧的变化过大，因此会让两相邻帧之间 有一段重叠区域，此重叠区域包含了M个取样点，通常M的 值约为N的1/2或1/3。
通常语音识别所采用语音信号的采样频率为8KHz或 16KHz，以8KHz来说，若帧长度为256个采样点，则对应的 时间长度是256/8000×1000=32ms。
x1(i)=x1(i)-heigt*x1(i-1); end for i=2:len
x2(i)=x2(i)-heigt*x2(i-1); end
三角滤波器
%iMfEeL(n三fd(角m)滤<=波x)参&&数(x%<=f(m+1)) fehn=d20F0(0m0,;k)=(x-f(m))/(f(m+1)-f(m)); me=lNfe/=l22s;5e95i*flo(gf(1m+f1h)/<7=0x0))&;&(x<=f(m+2)) Mf=o2r4;k=1F:(1m2,k)=(f(m+2)-x)/(f(m+2)i=f0n(:=m20+5:1;2)3);; f=700*(expe(lmseelf/2595*i/(M+1))-1); Nfec=onod;2rduc5nt6mftc;=o=o1refe:nlf2kdo(4=eok1nr,:d(:2Fl)5(e=6mnc,gokts)h(=((0x2;1*)n/+m1));*k*pi/(2*24))
式中x(n)为输入的语音信号，N表示傅里叶变换的点数。 式中x(n)为输入的语音信号，N表示傅里叶变换的点数。
5. Mel滤波器组
将能量谱通过一组Mel尺度的三角形滤波器组，定义一个有M 个滤波器的滤波器组（滤波器的个数和临界带的个数相近），采 用的滤波器为三角滤波器，中心频率为f(m),m=1,2,...,M。M通 常取22-26。各f(m)之间的间隔随着m值的减小而缩小，随着m值 的增大而增宽，如图所示：
特征值欧氏Βιβλιοθήκη Baidu离
fucdno(cp:ti,iepos)n==dzs=eurmdo(is(s(xt1e,-uP()yx;(,:,y)p+copies)) [Mf.,o^r2N,]n 1=)'s1;i:zNe(x); %音频x赋值给【M，N [M】y的2),e距n.Pd^离]%2d%,=(成n1s,对)i:;z)欧e(=氏y)s距;um离%((音的x频(两:y,个赋n矩值+c阵给op的【ie列Ms2)之，-间P en】d end iedfls=(eMd.~^=0.M52;)
MFCC倒谱特征提取流图
预处理
连续语音
预加重
分帧
加窗
FFT
Mel倒谱系数 DCT
Mel频率滤波器组
1.预加重
预加重处理其实是将语音信号通过一个高通滤波器：
式中μ的值介于0.9-1.0之间，我们通常取0.97。预 加重的目的是提升高频部分，使信号的频谱变得平坦，保 持在低频到高频的整个频带中，能用同样的信噪比求频谱 。同时，也是为了消除发生过程中声带和嘴唇的效应，来 补偿语音信号受到发音系统所抑制的高频部分，也为了突 出高频的共振峰。
所以，人们从低频到高频这一段频带内按临界带宽的大小由密 到疏安排一组带通滤波器，对输入信号进行滤波。将每个带通滤波 器输出的信号能量作为信号的基本特征，对此特征经过进一步处理 后就可以作为语音的输入特征。由于这种特征不依赖于信号的性质 ，对输入信号不做任何的假设和限制，又利用了听觉模型的研究成 果。因此，这种参数比基于声道模型的“线性预测系数LPC”相比更 好，更符合人耳的听觉特性，而且当信噪比降低时仍然具有较好的 识别性能。
度不ecro相rpoi等re(s'不= 匹ze配ro！s('1),N)%;两个音频时间长 end for p = 1:P
d = zeros(N, P);
if (N < P)%在两个音频时间长度相等的前 提下
语音匹配
function finalmsgms=g tf=eisntap(lrtmiesnsgttfd=(i'r'第,此%n位d,位说说话
训练 模型训练
模型参数 存储
特征提取
识别 模式匹配
识别结果 判决识别
梅尔倒谱系数（MFCC）简述
在话者识别方面，最常用到的语音特征就是梅尔倒谱系数（ MFCC）。因为，根据人耳听觉机理的研究发现，人耳对不同频率的 声波有不同的听觉敏感度，得出从200Hz到5000Hz的语音信号对语音 的清晰度影响最大。
基于声音的说话人身份信息识别技术研究
通信1203班 成员：艾 洲、刘安邦、汪中日
余文正、王玉贵、宁文静 2014-12-28
项目背景
伴随着全球化、网络化、信息化、数字化时代的到来，我 们对高可靠性的身份验证技术与身份识别技术的需求也日益增 长。
在生物学和信息科学高度发展的今天，根据人体自身的生 理特征(指纹、虹膜…)和行为特征(声音…)来识别身份的生物 技术认证作为一种便捷、先进的信息安全技术已经在现实生活 中得到广泛的应用，它是集光学、传感技术、红外扫描和计算 机技术于一身的第三代身份验证技术，能满足现代社会对于身 份鉴别的准确性、安全性与实用性的更高要求。
而语音是人的自然属性之一，由于说话人发声器官的生理 差异以及后天形成的行为差异，每个人的语音都带有强烈的个 人色彩，这使得通过分析语音信号来识别说话人成为可能。
设计总体框架
1.语音库的建立
2.声音样本采集
2.1 特征参数提取 2.2 识别模型建立
3.语音识别测试
基本原理流图
语音输入 预处理
自适应
ds差it测模要isez值vts试板求e[mt(为s=i!d人语d,nd'i,:mimd;r语音1%iff=ssi,)1fsctgs%音信;0]c4cpk界fd(;=()的号i=smf=m;面%'s,siss不m变,twgnusge显afampc匹l换dvs>=l(r)示倒ir)%mmi;配得se;dss阈in语谱taipgnt,到)dsr值(f句系不;(ti=d(一fmn设,'，数符iit'[与个lnf置此]可合e(,模距)'处位2随要;第)板离说)%意求%语此的话d/设!%位音人\量者定n得说信匹'不,到 话号配符k者的)合;与
三角带通滤波器有两个主要目的：
对频谱进行平滑化，并消除谐波的作用，突显原先语音的共振 峰（因此一段语音的音调或音高，是不会呈现在 MFCC 参数内，换 句话说，以 MFCC 为特征的语音辨识系统，并不会受到输入语音的 音调不同而有所影响） 此外，还可以降低运算量。
预加重代码：
len=length(x1); heigt=0.98; for i=2:len
话c者o者d符e与)合模要板求语!'音;信%界号面匹显配示,符语合句要，求可!随\n意',设定
fko)r; k = 1:n disp(msg);
% read
算t人e得s不ft到i匹ls模eo配eu板n=dndd和s=pf要rdiiil判nsett断feo(uf的'(%ve声s,asc音%chdo之.dswep间a{ev1a的'}k,)e“;r距离%”%计此
3.加窗
将每一帧乘以汉明窗，以增加帧左端和右端的连续 性。假设分帧后的信号为S(n), n=0,1…,N-1, N为帧的 大小，那么乘上汉明窗后 W(n)形式如下：
不同的a值会产生不同的汉明窗，一般情况下a取0.46。
4.快速傅里叶变换
由于信号在时域上的变换通常很难看出信号的特性，所以通常将 它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同 语音的特性。所以在乘上汉明窗后，每帧还必须再经过快速傅里叶变 换以得到在频谱上的能量分布。对分帧加窗后的各帧信号进行快速傅 里叶变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信 号的功率谱。设语音信号的DFT为：
if，板d则i里s就t面是<只e=这n有dd个i一ds人it个sm。pi文(nm件s%g%)就一;判个断阈一值次，，小因于为阈模值
end
1.语音库的建立： 2.声音样本采样： 3.语音识别（识别成功） 4.语音识别（识别不成功）
THANKS
——The End
2.分帧
先将N个采样点集合成一个观测单位，称为帧。通常 情况下 N 的值为256或512，涵盖的时间约为20~30ms左右 。为了避免相邻两帧的变化过大，因此会让两相邻帧之间 有一段重叠区域，此重叠区域包含了M个取样点，通常M的 值约为N的1/2或1/3。
通常语音识别所采用语音信号的采样频率为8KHz或 16KHz，以8KHz来说，若帧长度为256个采样点，则对应的 时间长度是256/8000×1000=32ms。
x1(i)=x1(i)-heigt*x1(i-1); end for i=2:len
x2(i)=x2(i)-heigt*x2(i-1); end
三角滤波器
%iMfEeL(n三fd(角m)滤<=波x)参&&数(x%<=f(m+1)) fehn=d20F0(0m0,;k)=(x-f(m))/(f(m+1)-f(m)); me=lNfe/=l22s;5e95i*flo(gf(1m+f1h)/<7=0x0))&;&(x<=f(m+2)) Mf=o2r4;k=1F:(1m2,k)=(f(m+2)-x)/(f(m+2)i=f0n(:=m20+5:1;2)3);; f=700*(expe(lmseelf/2595*i/(M+1))-1); Nfec=onod;2rduc5nt6mftc;=o=o1refe:nlf2kdo(4=eok1nr,:d(:2Fl)5(e=6mnc,gokts)h(=((0x2;1*)n/+m1));*k*pi/(2*24))
式中x(n)为输入的语音信号，N表示傅里叶变换的点数。 式中x(n)为输入的语音信号，N表示傅里叶变换的点数。
5. Mel滤波器组
将能量谱通过一组Mel尺度的三角形滤波器组，定义一个有M 个滤波器的滤波器组（滤波器的个数和临界带的个数相近），采 用的滤波器为三角滤波器，中心频率为f(m),m=1,2,...,M。M通 常取22-26。各f(m)之间的间隔随着m值的减小而缩小，随着m值 的增大而增宽，如图所示：