基于多特征的面谈内容可信度评价方法和系统与相关技术

图片简介:

本技术介绍了一种基于多特征的面谈内容可信度评价方法和系统。该方法包括：实时采集参与面谈者的面谈音视频数据，通过组合算法处理从中实时提取出生理特征、微表情特征和语音特征，并运用多模态融合策略融合成特征向量，输入可信度分类预测模型，实时得出面谈内容可信度等级进行显示和提醒，最后整合面谈中参与面谈者各时段的面谈内容可信度等级得出其面谈总体的可信度评价。该系统主要包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。本技术采用非接触式测试评价方式，能有效避免或减少参与面谈者的应激反应，且采用多特征融合策略，分类预测模型兼顾部分特征缺失的情境，可有效提高可信度评价的真实性和可靠性。

技术要求

1.一种基于多特征的面谈内容可信度评价方法，其特征在于，包括以下步骤：

S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号；

所述有效的序列帧图像和被语音信号分别满足参与面谈者人脸图像和语音信号提取条件；

S2、从有效的序列帧图像和语音数据中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号；

S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征；

S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量；

S5、将特征向量输出至可信度分类预测模型，得出当前面谈者面谈可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记；

S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。

2.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程；所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程；所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。

3.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。

4.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数；所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等；所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。

5.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征的数据缺失。

6.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。

7.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。

8.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法。

9.一种基于多特征的面谈内容可信度评价系统，其特征在于，其主要组成包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元；

所述数据采集单元用于采集参与面谈者音视频数据；

所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块；

所述参与面谈者身份识别模块包含人脸识别和声纹识别功能，主要用于辅助识别有效的序列帧图像和语音信号；所述信号提取模块用于从序列帧图像和语音信号中提取出IPPG信号、面部关键点运动信号和语音时域采样信号；所述特征提取模块用于通过组合算法从各类信号中进一步提取出生理特征、微表情特征和语音特征；所述特征融合单元用于将各类特征进行特征级融合，获取特征向量；所述可信度评价模块用于将特征向量输入可信度分类预测模型，依据模型进行分类决策，判定当前时间段的可信度等级，并且能综合参与面谈者各时段的面谈内容可信度等级计算出其整个面谈的可信度评价；

所述数据模型构建单元用于根据样本数据构建可信度分类预测模型，并能随着参与面谈者数据的积累，经过使用方的确认性标记，使得模型不断优化完善；

所述输出显示单元用于实时可信度评价结果的输出和显示，以及整体可信度评价结果的最终显示；

所述数据存储单元用于存储用于模型构建的样本数据，包括所有参与了面谈可信度评价的参与面谈者的数据。

10.根据权利要求9所述的一种基于多特征的面谈内容可信度评价系统，其特征还在于，还包括查询单元和参与面谈者管理单元；

所述查询单元，用于对参与面谈者面谈内容的可信度评价结果的查询；所述参与面谈者管理单元用于参与面谈者的个人信息登记、编辑、分组等管理。

技术说明书

一种基于多特征的面谈内容可信度评价方法和系统

技术领域

本技术涉及音视频信息处理技术领域，具体涉及一种基于多特征的面谈内容可信度评价方法和系统。

背景技术