基于虚拟现实的恐惧测量模型建立

基于虚拟现实的恐惧测量模型建立
郝文强;Mathilde Magontier
【摘要】恐惧程度的客观评价在心理健康评估和职业能力评测中具有重要的作用.在沉浸式训练过程中,生理和运动数据有助于提升交互界面设计,增加虚拟训练的安全性.文中使用头戴式VR系统HTC Vive实现沉浸式VR体验,利用OpenVR开源软件包采集控制器和头部的位置信息,并结合Equivital belt EQ02 Lifemonitor所采集的心电信号、躯体加速度实现多种信号的特征提取.文中使用递归特征消除的特征排序方法和支持向量回归从50个生理及运动特征中选取了10个特征.基于自测恐惧值和特征的多元多项式回归实现了准确率为90％的二分类,即完成了对受试者恐惧或者非恐惧的分类.
【期刊名称】《电子科技》
【年(卷),期】2019(032)005
【总页数】4页(P1-4)
【关键词】恐惧测量模型;虚拟现实;生理信号;运动表现;支持向量回归;递归特征消除
【作者】郝文强;Mathilde Magontier
【作者单位】杭州电子科技大学生命信息与仪器工程学院,浙江杭州310018;巴黎笛卡尔大学感知与运动平台,巴黎75270
【正文语种】中文
【中图分类】TN99;TP399
目前，对用户体验进行多变量的分析的VR游戏或者沉浸式训练设备很少。

然而，这些数据却有助于提升交互界面设计，增加虚拟训练的安全性。

因此，在虚拟现实环境中的人类行为需要被量化分析。

恐惧是6种基本情绪之一，Ekman等认为对自主神经系统反应进行分析可以辨别恐惧[1]。

并且，恐惧具有特定不变的自主神经反应特征是不可取的[2]。

那么在这种情况下，恐惧程度的基准应是样本的自我评价。

目前并没有客观评价恐惧的统一标准，一些研究基于生理学数据来对基本情绪进行分类[3-5]。

将几类参数结合起来，将恐惧和非恐惧人群分开是可以实现的。

本研究的目的就是寻找基于自测、表现、运动和生理数据的用来客观评价恐惧程度的一般方法。

1 材料和方法
头戴式VR，即HTC Vive 被用于呈现虚拟现实环境，它由两个红外摄像机、一个头戴显示器和两个遥控器组成。

游戏区域为1.5 m×2 m 的矩形区域，摄像头在2 m高处。

头部和遥控器的位置由开源软件开发包 OpenVR 采集记录，频率是48 Hz。

VR的物理区域是由kinect 和一个传统相机在实验中记录。

VR的图像和声音也被记录下来。

在实验中，心率、心跳间期(Inter Beat Interval，IBI)以及躯体加速度是由Equivital belt EQ02 Lifemonitor 搭配256 Hz双引线心电图(ECG)和一个加速度计测量记录的。

除了声音和视频，所有的数据都通过网络时间协议同步，误差小于100 ms。

1.1 受试对象
本试验一共招集了25名男性和9名女性，年龄在20～35岁(平均25.7岁，标准差为4.1岁)。

4个样本被剔除，其中两人的可用的记录片段(电影或者游戏)长度低于 3.5 min。

其他两人，一人决定放弃游戏，最后一人因为电池原因不得不放弃试
验。

1.2 测试方法
试验遵循如下步骤持续45 min：(1)签署知情同意书并填写第一份问卷。

湿润相关电极区域，然后穿戴上 Equivital Belt并佩戴HTC Vive头显；(2)受试者在站立状态下观看一个长达4.5 min的VR电影“The Rose and I”(Penrose Studio制作)。

采用站立观影状态是为了与游戏状态保持一致。

游戏部分则采用了由Phosphor Games 制作的“The Brookhaven Experiment”。

这个游戏是一个时长为4.5 min的生存游戏，主要内容为杀死来自玩家周围3个方向的僵尸。

对于
所有被试来说游戏场景是一样的；(3)当受试者在两拨攻击中存活下来后游戏结束。

受试者随后一边看着记录影像一边回答第二个问卷，每隔10～15 s评估自己的恐惧等级，等级从0～10。

所有数据均使用MATLAB 2016b 分析整理[6]。

截取电影和游戏中3.5 min的序
列用以分析。

本实验假设受试者需要30 s去适应电影的VR环境。

而且一部分被
试完成游戏的时间少于4 min。

所以保留了电影的最后3.5 min和游戏的前3.5 min用于计算。

心率变化率(Heart Rate Variability，HRV)是使用开源软件HRVAS计算的，根据参考文献频率域的上下限确定[7]。

这里使用了一种参数自回归的方法，自回归阶
数为16，窗中样本数为128个，样本重叠数为64，三次样条曲线内插率为2 Hz，频率轴上样本点数为2 048。

为了更好的阐明心率变化率，心跳间期标准差(Standard Deviation of IBI，SDNN), 相邻RR间期差值的均方根(RMSSD)，HRV低频功率与高频功率比 (LF/HF [ms2]/[ms2])等特征被选择。

尽管SDNN整体上适用于HRV，但是RMSSD表现了信号中的较短变换，它对于短时记录是足
够的。

LF/HF用于体现交感神经的平衡现象及调整[8]。

2 实验结果
遵照上述方法建立了4个数据集：(1)主观恐惧。

实验中所感受到的恐惧，等级划
分为0～10；(2)生理数据。

对心跳和呼吸的检测数据；(3)运动数据。

由头显和两
个控制器的位置数据计算所得；(4)游戏表现。

分数和控制器操作次数。

除此之外，来自问卷1和2的结果也被考虑在内。

这个研究中总共有61个参数，其中7个参数由于频率非常低，或记录时间少于5 min而被剔除。

2.1 结果的可重复性
首先，本研究检查了正常状态和恐惧状态下主要生理参数的差异。

根据一篇自主神经系统情感表现相关的综述[9]，恐惧的反应往往伴随着心率的升高和心率变化率
的降低，以及呼吸率的上升。

结果确实如此，分别如表1和图1所示。

图1中每一组数据都经过Lilliefors检验检查了分布的正态性，然后使用单因素平衡数据方差分析以检查分布均值差异显著性。

上图剔除了RMSSD，因为其在视频和游戏组的数据都不具有正态性。

表1视频和恐怖游戏之间HR，BR，HRV的变化Table 1.Variation of HR, BR, and HRV between the movie (control) and the horror game生理参数视频到游戏之间的变化HR上升BR上升HRVSDNN上升LF/HF下降
图13.5 min VR电影和 VR恐怖游戏所得生理数据分布箱型图Figure 1.3.5 min VR movie and VR horror game get physiological data distribution box diagram
然而一些研究与上述结果不相符[10-12]，这些研究表明恐惧产生时RMSSD下降，这与SDNN的结果相违背。

这可能是受试者在进行实验时保持站立，但在游戏中
则移动所导致的。

2.2 各种数据与主观恐惧的相关性
依据自测恐惧等级，样本被分成两组：恐惧等级大于等于5的为恐惧组，小于5
的为非恐惧组。

首先使用Lilliefors检验在所有参数中保留在视频和游戏组中都具
有正态性的部分。

然后使用因素平衡数据方差分析，检查分布均值差异显著性。

在所有参数中有6种其p值低于0.05，分别为NbrRech (游戏中给枪上子弹的次数)、mIBIJ(游戏中平均IBI，单位ms)、vmHR(电影和游戏之间HR均值变化)、NbrTirs(游戏中扣动扳机的总次数)、stdACCk(游戏中刀子加速度的标准差m·s-2)和stdACOUPk (游戏中刀子加加速度的标准差m·s-3)。

从上述参数中能得出以下结论：那些声明自己被吓到的样本与没被吓到的样本相比，在游戏中具有较短的IBI，更频繁的装填子弹。

正常状态和游戏状态下的心率之间差异更大，刀的加速
度和加加速度具有更大标准差。

2.3 监督式机器学习
本试验一共有50个特征，这里使用的是具有递归特征消除的特征排序方法(Recursive Feature Elimination，RFE)，给予一个外部估计量对不同的特征赋予
权值(即线性模型的系数)。

首先分类器使用初始特征集进行训练，并给每一个特征赋予权值，其中权值最小的特征会从当下的特征集中被剔除掉。

不断重复这一过程直到特征集合的特征数达到所需要求[13]。

然后通过支持向量回归(Support Vector Regression，SVR)获得最相关的特征。

为了方便，本研究使用线性内核来选择分类器[14]。

如表2所示，最终使用右侧的10个特征获得了90%的准确度。

表2RFE和随机树选择后的特征重要性排序Table 2.Feature importance ordering after RFE and an extra trees classifier特征重要性
/%RMSSDj7.57vRMSSD14.07vmHR5.77vmIBI10.84vstdBR6.68vstdExpansio
n13.14stdACCg8.9mACOUPg13.81stdACOUPg8.07mACOUPk11.16
为了求得每个特征的重要程度，使用了随机树/森林。

随机森林是一个元估计器，
它拟合数据集的各种子样本上的几个决策树分类器，并使用平均值提高预测精度以
控制过度拟合。

使用上述确定的最精确特征，试验并测试了不同的分类方法，而后使用五倍交叉进行验证，此方法会花费很多计算资源，但不会浪费太多数据(当测试集为随机选择时)，这在小样本的情况下是一个优势。

如表3所示，集成分类器具有最高的准确度。

由于样本的个数较少，之前的结果必须通过留一法验证，从每个训练集中取出一个作为测试集样本。

对于总数为n 的样本，有n个不同的训练集和n个不同的测试集。

这个交叉验证的过程不会浪费太多数据，因为只有一个样本会从训练集中被移除[15]。

表35倍交叉验证下各个分类器的精确度Table 3.Accuracy of each classifier under five-fold cross-validation分类器准确度决策树分类0.79(+/-
0.19)Logistic回归0.68(+/-0.12)随机森林0.70(+/-0.10)朴素贝叶斯0.73(+/-0.12)Adaboost0.81(+/-0.14)极端随机数0.77(+/-0.13)集成算法0.89(+/-0.14) 如表4所示，通过上述方法，使用10个参数，在将数据分成两组时得到90%的精确率。

表4最终分类后留一法混淆矩阵Table 4.Confusion Matrix of the final classification after LOO精确率召回率F1-分数样本数非恐惧组0.890.940.9218恐惧组0.910.830.8712平均/总数0.900.900.9030
3 实验分析与讨论
当受试者移动身体时大多数ECG记录是被噪声污染的。

Equivital belt在计算心跳间期时把所有的信号都考虑在内将导致一些极端值的出现。

尽管对这些数据进行3次差值(频率2 Hz)可以限制这些极端值的出现，但是心跳间期和心率变化率仍然会被影响。

本研究的样本代表性一般，大多数受试者对恐怖游戏已经产生了好奇，62%的受试者已经尝试过至少一个恐怖游戏，38%的人玩了超过3小时。

如果游戏经验与
恐惧程度相关，则会引入误差。

之所以把样本的年龄限制在 20～35岁，是因为他们对视频游戏更加熟悉，较年长的受试者有可能过度关注行为控制而不是体验游戏。

本研究在问卷2中设置了与操作复杂度相关的问题(0代表非常简单，10代表操作让人非常忙乱)平均数为1.15/10，因此可认为避免了操作复杂度引入的误差。

受
试者还有可能受到试验场所的影响，因此在问卷2中设置了关于外界环境影响的
问题(0代表完全没意识到，10代表影响很大)这个问题的平均值是3.09/10，说明外界环境引入的偏差受到了控制。

为了评估受试者的基线，试验被分成两部分，先是观看VR电影然后是VR游戏。

由于一些受试者不能忍受长时间的VR体验，故每一部分的长度不超过6 min。

参数方差的计算必须建立在电影和游戏中所测序列等长的情况下。

最后，本研究的目的是建立并应用一整套方法论来进行数据采集和分析以理解人类的行为。

4 结束语
VR 在人体行为量化中的应用已经从简单的运动情况量化延伸到心理状态的测量。

更多的心理状态可以用虚拟沉浸式体验触发，例如社会心理学所热衷的演讲恐惧。

本文以虚拟的射击僵尸为研究环境，以后的研究中还可以自己设计游戏场景及任务，以达到测量特定动作以及虚拟培训的需求[16]。

本研究中分类的基准是1～10级
的自测恐惧等级，在本文实现二分类的基础上未来有望实现多级分类。

参考文献
【相关文献】
[1] Ekman P,Levenson R W,Friesen W V.Autonomic nervous system activity distinguishes among emotions [J].Science, 1983,221(4616):1208-1210.
[2] Barrett L F.Are emotions natural kinds[J].Perspectives on Psychological
Science,2006,1(1):28-58.
[3] Kreibig S D,Wilhelm F H,Roth W T,et al.Cardiovascular, electrodermal, and respiratory response patterns to fear- and sadness-inducing films[J].Psychophysiology,2007,
44(5):787.
[4] Novak D,Mihelj M,Munih M.A survey of methods for data fusion and system adaptation using autonomic nervous system responses in physiological computing[J]. Interacting with Computers,2012,24(3):154-172.
[5] Koelstra S,Muhl C,Soleymani M,et al.DEAP:a database for emotion analysis using physiological signals[J].IEEE Transactions on Affective Computing,2012,3(1):18-31.
[6] 李娅丽,忻尚芝,郑春雷.基于MATLAB/GUI的数据分析界面设计[J].电子科技,2016,29(4):88-91.
Li Yali,Xin Shangzhi,Zheng Chunlei.Design of data analysis system based on
MATLAB/GUI[J].Electronic Science and Technology,2016,29(4):88-91.
[7] Listed N.Task force of the european society of cardiology and the North American society of pacing and electrophysiology[M]. Batavia:Quintessence Editora,1996.
[8] Kamath M V,Fallen E L.Power spectral analysis of heart rate variability:a noninvasive signature of cardiac autonomic function[J].Critical Reviews in Biomedical Engineering,1993,21(3):245-259.
[9] Kreibig S D.Autonomic nervous system activity in emotion: A review[J].Biological Psychology,2010, 84(3):394-421.
[10] Stemmler G,Aue T,Wacker J.Anger and fear: Separable effects of emotion and motivational direction on somatovisceral responses[J].International Journal of Psychophysiology,2007,66(2):141-153.
[11] Gilissen R,Koolstra C M,Ijzendoorn M H,et al. Physiological reactions of preschoolers to fear-inducing film clips:effects of temperamental fearfulness and quality of the parent-child relationship[J]. Developmental Psychobiology,2007,49(2):187-195.
[12] Gilissen R,Bakermans-Kranenburg M J,Ijzendoorn M H V,et al.Parent-child relationship, temperament, and physiological reactions to fear-inducing film clips: Further evidence for differential susceptibility[J].Journal of Exp Child Psychol,2008,99(3):182-195.
[13] Guyon I,Weston J,Barnhill S,et al.Gene selection for cancer classification using support vector machines[J]. Machine Learning,2002,46(1-3):389-422.
[14] Gunn S R.Support vector machines for classification and
regression[R].Southampton:University of Southampton, 1998.
[15] Hastie T,Friedman J,Tibshirani R.Unsupervised learning[M].Hoboken:Wiley-IEEE Press,2009.
[16] 杜宝江,王衍昊,倪佳伟,等.电梯安装虚拟培训系统技术研究[J].电子科技,2017,30(6):115-117.
Du Baojiang,Wang Yanhao,Ni Jiawei,et al.Research on virtual training system for elevator installation[J].Electronic Science and Technology, 2017,30(6):115-117.。