基于上肢力学信息的人体运动意图检测

基于上肢力学信息的人体运动意图检测
王应健;左国坤;刘亮;刘永永
【摘要】Motion intention detection plays an important role in human-computer interaction,which is the guarantee of natural and reliability in human-computer interaction processing. There is a potential relationship between the upper limb mechanical information and motion intention. The production and change rule of human upper limb mechanical information is explored under the external constraints. And motion intention detection based on upper limb mechanical information can be realized through developing motion intention information acquisition system and carrying out experiments. Human upper limb force information can be obtained by multi-dimensional force sensor,and combined with human motion intention,relationship of the upper limb movements,the motion intention and upper limb force information is found out. A method for human motion intention detection based on the upper limb mechanics information is found.%运动意图检测在人机交互中具有重要作用,是人机交互自然性和可靠性的保障.上肢力学信息与上肢运动意图有某种潜在的关系,探索人体在外界约束条件下上肢力学信息产生和变化规律,通过开发运动意图信息采集系统并实验,可实现基于上肢力学信息的运动意图检测.通过多维力传感器检测得到的人体上肢力信息,并与人的运动意图相结合,找出上肢动作、运动意图、上肢力信息三者之间的关系,探索出一种基于上肢力学信息的人体运动意图检测方法.
【期刊名称】《传感器与微系统》
【年(卷),期】2018(037)002
【总页数】5页(P116-119,123)
【关键词】运动意图检测;多维力传感器;人机交互;阻抗控制
【作者】王应健;左国坤;刘亮;刘永永
【作者单位】上海大学机电工程及自动化学院,上海200072;中国科学院宁波材料技术与工程研究所,浙江宁波315201;中国科学院宁波材料技术与工程研究所,浙江宁波315201;上海大学机电工程及自动化学院,上海200072;中国科学院宁波材料技术与工程研究所,浙江宁波315201
【正文语种】中文
【中图分类】TP23
0 引言
为了更好地控制人机交互系统，人体运动意图获取很关键，因此,运动意图检测技术的研究具有重要意义。

如何对人的运动意图信息进行定性和定量分析，准确快速地推测出人的运动目的是人机交互自然性和可靠性的前提。

掌握人的运动意图，可以应用于人机交互、智能家居、车辆辅助驾驶、游戏娱乐、助老助残系统、虚拟现实等领域[1]。

军事领域，五角大楼进行“思维控制机器人”的研究工作，希望实现士兵凭借大脑思维灵活自如地操纵其“阿凡达”替身在战场上作战[2]。

汽车领域，运动意图应用于汽车辅助驾驶系统能有效地提高驾驶的安全性。

清华大学王玉海等人[3]研究了典型工况下驾驶员换挡操作的特征，将意图进行分类并提出将驾驶员操纵和驾驶
环境相统一的检测方法。

Kumagai T等人[4]利用动态贝叶斯网络, 结合过去驾驶
状态和当前驾驶状态对交叉路口处的停车意图进行预测。

工业领域，日本筑波大学[5]研制了“混合辅助机械套装”，穿戴上该套装，人体试图移动时能检测到运动
意图，实现神经控制机械外骨骼，使力量增强10倍，利于作业。

医疗领域，日本东京工科大学的Yokota S等人[6～8]利用身体重心变化检测出希望运动的方向，并利用电机驱动轮椅向期望的方向运动。

目前,意图检测方法主要有：基于脑电信息的意图检测[9～11]，基于情感的意图检测[12，13]和基于肌电信息的意图检测[14]。

本文基于多维力传感器等自动化设备建立实验平台，检测人的上肢力学特性，找出力与上肢运动意图的关系，提出了一种基于人体上肢力学信息的意图检测方法。

1 运动意图检测原理
1.1 运动意图的产生
运动意图支配人的动作，一个意图能产生唯一对应的动作；动作从一定程度上也能反映人的意图，但并不能与意图形成一一对应[15]。

本文通过加入约束条件，使动作与意图唯一对应,将运动意图简单分为：直行意图、加速意图、停止意图。

在外
界相关指令或刺激下，人会产生运动意图，指导整个运动方向和目的,意图产生后
的动作执行过程中不断地向大脑反馈信息，使其作出决策指导后续的动作[16，17]。

执行动作本身是运动意图的表现形式，可通过分解执行的动作判断人脑产生
的运动意图。

1.2 运动意图检测的理论基础
采用虚拟环境诱导人体产生运动意图，引导上肢操纵交互实验平台，完成虚拟任务。

在运动过程中，人体上肢力发生变化，通过多维力传感器检测和建立阻抗控制模型[18]得到理想的上肢运动路径。

机构执行部分通电后，伺服电机编码器产生角度偏
转θ和驱动力FM，带动末端执行器运动得到实际运动路径SM。

人体上肢握于末端执行器，当执行器运动的路径SM与理想的上肢运动路径SH一致时，达到人机的协调运动，即SM=SH，如图1所示。

图1 人机协调理论
为了达到人机协调的效果，本文采用pHRI(physical human-robot interaction)模型作为阻抗控制模型，力和位置变化作为控制的输入量[18]。

根据执行器末端的位置(或速度、加速度)和接触力的关系可知，当执行器末端实际运行的位置X和理想位置X0之间存在偏差ε时，系统会产生相应的阻抗力F进行调节，达到控制接触力的目的，即为阻抗控制。

图2为末端执行器的受力分析，对人体和末端作用力之间的关系进行动力学建模，阻抗控制模型可表示为惯性—阻尼—刚度的二阶系统
F=M(0-)+B(0-)+K(X0-X)
(1)
式中 F为计算后的目标阻抗力；K为系统与环境的接触刚度系数；B为系统阻尼系数；M为系统惯性系数，反映系统储能能力；X0,0,0分别为末端理想的位置、速度、加速度；X,,分别为末端实际的位置、速度、加速度。

上述参数可通过主动控制进行调节。

图2 末端执行器受力分析示意
图3为建立的pHRI虚拟阻抗模型，人和机器人的合力FHR由多维力传感器检测得到，通过pHRI阻抗模型得到执行器末端的位置pd、速度和加速度动力学方程为
(2)
图3 pHRI虚拟阻抗模型
经拉氏变换得到s的代数方程
(3)
式中 KHR为系统刚度系数，可控制施加的力;MHR,BHR影响系统的响应速度和稳定性。

由式(3)可得传递函数H(s)
(4)
又有变换后可得
(5)
由式(5)可得出相应的MHR,BHR的值。

通常取ζ=0.4～0.8，本文受试者的舒适程度是主要参考指标，对系统的响应时间要求不高，因此，取其中,当KHR取不同的值，可得不同的MHR,BHR的值，根据的不同受试者相应地调整阻抗参数，直到受测者达到最好的舒适度。

2 运动意图检测信息采集系统设计
为了能够准确分析出人体上肢力学信息与运动意图间的联系，找出动作与运动意图的对应关系，分析力、动作、意图三者的关系，简化的人体上肢运动和运动意图的对应关系如表1所示。

表1 人体上肢动作与运动意图对应关系上肢动作运动意图手紧握手柄突然加速开始执行运动匀速运动直行较慢的速度运动规避障碍物/精确运动手紧握突然反向加速停止运动
2.1 信息采集系统
系统实物如图4所示，主宿机和目标机实时通信，获取力传感器的力信息，并对硬件系统进行实时控制。

利用虚拟环境诱导人体产生特定运动意图，采用单自由度
的手柄沿X轴运动，完成指定任务。

系统硬件包括：六维力传感器(美国ATI，型
号Nano25)，直线电机，伺服驱动器，PCI6251数据采集卡，2台计算机(主宿机、目标机)，直线导轨。

软件模块包括：Matlab Simulink XPC target实时通信模块；UDP(user datagram protocol)模块，将采集信息实时发回至主宿机；V-Realm Builder为搭建的虚拟环境模块。

图4 信息采集系统实物
2.2 控制系统的设计
图5为人机交互的控制策略，虚拟环境的任务要求诱导被测者产生动作意图，被
测者推动手柄，力传感器获取上肢的力学信息，然后通过pHRI模型产生相应的运动，通过机构控制确保交互设备执行器的运动学特性与肢体表现出的运动学特性一致，实现人机交互的协调。

图5 系统的控制框图
借助虚拟阻抗模型将肢体操纵执行器的力学特性转变为动态的位移，通过控制策略使得末端执行器在提供给操作者完成任务所需的“力”的同时，保证了肢体与执行器之间的干涉力F为零，即设备与上肢不产生阻碍，实现肢体运动与交互设备之
间的协调运动。

此时，接触部位的阻抗特性为
(6)
式中 q=pd-pr，pr由电机编码器的数值转换得到，pd为采用阻抗模型获得的位移。

代入式(6)，结合式(5)可得末端执行器的加速度为
(7)
式中Δpdr=pd-pr为手柄和上肢间的相对位移。

由F=ma得到需要电机提供的力，再由电机力矩与电流的关系得到所需电流大小，然后输出给电机进行控制。

为了验证意图检测信息采集系统和控制策略的可行性,进行了2组实验。

当K=100 N/m时，被测者将末端执行器从原点处沿X轴正向推，然后松手撤销力，实验结果如图6(a)和图6(b)所示。

由图知，0.45 s时被测者施加了一个力，系统紧随运动，图6(b)中目标位移(实线)与实际位移(虚线)具有较高的一致性，即系统较好地
跟随被测者运动。

当被测者的力变为零时，末执行器回到原点。

当K=0 N/m时，即系统处于自由运动状态下，由图6(c)和图6(d)可知，在约7.5 s时力被撤销，但此时末端执行器未回到原点。

实验表明：系统和控制策略达到了意图检测的要求。

图6 K=100 N/m和K=0 N/m时的力和位移的变化
3 虚拟环境的意图检测实验
虚拟环境的使用可使被测者产生更强的临场感，能够更好地诱导被测者的运动意图。

采用虚拟现实建模语言(virtual reality modeling language,VRML)，通过V-Realm Builder工具箱可以搭建实验所需的虚拟环境。

以搭建的摘苹果游戏为例，建立的虚拟环境界面如图7所示，苹果的位置表示上肢末端(或执行器)的当前位置，箱子表示运动的目的地，蝴蝶表示障碍物位置。

图7 虚拟环境中的游戏界面
不同被测者的上肢肌张力大小不同，实验前，选取的4位被测者先手握末端执行器，沿X轴来回运动，并调整实验装置参数KHR,BHR,MHR的值，使每个被测者实验时具有最佳舒适度，得到的4组参数如表2所示。

实验结果如图8。

表2 4位被测者的相关参数样本KHR/(N/m)MHR/kgBHR/(N/m·s)1被测者1000．0151．9602被测者1500．0232．9723被测者1000．0151．9604被
测者2000．0313．984
每位被测者分别完成如下2组实验：
1)完成虚拟环境中苹果摘取并放入箱子中的动作，此过程中无障碍物;2)在虚拟环
境中加入蝴蝶(障碍物)后，完成苹果摘取并放入箱子中的动作，即在开始任务一段
时间后突然有一只蝴蝶飞过运动路径。

在两实验结果中选择较清晰的数据进行分析。

图8 实验结果
实验(1)的结果如图8(a)所示。

由图8(a1)可知，实线(目标位移)为经过虚拟阻抗计算得到理想位置，表示运动意图；虚线是上肢的实际位移。

两条曲线几乎一致，说明被测者施加力推动末端执行器时系统同步运动，无明显延迟，实际位置跟踪了目标位置，即系统能跟随被测者的运动意图。

图8(a2)中，从0.8 s开始力逐渐增大，速度也逐渐增加，动作上表示一个加速度的过程；从1.6～2.9 s内，力的变化约
为2 N，速度约为50 mm/s，上肢的力缓慢增加，是一个近似匀速运动的过程。

上肢的力和动作存在对应关系：力增大产生加速度执行加速的动作，表示已抓取苹果，开始转移；力稳定不变执行匀速运动的动作，表示运送苹果至目标位置的过程中；力逐渐减小速度也慢慢减小为零，表示接近目标位置，放置苹果。

图8(a3)中，从2.5～3.0 s，力基本保持不变，位置从163～168 mm，而虚拟环境中箱子的位置为170 mm，可知，当快要到达箱子时产生的是减速运动意图，并准确放置苹果，故移动速度相应降低。

实验(2)的结果如图8(b)所示。

由图8(b1)可知，实线和虚线接近重合，说明实际
位置基本跟踪上了目标位置，结果与图8(a1)一致。

图8(b2)所示，第2 s时，在
苹果移动的路线上出现蝴蝶(障碍物)，从2.5～3.0 s，上肢的力变化不大，表明人
对于环境突然的变化产生减速反应。

此后，按照意图逐渐恢复正常运动。

图8(b3)中，2.5～3.0 s的位移几乎无变化，相应的力也无变化，可知，此时上肢产生了避让，由于障碍物的出现停止了动作意图。

4 结论
提出了一种基于人体上肢力学特性的意图检测方法。

对人体运动意图的产生环节进行分析，简化运动意图的定义和分类，根据人机协调的原理，提出了肢体末端力学特征研究的基础理论。

利用虚拟环境诱导被测者产生运动意图，搭建了实验平台并
进行实验与分析，证明了提出方法的可行性。

参考文献:
【相关文献】
[1] 赵其杰,邵辉,卢建霞.基于头眼行为的交互意图检测方法[J].仪器仪表学报,2014(10):2313-2320.
[2] 吴昊.基于分布式认知理论的信息化战争军事指挥决策人机交互环境构建的研究[D].长沙：国防科学技术大学,2011.
[3] 王玉海,宋健,李兴坤.基于模糊推理的驾驶员意图识别研究[J].公路交通科技,2005(12):113-118.
[4] Kumagai T,Sakaguchi Y,Okuwa M,et al.Prediction of driving behavior through probabili stic inference[C]∥Proceedings of the Eighth International Conference on Engineering Applications of Neural Networks,Malaga，Spain,2003:117-123.
[5] 王建梅.凡人的超人之路:机械外骨骼发展史[J].电脑迷,2011(15):88-89.
[6] Yokota S,Hashimoto H.The electric wheelchair controlled by human body
motion[C]∥Conference on Human System Interactions,2009:247-250.
[7] Yokota S,Hashimoto H,Yasuhiro O,et al.Distinction of intention and improvement of operation on human body motion interface[C]∥The 19th IEEE International Symposium on Robot and Human Interactive Communication,Principe di Piemonte
Viareggio,Italy,2010:488-493.
[8] 张良力.面向安全预警的机动车驾驶意图识别方法研究[D].武汉：武汉理工大学,2011.
[9] 陈绍荣.脑的高级功能研究及脑信息处理建模[D].长沙：国防科学技术大学,2003.
[10] 韦雪文.脑—机接口技术及其在康复训练中的应用[D].南京：东南大学,2010.
[11] Jong-Hwan L,Jeongwon R,Ferenc A.Brain-machine interface via real-time
FMRI:Preliminary study on thought-controlled robotic arm[J].Neuroscience
Letters,2009,450(1):1-6.
[12] Sloman A,Croucher M.Why robots will have emotions[C]∥International Joint Conference on Artificial Intelligence,Vancouver,Canada,1981,81(2):197-202.
[13] Goleman D.Emotional intelligence [M].New York:Bantam Dell Pub Group,1995.
[14] 刘涛然.人体表面肌电信号的特性研究[D].天津：天津科技大学,2009.
[15] 郑小蓓,孟祥芝,朱莉琪.婴儿动作意图推理研究及其争论[J].心理科学进展,2010(3):441-449.
[16] 刘刚.基于应变式传感器的运动姿态的实时检测[J].传感器技术,2005,24(9):73-75.
[17] 鞠升辉,李杨民.基于运动分析的运动目标实时跟踪系统[J].传感器与微系统,2016,35(7):58-61.
[18] Lee H,Lee B,Kim W,et al.Human-robot cooperative control based on pHRI(physical
human-robot interaction)of exoskeleton robot for a human upper extremity[J].International Journal of Precision Engineering and Manufacturing,2012,13(6):985-992.。