考虑人的因素的虚拟装配引导方法

考虑人的因素的虚拟装配引导方法
户艳;邵晓东;高巍;刘焕玲
【摘要】针对当前虚拟装配技术对装配过程中人的因素和零部件的物理属性考虑不足、仿真过程无法反映实际装配运动的本质规律的问题,提出一种考虑人的因素的装配引导方法.在基于物理属性的装配仿真的基础上,对影响装配的人的因素进行分析,给出了视觉因素、舒适度因素及能量消耗的量化评价方法.根据各因素的评价值,利用蒙特卡洛方法计算装配力的大小和方向.在装配力的引导下,通过动力学仿真完成零部件的装配定位.该方法已应用于某自主开发的虚拟装配原型系统中,通过与现实实验进行对比,验证了所提方法的有效性.
【期刊名称】《计算机集成制造系统》
【年(卷),期】2016(022)003
【总页数】10页(P695-704)
【关键词】虚拟装配;人的因素;物理属性;装配引导;蒙特卡洛方法
【作者】户艳;邵晓东;高巍;刘焕玲
【作者单位】西安航空学院机械工程学院,陕西西安710077;西安电子科技大学电子装备结构设计教育部重点实验室,陕西西安710071;西安电子科技大学电子装备结构设计教育部重点实验室,陕西西安710071;西安电子科技大学电子装备结构设计教育部重点实验室,陕西西安710071
【正文语种】中文
【中图分类】TP391
虚拟装配技术是虚拟现实技术在产品制造领域的典型应用，是虚拟制造的重要组成部分。

利用虚拟装配可以验证产品的装配性能，以便在早期开发阶段发现装配中的问题，缩短开发周期，降低生产成本，提高产品的市场竞争力。

在现实装配中，人对零件间的各种物理约束(如接触、摩擦)和碰撞响应存在感知能力，可以根据视觉、触觉等感知到的物理信息对零件施加适当的装配力，在装配力的引导下进行准确定位。

而在虚拟环境中，受制于硬件技术的发展，大部分虚拟装配系统难以提供实时准确的触觉反馈，同时由于数据手套精度不高和人手的抖动，导致装配力的输入不准确、零件定位困难且装配仿真过程缺乏真实感。

通过仿真模拟的方法(如蒙特卡洛方法)计算虚拟零部件的实时装配力，进而在装配力的作用下进行装配动力学仿真，可以给用户展现直观的装配过程，使用户能够在虚拟环境中仿真与实际一致的装配过程[1,22]。

因此，模拟人的装配意图对零件施加装配力并进行装配引导，可以提高虚拟装配仿真的真实感。

为了模拟实际装配力的施加，需要对影响装配的人的因素(如视觉因素、操作舒适性和能量消耗)进行分析。

这些因素会对产品的装配效率和装配性能(如装配路径可行性、零件定位准确性和操作安全性)产生至关重要的影响。

然而，若通过建造物理样机对人的因素进行分析，则会极大地增加产品的开发周期和生产成本。

因此，如何借助虚拟装配技术，在产品设计和验证阶段对影响装配的人的因素进行仿真分析，是目前虚拟装配技术迫切需要解决的问题。

近些年，国内外学者对虚拟装配技术进行了大量研究，这些方法主要分为基于约束建模和基于物理建模两类：
(1)基于约束的虚拟装配技术，根据零件间的约束关系和空间位姿关系，通过约束识别和约束引导，将满足约束条件的装配件精确定位到最终装配位置。

例如：Jayaram等开发的虚拟装配设计系统(Virtual Assembly Design Environment, VADE)[1]，通过捕获CAD系统中的几何约束信息和最终装配位置，实现对零件的
精确引导和定位;Tching等[2-3]提出运动约束和虚拟引导设备相结合的虚拟约束引导(Virtual Constraint to Guide, VCG)方法来引导装配运动;杨润党等[4-5]给出了虚拟零件约束的统一表达和约束处理方法，实现了基于约束的装配操作;刘检华等[6-7]提出分层几何约束自动识别方法，提高了约束识别的效率和准确性;刘振宇等[8]提出一种约束行为控制的方法，实现了装配关系识别、约束求解和约束运动。

(2)基于物理的虚拟装配技术，通过对零件间的物理约束进行仿真，对发生碰撞的
零件做出碰撞响应，提高了虚拟装配的真实度和沉浸感。

例如：Seth等开发的基
于触觉的高真实度装配系统(System for Haptic Assembly and Realistic Prototyping, SHARP)[9]，利用基于物理属性的零件模型模拟实际的零件干涉，
并向操作者手腕提供力反馈;Garbaya[10-11]等建立了机械零件的动力学模型，根据嵌入深度计算接触力，利用弹簧阻尼模型避免了零件间的相互贯穿;宁汝新、刘
检华等[12-15]提出基于多刚体动力学的物性装配仿真方法，实现了以力为输入参
数的零部件装配过程仿真，建立了零件物理属性模型，分析了零件间的碰撞响应;
刘振宇等[16]提出一种几何约束映射为运动副约束的物理约束生成方法，利用变刚度弹簧模型实现了位移输入和装配力输入的映射。

在这两类方法的基础上，Seth[17]等提出将基于物理和基于约束建模相结合的方法，利用物理建模对发生碰撞的零件进行动力学仿真，利用几何约束建模提供准确的零件定位。

但是，上述所有方法均没有考虑装配过程中人的因素，无法对影响装配的人因进行分析，从而难以在虚拟环境中模拟与实际一致的装配过程，存在“虚而不拟”、“仿而不真”的问题。

文献[18,22]提出基于力引导的装配定位方法，可以对视觉
和舒适度因素进行仿真。

但是，该方法无法量化计算各因素的评价值，用户设定的参数值与实际情况有时差异较大，导致仿真结果不准确且装配效率低。

为了解决这些问题，本文提出一种考虑人的因素的装配引导方法。

该方法的基本思
想是利用物理模型对零件进行动力学仿真，利用蒙特卡洛方法模拟人的因素对装配的影响。

将影响装配的人的因素分为视觉因素、舒适度因素和能量消耗，并对每个影响因素进行量化评价。

根据各因素的评价值，利用蒙特卡洛方法计算装配力的大小和方向。

在装配力的引导下，通过动力学仿真完成零部件的装配定位，并根据仿真结果分析人的因素对装配效率和成功率的影响。

基于力引导的装配定位方法的基本思想如图1所示。

首先，由用户交互输入或随机选取装配件初始位姿，开始装配仿真；然后，计算装配件在每个时刻i受到的的装配力、重力、接触力和装配转矩，建立动力学运动方程组；最后，求解方程组得到加速度和角加速度，代入运动学方程组计算从i到i+1时刻装配件的位移、转角和位姿变换矩阵，进而得到i+1时刻的位姿Pi+1。

判断Pi+1和目标位姿Pt之间是否满足装配要求，若满足则装配完成；否则i=i+1，循环以上操作。

具体的外力和位姿变换矩阵的求解方法参考文献[18]。

利用该方法可以模拟实际的装配过程，从而在产品设计阶段对产品装配设计的合理性进行检验，进而对产品可装配性能进行优化。

但是，该方法只考虑了视觉和舒适性因素对装配力的影响，忽略了能量消耗，且每种因素的评价值由用户设定，容易造成仿真结果与实际情况差异较大。

为了解决这些问题，下面给出人的因素的量化计算方法。

将影响装配的人的因素分为视觉因素、舒适度因素和能量消耗，给出每个影响因素的量化评价方法。

2.1 视觉因素
根据实际的装配经验可知，人的视野和视线会对装配操作产生巨大影响，其好坏决定了零件定位的难易以及装配时间的长短。

因此，视觉因素是装配过程中不可忽视的一个重要影响因素。

本文将视觉因素分为视野因素和视线因素，视野因素由零件在操作者视野中的位置决定，视线因素由操作者观看零件的视角决定，下面将对其
分别进行计算。

定义V为视野系数，由式(1)求得:
式中：Va指受已装零件的遮挡，待装零件可见部分的体积;Vb指待装零件的全部
体积。

Va和Vb的计算方法(参考文献[19])如下：首先，将虚拟场景中所有零部件用体积相同的像素块(pixels)表示；然后，只显示待装零件，将虚拟场景中的其他零部件
全部隐藏，计算待装零件的像素块数目，即Vb；最后，将所有已装和待装零件显示出来，计算待装零件可见部分的像素块数目，即Va。

由式(1)可知，若待装零件不受任何遮挡，则V=1；若待装零件被已装零件完全遮挡，则V=0。

视线方向指从操作者的眼睛指向装配件的矢量方向。

定义e为视线系数且0≤e≤1，Ang为装配件的运动方向与视线方向的夹角，则有0≤Ang≤180°。

e的大小由Ang决定，根据实际经验易知：当30°≤Ang≤45°时，操作者的视线最好，e=1；当45°<Ang<90°时，随着Ang的增大，视线逐渐变差，因此e逐渐减小；当90°≤Ang≤180°时，e函数曲线与0°≤Ang≤90°时对称。

e与Ang的函数关系如图2所示。

得到V与e后，通过式(2)可以求得视觉系数η(η的定义参考文献[18])。

2.2 舒适度因素
装配过程中，操作者的身体姿势和舒适程度会对零件操控及定位产生巨大影响。

文献[18]定义了舒适度系数λc，代表装配过程中人的身体的舒适程度，由人体姿势
决定。

下面通过计算装配件到操作者的距离和脖颈负载对λc进行量化计算。

定义d为操作者的肩膀到装配件的距离，r为距离系数且0≤r≤1。

r的大小由d决定，r大说明装配件离操作者近，容易操作。

r和d的函数关系如图3所示。

由图
3可知，当d≤D1时，零件在人体舒适的控制范围内，操控容易；当D1≤d≤D2
时，零件可以装配，但是装配难度随着d的增加而增加；当D2≤d≤D3时，操作
者需要弯腰对零件进行装配，因此难度较大；当d≥D3时，零件距离操作者太远，无法装配。

图3中，Di(i=1,2,3)的计算方法为：D1=0.85l，D2=0.39h，
D3=0.68h，其中:l为操作者的胳膊长度，h为操作者的身高。

装配作业时，若操作者抬头仰视零件，则脖颈受负载会增加装配难度；若操作者低头俯视零件，则导致脖颈不舒服，也会影响装配操作。

定义g为脖颈负载系数且
0≤g≤1，Anp为操作者视线方向与身体平面的夹角。

俯视时0°≤Anp≤90°，仰视时90°≤Anp≤180°，平视时Anp=90°。

根据实际经验，30°≤Anp≤90°时操作者的颈部最舒服，因此g=1；当Anp≥90时，颈部承受负载会感觉不舒服，因此g
随着Anp的增大而减小。

g与Anp的函数关系如图4所示。

得到r和g后，通过式(3)可以求得舒适度系数λc,
由式(3)可知，若装配操作交互性好，则零件容易装配，λc取值较小；否则λc取
值较大，说明装配作业在零件控制、脖颈负载等方面的特性有待提高。

2.3 能量消耗
随着装配工作的进行，由于人的体力下降和注意力分散等因素的影响，会对装配力施加及零件定位造成影响，因此，能量消耗是影响装配过程的一个重要因素。

本文首先参考文献[20]中的能量损耗方程对装配过程中操作者的能量损耗进行计算(见
式(4))，然后利用蒙特卡洛方法计算能量损耗对装配力施加造成的影响(见3.1节)。

式中：A为装配作业消耗的能量，单位千卡(kcal)，F为装配力，Hn为抬起零件的高度，H0为放下零件的高度，L为平移零件的距离，K为生物系数(一般取6)，n
为装配操作执行次数。

根据GB/T 18 048～2 000[21]给出的不同身体姿势、不同工作类型及不同工作速度的人体活动代谢率和典型活动代谢率可知，每个工作日(8 h)内，人体能量消耗极限应该控制在1 400～16 00 kcal。

下面给出一种新的装配力计算方法，以提高虚拟装配的真实度。

根据零件的运动状
态，将装配力分为自由运动零件装配力(FAFi)和碰撞零件装配力(FACi)。

FAFi作用于自由运动的零件(不与场景中的其他零件发生碰撞)，FACi作用于发生碰撞的零件。

3.1 自由运动零件装配力
实际装配中，理想的装配力方向由装配件当前位置(Ti=(xi,yi,zi))指向其目标位置(Tt=(xt,yt,zt))。

但是，受人的因素影响，如视觉误差和人手抖动，装配力的方向
难以与理想方向完全一致，会产生一定偏差，具有模糊性。

随着装配件逐步接近目标位置，操作者对零件间相对位置的判断更加准确，通过不断调整装配力的大小和方向，可减小定位误差，因此，实际装配力的施加又具有智能性。

为了模拟实际装配力的这些统计学特性，反映实际装配过程中的不确定性，考虑人的因素对零件定位产生的影响，需要在装配力的计算中引入概率方法(如蒙特卡洛方法)[18,22]。

利用蒙特卡洛方法计算装配件i+1时刻的目标估计位置(记为)，施加由Ti指向的装
配力(如图通过式(5)进行计算。

式中：Ti-t=(c1(xi-xt),c2(yi-yt),c3(zi-zt))，c1,c2和c3为在区间[0,1]服从均匀分
布的随机数；为由舒适度因素和能量消耗引起的定位误差；Ψc为疲劳系数，与工作时间有关，通过式(6)求得。

式中：A为工作消耗的能量，可通过式(4)求得；Ei为i时刻的视觉矩阵，表示由
视觉因素引起的定位误差，其值由视觉系数η决定，具体计算方法见文献[18]。

FAFi的大小与能量消耗有关，因为能量的消耗会影响零件的控制和装配力的施加。

FAFi的计算见式(7)。

式中表示Ti和之间的距离，κ为装配力系数，具体计算方法见文献[18]。

3.2 碰撞零件装配力
FACi的计算方法与FAFi类似。

首先根据式(5)计算i+1时刻的目标估计位置表示
从Ti到的矢量；然后通过式(8)求得FACi的方向(表示为FACi，如图6)，FACi与
接触力方向垂直。

式中：FCi表示接触力，FACi的作用是克服摩擦力f、驱动零件运动，FACi的大
小正比于|FACi|，且受能量消耗的影响，计算公式如式(9)：
式中：f=μ·|FCi|，μ为摩擦系数。

本文提出的考虑人的因素的装配定位方法在自主开发的虚拟装配原型系统中得到了应用，系统界面如图7所示。

该系统以鼠标键盘为输入设备，无需借助数据手套、力反馈设备等交互外设对零件进行拖动，避免了设备输入的模糊性[13]。

但是，在没有实际操作者输入运动参数的情况下，如何对人的因素进行量化计算，决定了装配仿真的真实度和零件定位的准确度。

本文方法通过图8所示的对话框，输入人
体某些特征部位(如视点、肩膀、重心)的坐标及身高和臂长等参数，可以在虚拟环境中模拟人体模型，根据这些参数可以在装配过程中对本文所提的人的因素进行实时计算。

图8中位置坐标和长度变量的单位均为m。

以图7所示的液压缸为例，验证本文方法的实用性和创新性。

液压缸各部件的装
配过程如图9所示，缸体为基体件。

以活塞杆的装配为例说明具体装配过程：首先，通过图8所示的界面输入人体特征部位的相关参数，用于装配过程中人的因
素的实时计算。

然后，根据各人的因素的量化计算结果，计算实时装配力。

最后，在装配力的作用下进行装配引导和定位。

活塞杆从初始位置向缸体运动，与缸体发生碰撞，计算接触力(如图9Ⅰa；计算每一时刻活塞杆所受外力及其力矩，建立动力学方程组，求解方程组得到下一时刻的速度、加速度和位置响应(如图9Ⅰb、图9Ⅰc)；求解位姿变换矩阵，对活塞杆进行位姿变换，直到与目标位姿满足装配要
求(如图9Ⅰd)。

由图9可知，本文方法可以对虚拟零件进行准确定位，并通过动
力学仿真模拟实际装配过程。

表1记录了图9所示零件装配过程中的人因评价值，t表示工作时间，从图9Ⅰa
所示零件的装配开始计时。

由表1可知：①随着装配件逐渐接近目标位置，η逐渐
增大，说明由于已装零件的遮挡，操作者视线受阻，装配力施加的不确定性越来越大；②当距离系数和脖颈负载系数在一定范围内变化时，舒适度系数主要受视野系数影响，视野越差，零件越难定位，装配误差越大；③工作时间较短时，人的能量消耗很少，能量消耗对装配效率基本没有影响；④装配件运动到目标位置附近时，视觉和舒适度因素引起的定位误差大大增加，但是装配时间并未增加，说明零件最终的定位主要靠零件间的相互作用来完成。

选择多名试验者分别进行虚拟装配和现实装配实验，对不同环境下的装配效率、人的因素评价结果和能量消耗进行对比，验证虚拟装配与实际装配过程的一致性以及人的因素评价的准确性。

虚拟环境中，试验者将身高、臂长、肩膀位置等参数输入图8所示的对话框中，系统将在每一个仿真时刻自动对装配过程中人的因素进行量化评价，计算装配力的大小和方向，通过动力学仿真进行装配引导和定位。

虚拟装配过程中，操作者可以通过修改人体位置和视点位置等参数，模拟实时的操作姿态。

现实装配场景如图10所示，操作者穿戴数据衣并佩戴头盔，数据衣上放置多个位移传感器，用来获取操作者身体相关部位的空间位置。

头盔上安置了一个运动摄像机，用来拍摄装配过程。

通过这些设备对装配过程中人的因素进行实时计算，具体计算方法如下：
视野系数V：通过运动摄像机对装配过程进行录像或在给定时刻进行拍照，根据录像或照片计算装配件可见部分体积与全部体积的比值，得到不同时刻的视野系数。

视线系数e：首先，根据装配件上的传感器记录i时刻装配件的位置Ti，则i时刻装配件的运动方向为Ti-Ti-1/|Ti-Ti-1|。

然后，根据操作者眼睛附近的传感器记录i 时刻的眼睛位置Tie，那么视线方向为Ti-Tie/|Ti-Tie|。

最后，计算装配件的运动方向与视线方向的夹角，根据图2得到视线系数。

距离系数r：根据操作者肩膀上的两个传感器记录i时刻的肩膀位置Tirs和Tils，
则操作者的肩膀到装配件的距离为max(|Tirs-Ti|,|Tils-Ti|)，根据图3得到距离系数。

脖颈负载系数g：根据操作者身体重心的传感器和肩膀的两个传感器计算身体平面方程，然后计算视线方向与身体平面的夹角，根据图4得到脖颈负载系数。

为了提高实验结果的可靠性，要求不同环境下的初始装配条件尽量一致，主要包括以下几方面：①液压缸实际模型的所有几何及物理参数(如外形、质量、尺寸、倒角)与虚拟模型完全一致；②现实装配中所有子装配件的初始相对位置与虚拟环境
中一样，且初始速度均为零，操作者与液压缸之间没有其他物体遮挡，初始视野系数V=1；③现实装配试验者的平均身高、臂长等参数与虚拟装配试验者尽量相同，避免由于身材不同导致的装配误差；④按照常规装配速度将所有子装配件连续装完，避免由于磕碰导致的零件表面损伤；⑤除视觉、舒适度和能量消耗因素外，操作者的生理因素(如年龄、体力、身体健康程度)、环境条件(如温度、湿度)、外界干扰
等其他因素对装配的影响忽略不计。

5.1 装配效率对比
选取10名试验者，分成两组，按照图9给出的装配顺序，分别进行虚拟装配实验和现实装配实验。

记录每位试验者的装配时间，将每组试验者的时间取平均值，结果如图11所示。

由图11可知：①整体上虚拟装配时间比现实装配时间略短，这是因为虚拟装配考虑的人的因素有限，没有考虑更为复杂的影响因素(如操作者的力量、手的抖动)，降低了装配误差和装配时间。

②对于不同的装配零件，虚拟装配时间与现实装配时间的变化规律一样，由零件装配的难易程度决定。

③随着零件的质量和尺寸变小，抓取、移动和定位的难度降低，装配时间变短。

④密封圈的虚拟装配时间(3.0 s)为现实装配时间(3.3 s)的91%，而活塞杆的虚拟装配时间(4.8 s)为现实装配时间(6.0 s)的80%。

说明对于质量较大的零件，虚拟装配由于没有考虑人的力量因素，装
配时间较短。

5.2 人的因素评价对比
将15名试验者分为三组，按照图9的装配顺序进行装配实验。

第一组进行虚拟装配实验，第二组和第三组进行现实装配实验。

现实装配过程中，要求第二组试验者距离零部件较远，处于明显不舒服的操作姿态，人为地增加装配难度；第三组试验者可以根据待装零件的外形尺寸和空间位置，随意调整自身位置和姿势，选择最舒服的姿态进行装配操作。

由5.1节可知，完成现实液压缸装配的时间约为16 s。

装配过程中，选取多个离
散时间点ti(ti=3 s, 6 s, …,15 s)，在每个时刻ti，计算每组试验者的视觉和舒适度系数，如图12和图13所示。

结合图12和图13可知：①在每个时间点，第一组的视觉和舒适度系数介于第二
组和第三组之间。

这是因为装配过程中，第一组通过设置人体特征部位的坐标进行人的因素计算(如图8)，代表一般的装配条件，第二、三组分别代表现实装配中最
劣和最优的装配条件。

②装配过程中，第三组的人的因素评价值低于其他两组，说明良好的视觉和舒适度条件会降低装配操作的误差，提高零件的定位精度。

③曲线整体变化规律一样，说明虚拟装配过程与现实装配过程一致，本文方法可以真实地仿真现实装配过程。

5.3 能量消耗对比
下面讨论虚拟装配和现实装配的过程中，能量消耗对装配效率和装配成功率的影响。

装配成功率[18]定义为装配的成功次数和总次数之比，成功率高说明零件容易装配、可装配性好。

将10名试验者分成两组，分别进行虚拟装配实验和现实装配实验。

虚拟环境下，通过修改人体特征部位的坐标，得到比较理想的视觉和舒适度条件(η(λc)<0.05)。

所有试验者连续工作1 h，对液压缸进行多次装配实验，每次实验所有零部件从同
一初始位置开始运动。

每15 min为一个时间段，统计第i(i=1,2,3,4)个时间段内，完成一次装配的平均时间和该时间段内的装配成功率，如图14和图15所示。

由图14可知：①随着工作时间的增加，平均装配时间增加，说明能量消耗会降低装配效率。

②相比于虚拟装配，现实装配的平均装配时间增速较慢、曲线比较平缓，后两个时间段的虚拟装配时间超过现实装配时间。

这是因为现实装配过程中，虽然能量消耗会增加装配时间，但是由于人对装配过程越来越熟悉，摸索出操作的规律后，重复性的操作在一定程度上可以降低装配时间。

由图15可知：①随着工作时间的增加，装配成功率会降低，因为能量消耗会增加装配操作的不确定性，导致零件定位精度降低。

②在前15 min内，装配成功率接近100%，说明能量消耗很少时，零件操控准确且定位精度很高。

③任意时间段内，虚拟装配的成功率高于现实装配，这是因为现实装配中随着装配件位置的变化，装配条件发生变化，导致操作者进行抓取、移动和定位等操作的难度增加，降低了装配成功率。

本文提出一种考虑人的因素的虚拟装配引导方法，通过基于物理属性的装配仿真对虚拟零部件的运动规律进行动力学分析，通过蒙特卡洛方法计算装配力，反映人的因素对装配的影响。

将人的因素分为视觉因素、舒适度因素和能量消耗，给出每个影响因素的量化评价方法。

根据各因素的评价值，利用蒙特卡洛方法计算装配力的大小和方向。

提出一种新的装配力计算方法，根据零件的运动状态，将装配力分为自由运动零件装配力和碰撞零件装配力，提高了虚拟装配的真实度。

该方法已经在自主开发的虚拟装配原型系统中得到应用，通过实例将虚拟装配结果与现实装配结果进行对比，验证了该方法的可行性和创新性。

在本文工作的基础上，下一步的研究重点是分析更多的影响装配的人的因素，如可达性因素和安全性因素，对这些影响因素进行量化计算，模拟更加符合实际的装配过程。