应用虚拟现实技术的人机交互仿真系统开发

收稿日期：2008-07-22
基金项目：安徽省科技攻关资助项目（6）
作者简介：曹文钢（5），男，河北涞源人，副教授，硕士，主要研究方向为数字化设计与制造，计算机辅助设计，计算机图形学。

虚拟现实（Virtual Reality 简称VR ）技术是20世纪90年代最重要的科技成就之一，与传统的计算机系统相比它具有多感知性、沉浸感、自治性、
交互性4个显著的特征[1]。

该技术可以对真实世界
的行为活动进行仿真，并对用户的位置、姿态、语言等做出实时响应，借助一些交互设备可以使
2010年工程图学学报
2010第1期
J OURNAL OF ENG INEERING GRAPHICS
No.1
应用虚拟现实技术的人机交互仿真系统开发
曹文钢1，王
锐1，张红旗2，陈帝江2，彭五四1
（1.合肥工业大学机械与汽车工程学院，安徽合肥230009；2.华东电子工程研究所，安徽合肥230058）
摘要：针对现有虚拟仿真系统在人机交互、实时响应、数据采集等方面存在的不
足，综合运用多种虚拟现实软、硬件技术构建出一个可供人与虚拟操作对象进行实时人机交互的仿真系统。

利用数据转换技术将设计对象导入该系统后，系统能通过实时采集人机交互过程中的相关操作数据，测量人机交互绩效，继而评价设计质量。

实例应用证明了系统的可行性。

关
键
词：计算机应用；虚拟现实技术；人机交互仿真系统；软硬件集成
中图分类号：TP 391.9文献标识码：A
文章编号：1003-0158(2010)01-0145-05
Development of Human Machine Inter action Simulation System
Based on Vir tual R eality Technology
CAO Wen-gang 1,
WANG Rui 1,
ZHANG Hong-qi 2,
CHEN Di-jiang 2,
PENG Wu-si 1
(1.School of Mechani cal and Automot ive Engineering,Hefei Univers i ty of Technology,Hefei Anhui 230009,China;
2.East China Research Institute of Electronic Engineering ,Hefei Anhui 230058,China )
Abstr act:Aiming at the deficiencies of some virtual simulation systems in aspects of interaction,real time response,data collecting etc.,a virtual simulation system which enables users to interact with virtual operation object is developed based on various hardware/software techniques.After importing design objects through data transition,the system can dynamically collect the data about the interactive operation for measuring interaction performance and evaluating design quality.Experimental results demonstrate that the system is feasible.
Key wor ds:computer application;virtual reality technology;human-machine interaction simulation systems;hardware and software integration
0012141H 197-
参与者以接近自然的方式与虚拟环境中的对象进行交互，从而使参与者和虚拟环境之间建立起实时的交互关系，产生与真实环境中相似的感觉体验。

人因工程是研究人和机器、环境的相互作用及其合理结合，使设计的及其和环境系统适合人的生理、心理等特点，达到在生产中提高效率、安全、健康和舒适的目的的学科。

它要求设计者在设计时充分考虑使用者的能力和限制，为用户提供一个应用便利、交互友好的设计[2]。

然而由于前期设计阶段缺少可用的评价模型和手段，人因工程学方面的要求难以被充分考虑，经常需要反复设计，消耗大量时间和成本。

虚拟现实技术的引入将为这一问题的解决带来一种新的思路，其主要优势有以下几点：
（1）利于摆脱对物理模型的依赖；
（2）利于在设计早期发现缺陷并及时修正；
（3）利于快速调整所关心的变量；
（4）利于记录、保存相关操作数据。

基于VR技术多方面的优势，国内外一些研究机构都在进行这方面的尝试。

例如，美国Marshall空间飞行中心研制出载人航天器的VR 座舱进行人因工程学研究，指导座舱布局设计并训练航天员熟悉航天器的舱内布局、界面和位置关系，并演练飞行程序[3]。

国内方面，北京航天医学工程研究所也在进行这方面的研究工作，如应用VR技术开展载人航天器乘员舱内颜色匹配性的工效学研究，提高舱颜色匹配性工效设计的逼真性、灵活性和经济性[4]。

目前这些研究还主要集中在航空航天领域，在军事中应用较少，而现代武器控制系统大多界面复杂、交互性强、危险性高，人因工程研究非常重要。

本文应用虚拟现实技术开发了一套可用于人机交互研究的集成仿真系统，以实现对雷达显控台布局的测评和改善工作，从而提高其安全性、可靠性和可用性。

1系统的构成及实现原理
该系统的硬件设备主要包括：SGI VSS80工作站、科视Mo ntage LX50被动立体投影系统、视频信号分配器、数据手套（5DT Data Glove16）、跟踪器（Ascension FOB)、立体眼镜。

软件：Division Mockup2000i2、RapidVRM、Trackd、Pro/E。

其集成方式如图1所示。

本系统采用1块尺寸为2.6米（宽）×2.0米（高）的屏幕、1台仿真计算机、1台视频信号分配器和2台5000ANSI流明的投影仪组成一个单通道被动立体投影显示系统，将虚拟显控台显示在屏幕上。

操作者佩戴立体眼镜在实际尺寸的虚拟显控台前进行实时交互操作，如按启动键来启动设备，调节旋钮控制参数。

系统中用户进行操作的虚拟显控台模型包括几何模型和控制逻辑模型两部分[5]。

tracked
内存
Division rapidVRM
获取
读
取
解析
Pro/E建模
数
据
转
换
数
据
手
套
跟
踪
器
银粉屏幕
单
通
道
被
动
立
体
投
影
系
统
视频信号
分配器
投
影
仪
计算机
图1系统集成图
几何模型使用Pro/E进行建模，然后通过格式转换导入Division中通过纹理贴图，打开立体开关投影就可以直观地呈现出显控台场景；图2为本文所设的显控台的简化几何模型，约1.5米长，含18个指示灯，12个按键，4个旋钮，4个仪表和1个显示屏。

控制逻辑模型是对控制逻辑的定义，如按键、旋钮与指示灯、仪表之间的对应关系等。

这里借助Division的事件触发机制实现控制逻辑。

例如，当操作人员按下开机按键R1时，逻辑模型会控制A指示灯亮，同时开机音乐被触发，其后
146工程图学学报2010年
台控制过程如图3所示。

图2
几何模型图
手套位置＋手势变换
触发Divisio n 事件（如P r ess ）
事件预定义Actio n
信息捕捉dvAssemblyAudio
预定义开机声
dvSequ enceStart
预定义的指示灯
变红事件
定义assembly ,keyf rame,
loops 等属性
定义part,audioName,s tate,lo op,voice,volume 等属性
是
否
动作是否有效?图3逻辑控制原理图
2
关键技术
2.1
三维建模与数据转换
Division 本身没有建模功能，需要先用Pro/E 对显控台进行建模然后通过三维数据接口模块MockupConverter 进行数据转换。

通常情况下有两种方式往Division 入模型：①数据量小的模型可以通过Proewildfire2.0或之后的版本转换成Productview 的*.ed 文件；②利用第三方软件object_adapters_11.0在DOS 环境下调用proe2pv_init.exe 文件对已有的模型进行处理，然后输出包括几何文件、材料文件、材质文件和VDI 文件在内的结果文件（可以处理大型模型）。

2.2
外设集成
由于数据手套、跟踪器不能直接跟Division
进行交互，这里选择VRCO 公司的Trackd 软件和Visual Advantage 公司的RapidVRM 插件架设
一座“桥梁”。

其原理过程如图4所示。

Trackd
RapidVR M
外设
获取
反馈
Division
单通道被动立体显示技术
沉浸环境
传输
反馈
解析
反
馈
图4
外设集成原理图
以上过程的实现需要对trackd.conf 文件进行重定义和修改，并创建一个reg 文件将RapidVRM
插件的信息导入注册表，从而实现对Trackd 获取信息的解析和Division 信息的反馈。

并在trackd.conf 文件中需要预定义外设名、数据传输速率、内存地址标示、数据流关键字等：
DeviceOption
DX
controller
Rumble
（Rumble 0为本机对应的外接设备名称）
DeviceOption DX baud 19200定义传输速率
ConnectorOption Shm2key 4127定义内存
地址标识
DefineConnector Shm2shm out 1定义共享内存和跟踪传感器个数和数据流关键字2.3
运动跟踪和手指姿势跟踪
系统中使用5DT 公司的Data Glove 16数据
手套共有16个光电传感器，由合成弹力纤维制造而成，其中嵌入16个光学纤维传感器，分别用于测量各个手指1、2关节的屈伸角度、做收展动作时手指间的夹角、基部关节和中间关节的弯曲曲率、相邻两个手指之间的伸展角度、拇指的平移和手腕部的弯曲曲率。

（各个传感器的输出数据在01之间，对应的角度范围为0°90°。

）通过16个传感器返回的实时数据跟踪手指姿势。

位置跟踪器（Ascension FOB ）是数据手套交互中的辅助设备，用于测量腕部的6
个自由度
第1期曹文钢等：应用虚拟现实技术的人机交互仿真系统开发147
值和控制虚拟手的空间位置和方向。

通过发射器发射形成磁场，然后由接受器感受磁信号，通过信号处理器计算出传感器相对于发射器中心的空间位置和方向[6]。

（跟踪器在工作范围（±1.5m）内工作效果较好，但是其精确性容易受到工作空间中导磁导电体影响，因此位置跟踪器的发射器、传感器等元件应远离金属、磁导体。

）位置跟踪器与数据手套配合使用，实现对虚拟手运动跟踪和手指姿势跟踪。

2.4操作识别和命令获取
本系统研究对象只有两种操作动作：按按键和拧旋钮。

通过控制文件中预定义语句，即时判断动态捕捉到的操作人员的手的动作是否有效。

计算机可以对这两种动作进行识别，控制文件中预定义语句的逻辑定义如下：同时满足以下条件时，“按按键”动作有效：
（1）食指伸直；
（2）食指位置与按键有接触；
（3）接触时间大于设定值。

同时满足以下条件时，“调节旋钮”动作有效：
（1）拇指和其他四指都处于弯曲收缩状态；
（2）两指或两指以上数目的手指与旋钮有接触；
（3）接触时手指呈顺时针旋转或逆时针旋转。

从系统开始运行，计算机将所有的操作命令数据保存在计算机内，研究人员通过检测和分析这些数据，可以对操作人员的工作绩效和作业标准进行评估和测试。

例如，误操作次数，操作反应时。

2.5系统显示技术
系统中的模型显示，采用单通道被动立体显示技术。

在显示信号的转换过程中，使用立体信号转换器，解决计算机主动式输出信号转换为被动式信号的问题。

把图形工作站输入的一路主动式信号源，转换成两路被动式信号输出给两台投影机，将一个视点自动调整为左右眼两个视点，使图像映射在银粉屏幕上。

观测者佩戴过立体眼镜观看时，根据偏振原理，通过偏振光眼镜，用户的左右眼都只能看见各自的图像（即被动同步的立体投影）。

这种在虚拟系统中直接模拟左右眼图像，与传统的单一图像偏振立体显示系统相比，不仅不需要昂贵的视频分离器，而且立体效果更加逼真。

图5为系统单通道被动立体显示原
理图。

显示器
计
算
机
主被
动信
号转
换器
分配器
投
影
机
偏
振
眼
睛
屏
幕
图5单通道被动立体显示原理图
3实验应用
为验证本实验系统的可行性，对3种基于不同布局原则设计的显控台设计方案，进行了操控绩效测评实验。

方案A按照重要性原则，将最重要的控件集中放置在最便于操作的位置，如将按键1、按键2等所有的按键集中地放置在面板中央，便于手动操作，指示灯1、指示灯2等所有仪表集中放置在面板上方，便于眼部观察。

方案B使用频度原则，将使用频率最高的控件集中放置在最便于操作的位置，如将旋钮1、旋钮2等所有的按键集中地放置在面板中央，便于手动操作，仪表1、仪表2等所有仪表集中放置在面板上方，便于眼部观察。

方案C按照功能性原则，将完成同一功能的相关部件成组进行布置，如仪表1与控制它的旋钮1、仪表2和控制它的旋钮2全部放置在控制面板的A区；相应地，按钮1、按钮2和指示灯1、指示灯2放置在B区，依此类推；设计A、设计B和设计C都放置了4个仪表、18个指示等和12个按钮，实验开始后，仪表会随着旋钮的旋转改变指示范围，任意一个仪表的指针超出正常范围（误操作），对应的报警灯都会变亮，警报声响起，需要操作者按下相应的按钮才能消除警报。

如果有按键被按下而警报未解除即产生了误操作。

实验目的是为了比较这3种设计的操作反应时、误操作率等操控绩效参数有无差异及差异大
148工程图学学报2010年
小。

实验共邀请了20名有相关操作经验的人员参加实验，按照有关实验设计方法和控制方法严格实施实验，所得初步实验分析结果如表1。

实验结果表明，方案C的平均操作反应时要长于方案B，方案A又长于B，但三者的误操作率按C、A、B依次增高，因此，对于操作正确率要求更高的情况，宜采用方案C；对于操作反应时间要求更高的情况，可采用方案B。

上述实验很好地验证了本仿真系统的应用可行性，为开展更多类似实验提供了参考。

表1显控台布局设计实验数据结果
绩效参数方案A方案B方案C 平均操作反应时（s） 1.714 1.602 1.845
平均误操作率 5.24%8.91% 2.35%
4结论
本文基于虚拟现实技术开发了一个可应用于人因工程研究的集成仿真系统。

使用磁跟踪器和数据手套解决运动跟踪和手指姿势跟踪问题；通过先建立逻辑定义，再预定义语句对操作动作进行判断从而识别有效动作；利用Division的事件触发功能实现对操作动作的实时响应；应用单通道被动立体投影系统实现立体显示。

初步实验结果验证了该系统的可行性，为虚拟现实环境下的人因工程学研究探索了一新方法。

参考文献
[1]张树生,杨茂奎,朱名铨,等.虚拟制造技术[M].
西安:西北工业大学出版社,2006.32-33.
[2]孙林岩.人因工程[M].北京:中国科学技术出版社,
2001.2-3.
[3]TICKER R L,AZZOLINI J D.2000survey of
distributed spacecraft technologies and architectures
for NASA’s earth science enterprise in the2010-2015
time frame[R].NASA Technical Memorandum,
NASA/TM-2000-209964,NASA Goddard Space
Flight Center,Greenbelt,MD,2000:107-110.
[4]周前祥,曲战胜,姜国华,等.载人航天器乘员舱内
颜色匹配性设计虚拟现实系统的研究[J].系统仿真
学报,2002,14(9):1171-1174.
[5]王颖,廖可兵,郭阳,等.集成人机交互仿真系
统研制与应用[J].系统仿真学报,2007,11(19):
2493-2495.
[6]罗斌,何铁凝,郑澎.基于WTK的数据手套交
互控制模块设计与实现[J].计算机仿真,2004,21(8): 2493-2495.
第1期曹文钢等：应用虚拟现实技术的人机交互仿真系统开发149。