人机交互的新进展

人机交互的新进展刘强摘要：本文阐述了人机交互的概念和地位，分析了当前人机交互领域的一些进展情况。

关键词：人机交互；识别技术；感知；融合；Virtual Reality(虚拟现实)；1 人机交互的概念和地位人机交互，简单来说，就是人类与计算机交流互动。

两者之间有这样一个传导链：通过人机接口技术，使人能够与计算机发生联系;而计算机则通过一种界面，使人能了解联系后的效果。

人机交互是计算机系统的重要组成部分，是当前计算机行业竞争的焦点，它的好坏直接影响计算机的可用性和效率。

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力，其中一个重要原因就是缺少一个与之相适应的高效、自然的人-机界面。

人机交互是未来IT的核心技术，也是目前国际上计算机科学研究领域中的一个热点。

随着计算机在人们日常生活和工作中的作用越来越大，人机交互技术变得越来越重要。

2 人机交互的现状目前，在国际上人机交互研究的内容主要包括以下几个方面：单一模式的识别技术研究；多模式人机交互技术研究；多感知信息的融合机理研究等。

其中，最重要的是多模式人机交互技术研究和多感知信息的融合机理研究。

2.1 多模式人机交互多模式人机交互实际上是人与人之间的交互的模拟。

它的目标是将人与人之间的自然交互方式移植到人与计算机的交互中，即将人的各种行为通过键盘、鼠标、麦克风及摄像机等转换成计算机能感知到的位置、运动及听觉、视觉等信息。

感知过程是人机交互的基础，但其实现也是非常困难的。

特别是视觉感知部分尚未很好地得到解决，在处理诸如人体感知、手势识别、表情识别等感知行为时，目前的技术尚处于实验室研究阶段。

多模式人机交互的研究主要包括以下几个部分：2.1.1语音识别技术通过语音与计算机交互是人机交互过程中最自然的一种交互方式，也是未来最被看好的人机交互方式。

目前，在此领域内可用的技术包括：语音识别、自然语言理解、自然语句的生成及自然语言对话等。

语音识别的研究工作可以追溯到20世纪50年代贝尔实验室的Audry系统，此后研究者们逐步突破了大词汇量、连续语音和非特定人这三大障碍。

目前，国内外已经出现了一些商业化的产品，比如语音识别在身份确认上的应用，准确率已经达到99%，一句“芝麻开门”打开房门已经不是传说。

2.1.2手势识别技术在人与人之间的交互过程中，手势一般是伴着语音同时进行的。

在语言交流存在困难的情况下，手势的理解是非常重要的。

而在大部分场合下，手势是对语言交互的补充。

比如，我们在介绍一个物体的模糊的大小时，往往要利用手势。

在人机交互过程中，手势分为两种：一种是基于笔输入的二维手势，另一种是真正用手作出的三维手势。

目前比较常用的是基于笔输入的手势，这是因为这种手势的识别处理相对容易一些。

而三维手势，由于计算机视觉技术存在的困难，目前实用化的系统不多。

有些系统虽然采用了三维手势技术，但大多是利用数据手套完成的。

而这一方面系统成本较高，另一方面，交互起来也不自然。

最近，在ieee的模式识别与机器智能杂志上，连续发表了几篇有关三维手势的识别研究，他们采用的方法主要有隐马尔可夫模型（hmm）及彩色petri网模型。

2.1.3人脸识别技术表情是人类交流信息的一种重要手段。

因此，表情识别可以大大增强计算机的友好程度，提高其智能感知水平。

另外，人脸的方向、人眼的跟踪都表达着交互的信息。

视点的变化既能反映心理活动，又能反映注意方向，正所谓眼睛是心灵的窗户。

通过视点跟踪，可以检测目光在屏幕上的所及之处，并作出恰当的响应。

这尤其可帮助某些行动不便的残疾人使用计算机。

因此，有关人脸的研究，在新一代人机交互中非常重要。

相应的研究内容主要包括：人脸的检测与定位、人脸的识别、人脸表情的识别、脸部特征定位、人脸的跟踪、眼睛注视的跟踪以及人脸的三维重建等等。

所有这些问题都没有完全解决。

国际上有许多研究机构在从事人脸的研究工作，这其中包括美国几所著名的大学，如mit、cmu、sri等。

2.1.4动作识别技术动作识别是一项正在发展中的技术，在很多方面都可得到应用，如可穿戴式计算机、隐身技术、浸入式游戏以及情感计算（一种可对人类的情感进行侦测、分类、组织和回应的系统或应用，可以帮助使用者获得高效而又亲切的感觉）等。

过去大部分动作识别系统重点分析的是脸部和手部的动作，不过现在，研发人员也开始将关注点转移到身体姿势、步态和其他行为举止上来。

这一研究方向对三维人体的重建及虚拟现实的研究有着重要的意义。

而体感技术的突破，让我们看到离开键盘、鼠标的希望。

玩网球、钓鱼这些游戏时，游戏者要像真打网球那样挥舞手柄。

这就是2006年日本任天堂公司推出的家用游戏主机Wii。

通过加速度感知与光学定位，Wii遥控器可以准确掌握玩家手持控制器的一举一动。

动作识别系统也开始进入医疗领域，医生无需触碰键盘或者屏幕就可以操控数字影像。

2.1.5触觉交互技术触觉交互已成为人机交互领域的最新技术，其可借助人的触感，产生一种虚拟现实的效果。

触碰可以产生多种不同的感受，包括轻碰、重碰、压力、疼痛、颤动、热和冷，因此人工模拟这些感受的方式也各异。

触觉交互技术已经开辟了多种可能的应用领域，包括虚拟现实、遥控机器人、远程医疗、工作培训、基于触觉的三维模型设计等。

而在电子商务方面，触觉交互也能够发挥重要作用。

比如，顾客在网上购买服装之前，可以先感知一下衣料的质地，然后再做决定。

2.2 多感知信息的融合多功能感知的最后输出是对用户的智能感知，因此还需要对各个识别结果进行总的融合。

多感知信息的融合是指将各种感知通道所产生的输出信息以一定的方式加以联合、相关和组合，以产生高层的决策行为。

认知科学的研究表明，人类的信息加工过程是在多个层次上进行的，而且，在每个层次上都存在多个信息源。

近年来，多媒体计算机的迅速崛起，虽然提供了多媒体信息处理的可能性，但是就当前发展的现状，仍处于独立媒体的存取；编辑及媒体间的并合水平，尚未涉及多媒体信息的综合处理。

实际上从单媒体走向多媒体，它可能发生的作用决不应该是它们间的量的简单合并，而应该是一种质的根本飞跃。

多媒体信息处理为研究更接近于人类大脑认知加工过程的信息处理过程提供了一种可能。

多功能感知过程的融合是综合各个不同的通道，提高各个通道的输入准确程度，形成相对完整的用户输入，最终形成对用户输入的智能感知。

比如，人与人之间交互时，我们在听对方的语言，又注视着对方的眼睛，还观察对方的手势等。

我们在作出反应前，是综合所感知到的各种信息，最终在大脑中加工形成一系列清晰的概念。

由于多功能感知是多通道信息输入过程，其主要功能是正确识别各个感知通道的输入，经高层模块处理后，形成对输入的统一理解。

所以，就融合的方式看，可以分为两个方面。

第一、将融合过程应用到各个识别过程中，以形成一个高可信度的目标识别信息。

第二、对各个识别结果经过判断、比较，并应用相应的知识、规则进行推理，最终形成一个合理的感知结果。

目前，由于人工智能领域中的技术难点，特别是自然语言理解的进展困难，第二方面的融合还不能达到一个令人满意的结果，这方面的工作往往集中在对命令系统的形成上。

国外对相应的多通道界面技术的研究是近年来迅猛发展的热点。

3 Virtual Reality(虚拟现实)虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域。

虚拟现实技术丰要包括模拟环境、感知、自然技能和传感设各等方面。

模拟环境是由计算机生成的、实时动态的三维立体逼真图像。

感知是指理想的VR应该具有一切人所具有的感知。

除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。

自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。

传感设备是指三维交互设备。

3.1 特征3.1.1多感知性指除一般计算机所具有的视觉感知外，还有听觉感知、触觉感知、运动感知，甚至还包括味觉、嗅觉、感知等。

理想的虚拟现实应该具有一切人所具有的感知功能。

3.1.2存在感指用户感到作为主角存在丁模拟环境中的真实程度。

理想的模拟环境应该达到使用户难辨真假的程度。

3.1.3交互性指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度。

3.1.4自主性指虚拟环境中的物体依据现实世界物理运动定律动作的程度。

3.2 关键技术虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角（宽视野）立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。

3.3 技术应用3.3.1 娱乐丰富的感觉能力与3D显示环境使得VR成为理想的视频游戏工具。

由于在娱乐方面对VR的真实感要求不是太高，故近些年来VR在该方面发展最为迅猛。

如Chicago（芝加哥）开放了世界上第一台大型可供多人使用的VR娱乐系统，其主题是关于3025年的一场未来战争；英国开发的称为“Virtuality”的VR游戏系统，配有HMD，大大增强了真实感；1992年的一台称为“Legeal Qust”的系统由于增加了人功智能功能，使计算机具备了自学习功能，大大增强了趣味性及难度，使该系统获该年度VR产品奖。

另外在家庭娱乐方面VR也显示出了很好的前景。

作为传输显示信息的媒体，VR在未来艺术领域方面所具有的潜在应用能力也不可低估。

VR所具有的临场参与感与交互能力可以将静态的艺术（如油画、雕刻等）转化为动态的，可以使观赏者更好地欣赏作者的思想艺术。

另外，VR提高了艺术表现能力，如一个虚拟的音乐家可以演奏各种各样的乐器，手足不便的人或远在外地的人可以在他生活的居室中去虚拟的音乐厅欣赏音乐会等等。

对艺术的潜在应用价值同样适用于教育，如在解释一些复杂的系统抽象的概念如量子物理等方面，VR是非常有力的工具，Lofin等人在1993年建立了一个“虚拟的物理实验室”，用于解释某些物理概念，如位置与速度，力量与位移等。

3.3.2 室内设计虚拟现实不仅仅是一个演示媒体，而且还是一个设计工具。

它以视觉形式反映了设计者的思想，比如装修房屋之前，你首先要做的事是对房屋的结构、外形做细致的构思，为了使之定量化，你还需设计许多图纸当然这些图纸只能内行人读懂，虚拟现实可以把这种构思变成看得见的虚拟物体和环境，使以往只能借助传统的设计模式提升到数字化的即看即所得的完美境界，大大提高了设计和规划的质量与效率。

运用虚拟现实技术，设计者可以完全按照自己的构思去构建装饰“虚拟”的房间，并可以任意变换自己在房间中的位置，去观察设计的效果，直到满意为止。