基于多通道交互技术的自然交互界面
人机交互多通道人机交互ppt课件
通过整合来自多个通道的、精确的和不 精确的输入来捕捉用户的交互意图，提 高人机交互的自然性和高效性
MMI
手
用
嘴
…
击键/指点 通
语音
道
眼神
整
…
合
户
眼
手
…
2D/3D 多媒体信息
图5－1 多通道人机界面概念模型
应用例程
多通道用户界面研究的目标
互补性可能存在一个“优势通道 （Dominant Modality）”，并需要其他通道 予以辅助，例如，用语音直指（“This city”），则需鼠标在屏幕对象上指点
指派性
指派性是指某通道是完成特定交互任务唯 一途径的情形，即某通道必须被用于实现 特定交互任务而没有其他通道可以替代
指派性可分为两种情形
多通道用户界面主要关注人机界面中用 户向计算机输入信息以及计算机对用户 意图的理解
交互的自然性
使用户尽可能多地利用已有的日常技能与计算机 交互，降低认识负荷；
交互的高效性
使人机通讯信息交换吞吐量更大、形式更丰富， 发挥人机彼此不同的认知潜力；
与传统的用户界面特别是广泛流行的 WIMP/GUI兼容
交替而独立地使用不同的通道不是真正 意义上的多通道技术，必须允许充分地 并行、协作的通道配合关系
允许非精确的交互
人类语言本身就具有高度模糊性，人类 在日常生活中习惯于并大量使用非精确 的信息交流
允许使用模糊的表达手段可以避免不必 要的认识负荷，有利于提高交互活动的 自然性和高效性
多通道人机交互技术主张以充分性代替 精确性
有关视踪原理和技术的研究 二是在使用这种交互方式后，人机界面的设计技术和原
人机交互：改善用户体验的界面设计和交互方式
人机交互：改善用户体验的界面设计和交互方式引言在当今数字化时代，人机交互（Human-Computer Interaction，简称HCI）成为了我们日常生活中无法忽视的一部分。
无论是使用智能手机、电脑还是其他智能设备，我们都需要与机器进行交互来完成各种任务。
因此，良好的界面设计和交互方式对提升用户体验至关重要。
本文将介绍人机交互的定义、重要性以及如何通过优化界面设计和交互方式改善用户体验。
什么是人机交互？人机交互是研究人与计算机之间的信息交流和互动的学科。
它关注人类和计算机之间如何有效地共享信息、完成任务以及实现信息的有意义传递。
随着技术的发展，人机交互逐渐涵盖了更多领域，如虚拟现实、增强现实和自然用户界面等。
人机交互涉及到使用者界面（User Interface，简称UI）和人机交流（User Experience，简称UX）两个层面。
UI是用户与计算机之间的界面，即用户直接操作和感知的界面。
它包括了布局、视觉设计、图标等方面。
而UX则关注用户在使用产品或系统时的整体感受和满意度。
重要性人机交互的重要性不言而喻。
良好的界面设计和交互方式可以提高用户的操作效率、降低学习成本，并且提升用户的满意度和忠诚度。
一个好的用户体验可以为企业带来竞争优势和品牌形象的提升。
界面设计和交互方式的改进1. 简化界面用户界面的简化是提高用户体验的重要一环。
繁杂的界面会给用户造成困扰和混乱，降低用户的使用效率。
因此，设计师应该尽量简化用户界面，减少冗余和复杂的功能。
通过将功能进行分类、整合和精简，使界面更加直观、简洁。
2. 易操作性界面的易操作性是提高用户体验的关键因素之一。
设计师应该关注用户习惯和心理，将常用的操作方式融入到界面设计中。
同时，提供清晰的指引和操作流程，降低用户的学习成本。
例如，通过可视化的指示和直观的按钮，帮助用户理解如何操作和完成任务。
3. 响应速度良好的响应速度是用户体验的重要指标之一。
用户希望在操作界面时能够得到即时的反馈，而不是等待漫长的加载或响应时间。
多通道用户界面
1100310120 潘飞达多通道用户界面为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体，实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径。
80年代后期以来，多通道用户界面成为人机交互技术研究的崭新领域，在国内外受到高度重视。
综合采用视线、语音、手势等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。
多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解，所要达到的目标可归纳为如下方面：1）交互的自然性：使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。
2）交互的高效性：使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。
3）与传统的用户界面特别是广泛流行的WIMP/GUI兼容。
下面将对多通道用户的特点，基本技术，未来发展和交互手段进行分点论述：一、多通道用户界面的基本特点1)使用多个感觉和效应通道2)允许非精确的交互3)三维和直接操纵4)交互的双向性5)交互的隐含性二、多通道用户界面涉及的主要技术1)多媒体使用多种表示媒体，如文本、图形、图像和声音，使人机交互技术最终要向着更接近于人的自然方式发展，使计算机具有听觉和视觉，以更自然的方式与人交互。
多媒体技术引入了动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率，使人们可以得到更直观的信息，从而简化了用户的操作，扩展了应用范围。
2)虚拟现实又称虚拟环境，虚拟现实系统向用户提供沉浸和多感觉通道体验。
在虚拟现实中，人是主动参与者，复杂系统中可能有许多参与者共同在以计算机网络系统为基础的虚拟环境中协同工作。
虚拟现实系统具有三个重要特点：沉浸感、交互性、构想性。
3)眼动跟踪与视觉有关的人机交互自始至终都离不开视线的控制。
人机交互中的自然交互技术研究
人机交互中的自然交互技术研究随着科技的发展，人机交互技术成为了现代社会中不可或缺的一部分。
人机交互技术旨在改善人与机器之间的互动方式，使得人们可以更加方便、高效、愉悦地使用各种不同的电子设备。
为了实现更为自然的人机交互方式，研究学者们不断探索和开拓新的自然交互技术。
自然交互技术指的是能够模拟人类自然交流方式的一种人机交互技术。
通常情况下，人机交互方式以手势识别、语音识别、头骨识别等为基础，通过从人体传感器中获取数据，对人类的动作、声音、姿态等进行分析，进而识别和指导人与计算机之间的互动过程。
与传统的键盘、鼠标交互方式相比，自然交互技术不仅更加方便快捷，同时也能够让人们更加愉悦地与计算机打交道。
在目前的自然交互技术研究中，手势识别技术是最为突出的一种。
手势识别技术能够利用计算机视觉技术进行实时的手势识别，从而实现对不同手势的理解和响应。
这项技术的应用十分广泛，例如在VR和AR领域中，可以通过手势识别技术实现人们与虚拟世界之间的交互。
此外，头骨识别技术也是目前研究的热点之一。
头骨识别技术使用肌电信号来识别人们的意图。
人的头骨里有一组小肌肉，他们可以被刺激来表达信号。
这种技术可以用于解锁手机、切换电视等方面，能够接受指令并执行相应的动作。
除了手势和头骨识别技术，语音识别技术也是进行自然交互研究非常重要的一种技术。
现阶段，随着语音处理技术的不断提升，语音识别的准确率也正在不断提高。
例如，在智能音箱等设备中，语音识别技术被广泛应用，使得人们可以通过说话控制音箱，从而得到相应的反馈。
在自然交互技术的研究中，也出现了一些难以克服的挑战，例如多人场景下的识别和互动，以及交互效率等问题。
为了克服这些问题，需要在技术的基础上进行深入研究和探索。
与此同时，还需要拓展应用场景，使得自然交互技术能够覆盖更多的应用领域。
总之，自然交互技术作为人机交互的重要分支之一，其研究和应用也得到了广泛的关注和推广。
在接下来的研究中，需要不断地进行技术创新和探索，以实现更为自然、高效、愉悦的人机交互方式。
自然人机交互技术中的界面设计
维普资讯
第 ３期
刘 景春 ： 自然人机 交互技 术 中的界 面设计
３７ ５
多媒体技术被认为是在智能用户界面和 自然 交互技术取得突破之前的一种过渡技术 ． 在多媒体 用户界面出现之前， 用户界面已经经过了从文本向
站， 比如家居装潢） 的感受 ． 颜色可以瞬间改变我们
根据社会心理学原理计算机和互联网的诞在当前的某些人机交互系统中无论是用户一生极大地丰富了我们在有线的位置固定的和虚个人独自操作还是多人协同工作用户都可以通过拟的获取信息和交互体验方面的资源也正是因为手势直接操纵也可以通过语音对系统发出一些命这样根据互补资源价值相关的原理心理需求上令
维普资讯
第２ ６卷 第 ３期
２０ 年 ０ 月 ０８ ５
佳 木 斯 大 学 学 报 （自 然 科 学 版 ） Ｊｕ ｌ ｆ ｉ ｕｉ ｎ ｅ ｉ Ｎ ｔｒ ｃ ｎｅＥ ｉｏ ） ｏｍａ ｏ Ｊ ｍ ｓ Ｕ ｉ ｒ ｔ ａ ａ Ｓｉ ｃ ｄｔ ｎ ａ ｖ ｓｙ（ ｕ ｌ ｅ ｉ
、 １２ ｏ． ， ．６ Ｎ ３ ｏ Ｍａ ２ ０ ｙ ０８
Ｍ ｎｇｒ， ｉｏ ｆ的 Ｗ ｄｗ 和运行于 Ｕｉ 环境 ａａ ）Ｍｃ ｓ ｔ ｅ ｒｏ ｎ ｉ ｏｓ ｎ ｘ 的 Ｘ—Ｗｉ ｗ， ｐｎｏｋ和 Ｏ ＦＭｏｆ ． ｎ ｏ ｄ Ｏ ｅＬｏ Ｓ／ ｔ等 ｉ
我们已经可 以抛弃“ 计算机 中古时代” 的键盘和 鼠 ｉ ｓ ｔ ａｅ是 当前用 户界 面的主流 ， ｃ Ｕ ｒ ｎ ｒｃ） ｓ ｅ Ｉｅ ｆ 广泛应
机交互技术研究的崭新领域 ， 国际上受到高度重 在 视［ ， ９ 例如 ， ］ 美国 Ｍ Ｉ Ｔ 媒体实验室的” 多媒体 自 然对
话” 目； 内基——梅 隆大学 （ Ｍ ） 项 卡 Ｃ Ｏ 交互系统实
移动终端人机交互技术发展趋势
移动终端人机交互技术发展趋势摘 要：㊀随着移动信息时代的到来，移动终端正从一个仅具备特定功能的终端工具升级为一个综合信息处理平台，这为移动终端提供了更加宽广的发展空间㊂移动终端的人机交互方式也从单一的字符命令形式到图形用户界面，再到智能化人机交互，历经了从人适应计算机到计算机不断适应人的发展过程㊂而在人工智能㊁大数据㊁云计算㊁ＶＲ／ＡＲ等新一代信息技术群的集中推动下，自然交互㊁移动增强现实㊁多模态融合㊁情感计算的研究与发展，必将使得移动终端的人机交互逐步走向更人性化㊁更智能化㊁更容易被用户接受的自然体验层面㊂关键词：㊀移动终端㊀自然人机交互㊀智能化一 移动革命时代与移动终端对于计算和互联网来说，今天已经是一个移动的世界㊂在Ｎｅｔｗｏｒｋｅｄ：ＴｈｅＮｅｗＳｏｃｉａｌＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ一书中，李㊃雷恩尼（ＬｅｅＲａｉｎｉｅ）和巴瑞㊃威曼（ＢａｒｒｙＷｅｌｌｍａｎ）将移动革命（ｍｏｂｉｌｅｒｅｖｏｌｕｔｉｏｎ）与互联网革命（ｉｎｔｅｒｎｅｔｒｅｖｏｌｕｔｉｏｎ）㊁社会网络革命（ｓｏｃｉａｌｎｅｔｗｏｒｋｒｅｖｏｌｕｔｉｏｎ）并列为新时期影响人类社会的三大革命，其中的移动革命指移动终端与无线网络的发展给人们的社会生活带来的巨大变化㊂移动终端，是指能提供数字化信息服务或者通过网络进行数据信息交互的消费类电子产品，是可以在移动中使用的计算机设备，包括智能手机㊁笔记本㊁平板电脑以及其他智能终端设备等㊂在４Ｇ和即将开启的５Ｇ时代，移动通信正朝着越来越宽带化的方向发展，而随着集成电路技术的飞速发展，现今的移动终端设备大多拥有了强大的计算能力，从原来的移动网络末梢迅速转变为互联网业务的关键入口，成为移动互联网时代主要的创新平台㊂在移动终端设备中，智能手机具有独立的操作系统和内存空间，除了具备基本的通话功能，还可以由用户自行安装各类型软件，如阅读㊁游戏㊁地图导航㊁购物等第三方服务商提供的程序，并通过移动通信网络接入互联网㊂另外，智能手机日益大屏化，为用户提供了足够的屏幕尺寸，为软件运行和内容服务提供了支持，手机上的应用，如新闻㊁交通㊁天气㊁商品购物㊁视听娱乐㊁支付等成为用户日常 必需品 ㊂有关统计数据显示，睡觉前每三个人中就会有两个将智能手机放在床头柜上，手机也是他们睁开眼之后查看的第一件物品，可见人们对智能手机的强烈依赖，智能手机成为人们对自身的一种新的扩展与延伸，移动终端应用俨然成为一种 贴身科技 ①，①Ｓ Ｃ 莫蒂：‘触动心灵：移动产品成功法则“，袁中菊译，电子工业出版社，２０１８㊂我们的生活正在被 移动化 ㊂中国互联网络信息中心第４１次‘中国互联网络发展状况统计报告“①表明，２０１７年我国手机网民规模高达７ ５３亿，使用手机上网的人群占比已提升至９７ ５％；手机不断挤占其他个人上网设备的使用，以手机为中心的智能设备，成为 万物互联 的基础㊂移动互联网服务场景在不断丰富㊁移动终端规模在加速增长㊁移动数据量也正在持续扩大，以手机为首的移动终端超越ＰＣ成为第一屏幕，移动终端的人机交互技术也进入快速发展阶段㊂二 人机交互技术发展人机交互（Ｈｕｍａｎ⁃ＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ，ＨＣＩ）②是一门综合学科，主要是研究人与计算机之间的信息交换，研究人类与计算机进行交互的技术㊂它与认知心理学㊁人机工程学㊁多媒体技术㊁虚拟现实技术等密切相关，涉及计算机科学㊁行为科学㊁工业设计和媒体研究等诸多学科㊂人机交互的研究内容十分广泛，涵盖建模㊁设计㊁评估等理论和方法㊂在人机交互方式上，研究人的视觉㊁听觉㊁触觉和力觉等多通道信息的融合，研究人机交互界面的表示模型与设计方法，旨在设计开发出友好的人机界面，使人机交互和人人交互一样自然与方便㊂人机交互技术作为计算机系统的一个重要组成部分，随着计算机的发展而发展，历经了从人适应计算机到计算机不断适应人的发展过程㊂此外，在当今ＰＣ互联网日趋饱和，移动互联网井喷式发展，移动终端已然成为第一屏幕的场景之下，面向移动应用的人机界面成为人机交互技术研究的一个重要内容㊂移动界面的设计方法㊁移动界面可用性与评估原则㊁移动界面导航技术以及移动界面的实现技术与开发工具，都是当前人机交互技术研究的热点之一㊂①②第４１次‘中国互联网络发展状况统计报告“，中国互联网络信息中心，ｈｔｔｐ：／／ｃｎｎｉｃ ｃｎ／ｇｙｗｍ／ｘｗｚｘ／ｒｄｘｗ／２０１８０１／ｔ２０１８０１３１＿７０１８８ ｈｔｍ㊂孟祥旭等：‘人机交互基础教程“，清华大学出版社，２０１６㊂三 移动终端人机界面人机界面是人与机器㊁环境之间沟通交流的媒介，界面设计是人机交互的重要设计对象㊂良好的界面设计便于用户操作和使用产品，从而提高用户使用产品的交互体验满意度㊂移动终端的人机界面设计遵循人机交互设计的基本规律，但由于其便携性㊁环境多变性㊁计算能力有限性以及网络带宽的限制等，又具有自己的特点㊂下面以手机界面的演化过程为例，分析移动终端人机交互的发展历程与发展趋势㊂1 字符形式的手机界面摩托罗拉是最早研发出手机的公司，也是最早进入中国市场的手机品牌㊂１９９３年摩托罗拉在中国市场推出了第一部 大哥大 Ｍｏｔｏｒｏｌａ３２００㊂当时，手机作为新生事物，技术研发还未成熟，受限于当时的技术水平，人们想要的只是一部能打电话的手机 有接收信号的天线㊁听筒㊁话筒㊁物理键盘以及单行显示的屏幕，能够实现通话和发短信功能㊂人机交互主要采用字符形式，虽具有占用资源相对较低㊁准确㊁高效的特点，但操作很不方便㊂由于市场上手机供小于需的关系，也使得手机成为稀缺的资源，人对手机的通信功能需要远远大于其他需求，因而对手机的大小㊁重量㊁美观㊁交互㊁体验等没有进一步的要求，手机生产厂商更多的是将目光放在相关功能和技术研发上，造成手机外观设计不美观，在交互上不流畅，仅能实现基本的人机交互行为，用户操作体验较差㊂2 图形用户界面的手机界面随着通信技术的发展，第二代移动通信技术实现了由模拟向数字化的转换，依托于第二代移动通信技术的２Ｇ手机的硬件新增了很多功能，屏幕尺寸增大，分辨率提高，手机功能的改进㊁性能的提高，也让手机的操作变得复杂，手机界面随之复杂起来，此时，图形界面相比字符界面更利于用户的操作和理解，成为手机界面的主流㊂这一阶段的手机界面更注重外形美观，人机交互上主要关注的是如何提供操作界面让用户能使用手机各项功能，此阶段的用户界面以满足功能实现为主要目的，按照手机的物理逻辑来组织界面，是一种功能型用户界面，用户在交互过程中更多的是适应手机，而用户体验未真正受到关注㊂随着通信技术的突破，２００８年３Ｇ网络正式开通，智能手机也得到进一步的发展，为适应３Ｇ网络而推出的３Ｇ手机将无线通信与互联网等多媒体通信结合㊂与２Ｇ相比，３Ｇ手机能高效地处理音乐㊁图像㊁视频流等多媒体形式，在手机上即可实现网页浏览㊁电话会议及网上购物等㊂３Ｇ手机界面随着功能的演进也发生了变化，为了增大屏幕的可适性，传统的物理数字键盘消失，取而代之的是触屏界面，通过手指或笔与屏幕的直接触控输入指令和信息，新的触屏交互方式极大地方便了用户快速地进行人机交互，一种新的人机交互方式就此产生㊂随着智能手机的发展和普及，人们对手机界面的需求不再局限于对界面美学形式的创新，以及覆盖所有功能节点的功能型用户界面，人机交互设计也从以物为设计对象，转变为研究用户行为逻辑㊁强调用户体验，构建行为型用户界面㊂２００７年苹果手机ｉＰｈｏｎｅ的问世就是一个跨时代的革命性产品㊂ｉＰｈｏｎｅ简洁明了的外观形式，视觉上完美又和谐，充分符合了当时人们对手机的审美标准㊂４英寸可多点触控的屏幕，分辨率可达６４０ˑ９６０ｐｘ，宽大的屏幕不仅方便用户进行操作，也利于用户上网冲浪和看视频等㊂图标设计上，采用了拟物化的设计风格，方便人们对图标的理解，在交互方式上也进行了创新，采用手势进行人机交互，画面与画面间的过渡采用动画进行转场，视觉感受流畅自然㊂此外，ｉＰｈｏｎｅ手机还加入了重力感应，使得界面不管是横还是竖都能够完美地适配自适应，操作起来也显得更加人性化，关注用户体验成为主要的手机界面设计理念，自此，以用户为中心的人机交互设计成为主流㊂3 多通道手机界面多通道交互（Ｍｕｌｔｉ⁃ＭｏｄａｌＩｎｔｅｒａｃｔｉｏｎ）是一种使用多种通道与计算机通信的人机交互方式，一般涵盖用户表达㊁执行动作或感知信息的各种感觉通道和动作通道，用户以并行的㊁非精准的方式与计算机进行交互，可使人们从传统的非自然的交互方式中解脱出来，进入自然和谐的人机交互时期㊂由于手机具备随身携带的特点，人们更迫切地需要通过多个交互渠道，如视觉㊁听觉㊁触觉等改善人机信息沟通的方式，进一步提高使用手机的流畅度㊂目前运用在手机上较为成熟的功能主要有：手势交互㊁语音交互和表情交互等㊂手势交互主要指通过人的手势来进行交互㊂手势一般包括人体各部位的运动，但通常指脸部和手的运动㊂通过手指直接在屏幕上点摁来设置手机主屏壁纸；抑或在手机屏幕上通过滑动来解锁手机等㊂手势所含的信息量非常丰富，运用手势能进行很多高效的交互，因为它不仅能够实现快速的通信，而且也能够迅速地传输大量的信息，目前手势交互广泛地运用在手机的人机交互上㊂语音交互技术是在用户语音输入后，手机对语音信息加以识别，获取语义以达到人机交互沟通的一个重要方法㊂如ｉＰｈｏｎｅ手机的Ｓｉｒｉ，只要按ｈｏｍｅ键两秒就可以和手机进行语音交流，手机可直接按用户要求进行操作，代替了过去必须通过手指与屏幕的接触来进行沟通的方式，提升了人机交互的流畅度㊂表情交互技术是通过识别人的面部表情进行交互的方式㊂如手机支付宝应用可通过对面部表情的识别进行付款，ｉＰｈｏｎｅＸ使用３Ｄ面部识别（ＦａｃｅＩＤ）传感器解锁手机㊂多通道交互技术成为近年来迅速发展的一种人机交互技术，目前，多通道用户界面综合采用语音㊁手势㊁视线等多个交互通道，便于用户以自然㊁并行㊁协作的方式进行人机对话，但目前各个通道的信息识别和处理大多还是分离的，只有通过将多个通道的㊁精确的和非精确的输入进行有效整合，获取用户的真实意图，以此提高人机交互的自然性，人机交互界面才能真正实现智能化㊂四 移动终端人机交互发展趋势1 自然人机交互自然人机交互，是指在人与计算机交互时，用户仅使用已有的认知习惯及熟悉的行为方式与计算机进行交互，是以一种非精确的自然行为与计算机进行交互的过程㊂比尔㊃盖茨于２００８年提出了 自然用户界面 （ＮａｔｕｒａｌＵｓｅｒＩｎｔｅｒｆａｃｅ，ＮＵＩ）的概念㊂现今移动终端的人机界面主要采用图形用户界面（ＧＵＩ），这种用户界面使用键盘或鼠标输入用户指令，用户需要先学习软件开发者已设置好的操作方法，在操作过程中依照预设的操作流程完成交互过程，这对于用户来说，具有一定的学习成本，是一种非自然的人机交互㊂而ＮＵＩ则允许人们使用最自然的交流方式，如通过自然语言㊁手势动作，视线等与机器互动，传统的键盘与鼠标输入将被更为自然的触摸式㊁视觉型以及语音控制界面所代替，人机交互呈现出更加自由的互动模式㊂移动终端因其便携性及移动性，使得用户可以用最简单方便的交互手段去操作，如用手去触摸，用视觉㊁听觉等多种感官进行交互和反馈，以此改进用户体验㊂移动终端的自然交互也成为一个必然的发展方向㊂自然人机交互的目标是摆脱鼠标和键盘的束缚，允许用户综合运用自身的各种感官和已有的生活经验进行操作，最大程度地降低用户的学习成本和负担㊂一方面要求系统能提供可支持语言㊁手势㊁动作㊁表情等多种感觉通道的输入方式，输出上能支持听觉㊁视觉㊁触觉甚至嗅觉等多感官界面表现方式㊂另一方面也要求计算机不再只是一个接收指令㊁执行指令的 笨 系统，而是一个具备学习能力和认知能力甚至是有情感的智能机器人㊂就未来发展趋势而言，自然交互界面将朝着多感官㊁多通道㊁多维度㊁智能化的交互模式方向发展㊂目前，最常见的自然交互技术包括多点触控技术㊁手势识别技术㊁表情识别技术㊁语音交互技术及眼动跟踪技术等㊂随着自然交互技术的进步，自然用户界面已逐步形成㊂然而，自然用户界面在使用的过程中也存在一些可用性问题㊂一是使用场景有限㊂当处在需要精确输入的场景时，自然交互存在明显的不足㊂二是缺乏功能可见性㊂由于操作的非精确性，细节把握能力差，手势交互时，用户往往只能记住几种较常用的手势交互动作；当交互动作层次较深时，用户则不易掌握㊂三是认知的差异性㊂在不同文化背景下往往会因手势所隐喻的交互内容不同而造成认知的偏差㊂这些可用性问题反过来会增加用户的学习成本，使自然交互变得 不自然 ㊂由此可见，自然交互技术应用于计算机与人的交互过程中，也未必是最自然的交互方式㊂从另一层含义上讲，自然交互必须注重用户体验，以用户为中心，综合研究用户心理㊁用户习惯㊁用户类型及使用场景等，设计出用户体验最佳的交互方式，使用户通过其习惯的方式最自然地与计算机交互，真正做到 隐形 的用户界面㊂最好的交互是自然的，最好的界面是没有界面㊂①一个理想的自然人机交互应当能让用户的注意力完全集中在所要进行的操作上而忘记人机界面本身的存在，自然的人机交互将从有形的界面向无形的界面发展㊂移动终端的人机交互必将逐步走向更人性化㊁更智能化㊁更容易被用户接受的自然体验层面㊂2 移动增强现实技术在虚拟现实（ＶｉｒｔｕａｌＲｅａｌｉｔｙ，ＶＲ）的基础上发展起来的增强现实（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ，ＡＲ）是近年来为用户所认可的高新技术㊂②与虚拟现实不同，增强现实更强调 虚实结合 ，它将现实世界的真实环境和计算机生成的虚拟环境实时地融合在一起，从而给用户在听觉㊁视觉㊁触觉等方面带来相对逼真的综合感受，实现人与环境的自然交融㊂随着移动终端设备的飞速发展，以高性能的智能手机㊁穿戴式设备（智能眼镜等）等为代表的产品为增强现实在移动端的现实应用提供了载体㊂如可将ＡＲ系统整合到一部手机上，摄像头负责采集图像，处理单元对其进行分析和重构，实现坐标系的对齐并进行虚拟场景的融合计算，处理后的图像就会显示在手机屏幕上，从而达到增强现实的效果㊂相对于依赖笨重头盔的ＶＲ，ＡＲ更加便捷灵活，可与智能手机完美融合，更适合目前智能手机的形态㊂用户不需要单独购买ＡＲ设①②ＧｏｌｄｅｎＫｒｉｓｈｎａ：‘无界面交互：潜移默化的ＵＸ设计方略“，杨名译，人民邮电出版社，２０１７㊂王剑：‘增强现实眼控交互技术的研究及应用“，西北工业大学硕士学位论文，２０１５㊂备，仅通过智能手机就能获得ＡＲ所带来的优质体验㊂苹果公司于２００９年９月首次在ｉＯＳ版本中实现对增强现实技术的支持㊂随后，高通等芯片厂商也加大了对移动增强现实技术的硬件支持㊂在ＷＷＤＣ２０１７大会上，苹果宣布在ｉＯＳ１１中配备了全新的增强现实组件ＡＲＫｉｔ，目前通过ｉＰｈｏｎｅ的ＡＲ功能仅用单个摄像头就可以测量距离，而且数据相当精确㊂谷歌的ＰｒｏｊｅｃｔＴａｎｇｏ也是一个针对智能手机的增强现实项目㊂通过手机摄像头㊁传感器和芯片，能实时对用户周围的环境进行３Ｄ建模，通过手机屏幕，将虚拟物品呈现在真实环境中㊂华硕智能手机ＺｅｎＦｏｎｅＡＲ就搭载了对Ｔａｎｇｏ进行了技术优化的高通骁龙８２１移动平台，拥有专门为增强现实而设计的三重镜头系统，包含了能够追踪用户动态的追踪镜头㊁测量自身周围环境的深度感应镜头，再加上捕捉现实环境的２３００万像素主摄像头，能够精准地记录㊁绘制三维空间信息，让虚拟和现实完美结合㊂ＡＲ向用户提供了全新的交互方式，实现更有沉浸感的交互体验㊂集成ＡＲ功能也将会促进手机硬件的进一步发展，如ＩＭＵ惯性测量单元等传感器将成为标配，双摄像头的作用不只有虚化，还能进行环境识别和深度感知㊂ＡＲ手机并不需要在硬件设计上有太大的改变，却能实现更好玩的ＡＲ体验㊂面向增强现实的人机交互具有虚实叠加性㊁三维性㊁交互实时性的特点，面向ＡＲ的人机交互方式也成为一个研究热点㊂ＡＲ／ＶＲ交互方式包括动作捕捉㊁触觉反馈㊁眼球追踪㊁肌电模拟等，其中将眼控交互技术的研究引入增强现实，用户只通过眼睛和界面产生交互，利用图像处理技术，使用能跟踪拍摄人眼睛的摄像机，通过摄入红外线光源，拍摄人的眼角膜和晶状体表面产生的普金野象变化，从而记录人在处理视觉信息时的眼动轨迹㊂①计算机通过眼动记录准确理解用户的真实意图，用户通过视线操作，来替代鼠标和键盘的输入，这种交互方式也尤其适合移动终端ＡＲ的人机交互，达到了增强①王剑：‘增强现实眼控交互技术的研究及应用“，西北工业大学硕士学位论文，２０１５㊂现实的最高境界，即 所见即所想，所想即所能 ㊂3 移动人工智能与多模态交互在大数据㊁移动互联网㊁云计算等新一代信息技术群的推动下，人工智能迎来了第三次发展浪潮，呈现出深度学习㊁跨界融合㊁人机协同㊁群智开放㊁自主操控等新特征，这将深刻改变人类的社会生活㊁改变世界㊂未来５ １０年，人工智能可能会像水和电一样成为我们生活的必需品㊂①在 万物互联 和人工智能快速发展的当今，人工智能和移动终端的结合，使得移动终端成为重要的创新平台，将为我们带来更加便捷和智能化的移动生活服务㊂人机交互界面的智能化，需要将多种感官信息进行融合，即多模态融合㊂如看到某张图片生成文字或看到文字生成图片和视频，智能体需完成在视觉和语义之间的模态转换，可见多模态人机交互实际上是人与人之间自然交互的模拟，它将人与人之间的交互方式移植到人与计算机的交互中，旨在促进自然便捷的人机交互，减少人机隔阂，营造和谐的人机环境㊂多模态用户界面是采用视线追踪㊁语音识别㊁手势输入等新技术，用户运用多个感觉通道以自然㊁并行和协作的方式进行人机交互的界面㊂系统通过融合多通道精确和非精确信息，快速捕捉用户的意图，这依赖于 多模态深度学习 技术，让智能体本身能够理解多模态信号，从算法本身就需要容纳听觉㊁视觉㊁传感信号进行统一思考，让机器进行多模态协同学习，真正地 聪明 起来㊂如阿里巴巴语音团队提出的多模态智能语音交互技术的解决方案中，通过唇读识别机器视角内人的嘴部动作以识别说话人，并判断说话人与机器的距离以及确定拾音角度，将计算机视觉技术融合到语音识别技术中，解决了嘈杂环境下的远讲降噪问题㊂目前人工智能在感知层有较大的突破，比较成熟的技术是对话式人工智能，人可以运用自然语言控制软件的运行，人和计算机能够直接对话，这是现阶段最现实的一种人工智能应用，包括苹果Ｓｉｒｉ㊁微软①刘庆峰：‘人工智能＋未来已来“，ｈｔｔｐ：／／ｗｗｗ ｓｏｈｕ ｃｏｍ／ａ／１１９８８０７６５＿４８１６４６㊂Ｃｏｒｔａｎａ㊁谷歌ＧｏｏｇｌｅＡｓｓｉｓｔａｎｔ㊁亚马逊Ａｌｅｘａ㊁三星Ｂｉｘｂｙ等在内的多款智能语音助手都在探索这种对话式的人工智能应用㊂智能语音交互作为人工智能发展的核心方向之一，在 万物互联 时代，极有可能成为下一代核心交互模式㊂基于人工智能技术的移动终端，如未来的智慧手机在某种意义上也是一个机器人，具有视觉㊁听觉㊁嗅觉㊁味觉等各种传感器，手机上的移动应用除了拥有感知智能外，还可以通过网络连接云端大脑，拥有认知智能㊂目前有很多利用人工智能技术的移动应用，如语音助手㊁人脸支付㊁名片识别㊁实时翻译等㊂①然而，人工智能在移动终端的应用仍存在计算能力不足的问题㊂人工智能的算法实现需要系统具有较强的计算能力，造成芯片成本过高㊁体积和重量较大，目前仅依靠移动端来实现人工智能应用有较大的难度，这使得人工智能在移动终端的表现力大大降低㊂当前大部分移动人工智能的解决方案是依靠云计算来实现的，但是在需要高度实时响应的应用场景中，移动终端的计算却必不可少，除此之外，安全性㊁隐私性也都是需要利用终端计算的优势，随着移动端ＡＩ芯片升级和算法的优化，人工智能有待将一部分计算处理功能从云端迁移到移动终端，这也是未来移动人工智能的一大趋势㊂4 情感计算被赋予了多种智能的计算机，目前仍然无法理解和适应人的情绪或心境，缺乏人类情绪识别功能，也无法表达情感㊂很难指望计算机拥有类似人一样的智慧，也很难期望人机交互能够真正和谐与自然㊂１９９７年ＭＩＴ媒体实验室Ｐｉｃａｒｄ教授提出了情感计算的概念，她指出， 情感计算是与情感相关，来源于情感或能够对情感施加影响的计算㊂情感计算包括情感识别㊁情感表示㊁情感建模㊁情感交互等四个方面 ㊂②情感计算就是要赋予计算机类似于人的观察㊁理解和生成各种情感的能力，最终①②刘升平：‘移动端人工智能最看好会话交互应用“，ｈｔｔｐ：／／ｇｅｅｋ ｃｓｄｎ ｎｅｔ／ｎｅｗｓ／ｄｅｔａｉｌ／９９４９７㊂ＲｏｓａｌｉｎｄＷ Ｐｉｃａｒｄ，ＡｆｆｅｃｔｉｖｅＣｏｍｐｕｔｉｎｇ，Ｃａｍｂｒｉｄｇｅ：ＴｈｅＭＩＴＰｒｅｓｓ，１９９７．使人机交互与人人交互一样自然㊂情感计算是一个高度综合化的研究领域㊂通过计算科学与心理科学㊁认知科学的结合，将情感计算用于人机交互过程，通过研究人与人交互和人与计算机交互时的情绪特点，设计出具有情感反馈的人机交互环境，使得人机交互不仅具有高的感知和认知智力，同时具备高的情绪智力，让计算机也具有高情商，从而有效地解决人机交互中的情境感知㊁情绪理解与情感表达问题，并做出合乎情理的应对㊂当前，情感计算仍处于起步阶段，研究热点及成果大多体现在情感识别层面㊂众所周知，人类的情感非常复杂㊂情感信息还受到环境㊁生理㊁心理㊁文化背景㊁语境㊁语义等因素的影响㊂情感特征的准确提取是情感识别中的难点之一㊂人类在面对面交流时，情感性的信息往往是从语音语调㊁面部表情㊁肢体动作等维度表达出来的，在人机交互过程中，情感特征识别也需要从多个维度来计算，如通过文本情感分析㊁面部表情识别㊁语音情感识别㊁姿态识别，甚至通过生理模式识别，如皮肤电反应㊁呼吸㊁心率㊁体温㊁脑电波等多模态的角度进行情感信息融合，结合当时所处情境的上下文信息，准确地识别并理解人的情感㊂基于情感计算的人机交互如图１所示㊂图１ 基于情感计算的人机交互示意。
多通道用户界面的发展
• 通过不同通道（包括视觉、听觉、触觉、动觉、言语、手势、表情、眼动或神 经输入等）与计算机系统进行通信的用户界面，称为多通道用户界面 （multimodal user interface）。
多通道用户界面的发展
• 目前，占据统治地位的GUI/WIMP（window、icon、menu、 pointing device）界面的技术特点和优势是不容置疑的。然而， 它也有一定的局限性。比如，输入/输出不平衡，用户的输入带 宽远远低于输出带宽，用户输入所在的意义层次也很低；文本 输入和直接操纵这两种交互都要由手来进行，使得手在鼠标和 键盘之间切换频繁；屏幕空间资源本来十分宝贵，却大量被界 面构件而非应用工作区所占据；输入/输出方式单一，不能充分 利用用户的认知资源。一些通道负荷很重，如视觉，而另一些 通道几乎完全没有被利用，如听觉和触觉。
多通道用户界面的发展
• 19世纪80年代后期以来，多通道用户界面成为人机交互技术研究的崭新领域， 在欧美受到高度的重视。很多研究领域不一定使用“多通道”这样的名称，却与 多通道研究关系紧密而不可分割，特别是多媒体、虚拟现实、模式识别（语音 识别、手写识别、手势识别、表情识别及相应的合成技术）、自然语言处理/ 计算语言学、交互设备等。
多通道用户界面的发展
• 传统交互方式难以满足计算机领域的扩展，特别是虚拟现实、三维CAD与多 媒体等方面的发展对交互提出的新需求。一些过去在特殊场合才会有的需求， 如语音和声音的输入/输出，正在变成十分普遍而正常的需求。
• 人机界面设计最重要和最根本的动力则来自计算机走向普通用户、走进日常生 活的大趋势。计算机技术和产业发展的这种趋势，在很大程度上决定了界面发 展的趋势。随着计算机进入千家万户，对自然交互方式的呼声也日益高涨。
人机交互复习(20151013)(答案)
一、填空题（20分）1.人机交互技术主要是研究人与计算机之间的信息交换。
2.按照触摸屏的工作原理和传输信息的介质的不同，可以把触摸屏分为四种：电阻式、电容感应式、红外线式以及表面声波式。
3.数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的记录格式能使数字墨水文件很小，从而可以更有效地进行存储。
4.人机交互是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科。
5.有关研究表明，人类从周围世界获取的信息约有80%是通过视觉得到的。
6.RGB颜色模型通常用于彩色阴极射线管等彩色光栅图形显示设备中。
7.为了实现交互功能，必须有效地管理、控制多种输入设备进行工作。
目前，对输入过程的处理要常用的三种基本模式为：请求模式、采样模式及事件模式。
8.目前，手写板主要有三类：电阻式感应手写板、电磁式感应手写板和电容式触控手写板。
9.橡皮筋技术是拖动形式的图形交互技术，被拖动对象的形状和位置随着光标位置的不同而变化。
10.计算机语音识别过程与人的处理过程基本上是一致的。
一个完整的语音识别系统大致可分为语音特征提取、声学模型与模式匹配、语言模型与语义理解三部分。
11.命令行可以看作第一代人机界面。
在这种界面中，计算机的使用者被看成操作员，计算机对输入信息一般只做出被动的反应。
12.立体影像生成技术主要有两种：主动式立体模式和被动式立体模式。
二、单项选择题（10分）三、是非题（10分）四、名词解释（20分）1. 产生式规则产生式规则是一种形式化语言，这些规则可用于描述人机交互界面。
产生式规则的一般形式是：if condition then action，这些规则也可以表示为不同的形式，如condition→action；condition：action。
2. GOMS模型GOMS模型是关于用户在与系统交互时使用的知识和认知过程的模型。
G代表Goals（目标）、O代表Operations（操作）、M代表Methods（方法）、S代表Selection rules（选择规则）。
人机交互复习题-6
人机交互作业题一、名词解释二、+1、人机交互：是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学。
2、人机界面：作为计算机系统的重要组成部分，主要是指人类与计算机系统之间的通信方式，包括人-机双向信息交换的支持软件和硬件。
3、人机交互设计：指的是“设计支持人们日常工作与生活的交互产品”，具体地讲就是关于创建新的用户体验的问题，其目的是增强和扩充人们工作、通信及交互的方式。
4、人机系统：由人和机器组成，通过人机之间的相互作用以实现特定功能的系统。
它包括人、机、人机之间以及人机系统所处的环境。
5、认知心理学：研究人的高级心理过程，主要是认识过程，如注意、知觉、表象、记忆、思维和语言等，从心理学的观点研究人机交互的原理。
6、人机工程学：人机工程学是运用生理学、心理学和医学等有关知识，研究人、机器、环境相互间的合理关系，以保证人们安全、健康、舒适地工作，从而提高整个系统工效的新兴边缘科学。
7、多媒体技术：多媒体技术是指将正文、声音、图形、静止图像、动态图像等与计算集成在一起的技术。
& 虚拟现实技术：虚拟现实(Virtual Reality , VR)就是借助于计算机技术及硬件设备，建立高度真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。
9、桌面隐喻：是指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力。
图形具有一定的文化和语言独立性，可以提高搜索目标的效率。
图形用户界面中的图例可以代表对象、动作、属性或其他概念。
10、图形用户界面：图形用户界面又称为WIMP界面，由窗口(windows)、图标(icons)、菜单m)、指点设备(pointingdevice)四位一体，形成桌面(desktop)11、多通道用户界面：多通道人机界面主要解决科学计算可视化、虚拟现实对计算机系统提出的高效、三维和非精确的人机交互要求。
人机交互综述
人机交互综述计算机软件和理论专业石玉珠摘要：人机交互是一门综合学科,它的发展需要计算机硬件,软件,网络,认知心理学,人类工效学等多学科共同努力。
所以在将来相当长的一段时间内，人机交互将呈现出多样化的特点，桌面和非桌面界面,可见和不可见界面将同时共存。
以WIMP 为代表的图形用户界面将继续使用和发展,而网络和计算将进入家庭和生活,人们可用多种简单的自然方式进行人机交互。
以不可见,可移动为特征的无所不在计算和以三维,沉浸为特征的虚拟现实环境,将是人机交互面临的重大挑战和研究目标。
关键词：人机交互/界面技术一、人机交互的定义和内涵人机交互是关于设计、评价和实现人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学。
狭义的讲，人机交互技术主要是研究人与计算机之间的信息交互，主要包括人到计算机和计算机到人的信息交换两部分。
对于前者，人们可以借助键盘、鼠标、数据手套、压力笔等装备，用手、脚、声音、姿势或者视线向计算机传递信息；对于后者，计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等输出或显示设备给人提供信息。
它涉及计算机科学、心理学、认知科学和社会科学以及人类学等诸多学科，是信息技术的重要组成部分。
人机界面做为计算机系统的重要组成部分，主要是指人类与计算机系统之间的通信方式，包括人-机双向信息交互的支持软件和硬件。
二、人机交互的发展历史及现状作为计算机系统的一个重要组成部分，人机交互一直随着计算机的发展而发展。
人机交互的发展过程，也是人适应计算机到计算机适应人的发展过程。
他经历了如下几个阶段：（一）语言命令交互阶段计算机语言经历了由最初的机器语言、汇编语言，直到高级语言的发展过程。
这个过程也可以看作是人机交互的早期发展过程。
早期的人机交互是通过命令语言进行的，人机之间通过语言的输入输出功能完成交互。
最初，人机交互的方式是采用手工操作输入机器语言命令控制计算机，这种形式很不符合人的习惯，既浪费时间，又容易出错。
交互式动画生产技术要求吉林省地方标准2020版
交互式动画生产技术要求DB22/T 3117—2020交互式动画生产技术要求1 范围本标准规定了交互式动画生产技术的三维数字动画技术要求、动作捕捉、自然人机交互、碰撞检测、事件触发、音频制作、动作和画面输出。
本标准适用于交互式动画电影生产。
2 规范性引用文件下列文件对于本文件的应用是必不可少的。
凡是注日期的引用文件，仅所注日期的版本适用于本文件。
凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
DB22/T 2224 三维数字动画生产技术要求3 术语和定义下列术语和定义适用于本文件。
3.1交互式动画 interactive animation支持事件响应的一种动画形式。
3.2自然交互 natural interaction通过声音、手势、表情、动作等形式，完成人与计算机之间的信息交换。
3.3通道 channel操作者表达操作意图和获取反馈信息的通信信道，常见通道与采用的自然交互形式相关。
3.4多通道交互 multimodal interaction也称多模式交互，能够以两种及以上的模式或交流通道与计算机系统进行信息通信，是一种“以人为中心”的人机交互技术。
3.5交互行为识别 interaction behavior recognition通过分析人体复杂行为，利用特定的算法，对人的行为进行识别、分析，并且可触发一系列反馈动作。
3.6多通道融合 multichannel fusion将来自不同通道的信息整合，强调对操作者行为的融合分析，对操作者交互意图进行解释。
1DB22/T 3117—20204 三维数字动画技术要求模型、材质、特效应符合 DB22/T 2224 的要求。
5 动作捕捉5.1 设备连接设备连接正确。
5.2 扫场5.2.1 方向应为 x、y、z 三轴全空间。
5.2.2 区域应为运动捕捉有效区域。
5.2.3 速度应为模特日常运动速度。
5.2.4 过程中应同步校准。
5.3 水平定位正式采集前应使用校准工具水平校准。
多通道交互技术
多通道交互技术
• 融合（Fusion）与分流（Fission）对应输入与输出两个方向，融合就是指在 多个层次（词素的、词法的、语法的、语义的、语用的、会话的）上对来自不 同通道、具有不同表示的信息合一化处理，其目的是正确地获取用户输入，特 别是正确地解释用户输入。而分流则是指在多个层次上对需要传达给用户的特 定信息向不同输出通道、信道表示和表现所进行的转换。
特征参数模式的比较和匹配的过程。提取特征参数后，应对系统进行训练和聚 类。 （3）后处理 • 包括自动分词、词类分析、词义分析、词用分析、语法分析、句法分析、同音 词判别等。
多通道交互技术
1.6自然语言理解 • 计算机理解自然语言的核心任务是将自然语言的语句转化成机器内部的某种表
示形式。这种内部表示形式应能完整地体现句子的语法、句法和语义信息，然 后在这种内部表示形式上进行信息加工、问题求解和向另一种自然语言过渡 （机器翻译）。目前自然语言理解的方法有： 1．关键字匹配法 2．转换网络和扩充转换网络 3．图分析法 4．格文法 5．广义短语结构文法 6．基于神经网络的理解
多通道交互技术
1.3三维交互 • 三维空间交互技术包括三维显示技术和三维操纵技术。前者
是利用人两眼的视差，在三维显示设备（如立体眼镜或头盔 式显示器）上呈现立体图像的技术。后者是利用三维交互设 备（如三维鼠标、数据手套、跟踪球、三维操纵杆）在三维 空间中与计算机进行交互。三维空间控制设备至少能控制六 个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、 转动角和偏转角。通过控制这六个参数，用户可以在屏幕上 或沿三个坐标轴转动三维对象，目前，实现三维交互的方法 有： （1）直接操纵，利用三维空间控制设备直接操纵三维对象。 （2）三维楔子（Widgets）,这是三维界面中的一些小工具，用 户可以使用它们在二维空间中控制三维空间中的物体。
浅谈手机操作系统未来发展方向
浅谈手机操作系统未来发展方向孙月鹏2011210876随着智能手机以及移动互联网的发展，智能手机已经成为人们娱乐、学习、工作、生活中必不可少的重要组成部分。
作为智能手机生态系统中的重要组成部分，智能手机操作系统从某种程度上已经代替了人们对于硬件性能的关注，一个操作系统的好坏直接决定着一款手机是否能受到用户的欢迎。
塞班的死去，安卓的崛起，IOS的岿然不动，winphone的虎视眈眈，再加上黑莓、火狐等等还有一系列基于安卓开发的操作系统，操作系统的竞争越发激烈。
那么未来的操作系统究竟是怎样的？将采用怎样的人机交互方式？将提供什么功能与服务？本文将就手机操作系统的未来发展提出几点看法。
一、手机操作系统界面的发展随着各种人机交互技术的不断发展和成熟，未来的手机界面也将不断改变，其中最核心的就是会更符合人类的生理与心理特点，提供基于最新人机交互技术的更便捷的操作方式。
未来的手机操作系统界面可能会有以下几个方面的特点：1、与人机交互的方式联系的更紧密触控技术的成熟，让手机界面从过去的样子变成现在大图标、多屏幕的主流特点，那么未来主流人机交互技术的发展必将再一次改变人们对界面的认识。
比如现在的手机界面就与计算机的菜单界面有所不同，而语音识别的时代，就应该有更符合其特点的手机操作系统界面出现。
2、自适应的人机界面随着技术的进一步发展，未来的手机将可以判断用户使用它的各种场景，并针对场景进行自然的反馈。
手机将能根据各种传感器采集用户周围的位置、亮度、湿度等信息，从而精确的判断所处的环境，然后针对当前的环境信息，进行自动的情景适应；在通过对各种情景的判断，提出适当的用户想要的服务，满足用户的需求。
未来的很多交互都是有手机自动发起，但又是用户正需要做这些操作。
即将许多用户的操作交由智能机自动完成，使操作更加简便。
3、自然的人机界面未来的手机界面将不再局限于现在的设备屏幕中，无处不在的计算概念将会引发界面的新革命。
界面的高级形式将是用户在完成任务的过程中，只是体验到完成任务的美好感觉，而不需要感知到界面的存在，界面只是一个完成任务的载体。
人机交互考题
⼈机交互考题⼈机交互复习题(念尽天涯)题型：名词解释：8/5分填空：10/1分简答：3/10分论述：2/10 分1、⼈机交互⼈机交互（Human-Computer Interaction，HCI）是关于设计、评价和实现供⼈们使⽤的交互式计算机系统，且围绕这些⽅⾯主要现象进⾏研究的科学（ACM SIGCHI，1992，第6页）。
狭义的讲，⼈机交互技术主要是研究⼈与计算机之间的信息交换，它主要包括⼈到计算机和计算机到⼈的信息交换两部分。
对于前者，⼈们可以借助键盘、⿏标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据⼿套、压⼒笔等设备，⽤⼿、脚、声⾳、姿势或⾝体的动作、眼睛甚⾄脑电波等向计算机传递信息；对于后者，计算机通过打印机、绘图仪、显⽰器、头盔式显⽰器（HMD）、⾳箱等输出或显⽰设备给⼈提供信息。
2、认知⼼理学认知⼼理学（Cognitive Psychology）是20世纪50年代中期在西⽅兴起的⼀种⼼理学思潮，在20世纪70年代成为西⽅⼼理学的⼀个主要研究⽅向。
它研究⼈的⾼级⼼理过程，主要是认识过程，如注意、知觉、表象、记忆、思维和语⾔等，从⼼理学的观点研究⼈机交互的原理。
该领域研究包括如何通过视觉、听觉等接受和理解来⾃周围环境的信息的感知过程，以及通过⼈脑进⾏记忆、思维、推理、学习和解决问题等⼈的⼼理活动的认识过程。
其中⼈脑的认知模型——神经元⽹络及其模型，已经成为新⼀代计算机、⼈⼯智能等领域中最热门的研究课题之⼀。
认知⼼理学在⼈机界⾯设计⽅⾯具有⾮常重要作⽤，是⼈机交互技术的重要理论基础。
认知⼼理学研究⼈们如何获得外部世界信息，信息在⼈脑内如何表⽰并转化为知识，知识怎样存储⼜如何⽤来指导⼈们的注意和⾏为认知⼼理学涉及⼼理活动的全部过程——从感觉到知觉、识别、注意、学习、记忆、概念的形成、思维、表象、回忆、语⾔、情绪和发展过程。
3、⼈机⼯程学⼈机⼯程学是运⽤⽣理学、⼼理学和医学等有关知识，研究⼈、机器、环境相互间的合理关系，以保证⼈们安全、健康、舒适地⼯作，从⽽提⾼整个系统⼯效的新兴边缘科学。
多通道用户界面交讲解
多通道用户界面交互技术
人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入
人机交互发展史
1969年在英国剑桥大学召开了第一次人机系统 国际大会，同年第一份专业杂志国际人机研究 （IJMMS）创刊。可以说，1969年是人机界面 学发展史的里程碑。
从视线跟踪装置得到的原始数据需要经过进一步的处 理才能用于人机交互。
数据处理的目的是滤除噪声、识别定位及局部校准与 补偿等，最重要的是提取出用于人机交互所必需的眼 睛定位坐标。
但是由于眼动存在固有的抖动，以及眼睛眨动、头部 剧烈的移动所造成的数据中断，存在许多干扰信号， 提取有意眼动数据非常困难。解决此问题的办法之一 是利用眼动的某种先验模型加以弥补。
分块的依据主要是语法约束和时间接近性
模型以格(lattice)这种代数结构为基础
来自多个通道的输入在时间上的关系是一种偏序关系 为了支持多通道整合，需要由各个通道输入处理程序给每个
输入事件加上时间戳，这种时间戳应该尽可能接近用户相应 动作发生的时间
多通道用户界面交互技术
人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入
指派性
指派性是指某通道是完成特定交互任务唯一途 径的情形，即某通道必须被用于实现特定交互 任务而没有其他通道可以替代
指派性可分为两种情形
一种是不存在其他选择，称为严格的指派性（Strict Assignment）
另一种是虽然存在选择，但用户或系统总是倾向于 使用同一种通道，称为代理指派性（Agent Assignment）
三维交互操作更自然和方便； 三维光标必须有深度感，即必须考虑光标与观
基于MEMS技术的多通道人机界面设计研究
基础 ，机械 基础 构 件 如 电机 、齿 轮 、 轴 承 和 弹 簧 开 始微 细 化 ，并开 始 采 用
半导体 技术 将其在硅 芯片上集成 ，这
种 把 电子和 集成 机 械 相 结 合 的产 品 ，
被 称 作 微 机 电 系 统 （ ｃｏ Ｅｅ ｔ — Ｍｉｒ— ｌｃｒ ｏ Ｍｅ ｈ ｎ ａ Ｓ ｓｅ ） 也 称 微 型 机 ｃ ａ ｉ ｌ ｙ ｔｍｓ， ｃ 械 （ ｃｏ ｃ ｉｅ， 简 称 ＭＥ 。 Ｍｉ ｍａ ｈｎ ） ｒ ＭＳ ＭＥ ＭＳ是 感 知 、 算和 执 行 的 融合 ， 计 也 是 一 种 先进 的 制造 技 术 。从 根 本 上
人 对 机器 的 操作 和 机器 对 人 操 作
３ 基 于 ＭＥ ． ＭＳ 技 术 的 多 通 道 人 机 界 面概 念设 计
多 通 道 人 机 界 面 （ Ｍ１ Ｍ ）是 基
的运 行 及 结 果 的 反馈 都 是通 过 界面 来 集 成 化 、 批量 化 等诸 多特 点 使 得 在 将 实 现 的。 人 机 交 互 界 面 作 为 人 一 机 来 有十 分 广泛 的应 用 前 景 。 系统 中 十 分 重 要 的组 成 部 分 ，其 作 用 源自四燃 四
构 成 的 ，即人 的器 官 、信 息 表 示 、机 器 交互 设 备和 机 器 信 息表 示 。 多通 道
用户界面主要 关注人机界面 中用户 向
计 算 机 输 入 信 息 以及 计 算 机 对 用 户 意 图理 解 的 问题 ，达 到 交 互 的 自然 性 和
交 互 的 高 效 性 。 而 ＭＥ ＭＳ技 术 在 多
不 仅 在 对 人机 交 互信 息进 行 提 示 ，人
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
PIP：基于多通道交互技术的自然交互界面∗王亮1,2 张博2 张凤军2 戴国忠21（中国科学技术大学计算机科学技术系 安徽 合肥 230027）2 (中国科学院软件研究所人机交互技术与智能信息处理实验室 北京 100080)摘 要本文描述了一种新的虚拟现实交互范例，引入日常的纸笔操作到虚拟三维场景中，构建了一个基于双手交互的个人交互面板（Personal Interaction Panel，PIP）。
在设计中，融合跟踪器的三维空间信息输入、语音输入、笔画输入实现自然直接的多通道交互。
以城市规划为应用背景，研究通用交互技术来展现个人交互面板的在虚拟现实环境中的普遍适应性，包括使用跟踪器的导航漫游，基于语音、笔手势命令的系统控制，采用光线投射、3D器件的对象选择和操作等。
关键词 虚拟现实、多通道、双手交互、笔手势、光线投射、3D器件。
1. 引言多通道交互是人们日常交流的一个主要部分，说话、移动、作手势、转移视线等常常出现在一个有效的交流过程中。
多通道用户界面（Multimodal User Interface，MMI）将这些日常行为引入到人机交互（HCI）中，它允许用户通过各种不同的感知通道来和计算机交互，与传统的图形界面相比，具备潜在的自然性、高效性和以用户为中心的特点[1]。
多通道交互具有降低耦合度、减少错误和修正、灵活性和行为补充、减少认知负荷实现智力资源控制的优点[2]，成为近年来多领域研究与应用的热点。
其中基于笔和语音的多通道界面是目前应用最广泛、面向广大普通用户的主流应用界面[3][4]。
鼠标和键盘在技术发展的道路上已经达到了高度的专业化，要扩充它们在3D中的应用变得相当困难。
而很多3D设备仍然有明显的不足，高精度的设备很多时候庞大而且是针对专门应用的，并不支持通用的交互技术。
6自由度的鼠标、数据手套、服饰等扩展了交互的输入方式，它们通过扑捉许多位置和方向数据来增加几乎无限制的三维运动，而这导致了低效率的交互带宽和复杂姿势语言的隐喻负荷。
而且大多数系统中并没有提供直接的对于虚拟对象操作的力反馈，导致无经验的用户往往产生困扰，觉得难以应用。
我们引入带有跟踪器的笔和板作为输入设备，这种双手交互符合用户的日常认知，并不需要指定一个特定的交互隐喻就能自然支持很多交互方式。
笔和板能够提供足够的触觉反馈，即使无经验的个体也能自然熟悉，使得他们关注在交互任务上。
同时它并不妨碍语音和其他辅助的交互通道，降低了组合交互技术的难度。
我们将板子映射到3D空间中的一个2D 平面上，构建个人交互面板（Personal Interaction Panel，PIP），将其作为内部2D界面。
实现2D桌面隐喻和3D操作环境显示相结合，使得我们能够对2D下的一些界面元素达到再利用。
使用PIP，用户可以执笔进行传统的2D图形绘制；使用勾画生成的笔手势来替代传统的菜单命令；根据笔和板上的跟踪器定位来实现3D操作。
而语音信息可以弥补笔式操作的不足，例如一些需要大范围移动的操作，使用笔交互可能比较费时，而采用语音则更方便快捷。
将笔手势输入、跟踪器输入、语音输入这些通道有机地整合起来，能够自然地完成一些复杂的交互任务。
∗基金项目：国家高技术研究发展计划863项目(2006AA01Z328)；国家自然科学基金项目(60303019)；国家自然科学基金项目(60673188)；国家973计划基金项目(2002CB312103)联系作者：王亮，E-mail:wangliang@2. 相关工作虚拟环境中，通过跟踪人体相关部位(如头、手、臂或腿)，获得人在物理世界的运动姿态信息作为虚拟现实系统的输入，这是目前主流的输入方式，也是研究关注的重点领域。
本文将跟踪器和笔、板相绑定，用户手持笔不仅能进行二维设计，也能做三维的定位。
人体运动跟踪的交互技术分为直接映射和间接映射两类。
直接映射方式是指直接映射设备输入的位置/空间信息为虚拟空间的操作动作，如“光线投射”(Ray-casting)[5]或“虚拟手”隐喻。
间接映射方式是指设备输入的信息先映射到一个中间合适的比例空间，进而在新的比例空间完成交互任务，如“WIM” (Worlds in Miniature)、“图像平面”和“Voodoo Doll”等。
直接映射方式的交互技术在多通道虚拟现实中应用更为广泛，这主要是受到Bolt [6]所提出的"Put-That-There"隐喻的影响，用直接映射的方式可以方便地实现图标手势和指代手势。
在多通道用户界面中，人和机器都被看作是信息交流的主动参与者，人机交互向人与人交互的形式靠拢，大幅度提高了交互的自然性和高效性，将是未来VR界面的主流形式。
Cohen 等人[7]通过实验证明：如果能用语音方式替代键盘方式，那么不仅能避免键盘和鼠标之间频繁切换带来的不自然性，而且通过两者的结合能有效地弥补单个通道的不足，提高交互的效率．Hauptmann [8]在直接操纵界面里设计了一个将语音和手势结合起来的模拟实验，发现更多的人倾向于将两者结合起来使用。
Oviatt [3]发现，在对地图进行操作时，如果单纯使用语音会产生很多不便，但如果同时使用其它通道，如指点，那么用户将会感觉更方便。
3. 个人交互面板城市规划一直是对虚拟现实系统需求最为迫切的领域之一。
它包括前期的区域划分、建筑设计、空间布局等和后期的空间景观分析、交通分析、交通模拟等。
目前的大部分工作主要围绕前期的设计阶段[9][10]，这些系统大多使用半沉浸式的响应式工作台(Responsive Workbench，RWB)，主要集中在城市的空间布局上，不包含一些2D的区域划分操作，也没有利用多通道交互技术的行为互补性。
从2D草图设计到3D的场景布局，需要丰富的交互手段和呈现。
大多数成熟的CAD工具在外形绘制上严重不足，这导致设计者无法把最初的构想粗略的描绘出来，因此设计者更倾向于使用纸和笔。
使用绑有6自由度跟踪器的笔和板交互就成为“直接在3D中设计”的自然选择。
PIP 使用附带FOB （Flock of Birds ）错误！未找到引用源。
跟踪器的笔、手写板（见图1）和麦克图2 PIP操作环境和界面 图1 绑定跟踪器的笔、板风作为输入设备。
在这个使用双手交互的设备组件上，主利手握笔，而非主利手持板，笔和板子的位置是可替换的，从而使得右利手和左利手的人都能使用该套设备，图2是使用PIP 的城市规划系统的操作环境和界面。
FOB跟踪器是通过磁场来进行空间定位，在位置上可以精确到0.1英寸，在方向上可以精确到0.1度。
笔和板的内部线路以及周围的金属、带磁辐射的设备都会对磁场产生干扰，进行跟踪器的空间定位校正是个非常复杂的工作[11]，在这里我们使用的是NCSA libTrCalibr 2.00的校正算法[12]。
使用PIP，用户能够进行如下操作：（1）通过跟踪器的空间信息输入来导航，实现场景漫游；（2）使用笔进行2D的区域划分等草图设计；（3）通过“光线投射”来选择对象；（4）通过工具箱面板中的3D器件对选取对象进行缩放、旋转等操作；（5）通过笔手势和语音相结合，实现物体摆放；等。
4. 交互技术设计PIP 通过语音输入、笔输入、跟踪器输入等单个或多个通道的融合，实现一些典型的虚拟现实交互技术，包括导航漫游、对象选择、对象操作等。
在设计交互技术时，对交互任务进行详细的任务分析，使交互技术与交互任务相匹配；同时，将自然交互与基于高级隐喻的交互技术相结合，并对用户的交互提供适当的反馈。
4.1 笔画输入和笔手势命令PIP中使用笔画输入进行草图设计，实现2D区域划分。
使用笔手势来实现笔画的删除、区域的合并等操作，也用于触发一些系统控制指令，以及和其他通道相结合实现多通道交互。
笔手势就是用笔画出的符号来调用计算机命令的技术，它以符号的形式表征。
PIP 采用Rubine 算法[13]设计了一组意义性笔手势命令，共33个（见图3），每个笔手势命令大约30-50个样本，用于系统控制（如图4）。
4.2 语音命令语音有很多理想的特点：它解放了用户的手；采用一个未被利用的输入通道；允许高效、精确的输入大量文本。
此外，它同时也是完全自然和熟悉的方式。
语音输入有三种类型：单字符语音识别、完整单词语音识别和非识别语音输入[2]。
PIP 使用完整单词语音识别，采用Microsoft Speech SDK 5.1作为识别引擎，需要对系统进行初始的训练。
主要用于系统控制命令和多通道交互中。
用其它的输入流（如按键）或者一个特殊的声音命令初始化语音系统。
这消除了一个语音开始的歧义，称为“即按即说”（push-to-talk）[2],在PIP 中可以通过笔手势或者面板上的一个3D 器件来开启和关闭语音识别。
图4输入笔手势“Π”开启语音识别 图3 设计的笔手势种类库4.3 多通道交互技术4.3.1 融合语音输入和跟踪器空间信息输入的光线投射光线投射技术用于选取操作，在这个技术中，用户使用定义点取方向的虚拟射线来点取对象，被连到手上的虚拟线段显示出点取方向。
PIP使用附带跟踪器的笔，笔尖可以定义空间中的一个点（0维，0D ），而笔的外形可以定义一个方向参考轴线。
这样笔可以很自然的用来指定3D 空间中的一条直线，将动作从0D 扩展到1D 。
当用户发出触发选择的语音命令时（如“select ”，“put ”），笔尖伸展出虚拟光线（如图5a ），当系统接收到“hold ”或其他上下文相关语音指令时，选取连接在虚拟光线上的对象(如图5b)。
图5 光线投射4.3.2 “Put-this-there ”在“Put-this-there”技术中，将FOB 跟踪器的空间信息输入、笔手势输入和语音输入相结合，协同完成来物体的摆放操作，图6是对这三个通道信息的处理流程的层次结构划分。
通过自然语言“Put this there”实现空间摆放的交互任务流程： 1）笔手势输入：若输入“Π”开启语音识别。
2）“Put”语音输入：语音识别，启动光线投射的选取技术。
（如图7a）3）“this”语音输入，跟踪器空间信息输入：若光线投射已经开启，通过由空间信息定位的虚拟光线，识别“this”时选取光线指点的对象。
（如图7b）图6 多通道交互“Put-this-there”的层次结构 b.用户发出“hold ”命令，连接到虚拟光线上的对象显示绿色包围盒，选中该对象 a.用户发出“select ”命令，产生虚拟光线，连接到虚拟光线上的对象显示红色包围盒4）“there”语音输入，跟踪器空间信息输入：若已经选取了对象，判断此时光线投射的拾取点，若可放置，初步放置选取对象到该处。
（如图7c、d）5）笔手势输入：若输入“9”，采用碰撞检测判定处于新位置的对象是否与周围对象产生碰撞，若有则标志任务失败，放回原处，若无则标志任务成功，更新对象的场景位置文本信息。