人机交互多通道人机交互ppt课件

冗余性
冗余性是指在特定交互中多个通道同时使 用并具有相同的表达作用
不同通道为相同参数提供所需信息，并且 所表达信息可能是一致的，也可能是矛盾 的
眼动跟踪（Eye-Gaze Tracking）
与视觉有关的人机交互自始至终都离不开视线的 控制
如果能通过用户的视线盯着感兴趣的目标，计算 机便“自动”将光标置于其上，人机交互将更为 直接，也省去了上述交互过程中的大部分步骤
视线追踪主要用于军事领域（如飞行员观 察记录），阅读及帮助残疾人通信等
图5－2 Stanford University和The Poynter Institute合作研究 人们 对于Internet上新闻的注意程度
图5－3 人们对于Internet上新闻的注意程度研究结果
人们对于Internet上新闻的注意程度研究结 果
交替而独立地使用不同的通道不是真正 意义上的多通道技术，必须允许充分地 并行、协作的通道配合关系
允许非精确的交互
人类语言本身就具有高度模糊性，人类 在日常生活中习惯于并大量使用非精确 的信息交流
允许使用模糊的表达手段可以避免不必 要的认识负荷，有利于提高交互活动的 自然性和高效性
多通道人机交互技术主张以充分性代替 精确性
有关视觉输入的人机界面研究主要涉及两个方面
一是视线跟踪原理和技术的研究 二是在使用这种交互方式后，人机界面的设计技术和原
理的研究
眼动跟踪
早期的视线跟踪技术首先应用于心理学研 究、助残等领域，后来被应用于图像压缩 及人机交互技术
视线跟踪技术有强迫式与非强迫式、穿戴 式与非穿戴式、接触式与非接触式之分
视线跟踪系统可促成视觉交互双向性， 听觉通道利用三维听觉定位器实现交互 双向性
交互的隐含性
追求交互自然性的多通道用户界面并不需 要用户显式地说明每个交互成分，反之是 在自然的交互过程中隐含地说明
用户的视线自然地落在所感兴趣的对象之上 用户的手自然地握住被操纵的目标
多通道用户界面评价
基于多通道用户界面所追求的目标，人们 提出相应的评价多通道用户界面的若干指 标（Nigay等人提出的CARE指标）：
使用户利用多个通道以自然、串行/并行、 协作的方式进行人机对话
通过整合来自多个通道的、精确的和不 精确的输入来捕捉用户的交互意图，提 高人机交互的自然性和高效性
MMI
手
用
嘴
…
击键/指点 通
语音
道
眼神
整
…
合ห้องสมุดไป่ตู้
户
眼
手
…
2D/3D 多媒体信息
图5－1 多通道人机界面概念模型
应用例程
多通道用户界面研究的目标
第7章 多通道人机交互
本章内容
多通道交互技术概述 眼动跟踪 三维输入 实例介绍
多通道交互技术概述
为适应目前和未来的计算机系统要求，人机 界 面 应 能 支 持 时 变 媒 体 （ time-varing media），实现三维、非精确及隐含的人机 交互，而多通道人机界面是达到这一目的的 重要途径
内容
注视率
文章文字（Articles text）
92%
简讯（Briefs）
82%
照片（Photos）
64%
标题广告（Banner Ads）
45%
图形（graphics）
22%
眼动的主要形式
眼动有三种主要形式
跳动（Saccades）
在正常的视觉观察过程中，眼动表现为在一系列被观 察目标上的停留及在这些停留点之间的飞速跳跃
一种是不存在其他选择，称为严格的指派性 （Strict Assignment）
另一种是虽然存在选择，但用户或系统总是倾 向于使用同一种通道，称为代理指派性（Agent Assignment）
等效性
等效性是指在完成特定交互任务时至少有 两种以上通道可以互相替代，由于设备特 性、用户习惯或临时因素（如手头正忙） 而使某种通道不能使用时，可选择其他通 道代替。
80 年 代 后 期 以 来 ， 多 通 道 用 户 界 面 (Multimodal User Interface)成为人机交互 技术研究的崭新领域，在国内外受到高度重 视
多通道用户界面
消除当前WIMP/GUI用户界面通信带宽 不平衡的瓶颈
综合采用视线、语音、手势眼神、表情 等新的交互通道、设备和交互技术
多通道用户界面的基本特点
使用多个感觉和效应通道 允许非精确的交互 三维和直接操纵 交互的双向性 交互的隐含性
使用多个感觉和效应通道
感觉通道侧重于多媒体信息的接受，效 应通道侧重于交互过程中控制与信息的 输入，两者密不可分、相互配合
一种通道(如语音)不能充分表达用户的意 图时，需辅以其它通道(如手势指点)的信 息；有时使用辅助通道以增强表达力
多通道用户界面主要关注人机界面中用 户向计算机输入信息以及计算机对用户 意图的理解
交互的自然性
使用户尽可能多地利用已有的日常技能与计算机 交互，降低认识负荷；
交互的高效性
使人机通讯信息交换吞吐量更大、形式更丰富， 发挥人机彼此不同的认知潜力；
与传统的用户界面特别是广泛流行的 WIMP/GUI兼容
三维和直接操纵
人类的大多数活动领域具有三维和直接 操纵特点
人生活在三维空间，习惯于看、听和操 纵三维的客观对象，并希望及时看到这 种控制的结果
多通道人机交互的自然性反应了这种本 质特点
交互的双向性
人的感觉和效应通道通常具有双向性的 特点，如视觉可看可注视，手可控制、 可触及等
多通道用户界面使用户避免生硬的、不 自然的、频繁的、耗时的通道切换，从 而提高自然性和效率
互补性（complementary）； 指派性（Assignment）； 等效性（Equivalence）； 冗余性（Redundancy）；
互补性
互补性是指若干通道必须以互补方式完成 特定的交互任务，也就是说，当单个通道 不能提供充分的任务信息时，需要其他通 道补充，如手势指点补充语音命令
互补性可能存在一个“优势通道 （Dominant Modality）”，并需要其他通道 予以辅助，例如，用语音直指（“This city”），则需鼠标在屏幕对象上指点
指派性
指派性是指某通道是完成特定交互任务唯 一途径的情形，即某通道必须被用于实现 特定交互任务而没有其他通道可以替代
指派性可分为两种情形