人机交互重点整理

第一章绪论人机交互定义：人机交互是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学。

人机交互研究：人机交互界面表示模型与设计方法多通道交互技术人机交互历史：①手工作业阶段穿孔卡片等，最早的计算机采用②命令方式键盘输入，DOS等操作系统采用③图形用户界面GUI键盘输入，鼠标，Windows系列采用④自然人机交互界面采用人的自然通道（视觉/听觉）实现人机交互手写，语音，视觉，多通道第二章感知和认识基础①人机交互过程中人们经常利用的感知有哪几种？每种感知有什么特点？视觉感知特点：一方面，眼睛和视觉系统的物理特性决定了人类无法看到某些亊物；另一方面，视觉系统进行解释处理信息时可对不完全信息发挥一定的想象力。

进行人机交互设计需要清楚这两个阶段及其影响，了解人类真正能够看到的信息。

（视觉感知可以分为两个阶段：受到外部刺激接收信息阶段和解释信息阶段。

）听觉感知特点：听觉感知传递的信息仅次于视觉，可人们一般都低估了这些信息。

人的听觉可以感知大量的信息，但被视觉关注掩盖了许多。

听觉所涉及的问题和视觉一样，即接受刺激，把它的特性转化为神经兴奋，并对信息进行加工，然后传递到大脑。

听觉系统就像视觉系统一样，利用以前的经验来解释输入。

触觉感知特点：触觉在交互中的作用是不可低估的，尤其对有能力缺陷的人，如盲人，是至关重要的触觉的感知机理与视觉和听觉的最大不同在于它的非局部性第三章交互设备①输入设备文本输入设备图像输入设备三位图像输入设备指点输入设备②输出设备显示器声音的输出数字纸等③虚拟现实系统中的交互设备掌握内容：根据传感方式的不同，三维扫描仪主要分为接触式和非接触式两种。

·接触式的三维扫描仪采用探测头直接接触物体表面，通过探测头反馈回来的光电信号转换为物体表面形状的数字信息。

该类设备主要以三维坐标测量机为代表。

其优点是具有较高的准确性和可靠性，但也存在测量速度慢、费用较高、探头易磨损以及误差修正等缺点。

·非接触式的三维扫描仪，主要有三维激光扫描仪，照相式三维扫描仪等，分别是基于激光扫描测量和结构光扫描测量等技术设计的。

这类设备的优点是扫描速度快，易于操作，且由于不需接触被测量的物体，所以对物体表面损伤少等。

2）三维激光扫描仪工作原理3）运动捕捉设备分类及工作原理分类：机械式、电磁式、光学式捕捉设备机械式动作捕捉设备利用可伸缩的机械结构安装于捕捉物体上，以获得各部分的运动量。

电磁式设备将若干低频磁场感应器安装在捕捉物体上，根据感应器接收到的磁场，可以计算出接收器相对于发射器的位置和方向。

光学式运动捕捉摄像机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。

光学式运动捕捉便是利用这一点通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。

第四章交互技术掌握内容：人机交互输入模式多通道用户交互界面命令行用户界面、图形用户界面、虚拟现实概念模型图形用户界面主要思想设计图形用户界面的一般性原则窗口的排列方式及其优缺点基本交互技术图形交互技术三维交互技术多通道用户界面的基本特点眼动跟踪的基本原理主要手势识别技术语音识别处理流程表情识别步骤联机手写识别主要阶段和原理框图人机交互输入模式1）请求模式在请求模式下，输入设备的启动是在应用程序中设置的，应用程序执行过程中需要输入数据时，暂停程序的执行，直到从输入设备接收到请求的输入数据后，才继续执行程序。

2）采样模式输入设备和应用程序独立地工作，输入设备连续不断地把信息输入进来，信息的输入和应用程序中的输入命令无关。

应用程序在处理其他数据的同时，输入设备也在工作，新的输入数据替换以前的输入数据当应用程序遇到取样命令时，读取当前保存的输入设备数据。

优点：这种模式对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息缺点：当应用程序的处理时间较长时，可能会失掉某些输入信息。

3）事件模式输入设备和程序并行工作。

输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。

应用程序随时可以检查这个事件队列，处理队列中的事件，或删除队列中的事件。

图形用户界面（GUI）概念模型图形用户界面又称为WIMP界面，由窗口（Windows），图标（Icons）、菜单（Menus）、指点设备（Pointing Device）四位一体，形成桌面（Desktop）。

**********************************多通道用户界面概念模型多通道用户界面的研究是为了消除当前WIMP/GUI用户界面通信带宽不平衡的瓶颈，综合采用视线、语言、手势等新的交互通道、设备和交互技术，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性概念模型：**********************************虚拟现实的概念模型①虚拟现实是人们可以通过视、听、触等信息通道感受到设计者思想的用户界面，由两部分组成：一部分是创建的虚拟世界（环境），另一部分是介入者（人）②虚拟世界的核心是强调两者之间的交互操作，即反映出人在虚拟世界（环境）中的体验。

③人机交互是虚拟现实的核心。

**********************************图形用户界面的主要思想·图形用户界面的三个主要思想：①桌面隐喻：桌面隐喻是指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力。

②所见即所得：在WYSIWYG交互界面中显示的用户交互行为与应用程序最终产生的结果是一致的。

③直接操纵：直接操纵是指可以把操作的对象、属性、关系显式地表示出来，用光笔、鼠标、触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程·隐喻的分类：1）直接隐喻：隐喻本身就带有操纵的对象如Word中的表格、图表等图标，图标分别代表了操纵对象2）工具隐喻：代表所使用的工具如用磁盘图标隐喻存盘操作、用打印机图表隐喻打印操作等，这种隐喻设计简单，形象直观，应用也是最为普遍。

3）过程隐喻：通过描述操作的过程来暗示该操作如Word中的撤销和恢复图标。

窗口状态（Windows States）Tiled Windows Cascading Windows【】Overlapping Windows Interrupted Cascade【】Window Interfaces-MDIWindow Interfaces-TDI**********************************基本交互技术⒈定位是确定平面或一个空间的一个点的坐标，是交互中最基本的输入技术之一⒉笔画输入用于输入一组顺序的坐标点，它相当于多次调用定位输入，输入的一组点常用于显示折线或作为曲线的控制点。

⒊定值（或数值）输入用于设置物体旋转角度、缩放比例因子等。

它是要在给定的数字范围内输入一个值。

⒋选择是在某个选择集中选出一个元素，通过注视、指点或接触一个对象，使对象成为后续行为的焦点，是操作对象时不可缺少的一部分。

它可以用于指定命令，确定操作对象或选定属性等。

⒌字符串：键盘是目前输入字符串最常用的方式，现在用写字板输入字符也已经很流行。

**********************************图形交互技术·橡皮筋技术是拖动的另一种形式，不同的只是被拖动的对象的形状和位置随着光标位置的不同而变化。

·操作柄技术操作柄（Handle）技术可以用来对图形对象进行缩放、旋转、错切等几何变换。

先选择要处理的图形对象，该图形对象的周围会出现操作柄，移动或旋转操作柄就可以实现相应的变换。

**********************************三维交互技术·直接操作通过三维光标，用户可以选择并直接操作虚拟对象，三维光标可以是人手的三维模型，输入设备的位置和方向被映射为虚拟手的位置和方向。

·三维Widgets三维交互界面中的一些小工具。

包括在三维空间中漂浮的菜单，用于拾取物体的手的三维图标，平移和旋转指示器等。

·三视图输入借助三视图输入技术，用而未输入设备在一定程度上实现三维的输入。

**********************************多通道用户界面的基本特点·使用多个感觉和效应通道·允许非精确的交互·三维和直接操纵·交互的双向性·交互的隐含性·（包括各个方面的含义）**********************************眼动跟踪的基本原理用红外摄像机摄取受试者眼睛图像，经过MPEG编码后送入计算机进行图像数据采集分析，实时计算出眼珠的水平和垂直运动的时间、位移距离、速度及瞳孔直径、注视位置。

瞳孔-角膜反射向量法（基于注视点）通过固定眼摄像机获取眼球图像，利用亮瞳孔和暗瞳孔的原理，提取出眼球图像内的瞳孔利用角膜反射法校正眼摄像机和眼球的相对位置，把角膜反射点数据作为眼摄像机和眼球的相对位置的基点，瞳孔中心坐标就表示视线的位置。

**********************************语音识别·目前主流的语音识别技术是基于统计的模式识别的基本理论，如下图所示：语音识别系统的组成·语音特征提取1）从语音俆号中提取语音的特征，既可以获得语音的本质特征, 也起到数据压缩的作用。

2）输入的模拟语音信号首先要迚行预处理，包括预滤波、采样和量化、加窗、端点检测、预加重等。

·声学模型1）声学模型对应于语音到音节概率的计算。

在识别时将输入的语音特征同声学模型（模式）进行匹配与比较，得到最佳的识别结果。

2）目前采用的最广泛的建模技术是隐马尔科夫模型HMM建模和上下文相关建模。

**********************************人脸识别AAM过程·首先为人脸的形状和纹理分别进行建模得到各自的模型，然后以一定方式结合形状和纹理模型，从而建立起可以描述整个人脸发化的统计外观模型。

·AAM识别人脸图像是使用了基亍优化算法进行搜索的基本思想，将合成的模型人脸去匹配给出的目标人脸，用之间的差异不断修正合成人脸，以使模型与目标人脸相适应，最终形成反映目标人脸形状和纹理的合成模型图，从而得到人脸特征点的位置。

**********************************联机手写识别·联机手写文字的识别过程通常分为四个阶段：预处理、特征抽取、特征匹配和判别分析第五章界面设计（重点）任务分析·用例图、序列图·Eg：点餐系统顾客：阅览菜品、点菜、查看已选菜品等操作餐厅服务员：开台、加菜、查看订单等操作第六章人机交互界面的表示模型（重点）·行为模型GOMS，UAN及LOTOS模型·结构模型状态转换网络和产生式规则·模型转换在人机交互界面表示模型中，GOMS模型的主要作用是什么？LOTOS模型的主要作用是什么？UAN模型的主要作用是什么？（1）GOMS模型的主要作用是：在交互系统中用来分析建立用户行为的模型。