第7章多媒体人机交互技术

35
7.4.6
数字墨水技术
数字墨水是一种新的人机界面技术 数字墨水在数学上是通过三阶贝塞尔曲线来描述笔 文件）， 输入的笔迹，可以用墨水格式保存（ink文件），它 输入的笔迹，可以用墨水格式保存（ink文件），它 的记录格式与图像和文本格式都不同。 的记录格式与图像和文本格式都不同。 这种存储方式使得数字墨水文件的大小很小，从而 这种存储方式使得数字墨水文件的大小很小， 可以更有效地进行存储。 可以更有效地进行存储。 Windows平台将数字墨水定义为基本数据类型之一 Windows平台将数字墨水定义为基本数据类型之一
普通高等教育“十一五”国家级规划教材 普通高等教育“十一五”
第7章 多媒体人机交互技术
7.1人机交互技术概述 7.1人机交互技术概述
7.1.1 基本概念
人机交互（HumanInteraction） 人机交互（Human-Computer Interaction）技术 指通过计算机输入、输出设备， 指通过计算机输入、输出设备，以有效的方式实现 人与计算机间信息交流的技术。 人与计算机间信息交流的技术。 人机界面（HumanInterface） 人机界面（Human-Computer Interface）是计算 机与人（使用者）之间通信和对话的接口， 机与人（使用者）之间通信和对话的接口，是计算 机系统的重要组成部分。 机系统的重要组成部分。
1. 触摸屏 支持直接在显示屏幕上输入的设备 分为红外式、电容式、表面声波式、电阻式、 分为红外式、电容式、表面声波式、电阻式、 压力传感式五种 主要应用于公共信息的查询，如电信、税务、 主要应用于公共信息的查询，如电信、税务、 银行、电力等部门的业务查询， 银行、电力等部门的业务查询，城市街头的信 息查询。此外还可以应用于工业控制、 息查询。此外还可以应用于工业控制、军事指 挥、电子游戏、点歌点菜、多媒体教学等方面 电子游戏、点歌点菜、
7.1.2 人机界面的发展历史
3. 图形用户界面 WIMP界面 WIMP界面 窗口（Window） 窗口（Window） 图标（Icon） 图标（Icon） 菜单（Menu） 菜单（Menu） 指点装置（ Devices） 指点装置（Pointing Devices）
6
7.1.2 人机界面的发展历史
31
7.4.2
手写识别技术
脱机（off-line，又称离线）识别 脱机（off-line，又称离线） 脱机识别就是机器对于已经写好或印刷好的静态 的语言文本图像的识别。 的语言文本图像的识别。 联机（on-line，又称在线） 联机（on-line，又称在线）识别 联机识别是指用笔在输入板上写，用户一边写， 联机识别是指用笔在输入板上写，用户一边写， 机器一边进行识别，可实时人机交互。 机器一边进行识别，可实时人机交互。 笔顺问题、连笔问题、 笔顺问题、连笔问题、相似字问题和笔划的畸变是 影响汉字手写识别的重要因素
2. 命令行界面 联机终端的出现 计算机用户与计算机之间可借助一种双方都能理 解的语言进行交互式对话 机器语言 汇编语言 高级语言 采用正文和命令的方式与计算机打交道， 采用正文和命令的方式与计算机打交道， 语法复杂，易于出错，但灵活和高效， 语法复杂，易于出错，但灵活和高效，适合于专 业人员使用
5
36
（1）HMD
（2）立体眼镜
23
7.2.3
三维交互设备
4. 立体视觉显示设备 （3）大屏幕投影显示设备
24
7.2.3
5. 触觉反馈设备 触觉反馈器 力操纵杆
三维交互设备
25
7.3 多媒体用户界面
7.3.1 多媒体人机界面概念模型
多媒体人机界面 手、嘴 用 户 、 、手
击键、指点、触摸、语音
、 、音
3
7.1.2 人机界面的发展历史
1. 手工操作 计算机产生初期 由设计者本人（或本部门同事）来使用计算机， 由设计者本人（或本部门同事）来使用计算机， 他们采用手工操作和依赖机器（ 他们采用手工操作和依赖机器（二进制机器代 码）的方法去适应现在看来是十分笨拙的计算 机。
4
7.1.2 人机界面的发展历史
32
7.4.3
手势识别技术
一个简单的手势蕴涵着丰富的信息，人与人可以通 一个简单的手势蕴涵着丰富的信息， 过手势传达大量的信息，实现高速的通信。 过手势传达大量的信息，实现高速的通信。 将手势运用于计算机能够很好地改善人机交互的效 率。
Start
Stop
Clutch
Extend
Ambidextrous
Roll
Y Yaw X Pitch
19
7.2.3
三维交互设备
常用的位置跟踪器有五类： 常用的位置跟踪器有五类： 机械跟踪器 电磁跟踪器 光学跟踪器 声学跟踪器 惯性跟踪器
20
7.2.3
2. 立体鼠标
三维交互设备
21
7.2.3
3. 数据手套
三维交互设备
22
7.2觉显示设备
、 、
、
27
7.3.2多媒体用户界面的特点 7.3.2多媒体用户界面的特点
1．桌面隐喻 用人们熟悉的桌面上的图例清楚地表示计算机可以 处理的能力 2. 所见即所得 交互界面中显示的用户交互行为与应用程序最终产 生的结果是一致的 3. 直接操纵 可以把操作的对象、属性、关系显式地表示出来， 可以把操作的对象、属性、关系显式地表示出来， 用光笔、鼠标、 用光笔、鼠标、触摸屏等指点设备直接从屏幕上获 取形象化命令与数据的过程
12
7.2.1 笔输入
3. 数码纸笔 数码笔由笔芯、 数码笔由笔芯、高速 摄像机、压力感应器、 摄像机、压力感应器、 处理器、 处理器、存储器和蓝 牙通信单元组成 当笔尖接触纸面时， 当笔尖接触纸面时， 压力传感器感应到压 力，指示摄像机拍下 的点信息， 的点信息，存入笔内 存
13
7.2.2 指点设备
17
7.2.2 指点设备
4. 手写液晶显示器 是液晶矩阵显示技术和高灵敏度电磁压感技术的 完美结合， 完美结合，可以在屏幕上直接用压感笔实现高精 度的选取、移动、绘图和设计制作。 度的选取、移动、绘图和设计制作。 电阻式感应
18
7.2.3
三维交互设备
Z
1. 三维位置跟踪器 能实时地检测物体 空间位置的装置， 空间位置的装置， 可以得到物体在六 个自由度上相对于 某个固定物体的位 移
16
7.2.2 指点设备
3. 光笔 较早用于绘图系统的交互输入 设备； 设备； 在屏幕上指点一点以执行选择、 在屏幕上指点一点以执行选择、 定位或其他任务； 定位或其他任务； 和图形软件相配合，完成绘图、 和图形软件相配合，完成绘图、 修改图形、 修改图形、变换图形和写字功 能； 光笔的形状和普通钢笔相似， 光笔的形状和普通钢笔相似， 它由透镜、光导纤维、 它由透镜、光导纤维、光电元 件、放大整形电路和接触开关 组成； 组成；
11
7.2.1 笔输入
3. 数码纸笔 数码纸是通过在普通 纸上印刷“点阵” 纸上印刷“点阵”及 其他图文内容产生的 点阵” “点阵”由一些按照 特殊算法规则排列的 非常细小的点组成， 非常细小的点组成， 其作用是给数码笔提 供坐标参数信息，保 供坐标参数信息， 证数码笔在数码上书 写时， 写时，能够准确的记 录书写的笔迹。 录书写的笔迹。
3. 图形用户界面 WIMP界面 WIMP界面 窗口（Window） 窗口（Window） 图标（Icon） 图标（Icon） 菜单（Menu） 菜单（Menu） 指点装置（ Devices） 指点装置（Pointing Devices）
当前用户界面的主流
7
7.1.3 人机交互的发展趋势
以人为中心、 以人为中心、减少人机隔阂 从精确交互向非精确交互 从单通道交互向多通道交互 建立合谐的人机环境
8
7.2 多媒体交互设备
7.2.1 笔输入
1. 手写板和手写笔 电阻式压力板 电磁式感应板和 电容式触控板 与手写汉字识别软件的结合， 与手写汉字识别软件的结合，为日益普及的大 众化电子产品可提供了更为方便、 众化电子产品可提供了更为方便、更为人性化 的输入手段
10
7.2.1 笔输入
2. 图形输入板 又称数字化仪 专门读取图形信息， 专门读取图形信息，功能很强的图形输入设备 通过图形程序的配合， 通过图形程序的配合，平板上点坐标与屏幕上坐 标的位置成一一对应关系。 标的位置成一一对应关系。 工作时将图纸置于平板上，使用触笔或光标， 工作时将图纸置于平板上，使用触笔或光标，拾 取图纸各点坐标及其轨迹， 取图纸各点坐标及其轨迹，在屏幕上立即就显示 其图形。 其图形。
33
7.4.4
眼动跟踪技术
与视觉有关的人机交互自始至终都离不开视线的控 制。 如果能通过视线的用户盯着感兴趣的目标， 如果能通过视线的用户盯着感兴趣的目标，计算机 自动”将光标置于其上， 便“自动”将光标置于其上，人机交互将更为直接 要求： 要求： 精度要高，反映速度要快，实时响应； ①精度要高，反映速度要快，实时响应； 不妨碍视野，不与用户接触，对用户无干扰； ②不妨碍视野，不与用户接触，对用户无干扰； 定位校正简单； ③定位校正简单； 可作为计算机的标准外设。 ④可作为计算机的标准外设。
34
7.4.5
表情识别技术
面部表情是人体语言的一部分。 面部表情是人体语言的一部分。 人的面部表情不是孤立的， 人的面部表情不是孤立的，它与情绪之间存在着千 丝万缕的联系。 丝万缕的联系。 人的各种情绪变化以及对冷热的感觉都是非常复杂 的高级神经活动，如何感知、记录、识别这些变化 的高级神经活动，如何感知、记录、 过程是表情识别的关键。 过程是表情识别的关键。 表情的识别通常要分为三个步骤进行：表情跟踪、 表情的识别通常要分为三个步骤进行：表情跟踪、 表情编码和表情识别
28
7.3.3 多媒体用户界面设计原则