人机交互技术和实物操作界面(TUI)

信息技术的尴尬(TUI的动机)
传统的计算工具
结绳记事 沙漏计时 算盘 简单，可触摸，易学习 触觉和肌肉运动知觉
现在的数字技术
功能强大，学习门槛高 人们必须不断学习适应其发展 原因：生活经验毫无用处，界面本身就是新生事物
信息空间和物理空间( Bits & Atoms )
Actor1
ClearBoard Hiroshi Ishii1994
最早把现实中的表面做为物理空间和信 息空间的集成媒介的系统
支持CSCW 一个背投的显示器充 当了物理动作和虚拟 信息之间的媒介
Live Wire Weiser 1995
一个给用户提供环境反馈的例子 塑料绳就会抖动和发声，这样就跟用 户提供了声音反馈
Bricks: Graspable User Interfaces （可抓取界面）Fitzmaurice 1995
方块（Bricks）和虚拟物体链接并同步动 作
方块的数目不限，可以同时操纵多个方 块
TUI界面中借鉴了 这个系统的思想
Passive Real-World Interface Props HINCKLEY 1998
研究如何集成现实世界和虚拟世界的问题
二者的区别
输入手段不同。TUI强调把直接抓取实物作 为输入手段；AR是重叠显示现实世界和虚拟 信息的投影。
TUI的研究现状
MIT Media Lab TUI Group 斯坦福大学 Interactivity Lab 华盛顿大学 Design Machine Group 加州大学 Group for User Interface Research 多伦多大学 Department of Computer Science
TUI的目标
实物操作界面通过使得数字信息可触摸而达到 无缝集成物理世界和信息世界的目的。
三个关键的概念： 交互式表面 信息和物体的链接 环境反馈
和TUI 相关的工作
1. Ubiquitous Computing（普适计算）
计算无处不在 计算之间，设备之间的通讯是“透明” 的 例子：会议桌、便签条
计算机
主机时代
计算机适应人
PC时代 普适时代
普适计算中人机交互的三个主题
自然界面(natural interfaces ) 上下文感知应用(context-aware )
基于物理和计算环境感知到的信息的行为。 简单的上下文、重用性、和复杂的上下文
自动捕捉及访问 (automated capture and access)
移动环境
Non WIMP??
无处不在的计算 AR
?????
人机交互和用户界面----计算机应用的主要障碍
硬件：摩尔定律(18个月翻一倍)
软件：每五年升一代
界面：15-20年换一代 60年代一70年代：键盘，字符界面 80年代一90年代：鼠标，图形界面
21世纪:
新一代界面
什么是今后计算机应用的障碍?
二者差别：
普适计算更大程度上是把GUI的交互隐喻分布到了 物理环境中 的各种交互设备中，GUI的拓展（适应）
TUI界面则试图摒弃GUI界面范式，力图使物理环境 成为界面本身，更多的借鉴了在计算机出现以前的 人们的交互方式（回归）。
和TUI 相关的工作
Augmented Reality（增强现实）
物理世界本身就是界面
实物操作界面简介(TUI)
定义(Tangible User Interface)
直接将人们在现实生活中和物体、环境的交互 动作映射为和信息空间的交互过程的用户界面。
特点:充分利用生活体验 ， 易学习 ， 自然 目标:尽可能的把生活体验用到人机交互中，
降低计算机技术的学习门槛，增加交互的自然 性。
MIT Media Lab : IP Network Simulation
用于网络结构设计 基于早期的TUI平台:Sensetable 无线跟踪pucks的位置 方位
Tangible Geospace
在metaDesk上开发的一个实物操作的三 维地图系统
用真实的路标模型 (phicon:实物图标) 就可以直接编辑地图
从根本上彻底改造技术以适应人 目标是使人获得真正的效率
使得计算机“Invisible”
“最好的仆人是看不见的仆人”
多种多样的服务形式，更为自然信息获 取
普适计算的用户界面
充分利用人们在现实生活中的获得的 生活体验，易学习
自然直观的用户界面 直接将人们在现实生活中和物体的交互 动作映射为和信息空间的交互过程
听/看-----提取----记录
目 的：计算机擅长十人擅长
主要 应 用：会议室、课堂环境、个人note-taking
2000
Phoneslave Xcapture Classroom
捕捉：源信息流记录十关健信息的捕捉
访问：多捕捉流同步重放
普适计算面临的其它挑战
评估
人的需求 使用的可信度 方法(以任务为中心的评估技术是不合适)
普适计算的认识(1)
Ubiquitous Computing(ubicopm)
Mark Weiser 1991 A vision: (人+环境)*计算资源 基础设施
( Net) + Devices at varying scales 任何时间任何地点提供信息和服务
A new paradigms of interaction
社会问题
安全性，可视性，可控制性，个人隐私
普适计算的理解(1) 三个层次
计算
为基础层次，提供必要的软硬件技术 计算机科学
信息交流
计算设备之间的交流：计算机网络 人机交流：人机界面 计算机科学、心理学等学科…
服务
没有感觉计算的存在，却无处不在的享受着服务。 计算主要以服务的形态提供人们，并自然地融入社 会
正错误
上下文感知（1）
location
identity
objects
上下文感知（2）
上下文定义
为什么? Why
What 做什么?
(用户行为)
(结果)
用户行为的
介释
何时? When
Who
上下文表示
Where
谁使用?(用户 十环境十它人)
上下文融合
何地?
自动捕捉及访问生活经历
信息获取：听/看-----记录----提取
普适计算的认识(2)
Focus on Applications
The real purpose for ubiquitous computing, of course, are the applications.”
Mark Weiser
普适计算的认识(3)
Ubiquitous Computing
一只眼睛 十
一个指头
计算机计算模式(1.2)
人 活动
Mainframe
Desktop
环境
无处不在的计算
用户界面的发展历史(1.3)
三维空间
Non WIMP??
虚拟现实 VR
大型机
文本命令
科学计算 台式机
GUI 命令 / WIMP
办公自动化
Post desktop
Post WIMP
人机环境
键盘
鼠标
“凡有助于缩小人机隔阂，建立和谐人机环境的
理论、方法、技术和产品都具有强大的生命力”
一
计算机硬件技术已不是阻碍 人机交互和用户界面----计算机应用的主要障碍 人机交互技术一21世纪重大信息技术
计算机研究发展的主干: 计算如硬件技术，计算机软件技术，智能接口技术
-863计划计算机发战研讨会 2002.1.18
Killer application
Word processing Electronic spreadsheet
计算机是什么?无处不在的计算
Tablet PC
Pocket PC
Phone PC
Desktop PC
Wrist PC
无线连接
计算机是什么?PC手写设备
(a)：Wacom Intuos
计算机科学、社会科学…
普适计算的理解(2) 三个层次
mobility
Wearable
Computing
Mobile
Ubiquitous
Computing
Computing
Desktop computing
Interface transparency
计算 信息交流
服务
普适计算的用户界面
从社会科学的角度出发
PO PO PO
物理空间(Atoms)
PO:Physical object
Actor1
Mouse
EY EY EYwk.baidu.com
信息空间(Bits)
EY:Entity
信息空间和物理空间(Bits & Atoms )
我们生活在两个世界里：现实的物理世 界和虚拟的信息世界
两种身份之间却缺少一种无缝的、自然 的转换和交互方式
(b)：Wacom Cintiq PL550
与桌面PC相连的Tablet交互设备（Wacom公司产品）[Wacom]
计算机是什么?Roomware
（a）交互墙DynaWall
（b）交互椅 CommChair （c）交互桌InteracTable 由GMD IPSI设计的Roomware
计算机是什么?计算的三次革命 (计算空间、角色、界面)
Pen input Gesture Speech Perceptual UI Tangible UI
脱离桌面
自然界面（2）
第一类自然数据类型 （First-Class Natural Data Types）
视觉、听觉、笔画、作为基本数据类型，
并支持对这类数据类型的操作。
基于识别交互的容错技术 识别的准确度/ 纠错的复杂度及有效度 1）减少错误 2）发现错误 3）可修
无处不在计算的应用试图自动捕捉生活经历, 提供以后对这些经历的灵活访问
普适计算中人机交互的三个特征
•自然化
•多通道 •模糊 •非结构 •连续
•人性化
•显式感知(符号、动作、表象、情感) •隐式感知---用户意图捕捉
•智能化
•学习能力 •数据挖掘
自然界面（1）
Integrate into human life
人机交互技术和实物操作界面(TUI)
Tangible User Interface
戴国忠
人机交互技术和智能信息处理实验室
提纲
人机交互技术和用户界面 无处不在计算及其用户界面
实物操作界面(TUI)
什么造就了计算机辉煌历史?
National Medal of Technology , 2000 IEEE, John Von Neumann Medal Award , 1999 ACM, A. M. Turing Award , 1997 影响几代人，创造计算机的历史
用于神经外科手术规划的一个双手交互 系统
反馈触觉和肌肉 运动知觉 二者区别：
TUI界面不但是实物 操作输入，还能输出 环境反馈
MIT Media Lab的研究工作
三个原型系统
metaDESK 和 transBOARD 抓取的实物 ambientROOM 环境反馈
MetaDESK
有Windows中界面构件（如窗口、菜单、 图标）的实物对应，也有嵌入了数字信 息的现实生活中的物体
人们和信息空间的交互被局限于传统的 图形用户界面(GUI)中
实际上，正是GUI把我们生活的物理世界 和我们要访问的信息世界隔离开来。
从桌面环境到物理世界GUI到TUI
1981年，施乐公司提出了GUI概念 1991年，Mark Weiser提出 了“普适计算”：计算是
无处不在的，是不可见的
“Star”是第一个采用“WIMP”界 面
1950年，
大型机计算时代 多人一机
1975年，
PC计算时代 信息交流 一人一机
2000年，
普适计算时代 服务 一人多机
•字符用户界面 键盘
•图形用户界面 鼠标，GUI，WIMP
•新世纪用户界面(???) 笔、语音(???)
计算机是什么?计算的三次革命
计算机能做什么?不能做什么?
多人可以使用的计算，计算环境 如交互墙(会议室)、电子白板(教室) 普遍、到处 无处不在的计算
Pervasive Computing(Computing
pervasive) 个人所拥有的计算，日用品 如可穿戴计算设备 扩散、渗透
普适计算的认识(4)人机融合过
程
人适应计算机
弱智十奇才
人
Douglas C. Engelbart
什么造就了计算机辉煌历史?
PC plus GUI made the history
Things behind GUI
Desktop metaphor WIMP (Windows, icons, menu, and pointer) Direct manipulation and WYSIWYG