智能用户界面

智能用户界面、主要技术及实例董士海北京大学信息科学技术学院 100871e-mail: dong@摘要：智能技术是多通道、多媒体用户界面的核心。

本文讨论了智能用户界面的主要技术，包括多通道输入、多通道输出、交互管理和交互模型、智能环境、基于智能体的交互等。

本文结合一个移动导游系统实例重点分析了它的多通道输入、上下文感知技术和评估结果。

关键词：智能用户界面人机交互多通道智能体导游Intelligent User Interfaces, Its Primary Techniques,And InstanceShihai DONGSchool of Computer Science and Electronic Engineering, Peking University, 100871e-mail: dong@Abstract: Intelligent techniques are the kernel of the multimodal, multimedia user interface. In this paper, the primary techniques of Intelligent User Interface (IUI) are discussed, it includes multimodal input, multimodal output, interaction management and model, smart environment, and agent based interaction. Also an instance of Mobile Tourist Guide System is discussed; it emphasizes multimodal input, context-aware technique, and the results of evaluation.Key Words: Intelligent User Interface (IUI), Human-Computer Interaction (HCI), Multi-modal, Agents, Tour Guide1. 引言计算机是20世纪的一项伟大发明，它对21世纪人类生活的方方面面将带来深刻影响。

用户界面是计算机的重要组成部分，它已对计算机的推广使用产生了了巨大的影响，而且还将继续影响整个人类的生活。

用户界面的发展已经历了几个历史阶段：（1）发展早期的手工作业阶段；（2）作业控制语言及命令语言阶段；（3）图形用户界面（GUI）阶段，即所谓WIMP (Window, Icon, Menu, Pointing Devices) 技术；（4）网络用户界面的出现；（5）多通道、多媒体的智能用户界面阶段。

当前，一方面图形用户界面继续在以办公室为主的桌面应用中广泛使用、发展和深化；另一方面，以虚拟现实为代表的计算机系统拟人化和以掌上电脑、智能手机为代表的计算机微型化和随身化，推动着多通道、多媒体的智能用户界面的飞速发展。

所谓“多通道人机交互”(multimodal human-computer interaction) 是一种使用多种通道与计算机通信的人机交互方式。

通道（modality,也有译为模态、模式）涵盖了用户表达意图、执行动作或感知反馈信本文得到国家自然科学基金重点项目（60033020），国家863高技术发展计划（2001AA114170）等项目的资助。

息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等。

多通道人机交互是提高交互效率和自然性的有效途径[1]。

在多通道、多媒体用户界面中，智能技术是它的核心，因此称它为“智能用户界面”[2，3]。

智能用户界面的最终目标是使人机交互成为和人-人交互一样自然、方便。

本文第二节讨论智能用户界面的输入、输出、处理、交互管理、环境、评估及智能体等技术。

第三节介绍北京大学信息科学技术学院人机交互与多媒体研究室的若干工作。

第四节是结论及体会。

2. 主要技术智能用户界面是一个较泛的概念。

它是指人们期望通过各种人工智能的方法、手段，来提高人和计算机交互的工效性和自然性。

它可以从人和计算机交互中的模型、表示、推理、学习、对话处理和各种输入、输出手段等方面体现出来。

这里我们着重讨论多通道输入、多通道输出、交互管理和模型、智能环境、基于智能体的交互等。

2.1 多通道输入传统的用户界面支持顺序和无二义性的精确输入，如键盘或指点设备等，而智能的多通道输入，则没有上述的限制。

它允许输入设备有一定的非精确性，允许几个设备同时输入。

例如，说话输入、视线（眼动）输入、头动输入或三维姿势输入等。

它们的共同特点是输入的异步性、二义性和非精确性。

有时系统还允许分别用不同输入方式来指示不同的对象，如著名的“put-that-there”例子中[4]，用户可以同时用语言（嘴）、视线（眼）或手势（手）等分别指点示图中的物体“that”及位置“there”。

将多种输入“整合”在一起，可以高效地确定交互任务的内容，它比只用一种输入方法（如键盘）来指示“that”及“there”的操作，要自然、高效得多！在移动设备及虚拟现实系统中已广泛应用了受限自然语言输入、笔划及手势输入、视线输入、表情输入或三维姿势输入等，它们均需采用人工智能的方法，对非精确的各种输入进行识别、整合，最后用统计的方法得到一个相对准确的结果。

目前已经研究开发了许多基于人体生物特征（biometrics）的输入技术，开始广泛应用于安全检测、商务、身份论证等场合。

这类技术有：指纹识别、眼睛虹膜识别、掌纹识别及人脸识别等。

为了得到更加准确的用户意图，目前已采用获取用户多种输入，并予以多通道整合的方法。

例如，唇读技术就是希望通过获取嘴唇动作的变化形状和嘴巴同时发出的声音，来分析用户的说话内容。

自然语言理解是人工智能的重要研究领域，它也是未来智能输入的理想手段。

可以看到多通道输入离不开人工智能技术的支持，同时它也向人工智能领域提出了更高的挑战[5]！2.2 多通道输出传统的计算机输出是在屏幕（或纸）上输出事先由程序预先设定区域（窗口、对话框等）内的文字或图形。

而多通道输出，则期望用多种方式向用户输出人们能感知的各种信息，这些信息可以由系统根据信息的内容自动分配不同的媒体进行输出,而由用户不同的感觉通道和动作通道所感知。

例如在车上查询到达目的地的最佳路径时，系统一方面在汽车的图形显示屏上给出加亮的路由标志，同时可根据汽车当前的位置和道路的拥挤情况，不断用语言提示驾驶员各种可选路线。

由于新技术的进展，目前已可使用多通道的立体声输出、三维立体显示、TTS (text to speech)、力反馈设备、动画影视等各种输出。

在以听觉、视觉为主的输出技术继续发展同时，各种触觉、嗅觉或味觉设备也有进展。

全息图像技术、数字水印技术、图像变形技术、压缩解压缩技术等都将提供各种不同的输出需要和效果。

2.3 交互管理和交互模型除了在输入、输出方面可采用各种识别、学习和推理等智能技术外，交互管理和交互模型更需要系统根据不同用户群体的人类特征来进行设计和分析。

系统在交互对话中，可以不断学习、总结用户的各种行为，进行统计分析，获取特征，进而协助用户的交互。

系统就像一位教师，不断发现学生的问题，改善人们的交互活动。

早期用户界面管理系统（UIMS）强调对话独立性，强调把对话管理、应用接口和表示部件分开。

而实际人机交互的设计是很复杂的，它需要根据不同场合、不同用户而定。

这里，基于知识的方法就显得格外重要。

例如，我们要设计一个通过读姓名来呼叫电话的系统。

简单的设计就是一个语音识别器和数据库查询的处理即可。

但如考虑到被呼者的各种电话（住宅、办公室、手机等）使用规律，对不同来电（密友、一般同事、干扰）的不同处理，以及当前被呼者的情况（正在开会、睡觉、工作）等，需进行不同对待：选择不同地点的电话予以接通、请对方留言或发出“勿打扰”语音等。

这里，应用的反馈和对话管理就需协同工作进行事件处理。

上下文感知是提高计算智能性的重要途径。

上下文是指计算系统运行环境中的一组状态或变量，其中的某些状态和变量可以直接改变系统的行为，而另一些则可能引起用户兴趣从而通过用户影响系统行为。

上下文感知计算是指系统自动的对上下文、上下文变化以及上下文历史进行感知和应用，根据它调整自身的行为。

任何可能对系统行为产生影响的因素都属于上下文的范畴，包括用户的位置、状态和习惯，交互历史，设备的物理特征、环境温度、光强、交通、周围人等各种状态[6，7]。

由于上下文感知是一个专门题目，这里不再展开了。

2.4 智能环境智能环境是指用户界面宿主系统所处的环境应该是智能的。

目前，已有许多单位开发了“Smart X”的项目，如智能办公室，智能教室等。

智能环境的特点是它的隐蔽性、自感知性、多通道性及强调物理空间的存在。

系统可采用各种感知设备（如摄像机）来获取、分析用户的意图，此时的计算机是不可见的。

同样在当今的无线互联网时代，通过跨地域的互联网，已可以和世界任何地方进行交互。

互联网、GPS、移动通信、家电一体化等已为更大范围的智能环境创造了良好的基础。

2.5 基于智能体（agents）的交互Agents已不是一个新技术了，它在智能技术中的重要性已“不言而喻”了。

应该指出的是在智能用户界面研究中，“开放多智能体结构（OAA）”等[5]已经在许多研究单位广泛使用。

各种agents的技术都将在用户界面中得到广泛应用。

2.6 评估和任何用户界面一样，智能用户界面是否适合用户、适合哪些用户、用户的反映如何等，这些是界面开发必须做的评估工作。

在产品开发阶段，可用性工程也是不可缺少的重要部分。

由于和智能技术的关联不直接，在此也不再展开。

3. 实例：TGH移动导游系统北京大学信息科学技术学院人机交互与多媒体研究室在国家自然基金重点项目及863项目的资助下，对多通道、多媒体的智能用户界面进行了较长时间的研究和开发工作[5]。

这里我们简要介绍最近完成的TGH移动导游系统工作。

3.1手持移动交互的多通道输入、输出及交互模型手持移动计算环境中的多通道交互模型如图1所示。

输入处理中首先对语音、笔等通道输入的信息进行识别、语法分析，再根据各自通道的语义分析形成交互原语（IP），多通道整合器接收这些交互原语后，按照某种整合算法对多通道的输入进行整合，其输出是带有明确、完整语义信息的命令原语。

再由交互管理器处理后，输出相应的结果或反馈信息。

图1 移动环境中的多通道交互模型根据以上模型，我们设计并实现了一个多通道导游系统TGH（Tourist Guide on Hand），支持基于语音和笔的多通道输入方式，为用户提供可随时随地获取的、易交互的、个性化的导游信息服务。