多通道用户界面
人机交互多通道人机交互ppt课件
通过整合来自多个通道的、精确的和不 精确的输入来捕捉用户的交互意图，提 高人机交互的自然性和高效性
MMI
手
用
嘴
…
击键/指点 通
语音
道
眼神
整
…
合
户
眼
手
…
2D/3D 多媒体信息
图5－1 多通道人机界面概念模型
应用例程
多通道用户界面研究的目标
互补性可能存在一个“优势通道 （Dominant Modality）”，并需要其他通道 予以辅助，例如，用语音直指（“This city”），则需鼠标在屏幕对象上指点
指派性
指派性是指某通道是完成特定交互任务唯 一途径的情形，即某通道必须被用于实现 特定交互任务而没有其他通道可以替代
指派性可分为两种情形
多通道用户界面主要关注人机界面中用 户向计算机输入信息以及计算机对用户 意图的理解
交互的自然性
使用户尽可能多地利用已有的日常技能与计算机 交互，降低认识负荷；
交互的高效性
使人机通讯信息交换吞吐量更大、形式更丰富， 发挥人机彼此不同的认知潜力；
与传统的用户界面特别是广泛流行的 WIMP/GUI兼容
交替而独立地使用不同的通道不是真正 意义上的多通道技术，必须允许充分地 并行、协作的通道配合关系
允许非精确的交互
人类语言本身就具有高度模糊性，人类 在日常生活中习惯于并大量使用非精确 的信息交流
允许使用模糊的表达手段可以避免不必 要的认识负荷，有利于提高交互活动的 自然性和高效性
多通道人机交互技术主张以充分性代替 精确性
有关视踪原理和技术的研究 二是在使用这种交互方式后，人机界面的设计技术和原
人机交互要点
人机交互要点人机交互（HCI）：是关于设计，评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象，进行研究的科学。
狭义地讲，人机交互技术主要是研究人与计算机之间的信息交换，主要包括人到计算机和计算机到人信息交换两部分。
人机界面：作为计算机的重要组成部分，主要是指人与计算机之间的通信方式，包括人-机双向信息交换的支持软件和硬件。
交互设计：设计交互方式与人机界面。
人机交互与其他学科的关系：认知心理学与人机工程学是交互技术的理论基础，多媒体技术和虚拟现实技术与人机交互技术互相渗透。
人机研究的内容：人机表示模型与设计方法；可用性分析评估；多通道交互技术；认知与智能用户界面；虚拟环境中的人机交互；WEB设计；移动界面设计；群件。
发展趋势：集成化，网络化，智能化，标准化。
人的感知是认知心理学的基础，人机交互通过感知来完成。
视觉感知分为两个阶段：接受信息阶段与解释信息阶段视锥细胞，视干细胞。
黄色绿色视敏度简称视力：是指人眼对细节的感知能力，是事物间距所对应视角的倒数表示。
音调与声波的频率有关，低频能产生低调的声音，高频能产生高调的声音。
响度是指在频率一定的情况下声波的振幅。
音色与发声的材料有关。
人类能辨别20HZ-20KHZ的声音。
音强超过140分贝时，是痛觉。
语音是260HZ 到5600HZ。
电话是300到3000HZ皮肤感知触觉：温度感受器，伤害感受器，机械刺激感受器。
触觉感知的另一面是动觉:快速适应感受器，慢速适应感受器，位置感受器。
认知：经验认知，思维认知。
关注：关注是在某个时刻，对众多可能感知的事物中选择一个，并把精力集中在这个事物上。
关注与两个方面有关：目标与信息表示。
基于人们的关注特点，人机界面要做到下列几点：信息的显示醒目：动画图形，彩色，下划线，对条目不同的使用排序避免过多使用色彩声音和图像，如果太过混杂，会引起反感。
感知和识别：总体设计原则是应采用适当的形式来表示信息。
（用户不费力识别图标的意义，声音足够响亮，文字清晰，紧握与按下的触觉不同）记忆三个环节：识记，保持，再认和回忆。
多通道用户界面
1100310120 潘飞达多通道用户界面为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体，实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径。
80年代后期以来，多通道用户界面成为人机交互技术研究的崭新领域，在国内外受到高度重视。
综合采用视线、语音、手势等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。
多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解，所要达到的目标可归纳为如下方面：1）交互的自然性：使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。
2）交互的高效性：使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。
3）与传统的用户界面特别是广泛流行的WIMP/GUI兼容。
下面将对多通道用户的特点，基本技术，未来发展和交互手段进行分点论述：一、多通道用户界面的基本特点1)使用多个感觉和效应通道2)允许非精确的交互3)三维和直接操纵4)交互的双向性5)交互的隐含性二、多通道用户界面涉及的主要技术1)多媒体使用多种表示媒体，如文本、图形、图像和声音，使人机交互技术最终要向着更接近于人的自然方式发展，使计算机具有听觉和视觉，以更自然的方式与人交互。
多媒体技术引入了动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率，使人们可以得到更直观的信息，从而简化了用户的操作，扩展了应用范围。
2)虚拟现实又称虚拟环境，虚拟现实系统向用户提供沉浸和多感觉通道体验。
在虚拟现实中，人是主动参与者，复杂系统中可能有许多参与者共同在以计算机网络系统为基础的虚拟环境中协同工作。
虚拟现实系统具有三个重要特点：沉浸感、交互性、构想性。
3)眼动跟踪与视觉有关的人机交互自始至终都离不开视线的控制。
用户界面设计
一、用户界面的概念和定义用户界面：又称人机界面，实现用户与计算机之间得通信，以控制计算机或进行用户和计算机之间得数据传送得系统部件。
GUI：即图形用户界面（Graphical User Interface,GUI）一种可视化得用户界面，它使用图形界面代替正文界面。
是为应用程序提供一个图形化的界面，程序通过GUI与用户交互，GUI能使一个应用程序具有与众不同的“外观”和“感觉”。
有了GUI，用户就不必花很多时间去记忆各个键盘序列的功能，从而把更多的时间投入到有效地使用应用程序本身上。
[1]由于传统观念的影响，用户界面设计一直不为重视，认为这纯粹是取悦用户的伎俩，没有任何实用价值。
只要一个应用软件具有强大的功能，能顺利帮助用户完成任务就可以了。
近年来，随着计算机硬件技术迅猛发展，生产成本大幅度下跌，用户在应用软件的可操作性以及操作的舒适性等方面提出了更高的要求，期望应用软件能尽可能的为他们提供一个轻松、愉快、感觉良好的操作环境。
这表明，友好的人机界面设计已经成为应用软件开发的一个重要组成部分。
对于应用软件来说，一个基本现实就是：用户界面是面向用户的。
用户需要的是开发者开发的应用软件满足其需求，并且易于使用。
太多的开发者自以为是艺术天才，他们不去尽力遵循用户界面设计标准，或花精力使得产品好用；相反，他们错误地认为编写更灵巧的代码或是使用一套确实有趣的颜色方案才是重要的事。
[2]界面设计成为以用户为中心，实现软件的简单使用和愉悦使用，使软件能够被用户所接受。
因此，判定一个成功的交互系统的首要条件是看它能否满足用户的需要。
这就要使应用软件不仅能够识别各种用户群，而且还可辨别各个用户所掌握的技能、经验以及他们的偏好。
任何计算机应用系统都是通过用户界面与用户交互的，用户界面已成为所有计算机系统的有机组成部分，它决定了人类如何控制和操纵系统。
一个好的用户界面应该为用户提供统一、规范的交互界面，从而提高用户工作效率，增强用户对系统的认可程度。
多通道用户界面的发展
• 通过不同通道（包括视觉、听觉、触觉、动觉、言语、手势、表情、眼动或神 经输入等）与计算机系统进行通信的用户界面，称为多通道用户界面 （multimodal user interface）。
多通道用户界面的发展
• 目前，占据统治地位的GUI/WIMP（window、icon、menu、 pointing device）界面的技术特点和优势是不容置疑的。然而， 它也有一定的局限性。比如，输入/输出不平衡，用户的输入带 宽远远低于输出带宽，用户输入所在的意义层次也很低；文本 输入和直接操纵这两种交互都要由手来进行，使得手在鼠标和 键盘之间切换频繁；屏幕空间资源本来十分宝贵，却大量被界 面构件而非应用工作区所占据；输入/输出方式单一，不能充分 利用用户的认知资源。一些通道负荷很重，如视觉，而另一些 通道几乎完全没有被利用，如听觉和触觉。
多通道用户界面的发展
• 19世纪80年代后期以来，多通道用户界面成为人机交互技术研究的崭新领域， 在欧美受到高度的重视。很多研究领域不一定使用“多通道”这样的名称，却与 多通道研究关系紧密而不可分割，特别是多媒体、虚拟现实、模式识别（语音 识别、手写识别、手势识别、表情识别及相应的合成技术）、自然语言处理/ 计算语言学、交互设备等。
多通道用户界面的发展
• 传统交互方式难以满足计算机领域的扩展，特别是虚拟现实、三维CAD与多 媒体等方面的发展对交互提出的新需求。一些过去在特殊场合才会有的需求， 如语音和声音的输入/输出，正在变成十分普遍而正常的需求。
• 人机界面设计最重要和最根本的动力则来自计算机走向普通用户、走进日常生 活的大趋势。计算机技术和产业发展的这种趋势，在很大程度上决定了界面发 展的趋势。随着计算机进入千家万户，对自然交互方式的呼声也日益高涨。
经典：人机交互技术-第5章----界面设计
40
5.3.2 设计
对用户的观察和分析为设计提供了丰富的 背景素材，应对这些素材进行系统分析 • 常用的素材分析方法是对象模型化，即 将用户分析的结果按照讨论的对象进行 分类整理，并且以各种图示的方法描述 其属性、行为和关系。
41
5.3.2 设计
对象抽象模型可以逐步转化为不同具体程 度的用户视图。 • 比较抽象的视图有利于进行逻辑分析， 称为低真视图（Low-fidelity Prototype）； • 比较具体的视图更接近于人机界面的最 终表达，称为高真视图（High-fidelity Prototype）。
42
5.3.2 设计
30
5.2.3 用户的区别 1. 用户的分类
偶然型用户：没有计算机应用领域的专业 知识，也缺少计算机系统基本知识的用户。
生疏型用户：他们更常使用计算机系统， 因而对计算机的性能及操作使用，已经有 一定程度的理解和经验。但他们往往对新 使用的计算机系统缺乏了解，不太熟悉， 因此对新系统而言，他们仍旧是生疏用户。
26
5.2.2 用户体验
影响用户体验的因素很多，包括： 现有技术上的限制，设计人员必须优先在
相对固定的UI框架内进行设计 设计的创新，用户的接受程度上有风险 开发进度表 设计人员容易认为他们了解用户需要，其
实不然
27
5.2.2 用户体验
要达到良好的用户体验，理解用户是第一步 要做的：
用户本身不同 用户知识不同 这在系统设计之初进行充分了解
图形用户界面和人机交互过程极大地依赖 于视觉和手动控制的参与，因此具有强烈 的直接操作特点
直接操纵用户界面更多地借助物理的、空 间的或形象的表示，而不是单纯的文字或 数字的表示。有利于解决问题和进行学习
人机交互复习题-6
人机交互作业题一、名词解释二、+1、人机交互：是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学。
2、人机界面：作为计算机系统的重要组成部分，主要是指人类与计算机系统之间的通信方式，包括人-机双向信息交换的支持软件和硬件。
3、人机交互设计：指的是“设计支持人们日常工作与生活的交互产品”，具体地讲就是关于创建新的用户体验的问题，其目的是增强和扩充人们工作、通信及交互的方式。
4、人机系统：由人和机器组成，通过人机之间的相互作用以实现特定功能的系统。
它包括人、机、人机之间以及人机系统所处的环境。
5、认知心理学：研究人的高级心理过程，主要是认识过程，如注意、知觉、表象、记忆、思维和语言等，从心理学的观点研究人机交互的原理。
6、人机工程学：人机工程学是运用生理学、心理学和医学等有关知识，研究人、机器、环境相互间的合理关系，以保证人们安全、健康、舒适地工作，从而提高整个系统工效的新兴边缘科学。
7、多媒体技术：多媒体技术是指将正文、声音、图形、静止图像、动态图像等与计算集成在一起的技术。
& 虚拟现实技术：虚拟现实(Virtual Reality , VR)就是借助于计算机技术及硬件设备，建立高度真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。
9、桌面隐喻：是指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力。
图形具有一定的文化和语言独立性，可以提高搜索目标的效率。
图形用户界面中的图例可以代表对象、动作、属性或其他概念。
10、图形用户界面：图形用户界面又称为WIMP界面，由窗口(windows)、图标(icons)、菜单m)、指点设备(pointingdevice)四位一体，形成桌面(desktop)11、多通道用户界面：多通道人机界面主要解决科学计算可视化、虚拟现实对计算机系统提出的高效、三维和非精确的人机交互要求。
多通道用户界面的设计
青岛理工大学人机交互实验设计报告院（系）：专业：学生姓名：班级学号：题目：＿＿多通道用户界面的设计＿＿＿＿＿起迄日期：＿完成日期: 2015 年7月 2 日语音识别综述：随着信息技术的高速发展和人类对计算机的依赖性不断增强，人机交互能力越来越受到研究者的重视。
如何实现计算机的拟人化，使其能感知周围的环境和气氛以及对象的态度、情感的内容，自适应地为对话对象提供最舒适的对话环境，尽量消除操作者和机器之间的障碍，已经成为下一代计算机发展的目标。
显然，人的大脑所表现出来的心智现象不仅仅体“智”的方面，而且还体现在“心”的方面。
人工智能已经不仅仅把研究重点放在对人脑智能实现上，而且也开展了对情感和意识方面的研究。
一般认为情感是通过语言、姿态、音乐和行为等表达模式来进行交流的，而其中语音信号中的情感信息处理的研究正越来越受到人们的重视。
顾名思义，语音情感识别包括语音识别和情感识别两大领域，而情感识别中又包括诸如心理学、生理学等多个学科，所以如果要想使计算机准确的在语音中提取出说话人所表达情，就必须要从多方面知识领域着手。
目前有许多关于语音和情感之间相互联系的研究，如美国、日本、欧洲、韩国等许多国家的一些研究单位都在进行情感语音处理研究工作。
语音情感识别技术的用途非常广泛，可以用来设计人性化的语音人机界面；可以用于互动影视；可以用于辅助语音识别；可以用于情感翻译；还可以用在测谎、电子游戏和辅助心理治疗等方面。
语音情感的特征提取：一般来说，语音中的情感特征往往通过语音韵律的变化表现出来。
语音情感的变化通常可以体现为语音特征参数的变化。
统计分析表明，高兴时，通常是语速较快，音量较大；悲伤时，通常是语速缓慢，音量较小。
基音是最常用的判定情感的语音特征，它反映了超音段的信息。
在语音情感识别中使用的特征参数有基频（Pitch），其次才是能量（Energy）、语速（Speech Rate）、共振峰频率（Formant）、单个音节的持续时间（Duration）、音节之间的停顿时间（Pause）、线性预测系数（LPC）、Mel倒谱系数（MFCC）等，以及它们的各种变化形式，如最大值、最小值、均值、范围、变化率等等。
人机界面的发展历程和组成结构及工作原理,人机界面如何控制plc-
人机界面的发展历程和组成结构及工作原理,人机界面如何控制plc?一、人机界面简介人机界面（Human Machine InteracTIon，简称HMI），又称用户界面或使用者界面，是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。
是系统和用户之间进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之间的转换。
凡参与人机信息交流的领域都存在着人机界面。
二、人机界面的发展历程1.命令语言用户界面早期的人机界面是命令语言人机界面，人机对话都是机器语言。
人机交互方式只能是命令和询问，通信完全以正文形式通过用户命令和用户对系统询问的方式来完成。
这要求惊人的记忆和大量的训练，要求操作者有较高的专业水平。
对一般用户来说，命令语言用户界面易出错，不友善且难学习错误处理能力也较弱。
因此，这一时期被认为是人机对峙时期。
2.图形用户界面随着硬件技术的发展以及计算机图形学、软件工程、窗口系统等软件技术的进步，图形用户界面（GraphicUserInterface）产生并得到广泛应用，成为当前人机界面的主流。
比较成熟的商品化系统有Apple的Macintosh、IBM的PM（PresentaTIonManag2er）、Microsoft的Windows和运行于Unix环境的X2Window等。
图形用户界面也被称为WIMP 界面，即窗口（Windows）、图标（Icons）、菜单（Menus）、指示器（PoinTIngDevice）四位一体形成桌面（Desktop）。
其中，窗口是交互的基础区域，主要包括标题栏、支持移动和大小缩放、菜单栏、工具栏以及操作区。
窗口通常是矩形，但现在很多软件把它做成不规则形，以便看上去会更有活力和个性。
图标是用于标识某个对象的图形标志，很大一部分来源于术语符号，初次接触时需要记忆，例如最小化、关闭等;还有一部分图标来源于生活，比较象形而不必记忆，比如喇叭就是调节音量，房子表示HOME，信封表示邮件等等。
多通道交互技术
多通道交互技术
• 融合（Fusion）与分流（Fission）对应输入与输出两个方向，融合就是指在 多个层次（词素的、词法的、语法的、语义的、语用的、会话的）上对来自不 同通道、具有不同表示的信息合一化处理，其目的是正确地获取用户输入，特 别是正确地解释用户输入。而分流则是指在多个层次上对需要传达给用户的特 定信息向不同输出通道、信道表示和表现所进行的转换。
特征参数模式的比较和匹配的过程。提取特征参数后，应对系统进行训练和聚 类。 （3）后处理 • 包括自动分词、词类分析、词义分析、词用分析、语法分析、句法分析、同音 词判别等。
多通道交互技术
1.6自然语言理解 • 计算机理解自然语言的核心任务是将自然语言的语句转化成机器内部的某种表
示形式。这种内部表示形式应能完整地体现句子的语法、句法和语义信息，然 后在这种内部表示形式上进行信息加工、问题求解和向另一种自然语言过渡 （机器翻译）。目前自然语言理解的方法有： 1．关键字匹配法 2．转换网络和扩充转换网络 3．图分析法 4．格文法 5．广义短语结构文法 6．基于神经网络的理解
多通道交互技术
1.3三维交互 • 三维空间交互技术包括三维显示技术和三维操纵技术。前者
是利用人两眼的视差，在三维显示设备（如立体眼镜或头盔 式显示器）上呈现立体图像的技术。后者是利用三维交互设 备（如三维鼠标、数据手套、跟踪球、三维操纵杆）在三维 空间中与计算机进行交互。三维空间控制设备至少能控制六 个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、 转动角和偏转角。通过控制这六个参数，用户可以在屏幕上 或沿三个坐标轴转动三维对象，目前，实现三维交互的方法 有： （1）直接操纵，利用三维空间控制设备直接操纵三维对象。 （2）三维楔子（Widgets）,这是三维界面中的一些小工具，用 户可以使用它们在二维空间中控制三维空间中的物体。
人机交互基础教程知识点总结与归纳
人机交互各章知识点第1章1.人机交互的概念，所涉及的学科及关系。
答：人机交互（Human-Computer Interaction，HCI）是关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的科学。
人机交互技术与认知心理学、人机工程学、多媒体技术和虚拟实现技术密切相关。
其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术、虚拟实现技术与人机交互技术是相互交叉和渗透的。
2.人机交互研究的内容。
答：人机交互的研究内容有人机交互界面表示模型与设计方法、可行性分析与评估、多通道交互技术、认知与智能用户界面、群件、Web设计、移动界面设计。
3.人机交互经历的三个阶段答：命令行界面交互阶段、图形用户界面交互阶段、自然和谐的人机交互阶段4.发展趋势答：集成化、网络化、智能化、标准化5.狭义的讲人机交互技术答：人机交互技术主要是研究人与计算机之间的信息交换，主要包括人到计算机和计算机到人的信息交换两部分。
第2章1.人的主要的感知方式答：视觉、听觉、触觉2.人的常见认知过程答：1、感知和识别2、注意3、记忆4、问题解决5、语言处理交互原则：许多认知过程是相互依赖的，一个活动可同时涉及多个不同的过程，只涉及一个过程的情况非常罕见。
3.人机系统设计步骤答：（1）需求分析阶段（2）调查研究阶段（3）系统分析规划阶段（4）系统设计阶段（5）测试阶段（6）人机系统的生产制造及提交使用阶段4.人机工程学的定义答：人机工程学是研究“人-机-环境”系统中人、机、环境三大要素之间的关系，为解决系统中的人的效能、健康问题提供理论与方法的科学。
第3章1.交互设备的的分类输入设备{文本输入设备：键盘、手写输入设备（手写板）图形输入设备：二维扫描仪、数码摄像头三维信息输入设备：三维扫描仪、动作捕捉设备指点输入设备：鼠标、光笔、控制杆板、触摸屏}输出设备显示器、打印机、语音交互设备（耳麦、声音合成设备）虚拟现实交互设备：三维空间定位设备（空间跟踪定位器、数据手套、触觉和力反馈器），三维显示设备（立体视觉、头盔式显示器、VAVE（洞穴是现实环境）、裸眼立体显示器、真三维显示）第5章1.人机界面的分类方式：根据用户界面的具体形式、根据根据用户界面中信息载体的类型、根据计算机输出信息的形式图形用户界面有哪几种：命令行界面、图形界面和多通道用户界面2.图形用户界面的三个重要思想答：1.桌面隐喻 2.所见即所得 3.直接操纵3.设计用户界面的一般性原则答：(1)界面要具有一致性(2)常用操作要有快捷方式(3)提供必要的错误处理功能(4)提供信息反馈(5)允许操作可逆(6)设计良好的联机帮助(7)合理划分并高效地使用显示屏幕4.多通道用户界面的基本特点答：1.使用多个感觉和效应通道 2.允许非精确的交互 3.三维和直观操纵 4.交互的双向性 5.交互的隐含性第6章1.GOMS、LOTOS、UAN的定义与作用。
多通道用户界面原型系统FreeVoiceCAD
多通道用户界面原型系统FreeVoiceCAD普建涛董士海〔大学计算机系图形研究室100871〕摘要用户界面的研究旨在为用户提供一种高效的人机通讯方式。
近年来随着计算机软、硬件的迅猛开展以及因特网的异军突起，传统的图形用户界面面临着新的挑战。
本文重点介绍了我们在AutoCAD平台上开发的一个多通道用户界面原型系统─FreeVoiceCAD，它支持多个通道的用户输入，通过受限的自然语音、指点等方式进展图形设计，用户不仅可以直接向系统发出相应的语音命令请求执行，而且可以配合指点操作对图形对象的属性进展赋值和修改。
此外，还对系统的绘图效率、易用性和自然性等方面进展了测试，指出了其中存在的一些问题和难点，提出了CAD系统多通道用户界面应该进一步研究和解决的关键内容。
关键词计算机辅助设计，多通道用户界面，整合，系统评测FreeVoiceCAD━A MILTIMODAL USER INTERFACE PROTOTYPE SYSTEMPU Jian-Tao DONG Shi-Hai(Graphic Laboratory, Department of puter Science, Peking University, Beijing 100871)Abstract The aim of the research of user interface is to provide an efficient way of munication between user and puter. With the quick development of puter software and hardware and the emergence of Internet, the traditional CAD system user interface faces new challenges. This article stresses on the introduction of a multimodal user interface prototype system─FreeVoiceCAD, which is developed on the platform AutoCAD. It supports user’s inputs with several modalities, such as natural speech and pointing. User can not only sends speech mands directly to system, but also give and modify graphics objects’ attributes with the help of pointing. The drawing efficiency, usability and naturalness are tested and the existing problems and difficulties are pointed out. Finally this article puts forwards some key problems which need further research and attention.Keywords pute aided design, multimodal user interface, integration, system evaluation１引言CAD〔计算机辅助设计〕系统的出现革命性地改变了工程设计人员的设计方式，已经成为提高生产力的重要手段。
多通道用户界面
!"#$%!&’(# )*+, -.$+,/(0+
$7Байду номын сангаас 89:; 3 <=:
（ !"#$%&’( )*+’,*’ -’$.(&#’,& ， /"(&01’2& 3"45&’*0,+*.4 6,+7’(2+&5，8+9., *+,,*- ， !0+,.）
! ! "#$%&’(% ： 7>?@ #:A?@B=C? D> E9@? =:F E9@? DEG9@A=:A D: C9EGHA?@ A?CI:9J9;< K?C=H>? 9B AI? @=GDF G@9;@?>> 9B C9EGHA?@ A?CI:9J9;< =:F #:A?@:?A A?CI:9J9;<1 /I? "HJADE9F=J 7>?@ #:A?@B=C? D> = :?L @?>?=@CI =>G?CA D: AID> F9E=D:1 #A H>? E=:< =JA?@:=AD:; F?MDC?> =:F DEG@9M? =JA?@:=AD:; ?BBDCD?:C<1 /ID> =@ADCJ? E=N? F?A=DJ?F FD>CH>>D9: 9: C9:C?GA 9B "HJADE9F=J 7>?@ #:A?@B=C? =:F >9E? D:A?@=CAD9: A?CI:9J9;<1 2A AI? ?:F 9B AI? =@ADCJ? ，L? =J>9 D:A@9FHC? AI? G@9;@?>> B9@?;@9H:F 9B AI? "HJAD"9F=J 7>?@ #:A?@B=C?1 )*+ ,-&.$： 7>?@ #:A?@B=C? ； "HJAD"9F=J 7>?@ #:A?@B=C? ； 8HE=: $9EGHA?@ #:A?@=CAD9:
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
70年代，语音识别领域取得了较大进展。在理论上，LP技术得到进一步发展，动态时间归正技术（DTW）基本成熟，特别是提出了矢量量化（VQ）和隐马尔可夫模型（HMM）理论。在实践上，实现了基于线性预测倒谱和DTW技术的特定人孤立语音识别系统。
总
结
语音识别是要进一步拓展我们的交流空间，让我们能更加自由地面对这个世界。可以想见，如果语音识别技术确实取得了突破性进展，那么多语种交流系统的出现就是顺理成章的事情，这将是语音识别技术、机器翻译技术以及语音合成技术的完美结合，而如果硬件技术的发展能将这些算法进而固化到更为细小的芯片，比如手持移动设备上，那么个人就可以带着这种设备周游世界而无需担心任何交流的困难，你说出你想表达的意思，手持设备同时识别并将它翻译成对方的语言，然后合成并发送出去；同时接听对方的语言，识别并翻译成己方的语言，合成后朗读给你听，所有这一切几乎都是同时进行的，只有机器充当着主角。
识别
包含特征参数提取；参数模板存储及识别。
识别语音的过程，实际上是对语音特征参数模式的比较和匹配的过程。寻找一个既能充分表达语音特征又能彼此区别的、较稳定的特征参数是很重要的。语音识别系统常用的特征参数有线性预测系数、倒频谱系数、平均过零率、平均能量、短时频谱、共振蜂频率及带宽等。识别参数的选择着眼于能得到高的识别率，由于有些参数的提取较为复杂，计算较费时，因而要折衷考虑选用哪些参数并确定采用哪种识别方法。
语音信号在完成模/数转换后，还要进行特征提取，一方面为了获得语音的本质特征；另一方面还可以进行数据的压缩。目前通用特征提取的方法是基于语音帧的，即将语音信号分为有重叠的若干帧，对每一帧提取语音特征。
声学模型
声学模型是用于从语音到音节的概率计算。在识别时将提取的语音特征与声学模型比较并匹配，以获得最佳的识别效果。目前广泛采用的声学建模法有：隐马尔科夫模型建模和上下文相关建模。
后处理
包括自动分词、词类分析、词义分析、词用分析、语法分析、句法分析、同音词判别等。后处理是利用语言学知识库中的知识，按一定的推理策略，把识别出来的拼音转换成汉字并理解语句的含义。语言学知识库中有词汇、语法、句法、语义、语用和常用词语搭配等知识。
发展前景
21世纪是信息和网络的时代,Internet和移动通信、固话通信的网络把全球各地连接起来。自然口语对话、电子商务、信息索取、数字图书馆、语音翻译、远程教育等一系列的人类活动都可在网络上实现。语音识别系统的出现,会让人更加自由的沟通,让人在任何地方,任何时间,对任何事都能够通过语音交互的方式,方便地享受到更多的社会信息资源和现代化服务。这必然会成为语音识别技术研究和应用的重要发展趋势。
语音识别技术是计算机通过识别和理解的过程把语音信号转变为相应的文本文件或命令的技术。当人们想对计算机说话时，通常首先需要进行语音识别，即将声音信号转换成单词流。
发展历史
语音识别的研究工作大约开始于20世纪50年代，当时AT&T Bell实验室基于共振峰提取技术实现了第一个可识别十个英文数字的语音识别系统——Audry系统。
语言模型
语言模型用于计算从音节到字的概率。目前，语言模型主要有：规则模型和统计模型两种。
语音识别的过程分为三个步骤：预处理、识别和后处理。
预处理
包含波形硬件采样率的确定、分帧的大小和帧移策略的确定；剔除噪声的带通滤波、高频预加重处理、各种变换策略；波形的自动切分。
首先对模拟语音信号采样，将其数字化。连续语音流切分是找出语音信号中的各种识别基元如音素、音节、半音节、声韵母、单词或意群等的始点和终点的位置，进而将对连续语音的处理变为对各个语音单元的处理。语音端点检测指的也是连续语音流切分。
最近年里，语音识别技术的显著进展，带来了高性能的算法和系统。用于语音拨号、语音命令控制、简单的数据输入和准备结构化文档的语音识别工具已经开始出现。
主要的研究方法分类
语音识别技术是计算机通过识别和理解的过程把语音信号转变为相应的文本文件或命令的技术。一个完整的语音识别系统应包括以下三个部分：
语音特征提取
80年代，MFCC的参数提取技术和HMM模型的深入使用使得语音识别技术得到进一步的发展，语音识别的问题逐步在理论体系上得到了比较完整和准确的描述，同时在实践上又逐步研发出效率较高的解决算法。
90年代以来，在美国国防部的Darpa测试、Ears计划、近期的Gales计划，以及我国863计划等推动下，一大批高水平的研究机构和企业加入到语音识别的研究领域，极大地推动了语音识别技术的发展和应用。语音识别系统已经从过去的小词汇量、孤立词识别、特定人识别、安静环境等简单任务逐步发展到大词汇量、连续语音、非特定人、噪声环境下的识别任务，从单纯的语音识别任务发展到语音翻译任务，从实验室系统走向商用系统。
调
试
过
程
及
实
验
结
果
多通道用户界面：语音识别
随着计算机技术的发展，人们迫切需要一种更加自然的、更加能为多数人所接受的方式与计算机沟通。在人机对话方面寻求最好的语音信息交换手段是发展人机语音通信和新一代智能计算机的主要组成部分。随着计算机的普及，越来越多的人在使用计算机，如何给不熟悉计算机的人提供一个友好的人机交互手段，逐渐引起了人们的重视。从而也就诞生了计算机语音学。计算机语音学覆盖了广泛的研究活动，包括语音识别、语音合成、语音编码、自然语言理解、机器翻译等。
青岛理工大学
课程实验报告
课程名称
人机交互基础教程
班级
软件131
实验日期
2015.6.10—2015.6.30
姓名
杨鲁
学号
201207197
实验成绩
实验名称
多通道用户界面
实
验
目
的
及
要
求
1.了解常见的多通道用户界面
2.查找资料，熟悉一种多通道用户界面并写出综述
实
验
环
境
硬件平台：PC
软件平台：
实验内容来自要求上网查找资料，熟悉一种多通道用户界面并写出综述，可以是眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别等。
[8] Based on improved a hidden markov model (HMM) speech recognition method Volume 26, Issue 6, October 1999
[9]Man-machine interaction and absenteeism Original Research Article
附
录
参考文献
[1]柳春语音识别技术研究进展[J]甘肃科技
[2]杨尚国语音识别技术概述[J]福建电脑
[3]熊燕抗噪声语音识别技术研究[J]中国科技信息
[4]刘筠一种新型语音识别系统[J]成都大学学报(自然科学版)
[5]马斌基于小波变换的DSP语音识别系统[J]低压电器
[6]英锋基于SPCE061A的语音识别系统的设计[J]微计算机信息