手势识别综述

手势识别综述

【摘要】介绍了手势识别的定义、分类，手势识别的过程，动态手势识别的过程。

【关键词】手势建模；傅里叶描述子；动态手势

1手势定义和分类

通常在人机交互领域手势定义为：人类通过手掌和手指的不同姿势组合形成的具有特定含义的信息的集合体称为手势。

手势通常可以分为操作性手势和交流性手势：如钢琴伴奏家在弹奏钢琴时的手指动作属于操作性手势,通过十个手指的不同组合，在键盘上发出不同声音形成乐曲的弹奏，只有操作的含义,不含有视觉上信息。马路上交警指挥路况时手上的动作属于交流性手势，通过司机观察交通警察手上不同动作理解警察的意思，含有视觉上的信息。

按照手势在表达的信息中所处的地位分为自主性手势和非自主性手势：哑语演示时表演者手上的手势动作完全表达了哑语表演者的思想，手势在语义交流中占主导地位，属于自主性手势，演员表演节目时有时为了更好的表达情感会用手势加深语义表达，但是手势只是为了更好表达意思，起到对演员表达思想的补充，这种手势动作这属于非自主性手势，在语义表达中不占主导地位。按照手势在交流活动中手势的作用对象分为离心手势和向心手势：比如说话人在下命令时手指向受命人这种手势属于离心手势，例如交通警察在交通管制中的手势属于离心手势，当听到某消息时听者会有相应的情感反应这时的手势属于向心手势，例如小朋友表示不同意时摇手即为向心手势。当操作者利用手势表达思想的时候有两种方式，一种是手臂不动完全通过手指和手掌的运动来表达操作者的意思，还有一种是忽略手指的运动，通过手的运动轨迹来表达思想。当我们做研究时会遇到手和手指同时运动的情况这时为了分类方便，需要做相应约束，当手是动的应忽略手指的动作，反之如果手指在动这时应忽略手的运动轨迹。因为基于表观的手势识别最终面临的是手的2D图像如果手和手指的运动同时考虑的话会给分类造成不必要的麻烦。

２手势识别的分类

按照对手势数据采集的方式分为数据手套型和摄像头型。

２．１数据手套

虚拟现实中重要组成部分，是一种通用的人机接口他可以将手指的复杂动作通过传感器反应到虚拟环境中去，在虚拟环境中真实再现手部动作。数据手套使用的效果关键是手套能不能将手指、手掌、手腕的弯曲真实的以数据形势反演到系统数据库中，让系统根据模型对手势进行有效识别，由于手部软组织和计算复杂性，数据手套的计算速度总是存在延时，同时从人机交互的角度手套佩戴也十分不方便，如果多人使用还存在卫生等问题，因此数据手套目前来说只是应用在试验阶段，真正推广到社会应用还有很多问题要解决。例如由海军某课题组开发的某型飞机训练仿真系统采用了数据手套，将人的动作如拉升飞机操纵杆通过数据手套反应到系统中，但是不足之处是手套存在一定的延时，通常第二个动作都准备做了，第一个动作系统往往还没执行，这和真实的飞机操作存在很大的差别，但是要想系统及时接受数据手套传感来的数据，往往对系统的中央处理器要求很高，需要大量投入经费和人力，存在一定的矛盾。因此数据手套在虚拟仿真中往

往只是完成简单的非连续的动作，对于连续复杂动作目前从技术上还不是很成熟。但是用数据手套来进行数据采集抗干扰性非常好，在数据采集的时候不容易手的外界环境的影响，例如光线照射等等。市面上比较成熟的产品有RME公司在上世纪80年代生产的DATAGLOVE,适用于VR的医学应用，不足之处是对用户手形要求高，对于特别大或者小的手使用存在不足。Cyber glove 是Virtual Technologies公司1992年生产的数据手套，重量轻易于抓举使用方便。

２．２基于摄像头

基于摄像头数据采集方式的手势识别系统从数据采集的角度来说要比数据手套方便，摄像头采集到的手部数据后比较麻烦的是要从背景中将手分割出来，通常会用肤色分割的方法基于皮肤的色调将不同于周围背景手的区域分离出来，但是会受到光线等因素干扰，分离出手后需要用合适的模型对手的动作建模，之后从模型中估算出参数，根据估算出的参数对手势进行分类，得出结论。由于在数据采集时容易受到背景干扰，往往要求背景颜色和手的颜色有较好的区分度。例如日本RT公司研发的基于单个摄像头的电视操作平面，对外界环境要求较高，当黄昏光线不好的时候，位于电视上的原装摄像头对手的变化反应迟钝，切换节目的速度不如白天的效果好。同时该系统要求电视的操作者只能有一个，即在摄像头前如果同时有两个人在操作，电视识别系统无法分辨出哪个操作应当执行，即对干扰的滤除存在需要改进的方面。

３手势识别的关键技术

手势的识别过程比较复杂，但是它基本从认知的角度可以分为建模、分析、判定三个过程，三个过程是按顺序逐一进行的，最终形成结论。

３．１手势建模

我们知道在研究手势时必须要抓住它共性的特征，无论是动态手势还是静态手势它们必然有可以反映其规律的特征，人为的把这些特征形成的集合就是建模，所谓手势建模就是将手的静态姿势和动态动作用某种一般规律进行描述这样在分析某种具体动作时就可以从模型中提取相应参数，用该参数来表征该动作的分类问题。

通常有基于三维和表观两种方式建模。基于3D方式需要对手的关节进行复杂的数学描述，理论上任何手势都可以用3D方式来描述，但是由于数学的限制在描述手势时并不尽人意，特别是复杂的动作，因此在一些简单的动作的描述上我们倾向于基本表观的方式来对手势建模。

基于表观的手势建模通常有基于平面灰度图像、变形模板、图像属性、图像运动参数四种。本文采用了基于手势平面灰度图像傅里叶描述子来对手势建模。

３．２手势分析与手势判定

所谓手势分析就是对从摄像头中采集到的手势数据需要进行去除噪声，目标定位，轮廓提取。所谓手势判定就是从手势模型中估算出手势的参数，利用参数对手势进行分类，通常采用经典的欧式距离比较法对手势分类，利用采集到的手势的傅里叶描述子，逐一和模板库中的手势进行比对，取欧式距离最小模板作为该手势。当然也有别的距离可以作为识别的判据，如马氏距离、切比雪夫距离等。

３．３动态判定

在动态手势判定过程中我们采用的是对视频流进行离散采样的方法具体如下：将动态手势分解成若干序列，取有代表性的序列形成模板库，然后对采集到的手势和模板库序列逐一比对，用欧式距离判定。当状态都能比对上时，确认该手势。