动态手势轨迹跟踪与HMM模式识别

动态手势轨迹跟踪与HMM 模式识别

林伟强 庄宝山

（福州大学数学与计算机科学学院）

摘要 为了理解用户手势的含义，本文首先利用摄像头捕获连续运动的手势，随后将其进行部分图像的预处理操作，利用手势分割技术将手势部分分割出来，并提取手势的质心以及面积的大小作为特征向量，用于建立隐马尔可夫模型的参数，最终形成一个能理解用户手势操作的系统，并对其进行应用。

关键词 手势识别 隐马尔可夫模型 手势分割

Dynamic Hand Gesture Trajectory Tracking And Hidden Markov Model Recognition

Lin Wei-qiang Zhuang Bao-shan

(Department of Mathematics and Computer Science, Fuzhou University) Abstract To understand the meaning of users ’ hand gestures, first of all, this article uses cameras to capture a series pictures of moving hands and then predo these pictures by using the technology of hand gestures segment to identify hands, extracting the central position and calculating the areas of hands, using these elements to build hidden markov model. Finally to form a system which can understand the meaning of user ’s hand movement.

Keywords Hand Gesture Trajectory Tracking, HMM, Hand Gesture Segment

一、引言

随着科技技术的日新月异，计算机科学的蓬勃发展，计算机已经成为了人们生活中不可获取的一个主要物品。而在其间，人机交互技术大大的方便了人们的生活，俨然成为了众多学者研究学习的主要内容。由于手势动作能够很好的表现人们想要传达的意思，使之成为计算机与人交互的主要方式之一，因此手势的识别在这些研究课题中成为了热门话题。 本文是基于摄像头捕获图像后，利用图像处理技术进行动态手势轨迹的跟踪与HMM 模式的识别。其内容包括图像预处理、手势分割与定位、手势的分析以及基于HMM 模式的手势识别四大块的研究，并给出了自己的设计方案。

在手势识别过程当中，不论是静态手势还是动态手势，都必须首先获得手势的图像，随后进行手势的检测，手势分割，手势的分析，最后进行手势的识别。具体流程如图1所示。

图1 手势识别的流程 迄今为止，隐马尔可夫模型在识别领域已经有着形形色色的应用。如Schlenzig 【1】利用

隐马尔可夫模型进行的手势识别，研究过程中为每个手势赋予一个隐马尔可夫模型用于后续

识别手势含义。再如Nam 与Wohn 【2】研究的手势识别系统，通过该研究很好的让计算机理

解时空手势的含义。卡内基梅隆大学的Christopher Lee 与

Yangsheng Xu 【3】，他们利用隐

马尔可夫模型，开发了一套手势识别的系统，判断手势含义。

二、HMM理论基础

隐马尔可夫模型是可用于标注问题的统计学习模型。该模型描述由隐藏的马尔可夫模型随机生成观测序列的过程，其中状态的转移以及观测序列的输出都是随机的。其中状态转移的随机过程是隐式的，通过观察序列的随机过程表达出来[4]。由于人的手势的运动（包括其运动方向和形态的变化）存在着很大的随机性，所以用HMM模型来描述手势的运动，可以满足手势的随机运动及变化的特性。

在文献[1]中对隐马尔可夫模型做出了定义，隐马尔可夫模型是由初始概率向量π、状态转移概率矩阵A和观测概率矩阵B决定。Π和A决定状态序列，B决定观测序列。因此，隐马尔可夫模型λ可以用三元符号表示，即

这种模型的结构主要有两种，一种是各类状态都经历的模型，一种是从左到右模型。其中从左到右的模型可以用来模拟手势随时间变化的特征状态，所以本文选择了从左到右的HMM模型结构。从左-右的隐马尔可夫模型包括两种（三状态转移和两状态转移），对于手势的运动表达他们都能取得很好的效果。本文采用的是二转移的HMM。

本文在构建基于隐马尔可夫模型的识别系统之前，需要对其3个关键的问题给予解决方法，他们分别是对于一个观测序列与一个隐马尔可夫模型：

（1）用什么方法去计算已知模型参数下观测序列O下的概率。

（2）如何选择一条最优的路径，用来最好的解释观测序列O。

（3）怎样选择模型的，使得达到最大。

只有在解解决了这三个问题以后，才能够运用隐马尔可夫模型。首先在求观测序列的概率可以使用前向概率和后向概率算法，获得的值，求最佳状态序列可以采用Viterbi算法，最后要是模型概率达到最高值，使用Baum-Welch算法。得到模型的参数

后，就可以运用HMM模型，进行手势的识别。

三、手势分析

手势分析是完成手势识别的关键技术，其结果将直接影响到识别阶段的识别率。通过手势的分析阶段的工作，可以获得手势的一些特征，并将其运用到识别阶段。这些特征可以包括手势的形状特征、运动的轨迹、面积大小等，他们与手势所表达的意义直接相连。本文采用手的质心位置的变化特征以及手部分面积变化来对运动的手势含义进行分析。

在对手势进行分析之前，首先需要将手势部分很好的分割出来，因为是否能准确分割出手的部分对后续的特征提取以及手势的识别阶段的准确率会造成巨大的影响。但是由于光照强度不同的问题，往往会对手势分割带来巨大的困难。为了解决光照问题对手势分割的影响，本文采用帧间差分结合肤色建模的方法来分割手势。

3.1、帧间差分技术

帧间差分法【5】是通过相邻两帧图像做相减操作后，得到运动部分图像的方法，只要获取的图像内物体有变化运动，那么帧间差分法就能很容易的将他们提取与识别出来。在具体