基于混合高斯模型的非固定握持姿势手势识别

在处理时间框架下的连续数据时， 该模型是一种有 ３］ ． 然 效的手势识别工具， 这已经被很多研究证明 ［ 而 ＨＭＭ 计算的复杂程度随着状态数目和特征向 ４］ ， 庞大的计算量制 量维度的增大而成比例增加 ［ 约着 ＨＭＭ 的广泛应用． 较新的识别算法中， 动态 时间规整（ ｄｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇ ， ＤＴＷ） 可以在识 别正确率和计算量之间做出很好的平衡， 吸引了众 ［ ５ ７］ ． 然而 ＤＴＷ 是一种用户依 多研究人员的关注 赖的识别算法， 即目标用户必须亲自训练系统， 否 则系统识别率会下降很多． 最新的研究中， 研究人 员开始深入挖掘手势数据自身的特点， 而不完全依 赖于复杂的模型， 这种基于特征提取的算法可使计 算量和识别时间大幅减少， 同时保证较高的识别 ［ ８ ９］ ， 特别适合于以人机交互为目的的手势识别． 率 手势识别研究普遍以提高识别率和识别速度 为焦点， 在采集手势命令数据时， 要求用户必须严 格以固定方式握持加速度采集设备， 以排除用户不 同握持姿势引起的数据变化． 但在实际应用中， 这 会严重影响用户的舒适性， 也不符合 “ 机器适应 人” 的 交 互 理 念． 本文通过使用混合高斯模型 （ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ，ＧＭＭ） 实现非固定握持 姿势的手势识别， 以提高手势交互的用户体验． 首 先通过 ＧＭＭ 从加速度传感器数据中提取用户握 持姿势信号， 然后借助握持信号实现手势命令数据 提取与坐标转换， 使识别系统能够自适应不同的握 持姿势． 为使 ＧＭＭ 可以同时满足手势识别应用中 对稳定性和适应速度的要求， 优化了 ＧＭＭ 的学习 机制， 包括增加备则模态和改善优先级计算．
Ａｂｓｔｒａｃｔ：Ｉｎ ｍｏｓｔ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒｅｓｅａｒｃｈｅｓ，ｐａｒｔｉｃｉｐａｎｔｓ ａｒｅ ａｓｋｅｄ ｔｏ ｈｏｌｄ ｔｈｅ ｄａｔａ ｃｏｌｌｅｃｔｉｎｇ ｄｅｖｉｃｅ ｉｎ ｆｉｘｅｄ ｐｏｓｉｔｉｏｎ ｓｔｒｉｃｔｌｙ，ｗｈｉｃｈ ｃａｕｓｅｓ ｐｏｏｒ ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ．Ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ，ａｎ ｅｎ ｈａｎｃｅｍｅｎｔ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｈｅ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ （ ＧＭＭ）ｉｓ ｐｒｅｓｅｎｔｅｄ．Ｉｔ ｃａｎ ａｃｈｉｅｖｅ ｇｅｓ ｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｕｎｆｉｘｅｄ ｈｏｌｄｉｎｇ ｐｏｓｉｔｉｏｎ ａｎｄ ｉｍｐｒｏｖｅ ｔｈｅ ｉｎｔｅｒａｃｔｉｏｎ ｃｏｍｆｏｒｔａｂｉｌｉｔｙ．Ｆｉｒｓｔ，ｔｈｅ ｈｏｌｄｉｎｇ ｐｏｓｉｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ａｂｓｔｒａｃｔｅｄ ｆｒｏｍ ｒａｗ ａｃｃｅｌｅｒａｔｉｏｎ ｄａｔａ ｂｙ ｔｈｅ ＧＭＭ．Ｔｈｅｎ ｔｈｅ ｃｏｏｒｄｉ ｎａｔｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｉｓ ｃｏｎｄｕｃｔｅｄ ａｎｄ ｔｈｅ ｇｅｓｔｕｒｅ ｏｐｅｒａｔｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｓｅｐａｒａｔｅｄ ｗｉｔｈ ｔｈｅ ｈｏｌｄｉｎｇ ｐｏｓｉｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ．Ｔｏ ｍｅｅｔ ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔｓ ｆｏｒ ｓｔａｂｉｌｉｔｙ ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ ｓｐｅｅｄ，ｔｈｅ ｐａｒａｍｅｔｅｒ ｕｐ ｄａｔｉｎｇ ｓｔｒａｔｅｇｙ ｏｆ ｔｈｅ ＧＭＭ ｉｓ ｉｍｐｒｏｖｅｄ ｂｙ ａｄｄｉｎｇ ｂａｃｋｕｐ ｃｏｍｐｏｎｅｎｔ ａｎｄ ｏｐｔｉｍｉｚｉｎｇ ｔｈｅ ｐｒｉｏｒｉｔｙ ｃｏｎｓｉｄｅｒａｔｉｏｎ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｗｈｅｎ ｔｈｅ ｒｏｌｌ ａｎｇｌｅ ａｎｄ ｔｈｅ ｐｉｔｃｈｉｎｇ ａｎｇｌｅ ａｒｅ ｂｅ ｔｗｅｅｎ － ６０ ° ｔｏ ＋ ６０ ° ， ｔｈｅ ｙａｗ ａｎｇｌｅ ｉｓ ｂｅｔｗｅｅｎ － ２０ ° ｔｏ ＋ ２０ ° ， ｔｈｅ ｈｏｌｄｉｎｇ ｐｏｓｉｔｉｏｎ ｈａｓ ｎｏ ｓｉｇｎｉｆｉ ｃａｎｔ ｉｍｐａｃｔ ｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｃｃｕｒａｃｙ．Ｓｏ ｔｈｅ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｓ ｉｍｐｒｏｖｅｄ ｗｉｔｈｏｕｔ ｆｉｘｅｄ ｈｏｌｄｉｎｇ ｐｏｓｉｔｉｏｎ，ｔｈｕｓ ａｃｈｉｅｖｅ ｂｅｔｔｅｒ ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ． Ｋｅｙ ｗｏｒｄｓ：ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ；Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ；ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ 手势是通过肢体， 特别是手部的运动来完成明 确的可识别动作． 手势识别是指将这些动作分类和 １］ ． 作为一种本能自然的表 理解这些动作的过程 ［ 达方式， 手势可以简化交互过程， 使人机交互愈发 ［ ２］ 自然． Ｐｏｐａ 甚至预言更加贴近自然的交互方式 正在被发掘， 并且逐步取代着传统的交互方式． 键 盘、 鼠标和操纵杆会消亡， 至少被语音识别、 触摸 屏、 手势识别及一些其他系统所补充完善． 早期手 势 识 别 算 法 中， 隐性马尔科夫模型 （ ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌ， ＨＭＭ） 受到最广泛的认可．
基于混合高斯模型的非固定握持姿势手势识别
王 原 汤勇明 王保平
（ 东南大学电子科学与工程学院， 南京 ２１００９６ ）
摘要：针对手势识别研究中普遍要求用户以严格固定方式握持数据采集设备， 致使用户体验差 的问题， 使用混合高斯模型（ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ， ＧＭＭ） 对非固定握持姿势的手势识别算法 进行改进， 以提高手势人机交互时的舒适性． 首先通过 ＧＭＭ 从加速度传感器数据中提取用户握 持姿势数据， 然后借助握持信号实现手势命令数据提取与坐标转换， 使识别系统能够自适应不同 的握持姿势． 为使 ＧＭＭ 可以同时满足手势识别应用中对稳定性和适应速度的要求， 优化了 ＧＭＭ 的学习机制， 包括增加备则模态和改善优先级计算． 实验结果表明， 所述系统在滚转角和 俯仰角 ＋ ６０ ° ～－ ６０ ° 、 偏摆角 ＋ ２０ ° ～－ ２０ ° 范围内， 握持姿势对手势识别正确率没有明显影响， 实现了非固定握持姿势的手势识别， 起到了提高用户体验的作用． 关键词：手势识别； 混合高斯模型； 用户体验 中图分类号：ＴＭ３９ １ ． ４ 文献标志码：Ａ 文章编号：１００１ － ０５０５ （ ２０１４ ） ０２ ０２３９ ０５
ＧＭＭ 最常见的应用之一是提取视频背景， 以 作为检测运动的前景． 在手势识别中， 用户握持设 备的信号可以看作背景， 手势命令信号可以看作前 景． 以加速度传感器三轴读数为特征值建立 ３ 组 作为 ＧＭＭ， ３ 组 ＧＭＭ 的总体期望组成向量 ＡＧＭＭ， 用户握持设备信息． 前景信号为传感器实时读数与 背景信号之差， 即 ＡＧＭＭ （ ９） Ａ＝ Ａｒｅａｌ － Ａ 为手势命 式中， Ａｒｅａｌ 为加速度传感器实时读数； 令信号． 设 Ａ 沿用户坐标系三轴分量分别为 ＡＸ， ＡＺ ，ＡＺ 为 Ａ 在 ＡＧＭＭ反方向的投影， 即 Ａ Ｙ， Ａ·ＡＧＭＭ ＡＧＭＭ ＡＺ ＝－ （ １０ ） ＡＧＭＭ ＡＧＭＭ 将 ＡＸ ＋ ＡＹ ＝ Ａ－ ＡＺ 记为 ＡＹ ＝ ａ ｈｘ ｘ ＋ ａ ｈｙ ｙ ＋ ａ ｈｚ ｚ （ １１） ＡＸ ＋ 根据能量守恒
收稿日期： ２０１３ ０９ ２７ ． 作者简介：王原（ １９８６ —） ， 男， 硕士生； 汤勇明（ 联系人） ， 男， 博士， 研究员， ｔｙｍ＠ ｓｅｕ． ｅｄｕ． ｃｎ． 基金项目：国家高技术研究发展计划（ ８６３ 计划） 资助项目（ ２０１２ ＡＡ０３ Ａ３０２ ） 、 高等学校学科创新引智计划资助项目（ Ｂ０７０２７ ） ． ２３９ 引用本文：王原， 汤勇明， 王保平． 基于混合高斯模型的非固定握持姿势手势识别［ Ｊ］ ． 东南大学学报： 自然科学版， ２０１４ ， ４４ （ ２） ： ［ ｄｏｉ： １０ ． ３９６９ ／ ｊ． ｉｓｓｎ． １００１ － ０５０５ ． ２０１４ ． ０２ ． ００３ ］ ２４３ ．
Ｃ
２
２
２
Ｕ ＝∑ ｗ ｋ ｕ ｋ
ｋ＝ １
（ ８）
Байду номын сангаас
２ ＧＭＭ 的应用与改进
２． １ ＧＭＭ 的应用 本文中坐标系设置如图 １ 所示， Ｚ 轴垂直于水 平面， Ｙ 轴指向用户．
１ ＧＭＭ 基本原理
１０ ］ 混合高斯模型 ［ 是用高斯概率密度函数精确 地量化事物， 将一个事物分解为若干基于高斯概率 密度函数形成的模型， 其中每一个高斯概率密度称 为模态． 若某变量 ｘ 服从高斯分布， 则其概率密度 函数为 ２ １ （ ｘ －ｕ） ｅｘｐ － （ １） Ｎ（ ｘ； ｕ， ）＝ σ ２ ２σ ２π σ 槡 式中， ｕ 为期望； ＧＭＭ 采用若干个模 σ为标准差． 态进行加权， 表示变量的概率密度函数 Ｐ 为
２ ４０
东南大学学报（ 自然科学版） 第 ４４ 卷 分布， 如新值满足模态 ｉ 的分布， 则对模型中各模 态进行如下更新： （ １ －α ） ｗ ｋ， ｋ ＝ｉ ｔ－ １ ＋α （ ３） ｗ ｋ， ｔ ＝ ｋ≠ｉ （ １ －α ） ｗ ｋ， ｔ－ １ α （ ４） ｐｉ ＝ ｗ ｉ， ｔ－ １ ｕ ｉ， １ －ρ ） ｕ ｔ －１ ＋ρ ｘｔ （ ５） ｔ ＝（
Ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｕｎｆｉｘｅｄ ｈｏｌｄｉｎｇ ｐｏｓｉｔｉｏｎ ｂａｓｅｄ ｏｎ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ
Ｗａｎｇ Ｙｕａｎ Ｔａｎｇ Ｙｏｎｇｍｉｎｇ Ｗａｎｇ Ｂａｏｐｉｎｇ
（ Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ ，Ｓｏｕｔｈｅａｓｔ Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ ２１００９６ ，Ｃｈｉｎａ）
第 ４４ 卷第 ２ 期 ２０１４ 年 ３ 月
东 南 大 学 学 报 （自 然 科 学 版 ）
ＪＯＵＲＮＡＬ ＯＦ ＳＯＵＴＨＥＡＳＴ ＵＮＩＶＥＲＳＩＴＹ （ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ）
Ｖｏｌ． ４４ Ｎｏ． ２ Ｍａｒ． ２０１４