基于Leap Motion和支持向量机的手势识别

２）卡｝Ｉ对坐怀信息的选取方 法 ：首先获取 手掌心 和各 个
，
关 点的 ：维坐标点数据 ，然后求 出 ｌ５个关节点的三维坐
标数据相对于掌心 ：三维坐标数据的坐标值
，●ｆ 耪 ，
图 ３ 手 指 关节 点对 应 位 置
图 ４ 两 向量 之 间所 成 角度
２．２．３ 炎 点角度 和相对坐标求取
ｄａｔａ，ｅｓｔａｂｌｉｓｈ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｏｄｅ１．Ａｆｔｅｒ ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｆ ｆｅａｔｕｒｅ ｄａｔａ，ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ ）
ｃｌａｓｓｉｆ ｉｅｒ ｉｓ ｕｓｅｄ ｆｏｒ ｔｒａｉｎｉｎｇ，ｍｏｄｅｌｉｎｇ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｓ ｒｅａｌｉｚｅｄ．Ｔｈｅ ｅｘｐｅｒｉｍ ｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｅｔｈｏｄ ｗｈｉｃｈ ｕｓｅｓ ａｎｇｌｅ ｄａｔａ ａｎｄ ｃｏｏｒｄｉｎａｔｅ ｄａｔａ ａｓ ｇｅｓｔｕｒｅ ｆｅａｔｕｒｅ ｉｓ ｆｅａｓｉｂｌｅ，ｔｈｅ ａｖｅｒａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｉｓ ｒｅｓｐｅｃｔｉｖｅｌｙ ９６．６％ ａｎｄ ９１．８％ ．Ｉｔ ｃａｎ ｂｅ ｃｏｎｃｌｕｄｅｄ ｔｈａｔ ｕｓｉｎｇ ａｎｇｌｅ ｄａｔａ ａｓ ｆｅａｔｕｒｅ ｖａｌｕｅ ｈａｓ ｈｉｇｈｅｒ ａｃｃｕｒａｃｙ ａｎｄ ｒｏｂｕｓｔｎｅｓｓ，ａｎｄ ｉｔ ｃａｎ ａｖｏｉｄ ｔｈｅ ｌｉｍｉｔａｔｉｏｎ ｏｆ ａ ｓｉｍｐｌｅ ｅｉｇｅｎｖａｌｕｅ，ｉｔ ｈａｓ ｓｔｒｏｎｇ ｃｏｎｖｉｎｃｉｎｇ．
随着传感技术 的发 展 以及 应用 的普及 ，深度 摄像 头引 起 了越 来 越 多人 的 注意 ，同时 各类 ３Ｄ应用 也 层 出不 穷 。 尽管微软 Ｋｉｎｅｃｔ价廉且普 及广 ，但其对人 体手部信 息 的识 别和处理复杂 ，必须经过繁杂 的图像处理等识别过程 ，难 以 实现快速 的估计 手 部姿 态 Ｊ。而其 他更 高性 能 的深 度摄 像头价格 昂贵 ，难 以普 及 。不 同于 Ｋｉｎｅｃｔ对视 野范 围 内追 踪到物体 的整体框架描 述 ，Ｌｅａｐ Ｍｏｔｉｏｎ仅针对 手部 信息 的 追踪 描述 ，通过对 手部信息包括骨骼点 、关节点等的精细化 描述 ，并 利 用 其 实 现对 手 势 的 特 征 提 取 和 准 确 识 别 。
２０１８年 第 ３７卷 第 ５期
传感器与微系统 （Ｔｒａｎｓｄｕｃｅｒ ａｎｄ Ｍｉｃｒｏｓｙｓｔｅｍ Ｔｅｃｈｎｏｌｏｇｉｅｓ）
４７
ＤＯＩ：１０．１３８７３／Ｊ．１０００－９７８７（２０１８）０５－－００４７－－０４
基 于 Ｌｅａｐ Ｍｏｔｉｏｎ和 支 持 向量 机 的 手 势识 别
杨 文璐 ，乔海 丽 ，谢 宏 ，夏 斌 （上海海 事大 学 信息工程学院 。上海 ２０１３０６）
１）关 点 角 度 求 取 ：舀’先 求 出 两 点 之 问 的 向 髓 ，｛ｌｊ．根
据 量求出 两个向量之间 的ห้องสมุดไป่ตู้角 ，其相关计算公式为
ＡＢ：（Ｂｘ－Ａｘ。Ｂ 一 ’，，Ｂｚ一 ）
（１）
ＡＣ＝（Ｃｘ－Ａｘ，Ｃｙ－Ａ），，Ｃｚ—Ａｚ）
（２）
ＣＯＳ ６）： 丽
（３）
式 『ｆｌ Ａ为 ｊｏｉｎｔ２的 三维坐标 信息 ；Ｂ为 ｉｏｉｎｔｌ的三维坐标 信息 ；Ｃ为 ．ｉｏｉｎｌ３的： 维 坐标信 息 、０即 为所求 ，其 他角 度
Ａｂｓｔｒａｃｔ： Ｉｎ ｏｒｄｅｒ ｔｏ ｍａｋｅ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｐｐｌｉｅｄ ｉｎ ｍｏｒｅ ｆ ｉｅｌｄｓ，ａｎ ａｐｐｒｏａｃｈ ｂａｓｅｄ ｏｎ ｔｈｅ ＩＪｅ印 Ｍｏｔｉｏｎ ｓｏｍ ａｔｏｓｅｎｓｏｒｙ ｄｅｖｉｃｅｓ ｒｅａｌ－ｔｉｍｅ ｔｒａｃｋｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｉｓ ｐｕｔ ｆｏｒｗａｒｄ ｔｏ ｏｂｔａｉｎ ３Ｄ ｓｐａｃｅ ｃｏｏｒｄｉｎａｔｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｇｅｓｔｕｒｅ，ａｎｄ ｅｘｔｒａｃｔ ａｎｇｌｅ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｒｅｌａｔｉｖｅ ｃｏｏｒｄｉｎａｔｅ ｉｎｆｏｒ ｍ ａｔｉｏｎ ｒｅｓｐｅｃｔｉｖｅｌｙ，ｃｏｎｓｔｒｕｃｔ ｇｅｓｔｕｒｅ ｆｅａｔｕｒｅ
当摄 像 头 检 测 到 手 时 ．Ｌｅａｐ Ｍｏｔｉｏｎ软 件 为 分 －一个 唯 一 的识 别 （ｉｄｅｎｔｉｆｉｅａｔｉｏ￣１，ＩＤ）指 示 符 ｉ于 一 Ａ存 ＿ ｆ该 设备 的 可 视 范 围 内 时 ，ｍ 指 示 符 会 保 持 不 变 ，Ｍ ｌＩｌｔ以 １００帧／ｓ的速度记 录追踪 手 部运 动数 据 ，每 一帧 数 邪 包 含了手部 的关键部 位的位置信息 、掌心移 动速度 、手掌法 向 量 、手指朝向等 信息 。最终 Ｌｅａｐ Ｍｏｔｉｏｎ通 过 【；ＳＢ接 ¨将 捕捉 到的静 态手势位置 、向量 信息 和动态 手势移 动 息 传 送 至 汁算 机进 行 后 续 加 工处 理 及 手 势 提 取 和识 别 ’ ２．２ 特 征 提 取 ２．２．１ 手势 选取
仃 謦 砰 ，所 以 ，存埘 洲练 样 本 数据 进 行 训练 之 前进 行 ¨ 一
化处 删 本 文 进 择 一 化 方 法 为 Ｍｉｎ—Ｍａｘ标 准 化 （Ｍｉｎ—
Ｍａｘ ｎｏｒｍａｌｉｚａｔｉｏｎ），即离差标准化 ，是对 原始数据 的线性 变
换 ，使结 伉映射到 ［０，１］之间 ，其转换 函数如下
Ｋｅｙｗｏｒｄｓ：Ｌｅａｐ Ｍｏｔｉｏｎ ｓｅｎｓｏｒ；ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ；ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ）
０ 引 言 最初 的手势 识别 技术 主要 是 利用 机器 设 备如 数 据手
套 等 ，并通过 有线 技术 将 计算 机 系统 与用 户相互 连 接 ， 把用户的手势信息完整无误地传 送至识别系统中 。这种方 式虽能提供 良好 的检测 效果 ，但基于数据手套价格 昂贵 、结 构复杂 ，限制了其在手势识别领域 中的使用 。
供 追 踪 到 的 完 整 深 度 图 ， 此 ，也 不 需 嘤 进 行 像 处 １１ 任 务 来 提 取 相 应 的 点 ，其 返 叫 手 部 相 关 点 的 三一维 坐 标 位 信息 、方 向信息 和部 分 ｝姿态特征 ，例 如点 击 、挥动 、厕圈等 姿态信息 。但仅利用这些 原始数据还 不能 够满足剥 ｝势ｊ＿！ｌ 别 的 需 要 ，需 要 根 据 Ｌｅａｐ Ｍｏｒｉｏｎ追 踪 于部 信 息 的 特 性 ，进 行构建 手势 的提 取 和识别模 型。 为减 少 １，ｃａｐ Ｍｏｔｉ．ｎ传感 器 实 时 获取 的 各 个 关 节点 的 坐 标 数 据 误 差 ，需 将 运 动 过 中 关 节 点 的 原 始 ｉ 维 坐 标 变 化 转 换 成 卡【Ｉ对 坐 标 ｆ１１角 瞍
传 感 器 徽 系 统
笫 ３７卷
２ 实 验 数 据 采 集 与 特 征 提 取 ２．１ Ｌｅａｐ Ｍｏｔｉｏｎ特 点 和３－作 原理
ｌ，ｅａｐ Ｍｏｔｉｏｎ足 基 于 计 算 机 视 觉 技 术 的 蔓 维 数 据 追 踪 传感 器设 备 。结 构上 ，传感器 内置有 ２个摄像 头．能够 捕 捉到 传感器上 方 ２５～６００ Ｉｌｌｓ之间 倒 金 塔 肜状 范 围内 的信息 ，通过三角测量 对空 『ＨＪ手 部位置 信息进 行二＝维 坐 标 定位 。其采集 的基本单位 是帧 ，平均具 ．ｆ ｒ０．７ ｉｎｌｌｌ级 的捕 扶 精度 ，具 有较 高的采集效率与准确性 、
特征提取（将三维坐标信 息分别 转 化 为 角 度 和 相 对 坐 标 信 息
数 据 归 一 化 处 理
签叁ｌ
Ｌ一
—
—
—
支持 向量机
ＳＶＭ ）分 类 器
Ｉ 苎 ｌ
—
——
—
一
测 试 分 类 模 型
建立分类模型 Ｉ Ｉ得出识别结果 图 １ 手 势 识 别 流 程
收稿 日期 ：２０１７－０４—１８ ％基 金项 目：上海 市科 学技术 委员会 资助项 目（１４４４１９００３００）
汁算 万法 理 、
十Ｉｊ埘坐标 的求取方 法 ：各关节点 的三维 坐标 倩息减 去
＿Ｆ掌心 的。一维 坐标信息 ，其相对坐标表示为
（， 一．１ ，Ｄ’ 一Ａｖ，￡ —Ａｚ）
（４）
ｔｆ， Ｄ为手 心的．ｊ维坐标信息 。
２．３ 数 据 归 一 化 处 理
“Ｉ于采集的佯本信息变化范围 比较 大且不同的人手部
变 化 。 为 便于采集相埘坐标 信息 和角度信息 ，本艾 Ｕｎｉｔｙ
３Ｄ环境下进 行设 计 ，许选取其 中的 一个手 刈ｆｆＩ Ｊ 信息 和 坐标 信 息 的 选 取 方 法 进 行 具 体 分 析 ：
１）角度 信 息 的 选 取 方 法 ：找 出 每 个 ： 指 的 ３个 火 节 点 即 ｊｏｉｎｔｌ，ｊｏｉｎｔ２，ｊｏｉｎｔ３所 对 应 的 位 置 ，如 图 ３所 ，】 ，『Ｉｌ指 ｒｆＩ 的 ３个关节点的位置 ，其 他 ４个 手指 的 Ｉ１ｌｌ—ｉｏｉｎｔ３埘心 的位置 中指 中 ｊｏｉｎｔｌ～ｊｏｉｎｌ３对 心 的化 趾 卡｝ｊＩ【ｉｊ 提取
摘 要 ：为了使手势识别在更多的领域得到推广及应用 ，提 出了基 于 Ｌｅａｐ Ｍｏｔｉｏｎ体感设备实 时跟踪技术 获取手 势三维空间坐标信息的方法 ，并 从中分别提取角度 信息和相对 坐标信 息 ，构建 手势特 征数据 ，建立 手势识 别模型。对特征数据进行归一化处理后 ，利用支持 向量 机 （ＳＶＭ）分 类器进行 训练 、建模和分 类 ，实 现手势识 别。实验 结 果 表 明 ：以角 度数 据 和 坐 标 数据 作 为 手 势 特征 的方 法 可行 ，平 均 识 别率 分 别 为 ９６．６％ 和 ９１．８％。通过对 比可 以得 出：以角度 数据作为特征值 具有较 高的准 确性和鲁 棒性 ，并避免 了单 纯依照一种特 征值 产生的局限性。 关键词 ：Ｌｅａｐ Ｍｏｔｉｏｎ传感 器 ；手 势识 别 ；支持 向量机 中 图分 类 号 ：ＴＰ３９１ 文 献 标 识 码 ：Ａ 文 章 编 号 ：１０００－９７８７（２０１８）０５－００４７－０４
Ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ Ｌｅａｐ Ｍ ｏｔｉｏｎ ａｎｄ ＳＶＭ 水
ＹＡＮＧ Ｗｅｎ—ｌｕ，ＱＩＡＯ Ｈａｉ—ｌｉ，ＸＩＥ Ｈｏｎｇ，ＸＩＡ Ｂｉｎ
（Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈｍ Ｍａｒｉｔｉｍｅ Ｕｎｉｖｅｒｓｉｔｙ，ＳｈａｎｇｈＭ ２０１３０６，Ｃｈｉｎａ）
本 文提出了一种新的 手势识别 方法 ，基于 Ｌｅａｐ Ｍｏｔｉｏｎ 传感 器来获取手势三维 坐标信 息 ，并从 中提取 角度信 息和 相对 坐标信 息 ，能够 比较准确地识别 出特征手势 。 １ 总 体 设 计
手 势识 别的具体流程如图 １所 示。
Ｌｅ印 Ｍ ｏｔｉｏｎ
获 取 三维 坐 标 信 息
选择 日常生活巾常 见的 几种手势 ，如 ２所 永 ｌＦ势１一 手势 ５共 ５组进行 分析 ，提取相 应手势 关节点 的 『ｆｊ度信 息 和相对 坐标信息。
、 ｌ
手势
丁锝
图 ２ ５种 手 势
２．２．２ 关 节 点 角 度 和 卡ｆ｛对 坐 标 选 取 与 Ｋｉｎｅｃｔ体感器 等类 似的设 备卡｝】比，Ｌｅａｐ Ｍｏｌｉｏｎ 提
３ 个父 点 住 维 空 『开】中 所 形 成 的 ６个 向 量 之 问 的 ３ 个 角
发 ． ４所 永 为 其 ｃ『ｌ的一 个 角 度 ．其 中 Ａ为 ｊｏｉｎｔ２的 三维
坐标信息 ， 为 ｊｏｉｎｔｌ的 ｊ维坐 标信息 ，Ｃ为 ｊｏｉｎｔ３的三维
怀信息 ，共提取 出 ５个手指 中 １５个角度作为特征信息。