基于视觉的实时手势识别及其在演示控制中的应用

目前，运 动 目 标 检 测 的 ［５］ 算 法 比 较 常 用 的 有 三种 方 法：光 流 法、帧 间 差 分 法 和 背 景 差 分 法。 本 文考虑实现环境为固定摄像头采集实时视频图像， 背 景 基 本 不 动 ，因 此 采 用 背 景 差 分 结 合 改 进 颜 色 直 方图信息的运动检测方法。 ２．１ 背 景 差 分 法
现在，基于 视 觉 的 手 势 识 别 技 术 更 多 的 是 应 用 在 娱 乐、游 戏 方 面，比 如 微 软 前 段 时 间 推 出 的 Ｘｂｏｘ３６０游戏机体的体感外设 Ｋｉｎｅｃｔ及 多 款 相 配 套 的 体 感 游 戏 ，玩 家 可 以 通 过 手 势 在 游 戏 中 进 行 操 作和互动，使得人 机 互 动 娱 乐 进 入 了 一 个 新 纪 元。 与 此 同 时 ，还 没 有 比 较 成 熟 的 手 势 识 别 技 术 应 用 在 现 代 教 学 系 统 中 。 因 此 ，本 文 的 研 究 重 点 是 基 于 视 觉的实时手势识别技术在多媒体教学演示控制中 的 应 用 。 在 基 于 视 觉 的 手 势 识 别 研 究 中 ，需 要 解 决 的问题主 要 有 两 个：一 是 实 时 检 测 运 动 手 势 的 信 息 ，二 是 识 别 运 动 手 势 的 信 息 并 做 出 响 应 。 对 运 动 手 势 检 测 ，本 文 采 用 背 景 差 分 结 合 改 进 颜 色 直 方 图 特征的运动 检 测 方 法［１］；对 运 动 手 势 跟 踪，本 文 采 用 粒 子 滤 波 算 法 结 ［２］ 合 改 进 颜 色 直 方 图 信 息 的 方 法；手势识别阶 段，本 文 采 用 了 基 于 Ｈｕ 不 变 矩 特 征［３］的轮廓匹配算法［４］；本文研究基于计算 机 视 觉 的 手 势 识 别 系 统 ，实 现 了 在 播 放 控 制 中 运 用 手 势 进 行 开 始 、翻 页 、退 出 等 功 能 ，极 大 的 提 高 了 课 堂 教 学 的灵活性。
ａａｐｐｌｉｃａｔｉｏｎｓ ａｂｏｕｔ ＰｏｗｅｒＰｏｉｎｔ ｃｏｎｔｒｏｌ ｂａｓｅｄ ｏｎ ｔｈｅ ｔｅｃｈｎｏｌｏｇｙ ｉｎ ｍｕｌｔｉｍｅｄｉａ ｔｅａｃｈｉｎｇ ｕｓｉｎｇ ＯｐｅｎＣＶ ｖｉｓｉｏｎ ｌｉｂｒａｒｙ ｉｎ ｔｈｅＶＳ２０１０ ｐｌａｔｆｏｒｍ ．Ｆｉｒｓｔ，ｕｓｉｎｇ ｔｈｅ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ，ｔｈｅ ｈａｎｄ ｇｅｓｔｕｒｅ ｄｅｔｅｃｔｉｎｇ ｍｏｔｉｏｎ ｇｅｓｔｕｒｅ ａｒｅａ ｔｈｒｏｕｇｈ ｔｈｅ ｂａｃｋｇｒｏｕｎｄ ｄｉｆｆｅｒｅｎｃｅ ｄｉａｇｒａｍｓ ａｎｄ ｃｏｌｏｒ ｈｉｓｔｏｇｒａｍ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ ｆｉｇｕｒｅ ｄｅｔｅｃｔｅｄ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｔｈｅ ｂａｃｋ－ ｇｒｏｕｎｄ ｕｐｄａｔｅ，ｃａｎ ａｃｈｉｅｖｅ ｍｏｒｅ ｓａｔｉｓｆａｃｔｏｒｙ ｄｅｔｅｃｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｒｅａｌ－ｔｉｍｅ ｍｏｔｉｏｎ．Ｓｅｃｏｎｄｌｙ，ｇｅｓｔｕｒｅ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｐａｒｔｉｃｌｅ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｃｏｌｏｒ ｈｉｓｔｏｇｒａｍ，ｂａｓｉｃａｌｌｙ ｍｅｅｔ ｔｈｅ ｒｅａｌ－ｔｉｍｅ ｔｒａｃｋｉｎｇ．Ｆｉｎａｌｌｙ，ｕｓｉｎｇ ｔｈｅ ｃｏｎｔｏｕｒｓ－ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄ ｔｈａｔ ｂａｓｅｄ ｏｎ Ｈｕ ｍｏｍｅｎｔｓ，ｔｈｉｓ ｍｅｔｈｏｄ ｃａｎ ｂｒｉｎｇ ｔｏ ａ ｓａｔｉｓｆａｃｔｏｒｙ ｃｏｎｃｌｕｓｉｏｎ．Ａｎｄ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｃｏｎｔｒｏｌｌｉｎｇ ＰｏｗｅｒＰｏｉｎｔ ｕｓｅｓ ｓｉｘ ｇｅｓｔｕｒｅｓ，ｃａｎ ｍｅｅｔ ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔｓ ｏｆ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ．
２ 手 势 检 测
实时视频图像中的运动手势检测所需要完成 的 任 务 是 ：能 够 快 且 准 的 检 测 出 手 势 在 实 时 图 像 中 的 主 要 位 置 ，并 且 能 将 位 置 所 在 的 特 定 区 域 作 为 后 续跟踪、识 别 的 感 兴 趣 区 域。 手 势 检 测 算 法 的 好 坏 ，直 接 影 响 整 个 系 统 的 跟 踪 以 及 识 别 的 效 果 。
本文研究中，选取 摄 像 头 启 动 后 的 前 １０ 帧 图
像 的 平 均 作 为 最 初 的 背 景 图 像 ，把 以 后 的 实 时 序 列
图像当前帧和背景图 像 相 减，进 行 背 景 消 去。可 以
得到，运动手势区域 的 像 素 点 的 差 分 值 比 较 大，背
景区域的像素点的差 分 值 比 较 小。另 外，由 于 真 实
关 键 词 ：计 算 机 视 觉 ；背 景 差 分 ；粒 子 跟 踪 ；手 势 识 别 ；Ｈｕ 矩 中 图 分 类 号 ：ＴＰ３９１．４１ 文 献 标 识 码 ：Ａ
Ｔｈｅ Ｒｅａｌ－ｔｉｍｅ Ｄｙｎａｍｉｃ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ Ｐｏｗｅｒｐｏｉｎｔ Ｃｏｎｔｒｏｌ
第 ３２ 卷 第 ３ 期
孙 靖 等 ：基 于 视 觉 的 实 时 手 势 识 别 及 其 在 演 示 控 制 中 的 应 用
５３
通 过 提 取 左 右 手 质 心 的 运 动 轨 迹 以 及 手 势 形 状 特 征 参 数 ，结 合 语 法 规 则 识 别 ４０ 个 美 国 手 语，准 确 率 达 到 ９７％；另 外，Ｍｉ－ ｃｒｏｓｏｆｔ Ｋｏｒｅａ 的 Ｈｙｅｏｎ－Ｋｙｕ Ｌｅｅ，采 用 ＨＭＭ 的 阈值模型，识别９ 种 动 态 手 势 命 令，平 均 识 别 率 高 达９８．１９％；国内的任 海 兵 提 出 了 基 于 ＤＴＷ 的 手 势 识 别 算 法 ，该 算 法 能 准 确 识 别 １２ 种 手 势 。
孙 靖 ，艾 矫 燕
（广西大学 电气工程学院，广西 南宁 ５３０００４）
摘 要：研究基于计算机视觉的实时 动 态 手 势 识 别 技 术，并 利 用 ＯｐｅｎＣＶ 计 算 机 视 觉 库 在 ＶＳ２０１０ 平
台上设计一个基于该技术在多媒 体 教 学 中 ＰＰＴ 演 示 控 制 方 面 的 应 用。 首 先，利 用 背 景 差 分 法 进 行 手 势 检 测，在背景更新的基础上，通过背景差分图和颜色直方图的反投 影 图 来 检 测 运 动 手 势 区 域 ，可 以 达 到 较 为 满 意的实时运动手势检测效果；其次，采用基于颜色直方图的粒子 跟 踪 算 法 进 行 手 势 跟 踪 ，基 本 能 满 足 跟 踪 的 实时性；最后，在手势识别阶段，采用基于 Ｈｕ不变矩的 轮 廓 匹 配 算 法，得 到 较 好 的 手 势 识 别 效 果；使 用 六 种 手 势 ，来 实 现 演 示 文 稿 中 的 控 制 应 用 。
（２）
式中Ｉｋ（ｘ，ｙ）为第ｋ 帧的（ｘ，ｙ）点的灰度 值， ｔｈ１ 为 设 定 的 阈 值 。经 过 多 次 试 验 发 现 阈 值 为１０的 时候像素统计量基 本 不 变，在 １０ 之 前 像 素 统 计 量
随 着 阈 值 增 加 缓 慢 减 小 的 ，超 过 １０ 后 ，像 素 统 计 量
开 始 快 速 减 小 ，于 是 确 定ｔｈ１ 为 １０。
场景中的背景会因光线等外部条件产生微小的变
化 ，长 期 的 误 差 积 累 会 造 成 最 后 得 不 到 理 想 的 手 势
区域，因此背景需要 进 行 实 时 更 新，从 而 能 及 时 反
映当前帧的背景图像，背景更新［６］ 的公式如下：
Ｂｋ（ｘ，ｙ）＝ （１－αｂ）Ｂｋ－１（ｘ，ｙ）＋αｂＩｋ（ｘ，ｙ） （１）
假 设ｄ（ｘ，ｙ）表 示 背 景 差 分 后 的 图 像 ，ｆ（ｘ，ｙ） 表 示 当 前 帧 的 图 像 ，ｂ（ｘ，ｙ）表 示 背 景 图 像 ，那 么 背 景 差 分 的 基 本 原 理 可 用 ｄｉｆｆｅｒｅｎｃｅ（ｘ，ｙ） ＝ ｆｒａｍｅ（ｘ，ｙ）－ｂａｃｋｇｒｏｕｎｄ（ｘ，ｙ）来 表 示 。
第 ３２ 卷 第 ３ 期 ２ ０ １ ３ 年 ９ 月
计 算 技 术 与 自 动 化 Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ａｕｔｏｍａｔｉｏｎ
文 章 编 号 ：１００３－６１９９（２０１３）０３－００５２－０８
Ｖｏｌ．３２，Ｎｏ．３ Ｓｅｐ．２ ０ １ ３
基于视觉的实时手势识别及其在演示控制中的应用
大 于 阈 值ｔｈ１ 的 图 像 点 即 为 运 动 手 势 区 域 的 点 ，并 将 得 到 的 运 动 手 势 区 域 图 像 进 行 二 值 化 操 作 ，公 式
如下：
烄｜Ｉｋ（ｘ，ｙ）－Ｉｋ－１（ｘ，ｙ）｜＞ｔｈ１， （ｘ，ｙ）∈ 前景 烅烆｜Ｉｋ（ｘ，ｙ）－Ｉｋ－１（ｘ，ｙ）｜＜ｔｈ１， （ｘ，ｙ）∈ 背景
ＳＵＮ Ｊｉｎｇ，ＡＩ Ｊｉａｏ－ｙａｎ
（Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ｏｆ Ｇｕａｎｇｘｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｎｉｎｇ Ｇｕａｎｇｘｉ ５３０００４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｅ ｓｔｕｄｙ ｉｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｒｅａｌ－ｔｉｍｅ ｄｙｎａｍｉｃ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ｔｅｃｈｎｏｌｏｇｙ．Ａｎｄ ｉｔ ｄｅｓｉｇｎｓ
收 稿 日 期 ：２０１３－０２－０５ 作者简介：孙 靖 （１９８７—），男，山 西 忻 州 人，硕 士 研 究 生，研 究 方 向：模 式 识 别 与 智 能 控 制，计 算 机 视 觉 （Ｅ－ｍａｉｌ：ｗｊｓｕｎｊｉｎｇ＠１６３．
ｃｏｍ）；艾 矫 燕 （１９７０— ），女 ，湖 南 株 洲 人 ，教 授 ，博 士 ，研 究 方 向 ：模 式 识 别 与 智 能 控 制 、智 能 信 息 处 理 。
Ｋｅｙ ｗｏｒｄｓ：ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ；ｂａｃｋｇｒｏｕｎｄ ｄｉｆｆｅｒｅｎｃｉｎｇ；ｐａｒｔｉｃｌｅ ｔｒａｃｋｉｎｇ；ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ；Ｈｕ ｍｏｍｅｎｔｓ