基于数据手套的汉语手指字母流识别系统
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｋ ｌ ， ） 出层的阈值 为｛ （＝ ，， ｎ ） ＝ ， …，０ ，输 ２ ｂｌ ｌ …， 。 ｋ ２ ｏ
设 函数 ｍ ） 为神经 网络 的传输 函数，则神 经网络的输入 输 出关系如下 ：
３ 字母流识别系统的实现
３ 识别系统的总体设计 ． １
本系统是基于数据手套的汉语拼音字母流识 别系统 ，按 照系统 的工作过程 ，主要 由数据采集、网络训练、在线识别、
［ ｓｒ ｃ］Ｔ ｉ ｐｐ ｒｓ ｄｅ ｈ ｈｎ ｓ ｎ ｅ ｌｈｂ ｔｆ ｗ ｒｃ ｇ ｉｏ ｎ ｌｓｉｃｔ ｎ ｓｔｅｅｉ ａｐｏ ｌｍ ｈｔｈｇ ｅ ｈ ｒｗ ｒ Ａｂ ｔａｔ ｈｓ ａ ｅ ｔ ｉｓｔｅＣ ｉｅｅｆ ｇ ｒａｐ ａｅ ｌ ｅｏ ｎｔ ｎ ａｄ ｃａｓ ａｉ ．Ａ ｈ ｒ ｓ ｒｂｅ ｔａ ｉｈ ｒ ａｄ ａｅ ｕ ｉ ｏ ｉ ｉ ｆ ｏ
小值 。
弹性 Ｂ Ｐ算法消除 了偏导数 的大小对权值 的有害影 响， 只利 用梯度的符号表示 权值的更新方 向。这种算法具有 收敛 速度快 和 占用内存小的优点 ，对较大型 的神经 网络具有较好
的分类能 力。
弹性 神经 网络的基本原理为 ：首先为各权重赋一个初始 值 ，设 定权 重变化加速 因子和减速 因子 ，在 网络前馈迭代 中 当连 续误 差符 号不变时 ，采用加速策 略；当连续误差梯度符 号变 化时 ，采 用减速策 略 ，以期稳定收敛 ＿。网络结合 当前 ４ 】 误差梯度 符号 与变化步长 实现 Ｂ ， 了避免 网络学 习发 生震 Ｐ为 荡 或下溢 ，算法要求设定权值变化 的上下 限。此训练模 式下
Ｐ Ｘ ） （ ＝ ， １ ＿ ｊ 一） ｔ ｌ １ ｔ ＿，一１ 一，一） ｌ Ｉ ２ ２ ｔ ｔ … ， １ｌ １ ｔＸ ，） ２
（１ ７
ｑ ｌ ， １） ＝， …， ，隐含层到输 出层 的连接权 为 ｛ｋ（ １ ， ｎ， ２ １ Ｈ ｖ ｝＝， …， ｊ 『 ２ Ｈ
输入层
隐含层
输出层
图 １ 典 型三层前馈 基 Ｂ Ｐ罔络
设该神经 网络样 本点个数为 Ｐ ，某一输入 向量 为 Ｘ ＝
（ ， ， 《）， ＝ ，， Ｐ， …， ｐ ｌ …， 隐含层维数 为 Ｈ 神经 网络的理 ２ ，
行概率估计 ，实现手势字母 的细分 ，并输 出汉语拼音序列。
第３ 卷 ７
第 ２ 期 ２
刘 明涛 ，雷
勇 ：基于数据手套 的汉语手指字母流识别 系统
１９ ６
接 权 ｛ ＝ ，， ， ｊ ｌ ， ， ） Ｗ小ｉｌ … ｎ ＝ ， … ｎ ，隐 含 层 的 阈 值 为 ｆ ２ ｉ ２ Ｈ
那么 ， 特定的状态 序列 ｘＴ ｛ …， ｝ ＝ ｘ， ｘ 的概率可表示为 ：
ｒ ｔ， Ｊ “ ：
ｗ
Ｓｅ ３１连 续误 差梯 度变化 判断与 步长 调整 ： ｔｐ ．
Ｃｈ ｎ ｓ ｎ ｅ ｐ ａ ｅ ｏ Ｒｅ ｏ ｎ ｔｏ ｙ ｔｍ ｉ ｅ ｅＦｉ ｇ ｒ Ａｌ ｈ ｂ ｔ Ｆｌ ｗ ｃ ｇ ｉｉｎ Ｓ ｓｅ
Ｂａ ｅ ｎ Ｄａ ａ Ｇｌ ｖ ｓ ｄｏ ｔ ｏ ｅ
ＬＩ Ｍ ｉ ｇ ｔ ｏ ＬＥＩ ｎ Ｕ ｎ － ， ａ Ｙｏ ｇ （ ｃ ｏ ｌ ｆ ｏ ｒ ｎ ｎ ｒ ｙ Ｎｏ ｔｗｅｔｒ ｏｙｅ ｈ ｉ ｌ ｉｅｓｔ Ｘｉ ｎ７ ０ ７ ， ｈ ｎ ） Ｓ ｈ ｏ ｗｅ ｄＥ ｅｇ ， ｒ ｏＰ ａ ｈ ｓ ｎＰ ｌｔｃ ｎ ｃ ｖ ｒｉ ， ’ １ ０ ２ Ｃ ｉａ ｅ ａ Ｕｎ ｙ ａ
中田分类 Ｔ １ 号： Ｐ８ ３
基于数据 手套的汉语 手指 字母 流识别 系统
刘 明涛 ，雷 勇
（ 西北工业大学动力与能源学院 ，西安 ７ ０ ７ ） １０ ２ 摘 要： 针对 目前研究中对数据手套硬件要求较高 的现状 ，研究汉语手指字母流的识别分类问题，提 出一种低要求 、高识别精度的数据手
两者联系 的桥梁 。 系统 的
典型 Ｂ 网络基于误差 函数最小准则 ，误差信号从后 向 Ｐ 前传递 。在反 方向传递 过程 中 ，根据误差信号 的梯度逐步修 改权值和 阈值 。但这种 方法 收敛 速度慢 ，且容易陷入局部极
Ｃｈ ｎ ｓ ｌ ｈ ｂ ｔｆｏ Ｅｘ ｅ ｉ ｎ ａ ｅ ｕ ｔ ｈ ｉ ｅ ｅ ａ ｐ ａ ｅ ｗ． ｐ ｒｍｅ ｔ ｌｒ ｓ ｌｓ ｓ ｏｗ ｈ ｔｔ ｉ ｔ ｏ ａ ｅ ｒ ｂ ｎ ９１ ｒ ｃ ｇ ｉ ｏ ａｅ ａ ｄ ｏ ｔ ｕ ｌ ｈ ｂ ｔｆｏ ｅ ｆ ｃ ｉ ｅ ｙ ｌ ｔ ａ ｈ ｓｍｅ ｈ ｄ ｃ ｎ ｇ ｔｍｏ ｅ ｔ． ％ ｅ ｏ ｎ ｔ ｎ ｒ ｔ ｎ ｕ ｐ ｔａ ｐ ａ ｅ ｗ ｆ ｅ ｔ ｌ ， ａ ｉ ｌ ｖ ｗｈ ｃ ｒ ｖ ｓ ｔ ｅｈ ｄ ｉ ｆｅ ｔｖ ｉ ｈ ｐ ｏ ｅ ｍ ｔ ｏ ｓ ｆ ｃｉ ｅ ｈｅ ｅ
练结束 ，否则继续学 习。
Ｓｅ ３ ｔｐ
３ 神经网络输入输出向量设计 ． ２
由于 不同的操作 者手 部外形尺寸差异 ，使用数据手套时 产 生的信号值有所不 同， 因此数据手套在使用时需进行校正 。 ｒｗ 表示输 出最大值 ，ｒｗ ｉ ａ ａ 表示输出最小值 ，用 ｒｗ ｌ ａ 表示 当前手 势输 出值 ，校正归一化值 ｏ ｔ１ 由下式确定 ： ｕ 可
个指式代表一个汉语拼音字母 ，按照汉语拼 音方案拼 成普
通话 ，作 为手 势语 的有机补充 。中国手语共有 ３ 个手 指字 ０
母 ，汉语 句子 中的任意一个词语都可 以根据汉语拼音 由序列 手指字母表示。因而本文所讨论 的手指字母流 的识别对于手 语识别领 域来 说至 关重要 。
文献［Ｊ 了较为深入的研究，但其研究是基于 １ １ 进行 ８传
作者简介 ： 明涛（９６ ） 男 ， 刘 １８ － ， 硕士研究 生， 主研方向 ： 虚拟现实 ，
模式识别 ，航空发动机测试 ；雷 勇 ，教授
性 ，学 习算法采用弹性 Ｂ 算法 ，实现单个手指字母的分 Ｐ
收稿 日期 ：２ １－ —１ ０ １ ５１ ０
Ｅｍ ｉ ｉｅｕ ｔ ２． ｒ — ａ ：ｍｊ ｃｍ ＠１６ ｏ ｌ ｕ ｃｎ
第３ ７卷 第 ２ 期 ２
Ｖｌ ． ７ Ｏ ３ １
・
计
算
机
工
程
２１ 年 １ ０１ １月
Ｎｏｖ ｍ ｂ ｒ２ ｅ ｅ ０１ ｌ
ＮＯ２ ．２
Ｃｏ ｍｐｕ ｅ ｇ ｎｅ ｒｎ ｔｒＥｎ ｉ ｅ ｉｇ
人工 智能 及识 别技 术 ・
文章编号：１ｏ－４８ｏ１２＿６＿ ３ 文献标识码： ０ ３２（１）—０ 番－ ２ ２ １ ０ Ａ
ｚ ＿ ＝厂 （
ｊｌ ＝
ｆ２ ｑ ＋ ｊ ） （Ｗ ・ ｂ ＋ ）
ｉｌ ＝
（ １ ）
定义神经 网络 的误差 函数为 ：
Ｅ ：Ｉ
．
综合模块 ４个部分组成 。利用 Ｖ Ｃ程序进行数据的采集和在
（） ２
１ 一】 Ｊ Ｉ Ｚ ， Ｉ
线识别 ，使用 Ｍａ ａ 进 行网络训练和样本检验 ，数据库作为 ｔｂ ｌ
的弹性 算法具体过程如下 ：
图 ２ 数据 手套识． 射系统 结构
Ｓｅ ｌ 初始化参数 ，对 每个权值 、阈值赋 区间［ ，］ ｔｐ 一１ 上 １
数据采集 完成对 数据 的采集和预处理 ，网络训练和在线
的随机数。设置减速因子 矿和 一 ，权值的变化上限 △ 和
变化 下限 △ 。
感器数据手套的 ，采用人工神经 网络和学 习二叉树方法 ，完 成单个手势的识 别分类。 本文采用 ５ Ｔ公司的 ５ Ｄ 传感数据手套 Ｄａａ ｌｖ ｌａ ｔ Ｇｏ ｅ ｔ Ｕ ｒ５ 进行 了大胆尝试 。先对手势进行粗 分组，然 后采 用改进型神 经 网络有效地识别单个手指字母 ，再建立马尔科 夫模型 ，进
［ ｙｗｏ ｄ ］Ｂ ｅｒｌ ｅ ｒ； ｒｏ ｄ ｌｄ ｔ ｌｖ ；ｉｇｒ ｌｈｂ ｔ ｏ ｌｓｉｃｔ ｎ ｏ ｌ ｅｉｅ ｔ ｃｔ ｎ Ｋｅ ｒ ｓ Ｐｎｕａ ｎｔ ｋ Ｍａｋ ｖｍｏ ｅ；ａａｇｏ ｅ ｆ ｅ ｐ ａｅ ｗ ｃ ｓ ａ ｏ ； ｎｉ ｎｉ ａ ｏ ｗｏ ｎ ａ ｌ ｆ ａ ｆ ｉ ｉ ｎ ｄ ｆ ｉ ｉ
识 别部 分是基于 Ｂ Ｐ神经 网络的 。神经 网络学 习函数采用弹 性 梯度 算法，在 线识 别系统完成对手指字母 的识别 ，综合模 块 主要基于 马尔科夫模型。先根据汉语拼音方案有关规则对 网络识 别结果进行调整 ，然后输出汉语 拼音字母流 。
Ｓｅ ２ 网络 向前学 习，依 次输 入所有学 习样本 ，计 算并 ｔｐ 保 存误差能量函数梯度 。计算实 际输 出与期望输 出的误差指 标 ，如误差指标小于设定指标或学 习次数大于设定次数则 训
ＤＯＩ １ ． ６ ／ｉ ｎ１０ —４ ８２ １ ． ．５ ： ０３ ９ｊｓ ．０ ０３ ２ ．０ ２ ０ ５ ９ ．ｓ １２
１ 概述
手语识别作为人体语言理解 的一部分 ， 有着重要的作用， 根据手势输入介质 ，手语识别系统可分为 ２种 ：基于 图像信 息 的手语识别系统和基于数据手套的手语识 别系统 。手语是 聋哑人交 际的工具 ， 中国手语按照 历史 的发展可 以分为 ２类 ： 手势语 和手指语 ｌ 。手势语是从象形语言发展起来 的，它充
Ｔｈ ｓｍｅｈ ｄ ｕ ｅ ｉ ｔｏ ｓｓＢＰ ｅ ｒ ｌ ｅｗｏ ｋａ ｄＭ ａｋ ｄ ｌａ ｄ ｅｔｍａｅ ｅｉｐ ｅ ｕ ｎ ｅｐ ｏ ａ ｉｉ ｙＣｈｎ ｓ ｌｈ ｂ ｔｓ ｅｌ ｇ ｒ ｅ ｏ ｏ ｔｕ ｎ ｕａ ｔ ｒ ｎ ｒｏｖｍｏ ｅ ｎ ｓｉ ｔｓｔ ｎ ｕｔ ｑ ｅ ｃ ｒ ｂ ｂ ｌｙ ｂ ｉ ｅｅ ａｐ ａ ｅ ｐ ｌｎ ｕｌｓｔ ｕｐ ｔ ｎ ｈ ｓ ｔ ｉ
ｒ ｑｕ ｒ ｍｅ ｔ ｉ ｄ ｔ ｌ ｖ ｓａ ｅ ｎ ｅ ｅ ｏ ｈ ｕ ｒ ｎ ｔ ｄ ， ｉ ｄ ｏ ｗｅ ａ ｄ ｒ ｅ ｕ ｒ ｍｅ ｔ ｎ ｇ ｅ ｅ ｏ ｎ ｔ ｎ ｒ ｔ ｔ ｄ ｉ ｐ ｏ ｓ ｄ． ｅ ｉ ｅ ｎ ｓＯ ｌ ａ ａ ｇ ｏ ｅ ｒ ｅ ｄ ｄ ｆ ｒｔ ｅ ｃ ｒｅ ｔｓｕ ｙ ａ ｋ ｎ ｆｌ ｏ ｒｈ ｒ ｗａ ｅ ｒ ｑ ｉｅ ｎ ｓａ ｄ ｈｉ ｈ ｒｒ ｃ ｇ ｉ ｏ ａ ｅ ｍｅｈｏ ｓ ｒ ｐｏ ｅ ｉ
套方法。该方法使用 Ｂ Ｐ神经 网络结合 马尔科 夫模型 ，按照汉语拼音规则进行输入拼音序列概率的估计 ，输 出汉语拼音 。仿真实验结果表 职 ，采用该方法能获得 ９％以上的单个手指字母识别率 ，并能有效输出汉语 拼音。 １
关健词 ：Ｂ Ｐ神经网络；马尔科夫模 型；数据手套 ；手指 字母流分类 ；在线识 别
想输 出为 Ｙ （ ， ， Ｙ ） 神经网络的实际输 出为 Ｚ ＝ ｙ ｙ …，． ， Ｐ ｏ ＝
２ 识别系统的基本原理
２ 算法筒介 ． １
首 先，对汉语手指字母手势进行分组 ，确定神经网络的 输入 向量 。然 后利用典 型的三层前 馈 Ｂ 网络 的海量 并行 Ｐ
（ ， ， ｚ ）， ｚ ｚ …， 输出向量的维数为ｎ 。 乞 Ｏ 输入层到隐含层的连
分利 用人 的手势、 表情和身体的动作形象地表达物体和行为。 而手指语则 由字母语言发展起来 ，用手指指式进行 交流 ，用
一
类 。再运 用马尔科夫模型结合汉语拼音方案进行神经网络输 出序列的概率估计 ，完成对手语字母流的识别 。
２ 弹性梯度 Ｂ ． ２ Ｐ网络算法 典型三层前馈型 Ｂ Ｐ网络的结构如 图 １ 所示 。
设 函数 ｍ ） 为神经 网络 的传输 函数，则神 经网络的输入 输 出关系如下 ：
３ 字母流识别系统的实现
３ 识别系统的总体设计 ． １
本系统是基于数据手套的汉语拼音字母流识 别系统 ，按 照系统 的工作过程 ，主要 由数据采集、网络训练、在线识别、
［ ｓｒ ｃ］Ｔ ｉ ｐｐ ｒｓ ｄｅ ｈ ｈｎ ｓ ｎ ｅ ｌｈｂ ｔｆ ｗ ｒｃ ｇ ｉｏ ｎ ｌｓｉｃｔ ｎ ｓｔｅｅｉ ａｐｏ ｌｍ ｈｔｈｇ ｅ ｈ ｒｗ ｒ Ａｂ ｔａｔ ｈｓ ａ ｅ ｔ ｉｓｔｅＣ ｉｅｅｆ ｇ ｒａｐ ａｅ ｌ ｅｏ ｎｔ ｎ ａｄ ｃａｓ ａｉ ．Ａ ｈ ｒ ｓ ｒｂｅ ｔａ ｉｈ ｒ ａｄ ａｅ ｕ ｉ ｏ ｉ ｉ ｆ ｏ
小值 。
弹性 Ｂ Ｐ算法消除 了偏导数 的大小对权值 的有害影 响， 只利 用梯度的符号表示 权值的更新方 向。这种算法具有 收敛 速度快 和 占用内存小的优点 ，对较大型 的神经 网络具有较好
的分类能 力。
弹性 神经 网络的基本原理为 ：首先为各权重赋一个初始 值 ，设 定权 重变化加速 因子和减速 因子 ，在 网络前馈迭代 中 当连 续误 差符 号不变时 ，采用加速策 略；当连续误差梯度符 号变 化时 ，采 用减速策 略 ，以期稳定收敛 ＿。网络结合 当前 ４ 】 误差梯度 符号 与变化步长 实现 Ｂ ， 了避免 网络学 习发 生震 Ｐ为 荡 或下溢 ，算法要求设定权值变化 的上下 限。此训练模 式下
Ｐ Ｘ ） （ ＝ ， １ ＿ ｊ 一） ｔ ｌ １ ｔ ＿，一１ 一，一） ｌ Ｉ ２ ２ ｔ ｔ … ， １ｌ １ ｔＸ ，） ２
（１ ７
ｑ ｌ ， １） ＝， …， ，隐含层到输 出层 的连接权 为 ｛ｋ（ １ ， ｎ， ２ １ Ｈ ｖ ｝＝， …， ｊ 『 ２ Ｈ
输入层
隐含层
输出层
图 １ 典 型三层前馈 基 Ｂ Ｐ罔络
设该神经 网络样 本点个数为 Ｐ ，某一输入 向量 为 Ｘ ＝
（ ， ， 《）， ＝ ，， Ｐ， …， ｐ ｌ …， 隐含层维数 为 Ｈ 神经 网络的理 ２ ，
行概率估计 ，实现手势字母 的细分 ，并输 出汉语拼音序列。
第３ 卷 ７
第 ２ 期 ２
刘 明涛 ，雷
勇 ：基于数据手套 的汉语手指字母流识别 系统
１９ ６
接 权 ｛ ＝ ，， ， ｊ ｌ ， ， ） Ｗ小ｉｌ … ｎ ＝ ， … ｎ ，隐 含 层 的 阈 值 为 ｆ ２ ｉ ２ Ｈ
那么 ， 特定的状态 序列 ｘＴ ｛ …， ｝ ＝ ｘ， ｘ 的概率可表示为 ：
ｒ ｔ， Ｊ “ ：
ｗ
Ｓｅ ３１连 续误 差梯 度变化 判断与 步长 调整 ： ｔｐ ．
Ｃｈ ｎ ｓ ｎ ｅ ｐ ａ ｅ ｏ Ｒｅ ｏ ｎ ｔｏ ｙ ｔｍ ｉ ｅ ｅＦｉ ｇ ｒ Ａｌ ｈ ｂ ｔ Ｆｌ ｗ ｃ ｇ ｉｉｎ Ｓ ｓｅ
Ｂａ ｅ ｎ Ｄａ ａ Ｇｌ ｖ ｓ ｄｏ ｔ ｏ ｅ
ＬＩ Ｍ ｉ ｇ ｔ ｏ ＬＥＩ ｎ Ｕ ｎ － ， ａ Ｙｏ ｇ （ ｃ ｏ ｌ ｆ ｏ ｒ ｎ ｎ ｒ ｙ Ｎｏ ｔｗｅｔｒ ｏｙｅ ｈ ｉ ｌ ｉｅｓｔ Ｘｉ ｎ７ ０ ７ ， ｈ ｎ ） Ｓ ｈ ｏ ｗｅ ｄＥ ｅｇ ， ｒ ｏＰ ａ ｈ ｓ ｎＰ ｌｔｃ ｎ ｃ ｖ ｒｉ ， ’ １ ０ ２ Ｃ ｉａ ｅ ａ Ｕｎ ｙ ａ
中田分类 Ｔ １ 号： Ｐ８ ３
基于数据 手套的汉语 手指 字母 流识别 系统
刘 明涛 ，雷 勇
（ 西北工业大学动力与能源学院 ，西安 ７ ０ ７ ） １０ ２ 摘 要： 针对 目前研究中对数据手套硬件要求较高 的现状 ，研究汉语手指字母流的识别分类问题，提 出一种低要求 、高识别精度的数据手
两者联系 的桥梁 。 系统 的
典型 Ｂ 网络基于误差 函数最小准则 ，误差信号从后 向 Ｐ 前传递 。在反 方向传递 过程 中 ，根据误差信号 的梯度逐步修 改权值和 阈值 。但这种 方法 收敛 速度慢 ，且容易陷入局部极
Ｃｈ ｎ ｓ ｌ ｈ ｂ ｔｆｏ Ｅｘ ｅ ｉ ｎ ａ ｅ ｕ ｔ ｈ ｉ ｅ ｅ ａ ｐ ａ ｅ ｗ． ｐ ｒｍｅ ｔ ｌｒ ｓ ｌｓ ｓ ｏｗ ｈ ｔｔ ｉ ｔ ｏ ａ ｅ ｒ ｂ ｎ ９１ ｒ ｃ ｇ ｉ ｏ ａｅ ａ ｄ ｏ ｔ ｕ ｌ ｈ ｂ ｔｆｏ ｅ ｆ ｃ ｉ ｅ ｙ ｌ ｔ ａ ｈ ｓｍｅ ｈ ｄ ｃ ｎ ｇ ｔｍｏ ｅ ｔ． ％ ｅ ｏ ｎ ｔ ｎ ｒ ｔ ｎ ｕ ｐ ｔａ ｐ ａ ｅ ｗ ｆ ｅ ｔ ｌ ， ａ ｉ ｌ ｖ ｗｈ ｃ ｒ ｖ ｓ ｔ ｅｈ ｄ ｉ ｆｅ ｔｖ ｉ ｈ ｐ ｏ ｅ ｍ ｔ ｏ ｓ ｆ ｃｉ ｅ ｈｅ ｅ
练结束 ，否则继续学 习。
Ｓｅ ３ ｔｐ
３ 神经网络输入输出向量设计 ． ２
由于 不同的操作 者手 部外形尺寸差异 ，使用数据手套时 产 生的信号值有所不 同， 因此数据手套在使用时需进行校正 。 ｒｗ 表示输 出最大值 ，ｒｗ ｉ ａ ａ 表示输出最小值 ，用 ｒｗ ｌ ａ 表示 当前手 势输 出值 ，校正归一化值 ｏ ｔ１ 由下式确定 ： ｕ 可
个指式代表一个汉语拼音字母 ，按照汉语拼 音方案拼 成普
通话 ，作 为手 势语 的有机补充 。中国手语共有 ３ 个手 指字 ０
母 ，汉语 句子 中的任意一个词语都可 以根据汉语拼音 由序列 手指字母表示。因而本文所讨论 的手指字母流 的识别对于手 语识别领 域来 说至 关重要 。
文献［Ｊ 了较为深入的研究，但其研究是基于 １ １ 进行 ８传
作者简介 ： 明涛（９６ ） 男 ， 刘 １８ － ， 硕士研究 生， 主研方向 ： 虚拟现实 ，
模式识别 ，航空发动机测试 ；雷 勇 ，教授
性 ，学 习算法采用弹性 Ｂ 算法 ，实现单个手指字母的分 Ｐ
收稿 日期 ：２ １－ —１ ０ １ ５１ ０
Ｅｍ ｉ ｉｅｕ ｔ ２． ｒ — ａ ：ｍｊ ｃｍ ＠１６ ｏ ｌ ｕ ｃｎ
第３ ７卷 第 ２ 期 ２
Ｖｌ ． ７ Ｏ ３ １
・
计
算
机
工
程
２１ 年 １ ０１ １月
Ｎｏｖ ｍ ｂ ｒ２ ｅ ｅ ０１ ｌ
ＮＯ２ ．２
Ｃｏ ｍｐｕ ｅ ｇ ｎｅ ｒｎ ｔｒＥｎ ｉ ｅ ｉｇ
人工 智能 及识 别技 术 ・
文章编号：１ｏ－４８ｏ１２＿６＿ ３ 文献标识码： ０ ３２（１）—０ 番－ ２ ２ １ ０ Ａ
ｚ ＿ ＝厂 （
ｊｌ ＝
ｆ２ ｑ ＋ ｊ ） （Ｗ ・ ｂ ＋ ）
ｉｌ ＝
（ １ ）
定义神经 网络 的误差 函数为 ：
Ｅ ：Ｉ
．
综合模块 ４个部分组成 。利用 Ｖ Ｃ程序进行数据的采集和在
（） ２
１ 一】 Ｊ Ｉ Ｚ ， Ｉ
线识别 ，使用 Ｍａ ａ 进 行网络训练和样本检验 ，数据库作为 ｔｂ ｌ
的弹性 算法具体过程如下 ：
图 ２ 数据 手套识． 射系统 结构
Ｓｅ ｌ 初始化参数 ，对 每个权值 、阈值赋 区间［ ，］ ｔｐ 一１ 上 １
数据采集 完成对 数据 的采集和预处理 ，网络训练和在线
的随机数。设置减速因子 矿和 一 ，权值的变化上限 △ 和
变化 下限 △ 。
感器数据手套的 ，采用人工神经 网络和学 习二叉树方法 ，完 成单个手势的识 别分类。 本文采用 ５ Ｔ公司的 ５ Ｄ 传感数据手套 Ｄａａ ｌｖ ｌａ ｔ Ｇｏ ｅ ｔ Ｕ ｒ５ 进行 了大胆尝试 。先对手势进行粗 分组，然 后采 用改进型神 经 网络有效地识别单个手指字母 ，再建立马尔科 夫模型 ，进
［ ｙｗｏ ｄ ］Ｂ ｅｒｌ ｅ ｒ； ｒｏ ｄ ｌｄ ｔ ｌｖ ；ｉｇｒ ｌｈｂ ｔ ｏ ｌｓｉｃｔ ｎ ｏ ｌ ｅｉｅ ｔ ｃｔ ｎ Ｋｅ ｒ ｓ Ｐｎｕａ ｎｔ ｋ Ｍａｋ ｖｍｏ ｅ；ａａｇｏ ｅ ｆ ｅ ｐ ａｅ ｗ ｃ ｓ ａ ｏ ； ｎｉ ｎｉ ａ ｏ ｗｏ ｎ ａ ｌ ｆ ａ ｆ ｉ ｉ ｎ ｄ ｆ ｉ ｉ
识 别部 分是基于 Ｂ Ｐ神经 网络的 。神经 网络学 习函数采用弹 性 梯度 算法，在 线识 别系统完成对手指字母 的识别 ，综合模 块 主要基于 马尔科夫模型。先根据汉语拼音方案有关规则对 网络识 别结果进行调整 ，然后输出汉语 拼音字母流 。
Ｓｅ ２ 网络 向前学 习，依 次输 入所有学 习样本 ，计 算并 ｔｐ 保 存误差能量函数梯度 。计算实 际输 出与期望输 出的误差指 标 ，如误差指标小于设定指标或学 习次数大于设定次数则 训
ＤＯＩ １ ． ６ ／ｉ ｎ１０ —４ ８２ １ ． ．５ ： ０３ ９ｊｓ ．０ ０３ ２ ．０ ２ ０ ５ ９ ．ｓ １２
１ 概述
手语识别作为人体语言理解 的一部分 ， 有着重要的作用， 根据手势输入介质 ，手语识别系统可分为 ２种 ：基于 图像信 息 的手语识别系统和基于数据手套的手语识 别系统 。手语是 聋哑人交 际的工具 ， 中国手语按照 历史 的发展可 以分为 ２类 ： 手势语 和手指语 ｌ 。手势语是从象形语言发展起来 的，它充
Ｔｈ ｓｍｅｈ ｄ ｕ ｅ ｉ ｔｏ ｓｓＢＰ ｅ ｒ ｌ ｅｗｏ ｋａ ｄＭ ａｋ ｄ ｌａ ｄ ｅｔｍａｅ ｅｉｐ ｅ ｕ ｎ ｅｐ ｏ ａ ｉｉ ｙＣｈｎ ｓ ｌｈ ｂ ｔｓ ｅｌ ｇ ｒ ｅ ｏ ｏ ｔｕ ｎ ｕａ ｔ ｒ ｎ ｒｏｖｍｏ ｅ ｎ ｓｉ ｔｓｔ ｎ ｕｔ ｑ ｅ ｃ ｒ ｂ ｂ ｌｙ ｂ ｉ ｅｅ ａｐ ａ ｅ ｐ ｌｎ ｕｌｓｔ ｕｐ ｔ ｎ ｈ ｓ ｔ ｉ
ｒ ｑｕ ｒ ｍｅ ｔ ｉ ｄ ｔ ｌ ｖ ｓａ ｅ ｎ ｅ ｅ ｏ ｈ ｕ ｒ ｎ ｔ ｄ ， ｉ ｄ ｏ ｗｅ ａ ｄ ｒ ｅ ｕ ｒ ｍｅ ｔ ｎ ｇ ｅ ｅ ｏ ｎ ｔ ｎ ｒ ｔ ｔ ｄ ｉ ｐ ｏ ｓ ｄ． ｅ ｉ ｅ ｎ ｓＯ ｌ ａ ａ ｇ ｏ ｅ ｒ ｅ ｄ ｄ ｆ ｒｔ ｅ ｃ ｒｅ ｔｓｕ ｙ ａ ｋ ｎ ｆｌ ｏ ｒｈ ｒ ｗａ ｅ ｒ ｑ ｉｅ ｎ ｓａ ｄ ｈｉ ｈ ｒｒ ｃ ｇ ｉ ｏ ａ ｅ ｍｅｈｏ ｓ ｒ ｐｏ ｅ ｉ
套方法。该方法使用 Ｂ Ｐ神经 网络结合 马尔科 夫模型 ，按照汉语拼音规则进行输入拼音序列概率的估计 ，输 出汉语拼音 。仿真实验结果表 职 ，采用该方法能获得 ９％以上的单个手指字母识别率 ，并能有效输出汉语 拼音。 １
关健词 ：Ｂ Ｐ神经网络；马尔科夫模 型；数据手套 ；手指 字母流分类 ；在线识 别
想输 出为 Ｙ （ ， ， Ｙ ） 神经网络的实际输 出为 Ｚ ＝ ｙ ｙ …，． ， Ｐ ｏ ＝
２ 识别系统的基本原理
２ 算法筒介 ． １
首 先，对汉语手指字母手势进行分组 ，确定神经网络的 输入 向量 。然 后利用典 型的三层前 馈 Ｂ 网络 的海量 并行 Ｐ
（ ， ， ｚ ）， ｚ ｚ …， 输出向量的维数为ｎ 。 乞 Ｏ 输入层到隐含层的连
分利 用人 的手势、 表情和身体的动作形象地表达物体和行为。 而手指语则 由字母语言发展起来 ，用手指指式进行 交流 ，用
一
类 。再运 用马尔科夫模型结合汉语拼音方案进行神经网络输 出序列的概率估计 ，完成对手语字母流的识别 。
２ 弹性梯度 Ｂ ． ２ Ｐ网络算法 典型三层前馈型 Ｂ Ｐ网络的结构如 图 １ 所示 。