手势识别开题报告

研究内容
• 本课题以轮式移动机器人为实验平台，通过单个摄像头对 手势进行识别，进而完成对移动机器人的运动状态控制。 主要的研究内容可分为如下三个部分：
（1）建立本课题手势模板库分为训练集和测试集两类，在VC++环 境下调用OpenCV机器视觉库实现对模板库中不同背景下图片手势 分割。 （2）编写可视化软件界面，并根据手势轮廓、形状或者纹理等提取 手势特征，应用模式识别分类方法实现对手势的分类及识别，并达 到实时性，识别率达到95%以上。 （3）应用移动机器人平台，选取手势模板库中识别率最高的七种手 势作为移动机器人的运动状态控制信号，分别控制移动机器人的前 进、后退、直线加速、直线减速、左转、右转和停止七种状态。在 不同实验环境（如光照、背景）下，对系统进行整体调试。
阈值化
（肤色范围） 肤色建模方法 参数化 选择合适的颜色空间 所需存储空间小
（高斯密度函数估计） 需要考察所选颜色空 间中肤色分布的形态 非参数化 学习速度快 （统计直方图） 需要ቤተ መጻሕፍቲ ባይዱ量统计样本 基于统计模型方法 需要存储空间大
（局部二值模式，LBP） 皮肤纹理检测
是一种表述灰度图像某像素 基于信号处理方法 点与周围像素点大小关系的 （傅里叶变换或者小波变换） 二进制描述
选题背景与研究现状
人-机器人交互方式实例
选题背景与研究现状
语音方式： 适应性差（语音学上的差异、生理上的差异及发音习惯的差异）、强 噪声干扰环境下语音技术面临较大困难，很难将控制信号识别出来。 视觉方式：手势、体态、人脸姿态 手势适应性强，最为直观、方便、自然 研究难点： 手势本身具有多样性、多义性及时间和空间上的差异性； 人手是复杂变形体； 背景复杂时，很容易将非手势区域误认为手势区域，如何去除非 手部分。
2012年7月—2012年9月 在移动机器人平台上运行程序，实现对其运 动状态的控制。
2012年10月—2012年11月 撰写毕业论文文稿。
第三步：利用不变矩和傅里叶描述子方法得到特征向量
第四步：利用训练集应用支持向量机的方法进行训练，然后测试手势识别效果
第五步：应用轮式移动机器人平台进行实验，验证手势识别的实时控制性能
预期成果
在VC++环境中编写程序，能够实时对采集的视频图像完成手势分割及特 征提取； 利用手势模板库应用支持向量机方法完成对手势特征的学习，实现对视 频实时手势识别，达到“速度快，精度高”； 在不同实际环境下，能够利用定义的手势控制移动机器人的七种运动状 态；
研究方案
系统构成图
视频流 摄像机 手势分割 特征分析
模型参数 手势识别
手势描述
移动机器人 控制信号
用户
手势建模
移动机器人
研究方案——手势模板库
研究方案——手势分割方法
手势分割:把图像中的人手区域（前景）与其他区域（背景区域）划分开。 基于肤色信息检测方法——主要步骤是颜色空间变换和肤色建模。
简单易行
这些在灵活性 和实现精确控制 方面存在限制
新型方式 视觉 语音 力觉 触觉
符合人类交流习惯
缺乏灵活性
选题背景与研究现状
国外： 英国Essex大学通过识别人脸，比较当前人脸形状和模板人脸形状来估 计人脸方向，从而控制智能轮椅。 美国CMU机器人实验室实现了一种能够按人体手势及手臂动作做出简 单动作的清扫机器人。 2007年，Md.Al-Amin Bhuiyan等人研究的通过人脸及人脸角度控制机 器人AIBO的动作或者姿势。 2010年印度学者已经实现应用手势远程控制机器人的运动状态为前进、 后退、左转、右转和停止五个状态。 国内： 天津大学研究了汉语语音识别系统并用来控制机器人。 上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。 天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。 清华大学研究了一个手势识别系统，选择其中识别率较高的十种手势 类别作为人机互动信号应用于电脑游戏中代替手柄。
发表一至二篇EI学术论文。
研究基础
(1) 本人对VC++运行环境和C++语言都有一定的基础； (2) 本人曾学习过相关图像处理知识，写过相关图像处理程序； (3) 实验室在图像处理方面的研究已取得相当多的积累与成绩； 简单背景阈值分割手势
研究基础
利用傅里叶变换得到的相关 特征参数：
0.034551; 0.070123; 0.038968; 0.042986; 0.003900; 0.017425; 0.010688; 0.007627; 0.010348; 0.007532;
实验室已经具备条件： （1）计算机 （2）轮式移动机器人 （3）机器人控制器 （4）数字CCD摄像机 （5）开发软件
进度安排
2011年5月—2011年6月 2011年7月—2011年8月 库 查阅资料，完成开题报告。 准备资料，学习相关知识，并建立相关手势
2011年9月—2012年3月 通过编程完成对标准手势库的训练，初步实 现手势识别，并通过实验提高识别率。 2012年4月—2012年6月 通过USB摄像头，完成实时手势识别。
研究方案——分类方法
手势分类:通过特定的方法将提取的被识别对象的特征信息归为某一类别， 从而实现手势识别。
欧式距离分类方法
模板匹配方法 随着维数的增大，计算量会 增大，准确度也会下降
分类方法
学习时间过长，甚至可能达 最大最小距离 （ Hausdorff距离） 不到学习的目的；体系结构 通用性差；推广性差 神经网络方法 可能出现过分配
研究方案——特征提取方法
手势特征:能刻画手势的本质特征，要求对目标的位移、旋转及尺度缩放 具有不变性。
面积
紧密度 全局几何特征 区域形状偏心率 区域形状实心率 形状特征 矩函数 傅里叶描述子 变换域几何特征 小波描绘子 物体边界点 集合，进行 傅立叶变换 对几何矩进行非线性组 合，得到一组对于图像 平移、旋转、尺度缩放 都不变矩
硬件信息
硬件
总线主控板
485总线
硬件通讯层完成软 件与硬件之间的数 据交互工作
超声传感器 采集板
电子罗盘
„„
电机驱动模 块
UP-Voyager IIA移动机器人
UP-Voyager系统数据流
实验方案设计
第一步：获取手势图像，建立手势模板库，并分为训练集及测试集两个大类
第二步：利用肤色信息和纹理特征完成手势分割
硕士论文开题报告
基于手势识别的移动机器人 控制研究
开题报告主要内容
选题背景与研究现状
研究内容与研究方案
预期成果
研究基础
工作进度安排
选题背景与研究现状
人-机器人交互方式：随着智能机器人技术的发展，自然的、 符合人类习惯的人机交互方式逐渐成为人们研究的热点。
方便、直接、 易于使用
传统方式 鼠标 键盘 手柄 数据手套
基于统计理论方法
Boosting以及 AdaBoost算法 支持向量机 （SVM）
避免过学习、维数灾难、 局部极小等问题
研究方案——控制部分
行为层
控制操作
传感器数据
协议解析层
控制指令 硬件信息
将硬件指令解析 换算成控制算法 中数据变量；调 用控制函数生成 对应的硬件控制 指令
软件
控制指令
硬件通讯层