手势识别开题报告.ppt

符合人类交流习惯
方便、直接、 易于使用
缺乏灵活性
选题背景与研究现状
国外： ➢英国Essex大学通过识别人脸，比较当前人脸形状和模板人脸形状来估 计人脸方向，从而控制智能轮椅。 ➢美国CMU机器人实验室实现了一种能够按人体手势及手臂动作做出简 单动作的清扫机器人。 ➢2007年，Md.Al-Amin Bhuiyan等人研究的通过人脸及人脸角度控制机 器人AIBO的动作或者姿势。 ➢2010年印度学者已经实现应用手势远程控制机器人的运动状态为前进、 后退、左转、右转和停止五个状态。
通用性差；推广性差
基于统计理论方法
神经网络方法
Boosting以及 AdaBoost算 法
可能出现过分配
支持向量机 （SVM）
避免过学习、维数灾难、 局部极小等问题
研究方案——控制部分
UP-Voyager IIA移动机器人
行为层
控制操作
传感器数据
协议解析层
将硬件指令解析 换算成控制算法 中数据变量；调 用控制函数生成 对应的硬件控制
都不变矩
小波描绘子
物体边界点 集合，进行 傅立叶变换
研究方案——分类方法
手势分类:通过特定的方法将提取的被识别对象的特征信息归为某一类别，
从而实现手势识别。
随着维数的增大，计算量会
欧式距离分类方法
百度文库
增大，准确度也会下降
模板匹配方法 分类方法
最大最小距离 （ Hausdorff距离）
学习时间过长，甚至可能达 不到学习的目的；体系结构
预期成果
➢ 在VC++环境中编写程序，能够实时对采集的视频图像完成手势分割及特 征提取；
➢ 利用手势模板库应用支持向量机方法完成对手势特征的学习，实现对视 频实时手势识别，达到“速度快，精度高”；
➢ 在不同实际环境下，能够利用定义的手势控制移动机器人的七种运动状 态；
➢ 发表一至二篇EI学术论文。
（傅里叶变换或者小波变换） 二进制描述
研究方案——特征提取方法
手势特征:能刻画手势的本质特征，要求对目标的位移、旋转及尺度缩放 具有不变性。
形状特征
全局几何特征 变换域几何特征
面积 紧密度 区域形状偏心率 区域形状实心率
矩函数 傅里叶描述子
对几何矩进行非线性组 合，得到一组对于图像 平移、旋转、尺度缩放
简单易行 选择合适的颜色空间
肤色建模方法 皮肤纹理检测
参数化
所需存储空间小
（高斯密度函数估计）
非参数化 （统计直方图）
需要考察所选颜色空 间中肤色分布的形态
学习速度快
需要大量统计样本
基于统计模型方法
需要存储空间大
（局部二值模式，LBP）
是一种表述灰度图像某像素
基于信号处理方法
点与周围像素点大小关系的
研究方案 系统构成图
视频流
摄像机
手势分割
特征分析
模型参数
手势识别
手势描述 移动机器人 控制信号
用户
手势建模
移动机器人
研究方案——手势模板库
研究方案——手势分割方法
手势分割:把图像中的人手区域（前景）与其他区域（背景区域）划分开。 基于肤色信息检测方法——主要步骤是颜色空间变换和肤色建模。
阈值化 （肤色范围）
研究基础
➢ (1) 本人对VC++运行环境和C++语言都有一定的基础； ➢ (2) 本人曾学习过相关图像处理知识，写过相关图像处理程序； ➢ (3) 实验室在图像处理方面的研究已取得相当多的积累与成绩；
简单背景阈值分割手势
研究基础
✓利用傅里叶变换得到的相关 特征参数：
0.034551; 0.070123; 0.038968; 0.042986; 0.003900; 0.017425; 0.010688; 0.007627; 0.010348; 0.007532;
指令
控制指令
硬件信息
软件
硬件通讯层
硬件
控制指令
485总线
总线主控板
硬件信息
硬件通讯层完成软 件与硬件之间的数 据交互工作
电子罗盘
……
电机驱动模 超声传感器
块
采集板
UP-Voyager系统数据流
实验方案设计
第一步：获取手势图像，建立手势模板库，并分为训练集及测试集两个大类 第二步：利用肤色信息和纹理特征完成手势分割 第三步：利用不变矩和傅里叶描述子方法得到特征向量 第四步：利用训练集应用支持向量机的方法进行训练，然后测试手势识别效果 第五步：应用轮式移动机器人平台进行实验，验证手势识别的实时控制性能
研究内容
• 本课题以轮式移动机器人为实验平台，通过单个摄像头对 手势进行识别，进而完成对移动机器人的运动状态控制。 主要的研究内容可分为如下三个部分：
（1）建立本课题手势模板库分为训练集和测试集两类，在VC++环 境下调用OpenCV机器视觉库实现对模板库中不同背景下图片手势 分割。 （2）编写可视化软件界面，并根据手势轮廓、形状或者纹理等提取 手势特征，应用模式识别分类方法实现对手势的分类及识别，并达 到实时性，识别率达到95%以上。 （3）应用移动机器人平台，选取手势模板库中识别率最高的七种手 势作为移动机器人的运动状态控制信号，分别控制移动机器人的前 进、后退、直线加速、直线减速、左转、右转和停止七种状态。在 不同实验环境（如光照、背景）下，对系统进行整体调试。
国内： ➢天津大学研究了汉语语音识别系统并用来控制机器人。 ➢上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。 ➢天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。 ➢清华大学研究了一个手势识别系统，选择其中识别率较高的十种手势 类别作为人机互动信号应用于电脑游戏中代替手柄。
选题背景与研究现状
人-机器人交互方式实例
选题背景与研究现状
语音方式： 适应性差（语音学上的差异、生理上的差异及发音习惯的差异）、强 噪声干扰环境下语音技术面临较大困难，很难将控制信号识别出来。
视觉方式：手势、体态、人脸姿态 手势适应性强，最为直观、方便、自然
研究难点： ➢手势本身具有多样性、多义性及时间和空间上的差异性； ➢人手是复杂变形体； ➢背景复杂时，很容易将非手势区域误认为手势区域，如何去除非 手部分。
硕士论文开题报告
基于手势识别的移动机器人 控制研究
开题报告主要内容
选题背景与研究现状
人-机器人交互方式：随着智能机器人技术的发展，自然的、 符合人类习惯的人机交互方式逐渐成为人们研究的热点。
传统方式 鼠标 键盘 手柄
数据手套
新型方式 视觉 语音 力觉 触觉
这些在灵活性 和实现精确控制 方面存在限制