(方案)手势识别总结.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
手势识别技术介绍
LOGO
.....
手势识别的分类
➢ 基于不同传感器
RGB相机 红外相机（主动、被动） 加速度传感器 深度相机（双目、 结构光、 TOF）
➢ 手势类型
静态手势识别（手型） 动态手势识别（动作及轨迹）
.....
静态手势识别方法
➢ 基于手势分割
算法复杂度低 难于分割完整的手势 对光照比较敏感
➢ 基于手势检测
选择合适的特征 准备大量训练样本 算法复杂度较高
.....
手势识别-基于手势分割
手势输入
预处理
特征提取
手势识别
手势分割、 手势跟踪、
误差补偿、 滤波、
分类、建模 训练、匹配
.....
手势识别-基于手势分割
.....
手势识别-基于手势检测
训练过程：
采集手势 样本
选择特 征
选择分类 算法
➢ 深度神经网络
通过CNN卷积神经网络自动选取特征进行识别，样本量巨大 （100k以上）。手势数据集构建比较困难，目前没有很好地 手势识别应用。
.....
结语
谢 谢！
.....
首页
训练
手势分类器
识别过程：
采集图像
多尺度 处理
手势分类 器
分类
手势类别及 位置
.....
手势识别常用特征-HAAR
➢ HAAR特征
图中黑色矩形所有像素值的和减去白色矩形所有像素值的和。
.....
手势识别常用特征-LBP
➢ LBP特征
1. 将一幅图片划分为若干的子区域，对每个子区域内 的每个像素点都提取LBP特征。
2. 在每个子区域内建立LBP特征的统计直方图。整个 图片就由若干个统计直方图组成
.....
手势识别常用特征-HOG
.....
手势识别算法-SVM
.....
手势识别算法-Adaboost
.....
手势识别算法-Adaboost训练
.....
OpenCV中Adaboost算法
➢ 训练程序
opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -precalcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL
➢ 训练样本
opencv_createsamples.exe -info pos.dat -vec pos.vec num 15400 -w 18 -h 30 pause
.....
Adaboost训练要点
➢ 积极样本多样性 ➢ 积极样本背景随机性 ➢ 消极样本结合场景 ➢ 积极样本旋转 ➢ 特征选择
.....
Adaboost优化方法
➢ 采集多样性样本（20k） ➢ 收集实际识别图片手工裁剪样本 ➢ 将误判图片作为消极样本再训练 ➢ 使用其他的方法进行二次判断（肤色验证及SVM）
.....
手势识别的其他方法
➢ 深度相机
可分割出百度文库型的二值图像（手型轮廓），进而通过轮廓特征 进行手势及动作识别。
.....
手势样本采集
➢ 获取手势的抠图 ➢ 将手势抠图合成到随机背景 ➢ 缩放到合适尺寸
.....
Adaboost手势识别优点
➢ 速率较快（30-50ms） ➢ 对光照不敏感 ➢ 对不同摄像机适用性强 ➢ 对图像质量要求不高
.....
Adaboost手势识别缺点
➢ 样本处理要求高（尺寸，背景，光照，多样） ➢ 后期升级训练困难（手工裁剪或标注样本） ➢ 存在一定程度误判率（过拟合与泛化） ➢ 特征不具有旋转不变形（识别固定姿态手势）
LOGO
.....
手势识别的分类
➢ 基于不同传感器
RGB相机 红外相机（主动、被动） 加速度传感器 深度相机（双目、 结构光、 TOF）
➢ 手势类型
静态手势识别（手型） 动态手势识别（动作及轨迹）
.....
静态手势识别方法
➢ 基于手势分割
算法复杂度低 难于分割完整的手势 对光照比较敏感
➢ 基于手势检测
选择合适的特征 准备大量训练样本 算法复杂度较高
.....
手势识别-基于手势分割
手势输入
预处理
特征提取
手势识别
手势分割、 手势跟踪、
误差补偿、 滤波、
分类、建模 训练、匹配
.....
手势识别-基于手势分割
.....
手势识别-基于手势检测
训练过程：
采集手势 样本
选择特 征
选择分类 算法
➢ 深度神经网络
通过CNN卷积神经网络自动选取特征进行识别，样本量巨大 （100k以上）。手势数据集构建比较困难，目前没有很好地 手势识别应用。
.....
结语
谢 谢！
.....
首页
训练
手势分类器
识别过程：
采集图像
多尺度 处理
手势分类 器
分类
手势类别及 位置
.....
手势识别常用特征-HAAR
➢ HAAR特征
图中黑色矩形所有像素值的和减去白色矩形所有像素值的和。
.....
手势识别常用特征-LBP
➢ LBP特征
1. 将一幅图片划分为若干的子区域，对每个子区域内 的每个像素点都提取LBP特征。
2. 在每个子区域内建立LBP特征的统计直方图。整个 图片就由若干个统计直方图组成
.....
手势识别常用特征-HOG
.....
手势识别算法-SVM
.....
手势识别算法-Adaboost
.....
手势识别算法-Adaboost训练
.....
OpenCV中Adaboost算法
➢ 训练程序
opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -precalcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL
➢ 训练样本
opencv_createsamples.exe -info pos.dat -vec pos.vec num 15400 -w 18 -h 30 pause
.....
Adaboost训练要点
➢ 积极样本多样性 ➢ 积极样本背景随机性 ➢ 消极样本结合场景 ➢ 积极样本旋转 ➢ 特征选择
.....
Adaboost优化方法
➢ 采集多样性样本（20k） ➢ 收集实际识别图片手工裁剪样本 ➢ 将误判图片作为消极样本再训练 ➢ 使用其他的方法进行二次判断（肤色验证及SVM）
.....
手势识别的其他方法
➢ 深度相机
可分割出百度文库型的二值图像（手型轮廓），进而通过轮廓特征 进行手势及动作识别。
.....
手势样本采集
➢ 获取手势的抠图 ➢ 将手势抠图合成到随机背景 ➢ 缩放到合适尺寸
.....
Adaboost手势识别优点
➢ 速率较快（30-50ms） ➢ 对光照不敏感 ➢ 对不同摄像机适用性强 ➢ 对图像质量要求不高
.....
Adaboost手势识别缺点
➢ 样本处理要求高（尺寸，背景，光照，多样） ➢ 后期升级训练困难（手工裁剪或标注样本） ➢ 存在一定程度误判率（过拟合与泛化） ➢ 特征不具有旋转不变形（识别固定姿态手势）