手势识别总结
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
采集图像 多尺度 处理 手势分类 器
分类
手势类别及 位置
手势识别常用特征-HAAR
HAAR特征
图中黑色矩形所有像素值的和减去白色矩形所有像素值的和。
手势识别常用特征-LBP
LBP特征
1. 将一幅图片划分为若干的子区域，对每个子区域内 的每个像素点都提取LBP特征。 2. 在每个子区域内建立LBP特征的统计直方图。整个 图片就由若干个统计直方图组成
结语
谢 谢！
首页
手势识别技术介绍
LOGO
手势识别的分类
基于不同传感器
RGB相机 红外相机（主动、被动）
加速度传感器
深度相机（双目、 结构光、 TOF）
手势类型
静态手势识别（手型）
动态手势识别（动作及轨迹）
静态手势识别方法
基于手势分割
ຫໍສະໝຸດ Baidu 算法复杂度低 难于分割完整的手势
对光照比较敏感
训练样本
opencv_createsamples.exe -info pos.dat -vec pos.vec num 15400 -w 18 -h 30 pause
Adaboost训练要点
积极样本多样性 积极样本背景随机性 消极样本结合场景
积极样本旋转
特征选择
手势样本采集
手势识别常用特征-HOG
手势识别算法-SVM
手势识别算法-Adaboost
手势识别算法-Adaboost训练
OpenCV中Adaboost算法
训练程序
opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -precalcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL
获取手势的抠图
将手势抠图合成到随机背景 缩放到合适尺寸
Adaboost手势识别优点
速率较快（30-50ms） 对光照不敏感 对不同摄像机适用性强 对图像质量要求不高
Adaboost手势识别缺点
样本处理要求高（尺寸，背景，光照，多样） 后期升级训练困难（手工裁剪或标注样本） 存在一定程度误判率（过拟合与泛化） 特征不具有旋转不变形（识别固定姿态手势）
基于手势检测
选择合适的特征
准备大量训练样本
算法复杂度较高
手势识别-基于手势分割
手势输入
预处理
特征提取
手势识别
手势分割、 手势跟踪、
误差补偿、 滤波、
分类、建模 训练、匹配
手势识别-基于手势分割
手势识别-基于手势检测
训练过程：
采集手势 样本 选择特 征 选择分类 算法
训练
手势分类器
识别过程：
Adaboost优化方法
采集多样性样本（20k） 收集实际识别图片手工裁剪样本 将误判图片作为消极样本再训练 使用其他的方法进行二次判断（肤色验证及SVM）
手势识别的其他方法
深度相机
可分割出手型的二值图像（手型轮廓），进而通过轮廓特征 进行手势及动作识别。
深度神经网络
通过CNN卷积神经网络自动选取特征进行识别，样本量巨大 （100k以上）。手势数据集构建比较困难，目前没有很好地 手势识别应用。
分类
手势类别及 位置
手势识别常用特征-HAAR
HAAR特征
图中黑色矩形所有像素值的和减去白色矩形所有像素值的和。
手势识别常用特征-LBP
LBP特征
1. 将一幅图片划分为若干的子区域，对每个子区域内 的每个像素点都提取LBP特征。 2. 在每个子区域内建立LBP特征的统计直方图。整个 图片就由若干个统计直方图组成
结语
谢 谢！
首页
手势识别技术介绍
LOGO
手势识别的分类
基于不同传感器
RGB相机 红外相机（主动、被动）
加速度传感器
深度相机（双目、 结构光、 TOF）
手势类型
静态手势识别（手型）
动态手势识别（动作及轨迹）
静态手势识别方法
基于手势分割
ຫໍສະໝຸດ Baidu 算法复杂度低 难于分割完整的手势
对光照比较敏感
训练样本
opencv_createsamples.exe -info pos.dat -vec pos.vec num 15400 -w 18 -h 30 pause
Adaboost训练要点
积极样本多样性 积极样本背景随机性 消极样本结合场景
积极样本旋转
特征选择
手势样本采集
手势识别常用特征-HOG
手势识别算法-SVM
手势识别算法-Adaboost
手势识别算法-Adaboost训练
OpenCV中Adaboost算法
训练程序
opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -precalcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL
获取手势的抠图
将手势抠图合成到随机背景 缩放到合适尺寸
Adaboost手势识别优点
速率较快（30-50ms） 对光照不敏感 对不同摄像机适用性强 对图像质量要求不高
Adaboost手势识别缺点
样本处理要求高（尺寸，背景，光照，多样） 后期升级训练困难（手工裁剪或标注样本） 存在一定程度误判率（过拟合与泛化） 特征不具有旋转不变形（识别固定姿态手势）
基于手势检测
选择合适的特征
准备大量训练样本
算法复杂度较高
手势识别-基于手势分割
手势输入
预处理
特征提取
手势识别
手势分割、 手势跟踪、
误差补偿、 滤波、
分类、建模 训练、匹配
手势识别-基于手势分割
手势识别-基于手势检测
训练过程：
采集手势 样本 选择特 征 选择分类 算法
训练
手势分类器
识别过程：
Adaboost优化方法
采集多样性样本（20k） 收集实际识别图片手工裁剪样本 将误判图片作为消极样本再训练 使用其他的方法进行二次判断（肤色验证及SVM）
手势识别的其他方法
深度相机
可分割出手型的二值图像（手型轮廓），进而通过轮廓特征 进行手势及动作识别。
深度神经网络
通过CNN卷积神经网络自动选取特征进行识别，样本量巨大 （100k以上）。手势数据集构建比较困难，目前没有很好地 手势识别应用。