答辩ppt 基于计算机视觉的手势识别技术
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 2 2
手势特征提取
实验结果及分析
(a)
(b)
(c)
(d)
(e)
(f)
(a) 原始图像128*128, (b) 64*64图像, (c)256*256图像, (d) 旋转30°, (e) 旋转45°, (f)添加0.01的高斯噪声
手势特征提取
小波变换特征提取结果
w1
原始图像 64*64 256*256 旋转30° 旋转45° 3.4414 3.4517 3.4487 3.4602 3.4762
Y 0 .2 9 9 r 0 .5 8 7 0 g 0 .1 1 4 0 b C r 0 .5 0 0 0 r 0 .4 1 8 7 g 0 .0 8 1 3 b 1 2 8 C b 0 .1 6 8 7 r 0 .3 3 1 3 g 0 .5 0 0 0 b 1 2 8
w10
2.4319 2.4590 2.4801 2.3874 2.5039 2.3310
w11
3.5057 3.4702 3.4728 3.6684 3.6230 3.5190
w12
3.4859 3.4333 3.4954 3.5639 3.5194 3.4889
w13
3.1298 3.0530 3.0914 3.1685 3.1577 3.1303
手势特征提取
Hu矩组是图像中心矩前七个矩的函数，Hu将七个不变矩用作图 像特征向量，Hu矩组反映了图像的本质属性。
基于Bamieh不变矩的特征提取算法
为了减少计算量，Bamieh提出了Bamieh不变矩，其特征矢量的 大小比其他不变矩的要小很多，用以下四个量值作为特征提取时的特 征量。
( BMI ) 1 u 02 u 20 u 11
YCrCb空间二值分 割结果
改进的RGB空间 二值分割结果
手势特征提取
特征提取的目的
降维，减小数据量
特征提取算法
基于小波变换的特征提取算法
首先要对手势图像进行N级小波分解，得到3N+1幅子图像，然 后利用含有高频成分的3N幅子图像，求得一个长度为3N的向量。
基于Hu不变矩的图像特征提取
Hu矩是一组经典的几何矩不变量，对图像旋转、比例和平移具 有不变性。
手势图像分类识别
人工神经网络
BP学习算法
工作信号正向传播 误差信号反向传播
概率神经网络算法
输入层
模式层
求和层
输出层
手势图像分类识别
手势阿拉伯数字“1”
期望值 BP算法结果 001 0.01348 0.00393 0.97806 001 0.04842 0.21098 0.94372 001 0.10598 0.02693 0.99979 手势阿拉伯数字“2” 期望值 BP算法结果 010 0.22340 0.99879 0.01371 010 0.00900 0.99805 0.90422 010 0.01024 0.94076 0.09987 手势阿拉伯数字“3” 期望值 BP算法结果 011 0.09885 0.88821 0.87731 011 0.13441 0.91369 0.99985 011 0.37245 0.98117 0.94374 手势阿拉伯数字“4” 期望值 BP算法结果 100 0.95591 0.14794 0.01289 100 0.94556 0.16194 0.064152 100 0.95858 0.17682 0.10107 手势阿拉伯数字“5” 期望值 BP算法结果 101 0.84828 0.033281 0.98632 101 0.98508 0.31757 0.89830 101 0.80985 0.34996 0.84532 101 0.55432 0.88662 0.99970 101 0.09885 0.85992 0.99497 100 0.92988 0.25204 0.18311 100 0.88125 0.03262 0.09776 011 0.01622 0.86598 0.98881 011 0.09277 0.74337 0.86095 010 0.18138 0.96926 0.08219 010 0.96607 0.98622 0.97746 001 0.40459 0.15920 0.97367 001 0.30748 0.70572 0.66647
w2
3.1314 3.0074 3.0775 3.1692 3.0939
w3
2.6920 2.7915 2.7943 2.7879 2.7043
w4
2.7413 2.7832 2.7251 2.7192 2.6823
w5
2.8102 2.8106 2.8223 2.8889 2.8461
w6
3.3094 3.2187 3.2935 3.3745 3.4919
手势图像分类识别
Bamieh不变矩提取特征送入PNN网络的分类结果
手势阿拉伯数字“1” 期望值 Pnn识别结果 1 1 1 1 1 1 手势阿拉伯数字“2” 期望值 Pnn识别结果 2 2 2 2 2 3 手势阿拉伯数字“3” 期望值 Pnn识别结果 3 3 3 3 3 3 手势阿拉伯数字“4” 期望值 Pnn识别结果 4 4 4 4 4 4 4 4 4 4 3 3 3 3 2 1 2 4 1 1 1 1
2
( BMI ) 2 ( u 03 u 30 u 21 u 12 ) 4 ( u 03 u 12 u 21 )( u 21 u 30 u 12 )
2 2 2
( BMI ) 3 u 40 u 04 4 u 31 u 13 3 u 22
2
( BMI ) 4 u 40 u 22 u 04 2 u 31 u 22 u 13 u 40 u 13 u 31 u 04 u 22
基于改进的RGB色彩空间的分割算法
利用传统的方法在RGB空间进行手势分割，需分别设定R、G、 B三个分量的阈值 。
H
RG B 3
由于亮度值为RGB三分量的平均(左式)，所以 传统方法受光照影响较大。
手势图像分割
经大量研究发现，虽然RGB色彩模型易受光照影响，但是 RGB三种色彩对应三分量的色差值却保持在一定的范围之，即 受光照影响不大 。所以本文的改进方法是基于三分量的色差的 阈值分割。
6
7
原始图像 1.4784 5.8167 7.2493 9.0945
64*64 256*256 1.4941 5.6367 7.5763 8.3000 1.4816 5.7959 7.3215 8.9959
12.079 17.022
11.431 16.539 11.702 17.020 10.805 17.262 10.802 17.246 9.6008 15.969
w14
2.6143 2.6110 2.7993 2.7263 2.5703 2.6126
w15
2.8243 2.9194 2.8268 2.8126 2.7407 2.8323
手势特征提取
Hu不变矩特征提取结果
1
2
3
4
5
19.698
20.677 19.791 20.142 20.162 18.036
中值滤波法：把邻域中的图像的像素按灰度级排序后选择该 组的中间值作为像素值。
维纳滤波法：维纳滤波器是一种自适应滤波器，主要根据区域 内的方差来调整滤波器输出
图像锐化
图像锐化就是补偿图像的轮廓，增强图像的边缘灰度有跳变 的部分，使图像的边缘、轮廓线以及图像的细节变的清晰 。
手势图像预处理
平滑滤波结果
w7
2.6173 2.6003 2.5607 2.5102 2.5132
噪声图像
3.4053
3.1260
2.7079
2.5423
2.8156
3.3035
2.4084
w8
2.4258 2.5231 2.5017 2.6162 2.6771 2.5223
w9
2.5958 2.5991 2.5399 2.5362 2.5423 2.3318
18.540 18.625
B3
4.5742 4.5481
B4
5.1377 5.0463
256*256
旋转30°
4.4101
4.4077
18.923
17.378
4.5151
4.6474
4.9781
5.5888
旋转45°
噪声图像
4.4074
4.3034
18.077
18.548
5.6526
4.4368
5.5505
5.5610
手势特征提取
三种手势特征提取方法的比较
Hu不变矩的特征提取结果显示：不变矩满足大小和旋转不 变性，但Hu不变矩提取的特征向量在有噪声存在时会发生较大 变化；
小波变换特征提取结果对噪声不太敏感，但是各个特征量之 间差别较小，分类效果低。
Bamieh不变矩特征提取结果：满足大小和旋转不变性，对 噪声也不敏感。
静态手势识别的基本流程
在RGB空间的手 势图像 分割出的手势 二值图像 在特征空间表 示手势特征 识别出的手势
分割过程
特征提取
手势识别
全文介绍
本文主要研究内容
手势图像预处理 手势图像分割 手势特征提取 手势图像分类识别
手势图像预处理
图像的平滑
空域平滑滤波：
均值滤波法：用所选窗口的所有像素点的平均值来代替窗口 中心点的灰度值 。
手势图像预处理
图像锐化结果
原始图像
拉普拉斯滤波后的图像
原始图像
梯度锐化的图像
手势图像分割
色彩空间
RGB色彩空间 YCrCb彩色空间 HSI色彩空间
图像分割算法
基于HSI色彩空间的分割算法
H,S,I三分量之间的相关性较小，可由色调S空间
手势阿拉伯数字“5” 期望值
Pnn识别结果
5
5
5
5
5
5
5
5
5
5
总结与展望
本论文主要详细了解了目前基于计算机视觉的 手势识别技术的整个识别流程，只是从理论方面进 行了验证。
相信在不久的将来基于计算机视觉的手 势识别技术将会得到广泛应用！
结语
谢 谢！
首页
经过多次试验确定 色调和饱和度上下阈值
根据阈值 分类像素点
手势图像分割
基于YCrCb色彩空间的分割
利用以下两式进行色彩空间的转换，在转换后的YCrCb色彩空 间中进行彩色阈值分割 。
r R 255 g G R G B 1 b B
论文题目： 基于计算机视觉的静态 手势识别技术
指导教师：
学院： 专业： 姓名： 学号：
LOGO
手势识别技术的研究背景及意义
手势识别技术的研究背景
随着计算机技术的飞速发展，人机交互技术成为了当前最热门的 研究课题之一，并且人机交互技术正在从以计算机为中心逐步转移到 以人为中心。由于人手的特殊性，所以在人类日常交际活动中发挥重 要作用的手势，已经被当做一种最自然、直观而又易于学习的人机交 互手段进行广泛研究。
手势识别技术的发展历程
基于数据手套的手势识别技术 基于标记手的手势识别
基于视觉的手势识别
手势识别技术的研究背景及意义
手势识别技术研究的意义
手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播 放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、 游戏娱乐等诸多方面，同时也有助于改善和提高聋哑人的生活学习和工 作条件，为他们供更好的服务；另外，手势的研究涉及到教学、计算机 图形学、机器人运动学、医学等多学科。因此，手势识别的研究是一个 非常有意义的课题 。
旋转30° 1.4825 5.7491 7.1839 8.3087 旋转45° 1.4723 5.9439 7.1850 8.3067 噪声图像 1.1031 4.9756 6.0075 7.5677
手势特征提取
Bamieh不变矩的特征提取结果
B1
原始图像 64*64 4.4383 4.4021
B2
经过大量的测算，得出如下式的阈值适合于本次 实验手的肤色。
( B G ) 0 . 066 & ( B R ) 0 . 55
以上阈值可以得到较为理想的分割手势
下面对三种分割算法的分割效果进行分析比较
手势图像分割
分割出的手势图像
分割前图像
HSI空间彩色 分割结果
HSI空间二值 分割结果
手势特征提取
实验结果及分析
(a)
(b)
(c)
(d)
(e)
(f)
(a) 原始图像128*128, (b) 64*64图像, (c)256*256图像, (d) 旋转30°, (e) 旋转45°, (f)添加0.01的高斯噪声
手势特征提取
小波变换特征提取结果
w1
原始图像 64*64 256*256 旋转30° 旋转45° 3.4414 3.4517 3.4487 3.4602 3.4762
Y 0 .2 9 9 r 0 .5 8 7 0 g 0 .1 1 4 0 b C r 0 .5 0 0 0 r 0 .4 1 8 7 g 0 .0 8 1 3 b 1 2 8 C b 0 .1 6 8 7 r 0 .3 3 1 3 g 0 .5 0 0 0 b 1 2 8
w10
2.4319 2.4590 2.4801 2.3874 2.5039 2.3310
w11
3.5057 3.4702 3.4728 3.6684 3.6230 3.5190
w12
3.4859 3.4333 3.4954 3.5639 3.5194 3.4889
w13
3.1298 3.0530 3.0914 3.1685 3.1577 3.1303
手势特征提取
Hu矩组是图像中心矩前七个矩的函数，Hu将七个不变矩用作图 像特征向量，Hu矩组反映了图像的本质属性。
基于Bamieh不变矩的特征提取算法
为了减少计算量，Bamieh提出了Bamieh不变矩，其特征矢量的 大小比其他不变矩的要小很多，用以下四个量值作为特征提取时的特 征量。
( BMI ) 1 u 02 u 20 u 11
YCrCb空间二值分 割结果
改进的RGB空间 二值分割结果
手势特征提取
特征提取的目的
降维，减小数据量
特征提取算法
基于小波变换的特征提取算法
首先要对手势图像进行N级小波分解，得到3N+1幅子图像，然 后利用含有高频成分的3N幅子图像，求得一个长度为3N的向量。
基于Hu不变矩的图像特征提取
Hu矩是一组经典的几何矩不变量，对图像旋转、比例和平移具 有不变性。
手势图像分类识别
人工神经网络
BP学习算法
工作信号正向传播 误差信号反向传播
概率神经网络算法
输入层
模式层
求和层
输出层
手势图像分类识别
手势阿拉伯数字“1”
期望值 BP算法结果 001 0.01348 0.00393 0.97806 001 0.04842 0.21098 0.94372 001 0.10598 0.02693 0.99979 手势阿拉伯数字“2” 期望值 BP算法结果 010 0.22340 0.99879 0.01371 010 0.00900 0.99805 0.90422 010 0.01024 0.94076 0.09987 手势阿拉伯数字“3” 期望值 BP算法结果 011 0.09885 0.88821 0.87731 011 0.13441 0.91369 0.99985 011 0.37245 0.98117 0.94374 手势阿拉伯数字“4” 期望值 BP算法结果 100 0.95591 0.14794 0.01289 100 0.94556 0.16194 0.064152 100 0.95858 0.17682 0.10107 手势阿拉伯数字“5” 期望值 BP算法结果 101 0.84828 0.033281 0.98632 101 0.98508 0.31757 0.89830 101 0.80985 0.34996 0.84532 101 0.55432 0.88662 0.99970 101 0.09885 0.85992 0.99497 100 0.92988 0.25204 0.18311 100 0.88125 0.03262 0.09776 011 0.01622 0.86598 0.98881 011 0.09277 0.74337 0.86095 010 0.18138 0.96926 0.08219 010 0.96607 0.98622 0.97746 001 0.40459 0.15920 0.97367 001 0.30748 0.70572 0.66647
w2
3.1314 3.0074 3.0775 3.1692 3.0939
w3
2.6920 2.7915 2.7943 2.7879 2.7043
w4
2.7413 2.7832 2.7251 2.7192 2.6823
w5
2.8102 2.8106 2.8223 2.8889 2.8461
w6
3.3094 3.2187 3.2935 3.3745 3.4919
手势图像分类识别
Bamieh不变矩提取特征送入PNN网络的分类结果
手势阿拉伯数字“1” 期望值 Pnn识别结果 1 1 1 1 1 1 手势阿拉伯数字“2” 期望值 Pnn识别结果 2 2 2 2 2 3 手势阿拉伯数字“3” 期望值 Pnn识别结果 3 3 3 3 3 3 手势阿拉伯数字“4” 期望值 Pnn识别结果 4 4 4 4 4 4 4 4 4 4 3 3 3 3 2 1 2 4 1 1 1 1
2
( BMI ) 2 ( u 03 u 30 u 21 u 12 ) 4 ( u 03 u 12 u 21 )( u 21 u 30 u 12 )
2 2 2
( BMI ) 3 u 40 u 04 4 u 31 u 13 3 u 22
2
( BMI ) 4 u 40 u 22 u 04 2 u 31 u 22 u 13 u 40 u 13 u 31 u 04 u 22
基于改进的RGB色彩空间的分割算法
利用传统的方法在RGB空间进行手势分割，需分别设定R、G、 B三个分量的阈值 。
H
RG B 3
由于亮度值为RGB三分量的平均(左式)，所以 传统方法受光照影响较大。
手势图像分割
经大量研究发现，虽然RGB色彩模型易受光照影响，但是 RGB三种色彩对应三分量的色差值却保持在一定的范围之，即 受光照影响不大 。所以本文的改进方法是基于三分量的色差的 阈值分割。
6
7
原始图像 1.4784 5.8167 7.2493 9.0945
64*64 256*256 1.4941 5.6367 7.5763 8.3000 1.4816 5.7959 7.3215 8.9959
12.079 17.022
11.431 16.539 11.702 17.020 10.805 17.262 10.802 17.246 9.6008 15.969
w14
2.6143 2.6110 2.7993 2.7263 2.5703 2.6126
w15
2.8243 2.9194 2.8268 2.8126 2.7407 2.8323
手势特征提取
Hu不变矩特征提取结果
1
2
3
4
5
19.698
20.677 19.791 20.142 20.162 18.036
中值滤波法：把邻域中的图像的像素按灰度级排序后选择该 组的中间值作为像素值。
维纳滤波法：维纳滤波器是一种自适应滤波器，主要根据区域 内的方差来调整滤波器输出
图像锐化
图像锐化就是补偿图像的轮廓，增强图像的边缘灰度有跳变 的部分，使图像的边缘、轮廓线以及图像的细节变的清晰 。
手势图像预处理
平滑滤波结果
w7
2.6173 2.6003 2.5607 2.5102 2.5132
噪声图像
3.4053
3.1260
2.7079
2.5423
2.8156
3.3035
2.4084
w8
2.4258 2.5231 2.5017 2.6162 2.6771 2.5223
w9
2.5958 2.5991 2.5399 2.5362 2.5423 2.3318
18.540 18.625
B3
4.5742 4.5481
B4
5.1377 5.0463
256*256
旋转30°
4.4101
4.4077
18.923
17.378
4.5151
4.6474
4.9781
5.5888
旋转45°
噪声图像
4.4074
4.3034
18.077
18.548
5.6526
4.4368
5.5505
5.5610
手势特征提取
三种手势特征提取方法的比较
Hu不变矩的特征提取结果显示：不变矩满足大小和旋转不 变性，但Hu不变矩提取的特征向量在有噪声存在时会发生较大 变化；
小波变换特征提取结果对噪声不太敏感，但是各个特征量之 间差别较小，分类效果低。
Bamieh不变矩特征提取结果：满足大小和旋转不变性，对 噪声也不敏感。
静态手势识别的基本流程
在RGB空间的手 势图像 分割出的手势 二值图像 在特征空间表 示手势特征 识别出的手势
分割过程
特征提取
手势识别
全文介绍
本文主要研究内容
手势图像预处理 手势图像分割 手势特征提取 手势图像分类识别
手势图像预处理
图像的平滑
空域平滑滤波：
均值滤波法：用所选窗口的所有像素点的平均值来代替窗口 中心点的灰度值 。
手势图像预处理
图像锐化结果
原始图像
拉普拉斯滤波后的图像
原始图像
梯度锐化的图像
手势图像分割
色彩空间
RGB色彩空间 YCrCb彩色空间 HSI色彩空间
图像分割算法
基于HSI色彩空间的分割算法
H,S,I三分量之间的相关性较小，可由色调S空间
手势阿拉伯数字“5” 期望值
Pnn识别结果
5
5
5
5
5
5
5
5
5
5
总结与展望
本论文主要详细了解了目前基于计算机视觉的 手势识别技术的整个识别流程，只是从理论方面进 行了验证。
相信在不久的将来基于计算机视觉的手 势识别技术将会得到广泛应用！
结语
谢 谢！
首页
经过多次试验确定 色调和饱和度上下阈值
根据阈值 分类像素点
手势图像分割
基于YCrCb色彩空间的分割
利用以下两式进行色彩空间的转换，在转换后的YCrCb色彩空 间中进行彩色阈值分割 。
r R 255 g G R G B 1 b B
论文题目： 基于计算机视觉的静态 手势识别技术
指导教师：
学院： 专业： 姓名： 学号：
LOGO
手势识别技术的研究背景及意义
手势识别技术的研究背景
随着计算机技术的飞速发展，人机交互技术成为了当前最热门的 研究课题之一，并且人机交互技术正在从以计算机为中心逐步转移到 以人为中心。由于人手的特殊性，所以在人类日常交际活动中发挥重 要作用的手势，已经被当做一种最自然、直观而又易于学习的人机交 互手段进行广泛研究。
手势识别技术的发展历程
基于数据手套的手势识别技术 基于标记手的手势识别
基于视觉的手势识别
手势识别技术的研究背景及意义
手势识别技术研究的意义
手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播 放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、 游戏娱乐等诸多方面，同时也有助于改善和提高聋哑人的生活学习和工 作条件，为他们供更好的服务；另外，手势的研究涉及到教学、计算机 图形学、机器人运动学、医学等多学科。因此，手势识别的研究是一个 非常有意义的课题 。
旋转30° 1.4825 5.7491 7.1839 8.3087 旋转45° 1.4723 5.9439 7.1850 8.3067 噪声图像 1.1031 4.9756 6.0075 7.5677
手势特征提取
Bamieh不变矩的特征提取结果
B1
原始图像 64*64 4.4383 4.4021
B2
经过大量的测算，得出如下式的阈值适合于本次 实验手的肤色。
( B G ) 0 . 066 & ( B R ) 0 . 55
以上阈值可以得到较为理想的分割手势
下面对三种分割算法的分割效果进行分析比较
手势图像分割
分割出的手势图像
分割前图像
HSI空间彩色 分割结果
HSI空间二值 分割结果