答辩基于计算机视觉的手势识别技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢ 图像锐化
图像锐化就是补偿图像的轮廓，增强图像的边缘灰度有跳变 的部分，使图像的边缘、轮廓线以及图像的细节变的清晰 。
手势图像预处理
平滑滤波结果
手势图像预处理
图像锐化结果
原始图像
拉普拉斯滤波后的图像
原始图像
梯度锐化的图像
手势图像分割
➢ 色彩空间
RGB色彩空间 YCrCb彩色空间 HSI色彩空间
H RGB 3
由于亮度值为RGB三分量的平均(左式)，所以 传统方法受光照影响较大。
手势图像分割
经大量研究发现，虽然RGB色彩模型易受光照影响，但是 RGB三种色彩对应三分量的色差值却保持在一定的范围之，即 受光照影响不大 。所以本文的改进方法是基于三分量的色差的 阈值分割。
经过大量的测算，得出如下式的阈值适合于本次 实验手的肤色。
w4
2.7413 2.7832 2.7251 2.7192 2.6823 2.5423
w12
3.4859 3.4333 3.4954 3.5639 3.5194 3.4889
(B G) 0.066 & (B R) 0.55
以上阈值可以得到较为理想的分割手势
下面对三种分割算法的分割效果进行分析比较
手势图像分割
分割出的手势图像
分割前图像
HSI空间彩色 分割结果
HSI空间二值 分割结果
YCrCb空间二值分 割结果
改进的RGB空间 二值分割结果
手势特征提取
➢ 特征提取的目的
降维，减小数据量
➢ 特征提取算法
基于小波变换的特征提取算法
首先要对手势图像进行N级小波分解，得到3N+1幅子图像，然 后利用含有高频成分的3N幅子图像，求得一个长度为3N的向量。
基于Hu不变矩的图像特征提取
Hu矩是一组经典的几何矩不变量，对图像旋转、比例和平移具 有不变性。
手势特征提取
Hu矩组是图像中心矩前七个矩的函数，Hu将七个不变矩用作图 像特征向量，Hu矩组反映了图像的本质属性。
r R
g
G
R
255 GB
1
b B
Y 0.299r 0.5870g 0.1140b Cr 0.5000r 0.4187g 0.0813b 128 Cb 0.1687r 0.3313g 0.5000b 128
基于改进的RGB色彩空间的分割算法
利用传统的方法在RGB空间进行手势分割，需分别设定R、G、 B三个分量的阈值 。
u122 )
(BMI )3
u40u04
4u31u13
3u
2 22
(BMI )4
u40u22u04
2u31u22u13
u40u123
u
u 2
31 04
u
2 22
手势特征提取
➢ 实验结果及分析
(a)
Biblioteka Baidu
(b)
(c)
(d)
(e)
(f)
(a) 原始图像128*128, (b) 64*64图像, (c)256*256图像, (d) 旋转30°, (e) 旋转45°, (f)添加0.01的高斯噪声
手势特征提取
小波变换特征提取结果
原始图像 64*64
256*256 旋转30° 旋转45° 噪声图像
w8
2.4258 2.5231 2.5017 2.6162 2.6771 2.5223
w1
3.4414 3.4517 3.4487 3.4602 3.4762 3.4053
w9
2.5958 2.5991 2.5399 2.5362 2.5423 2.3318
➢ 静态手势识别的基本流程
在RGB空间的手 势图像
分割出的手势 二值图像
在特征空间表 示手势特征
识别出的手势
分割过程
特征提取
手势识别
全文介绍
本文主要研究内容
➢ 手势图像预处理 ➢ 手势图像分割 ➢ 手势特征提取 ➢ 手势图像分类识别
手势图像预处理
➢ 图像的平滑
空域平滑滤波：
均值滤波法：用所选窗口的所有像素点的平均值来代替窗口 中心点的灰度值 。 中值滤波法：把邻域中的图像的像素按灰度级排序后选择该 组的中间值作为像素值。 维纳滤波法：维纳滤波器是一种自适应滤波器，主要根据区域 内的方差来调整滤波器输出
w2
3.1314 3.0074 3.0775 3.1692 3.0939 3.1260
w10
2.4319 2.4590 2.4801 2.3874 2.5039 2.3310
w3
2.6920 2.7915 2.7943 2.7879 2.7043 2.7079
w11
3.5057 3.4702 3.4728 3.6684 3.6230 3.5190
基于Bamieh不变矩的特征提取算法
为了减少计算量，Bamieh提出了Bamieh不变矩，其特征矢量的 大小比其他不变矩的要小很多，用以下四个量值作为特征提取时的特 征量。
(BMI )1 u02u20 u121
(BMI )2
(u03u30
u21u12 ) 2
4(u03u12
u
2 21
)(u
21u30
论文题目： 基于计算机视觉的静态 手势识别技术
指导教师：
学院： 专业： 姓名： 学号：
LOGO
手势识别技术的研究背景及意义
➢ 手势识别技术的研究背景
随着计算机技术的飞速发展，人机交互技术成为了当前最热门的 研究课题之一，并且人机交互技术正在从以计算机为中心逐步转移到 以人为中心。由于人手的特殊性，所以在人类日常交际活动中发挥重 要作用的手势，已经被当做一种最自然、直观而又易于学习的人机交 互手段进行广泛研究。
➢ 手势识别技术的发展历程
基于数据手套的手势识别技术
基于标记手的手势识别
基于视觉的手势识别
手势识别技术的研究背景及意义
➢ 手势识别技术研究的意义
手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播 放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、 游戏娱乐等诸多方面，同时也有助于改善和提高聋哑人的生活学习和工 作条件，为他们供更好的服务；另外，手势的研究涉及到教学、计算机 图形学、机器人运动学、医学等多学科。因此，手势识别的研究是一个 非常有意义的课题 。
➢ 图像分割算法
基于HSI色彩空间的分割算法
H,S,I三分量之间的相关性较小，可由色调H和饱和度S完 成独立于亮度的彩色区域分割。
RGB空间图像 转换到HIS空间
经过多次试验确定 色调和饱和度上下阈值
根据阈值 分类像素点
手势图像分割
基于YCrCb色彩空间的分割
利用以下两式进行色彩空间的转换，在转换后的YCrCb色彩空 间中进行彩色阈值分割 。
图像锐化就是补偿图像的轮廓，增强图像的边缘灰度有跳变 的部分，使图像的边缘、轮廓线以及图像的细节变的清晰 。
手势图像预处理
平滑滤波结果
手势图像预处理
图像锐化结果
原始图像
拉普拉斯滤波后的图像
原始图像
梯度锐化的图像
手势图像分割
➢ 色彩空间
RGB色彩空间 YCrCb彩色空间 HSI色彩空间
H RGB 3
由于亮度值为RGB三分量的平均(左式)，所以 传统方法受光照影响较大。
手势图像分割
经大量研究发现，虽然RGB色彩模型易受光照影响，但是 RGB三种色彩对应三分量的色差值却保持在一定的范围之，即 受光照影响不大 。所以本文的改进方法是基于三分量的色差的 阈值分割。
经过大量的测算，得出如下式的阈值适合于本次 实验手的肤色。
w4
2.7413 2.7832 2.7251 2.7192 2.6823 2.5423
w12
3.4859 3.4333 3.4954 3.5639 3.5194 3.4889
(B G) 0.066 & (B R) 0.55
以上阈值可以得到较为理想的分割手势
下面对三种分割算法的分割效果进行分析比较
手势图像分割
分割出的手势图像
分割前图像
HSI空间彩色 分割结果
HSI空间二值 分割结果
YCrCb空间二值分 割结果
改进的RGB空间 二值分割结果
手势特征提取
➢ 特征提取的目的
降维，减小数据量
➢ 特征提取算法
基于小波变换的特征提取算法
首先要对手势图像进行N级小波分解，得到3N+1幅子图像，然 后利用含有高频成分的3N幅子图像，求得一个长度为3N的向量。
基于Hu不变矩的图像特征提取
Hu矩是一组经典的几何矩不变量，对图像旋转、比例和平移具 有不变性。
手势特征提取
Hu矩组是图像中心矩前七个矩的函数，Hu将七个不变矩用作图 像特征向量，Hu矩组反映了图像的本质属性。
r R
g
G
R
255 GB
1
b B
Y 0.299r 0.5870g 0.1140b Cr 0.5000r 0.4187g 0.0813b 128 Cb 0.1687r 0.3313g 0.5000b 128
基于改进的RGB色彩空间的分割算法
利用传统的方法在RGB空间进行手势分割，需分别设定R、G、 B三个分量的阈值 。
u122 )
(BMI )3
u40u04
4u31u13
3u
2 22
(BMI )4
u40u22u04
2u31u22u13
u40u123
u
u 2
31 04
u
2 22
手势特征提取
➢ 实验结果及分析
(a)
Biblioteka Baidu
(b)
(c)
(d)
(e)
(f)
(a) 原始图像128*128, (b) 64*64图像, (c)256*256图像, (d) 旋转30°, (e) 旋转45°, (f)添加0.01的高斯噪声
手势特征提取
小波变换特征提取结果
原始图像 64*64
256*256 旋转30° 旋转45° 噪声图像
w8
2.4258 2.5231 2.5017 2.6162 2.6771 2.5223
w1
3.4414 3.4517 3.4487 3.4602 3.4762 3.4053
w9
2.5958 2.5991 2.5399 2.5362 2.5423 2.3318
➢ 静态手势识别的基本流程
在RGB空间的手 势图像
分割出的手势 二值图像
在特征空间表 示手势特征
识别出的手势
分割过程
特征提取
手势识别
全文介绍
本文主要研究内容
➢ 手势图像预处理 ➢ 手势图像分割 ➢ 手势特征提取 ➢ 手势图像分类识别
手势图像预处理
➢ 图像的平滑
空域平滑滤波：
均值滤波法：用所选窗口的所有像素点的平均值来代替窗口 中心点的灰度值 。 中值滤波法：把邻域中的图像的像素按灰度级排序后选择该 组的中间值作为像素值。 维纳滤波法：维纳滤波器是一种自适应滤波器，主要根据区域 内的方差来调整滤波器输出
w2
3.1314 3.0074 3.0775 3.1692 3.0939 3.1260
w10
2.4319 2.4590 2.4801 2.3874 2.5039 2.3310
w3
2.6920 2.7915 2.7943 2.7879 2.7043 2.7079
w11
3.5057 3.4702 3.4728 3.6684 3.6230 3.5190
基于Bamieh不变矩的特征提取算法
为了减少计算量，Bamieh提出了Bamieh不变矩，其特征矢量的 大小比其他不变矩的要小很多，用以下四个量值作为特征提取时的特 征量。
(BMI )1 u02u20 u121
(BMI )2
(u03u30
u21u12 ) 2
4(u03u12
u
2 21
)(u
21u30
论文题目： 基于计算机视觉的静态 手势识别技术
指导教师：
学院： 专业： 姓名： 学号：
LOGO
手势识别技术的研究背景及意义
➢ 手势识别技术的研究背景
随着计算机技术的飞速发展，人机交互技术成为了当前最热门的 研究课题之一，并且人机交互技术正在从以计算机为中心逐步转移到 以人为中心。由于人手的特殊性，所以在人类日常交际活动中发挥重 要作用的手势，已经被当做一种最自然、直观而又易于学习的人机交 互手段进行广泛研究。
➢ 手势识别技术的发展历程
基于数据手套的手势识别技术
基于标记手的手势识别
基于视觉的手势识别
手势识别技术的研究背景及意义
➢ 手势识别技术研究的意义
手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播 放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、 游戏娱乐等诸多方面，同时也有助于改善和提高聋哑人的生活学习和工 作条件，为他们供更好的服务；另外，手势的研究涉及到教学、计算机 图形学、机器人运动学、医学等多学科。因此，手势识别的研究是一个 非常有意义的课题 。
➢ 图像分割算法
基于HSI色彩空间的分割算法
H,S,I三分量之间的相关性较小，可由色调H和饱和度S完 成独立于亮度的彩色区域分割。
RGB空间图像 转换到HIS空间
经过多次试验确定 色调和饱和度上下阈值
根据阈值 分类像素点
手势图像分割
基于YCrCb色彩空间的分割
利用以下两式进行色彩空间的转换，在转换后的YCrCb色彩空 间中进行彩色阈值分割 。