基于视频的人体行为识别总结汇报
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
范文下载：w w w .1ppt .com/fanw en/
试卷下载：w w w .1ppt .com/s hit i/
教案下载：w w w .1ppt .com/jiaoan/
PPT论坛：w w w .1ppt .cn
1
RESEARCH BACKGROUNDS
研究背景
1
研究背景
RESEARCH BACKGROUNDS
军事基地监控
博物馆监控
银行监控
超市监控
交通监控
研
究
背
景
1
什么是行为识别？ RESEARCH BACKGROUNDS
人体行为识别
这个方向的主要目标是判断一段视频中人的行为的类别，即Human Action Recognition.
其最终目标概括为”4W ”系统，即分析视频中哪些人（who）、在什么时刻（when）、
在什么地方（where）、在做什么（what）。
而行为识别侧重于在什么时刻（when）、在做什么（what）此两方面
1
行为识别
T1时间段
跳高动作
T2时间段
跳远动作
2
RESEARCH FRAMWORKS
研究框架及方法
2
研究框架
基于四元数的实时人体姿态识别
流程
三维骨架 ,四元数 , SVM
框架
建立人体运动运特征模型并实现人体连续动作的分割与识别
由
深
度
图
标
识
出
人
体
分解深度图像获取关节角度识别，定义
组件（待探测骨骼临近躯体范围），重
新投影组件到世界空间，组件模式局部
化，预测每个骨骼关节空间位置
识
别
出
的
人
体
骨
骼
2
研究方法
运动人体连续行为分割
帧间距离分割（DBKF）
考虑时间距离，取相邻两帧骨架图像的膝关节角度差的绝对值：
DIFFKneeAngle i = KneeAngle − 1 − KneeAngle
在 MATLAB 中调用 C#的编程接口，将坐标信息转换为 N*3 的矩阵形式储存（其中 N 为
视频片段帧数）
在 MATLAB 中算出视频片段的视频图片帧间距离并画出帧间距离曲线
根据帧间距离的极值来判断连续动作的分割点
2
研究方法
识别步骤
人体行为识别
1
2
3
4
检测视频中的运动人体目标
提取运动人体的低层特征
PPT教程： w w w .1ppt .com/pow erpoint /
W ord教程： w w w .1ppt .com/w ord/
Excel教程：w w w .1ppt .com/excel/
资料下载：w w w .1ppt .com/ziliao/
PPT课件下载：w w w .1ppt .com/kejian/
考虑空间距离，取相邻两帧骨架图像的脊柱中点三维坐标，Z坐标值之差的绝对值：
DIFFSpinZ i = KneeSpinZ − 1 − KneeSpinZ
为了对不同取值范围的特征进行融合，采用利用归一化方法将取值范围完全不同的时间距离
和空间距离均转换到(0,1)之间：
归一化：X()
−1
cognition
CONTENTS
研究背景
RESEARCH BACKGROUNDS
研究框架与方法
1
2
RESEARCH FRAMWORK& METHODS
存在的问题
EXISTING PROBLEMS
3
PPT模板下载：w w w .1ppt .com/moban/ 行业PPT模板：w w w .1ppt .com/hangye/
由于万象锁现象的存在可能会丧失自由度
四元数法
很容易转化成欧拉角，且完美弥补欧拉角以上缺点，提升了用户体验
基于四元数理论结合三维骨架建立运动人体行为表示模型，
使用支持向量机（SVM）作为分类器进行动作分类，实现行
为识别
第一阶段
第二阶段
第三阶段
Kinect V2.0
→运动行为分割
实现基于视频多目标
深度图像
→特征提取
运动人体行为识别
三维人体骨架
→行为识别
2
研究方法
RESEARCH METHODS
Kinect V2.0
基于此，智能视频行为监控的呼声越来越高，用之检测人的异常行为，提高社会安全
将基于视频的人体行为分析应用到监控系统，行之有效
研
究
背
景
2001.9.11 恐袭
2005.7.7 与 2017.9.15 伦敦两起地铁恐袭
2014.3.1昆明火车站恐暴
1
应用场所
RESEARCH BACKGROUNDS
奥运场馆监控
Kinect V2.0硬件结构图
Kinect V2.0系统框架
Kinect V2.0 SDK（软件开发包）特性及功能
2
研究方法
RESEARCH METHODS
深度图像的获取
TOF（Time of flight，检测光脉冲时间）
技术获取伪灰度图像（最远可视范围黑
色，最近范围为白，256阶）
三维人体骨架获取
基于四元数的人体姿态识别
2
研究方法
四元数的三角表达式
旋转向量的四元数
基于四元数的人体姿态识别
2
研究方法
旋转向量的四元数
基于四元数的人体姿态识别
2
研究方法
欧拉角法
基于四元数的人体姿态识别
欧拉角法用于用户定义物体朝向，直观方便
缺点：
旋转矩阵不可交换性，需要按照某个特定的次序执行欧拉角旋转
欧拉角变化与旋转之间对应的非线性可能造成旋转不均匀
建立人体的运动行为模型
识别人体运动行为
2
研究方法
需提取的特征
常见提取方法
常用的特征提取方法
2
研究方法
识别步骤
人体行为识别
1
2
3
4
检测视频中的运动人体目标
提取运动人体的低层特征
建立人体的运动行为模型
识别人体运动行为
基于四元数的人体姿态识别
2
研究方法
四元数起源
基于四元数的人体姿态识别
2
研究方法
四元数定义
节日PPT模板：w w w .1ppt .com/jieri/
PPT素材下载：w w w .1ppt .com/s ucai/
PPT背景图片：w w w .1ppt .com/beijing/
PPT图表下载：w w w .1ppt .com/t ubiao/
优秀PPT下载：w w w .1ppt .com/xiazai/
= −
得到diffKneeAngle(i)以及diffSpinZ(i)
关键帧之间的距离DBKF定义：diffKneeAngle(i) + diffSpinZ(i)
通过获取帧间距离的极值来判断行为分割帧
2
研究方法
帧间距离分割（DBKF）
运动人体连续行为分割
用 Kinect 深度摄像头在 C#编程环境中获取人体骨架在空间中的三维坐标信息
试卷下载：w w w .1ppt .com/s hit i/
教案下载：w w w .1ppt .com/jiaoan/
PPT论坛：w w w .1ppt .cn
1
RESEARCH BACKGROUNDS
研究背景
1
研究背景
RESEARCH BACKGROUNDS
军事基地监控
博物馆监控
银行监控
超市监控
交通监控
研
究
背
景
1
什么是行为识别？ RESEARCH BACKGROUNDS
人体行为识别
这个方向的主要目标是判断一段视频中人的行为的类别，即Human Action Recognition.
其最终目标概括为”4W ”系统，即分析视频中哪些人（who）、在什么时刻（when）、
在什么地方（where）、在做什么（what）。
而行为识别侧重于在什么时刻（when）、在做什么（what）此两方面
1
行为识别
T1时间段
跳高动作
T2时间段
跳远动作
2
RESEARCH FRAMWORKS
研究框架及方法
2
研究框架
基于四元数的实时人体姿态识别
流程
三维骨架 ,四元数 , SVM
框架
建立人体运动运特征模型并实现人体连续动作的分割与识别
由
深
度
图
标
识
出
人
体
分解深度图像获取关节角度识别，定义
组件（待探测骨骼临近躯体范围），重
新投影组件到世界空间，组件模式局部
化，预测每个骨骼关节空间位置
识
别
出
的
人
体
骨
骼
2
研究方法
运动人体连续行为分割
帧间距离分割（DBKF）
考虑时间距离，取相邻两帧骨架图像的膝关节角度差的绝对值：
DIFFKneeAngle i = KneeAngle − 1 − KneeAngle
在 MATLAB 中调用 C#的编程接口，将坐标信息转换为 N*3 的矩阵形式储存（其中 N 为
视频片段帧数）
在 MATLAB 中算出视频片段的视频图片帧间距离并画出帧间距离曲线
根据帧间距离的极值来判断连续动作的分割点
2
研究方法
识别步骤
人体行为识别
1
2
3
4
检测视频中的运动人体目标
提取运动人体的低层特征
PPT教程： w w w .1ppt .com/pow erpoint /
W ord教程： w w w .1ppt .com/w ord/
Excel教程：w w w .1ppt .com/excel/
资料下载：w w w .1ppt .com/ziliao/
PPT课件下载：w w w .1ppt .com/kejian/
考虑空间距离，取相邻两帧骨架图像的脊柱中点三维坐标，Z坐标值之差的绝对值：
DIFFSpinZ i = KneeSpinZ − 1 − KneeSpinZ
为了对不同取值范围的特征进行融合，采用利用归一化方法将取值范围完全不同的时间距离
和空间距离均转换到(0,1)之间：
归一化：X()
−1
cognition
CONTENTS
研究背景
RESEARCH BACKGROUNDS
研究框架与方法
1
2
RESEARCH FRAMWORK& METHODS
存在的问题
EXISTING PROBLEMS
3
PPT模板下载：w w w .1ppt .com/moban/ 行业PPT模板：w w w .1ppt .com/hangye/
由于万象锁现象的存在可能会丧失自由度
四元数法
很容易转化成欧拉角，且完美弥补欧拉角以上缺点，提升了用户体验
基于四元数理论结合三维骨架建立运动人体行为表示模型，
使用支持向量机（SVM）作为分类器进行动作分类，实现行
为识别
第一阶段
第二阶段
第三阶段
Kinect V2.0
→运动行为分割
实现基于视频多目标
深度图像
→特征提取
运动人体行为识别
三维人体骨架
→行为识别
2
研究方法
RESEARCH METHODS
Kinect V2.0
基于此，智能视频行为监控的呼声越来越高，用之检测人的异常行为，提高社会安全
将基于视频的人体行为分析应用到监控系统，行之有效
研
究
背
景
2001.9.11 恐袭
2005.7.7 与 2017.9.15 伦敦两起地铁恐袭
2014.3.1昆明火车站恐暴
1
应用场所
RESEARCH BACKGROUNDS
奥运场馆监控
Kinect V2.0硬件结构图
Kinect V2.0系统框架
Kinect V2.0 SDK（软件开发包）特性及功能
2
研究方法
RESEARCH METHODS
深度图像的获取
TOF（Time of flight，检测光脉冲时间）
技术获取伪灰度图像（最远可视范围黑
色，最近范围为白，256阶）
三维人体骨架获取
基于四元数的人体姿态识别
2
研究方法
四元数的三角表达式
旋转向量的四元数
基于四元数的人体姿态识别
2
研究方法
旋转向量的四元数
基于四元数的人体姿态识别
2
研究方法
欧拉角法
基于四元数的人体姿态识别
欧拉角法用于用户定义物体朝向，直观方便
缺点：
旋转矩阵不可交换性，需要按照某个特定的次序执行欧拉角旋转
欧拉角变化与旋转之间对应的非线性可能造成旋转不均匀
建立人体的运动行为模型
识别人体运动行为
2
研究方法
需提取的特征
常见提取方法
常用的特征提取方法
2
研究方法
识别步骤
人体行为识别
1
2
3
4
检测视频中的运动人体目标
提取运动人体的低层特征
建立人体的运动行为模型
识别人体运动行为
基于四元数的人体姿态识别
2
研究方法
四元数起源
基于四元数的人体姿态识别
2
研究方法
四元数定义
节日PPT模板：w w w .1ppt .com/jieri/
PPT素材下载：w w w .1ppt .com/s ucai/
PPT背景图片：w w w .1ppt .com/beijing/
PPT图表下载：w w w .1ppt .com/t ubiao/
优秀PPT下载：w w w .1ppt .com/xiazai/
= −
得到diffKneeAngle(i)以及diffSpinZ(i)
关键帧之间的距离DBKF定义：diffKneeAngle(i) + diffSpinZ(i)
通过获取帧间距离的极值来判断行为分割帧
2
研究方法
帧间距离分割（DBKF）
运动人体连续行为分割
用 Kinect 深度摄像头在 C#编程环境中获取人体骨架在空间中的三维坐标信息