【CN109902614A】一种基于局部时空特征的人体行为识别方法【专利】
一种基于人体姿态数据的动作识别方法[发明专利]
![一种基于人体姿态数据的动作识别方法[发明专利]](https://img.taocdn.com/s3/m/e9d309b96429647d27284b73f242336c1fb9305d.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910766621.3(22)申请日 2019.08.20(71)申请人 江西憶源多媒体科技有限公司地址 341008 江西省赣州市章贡区沙河工业园内(72)发明人 张源 徐林楠 肖伟 王磊 黄炜 (74)专利代理机构 赣州智府晟泽知识产权代理事务所(普通合伙) 36128代理人 孙康(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)(54)发明名称一种基于人体姿态数据的动作识别方法(57)摘要本发明公开了一种基于人体姿态数据的动作识别方法，该识别方法旨在解决现今人体动作识别存在对应用场景要求较高，普适性差、工作量大，并容易产生逻辑漏洞，且优化和项目维护工作复杂，同时检测效果上限较低，在其基础上难有较大提升的技术问题；该识别方法基于现有的人体姿态识别技术，采用神经网络对人体运动姿态的运动规律进行归纳，并基于这些归纳在检测时进行快速判断，同时结合运动规律的归纳，满足各种新需求。
该识别方法能极快地实现人体动作识别，而且对应用场景要求较低，在不同需求下的普适性极高，可应对不同的需求，并且又避免了人工多次编码带来的各种问题，降低工作量的同时，极大地提高了检测效果的上限。
权利要求书1页 说明书4页 附图2页CN 110598569 A 2019.12.20C N 110598569A1.一种基于人体姿态数据的动作识别方法，其特征在于，该识别方法的具体步骤为：步骤一、对于一个需识别的人体动作A，沿水平方向均匀地在人体四周设置多个图像采集点N，通过采集点N，对各类人进行A动作的完整形态以及完整动作过程进行图像信息采集，得到动作A的图像信息数据，并将其保存为原始图像集I0；步骤二、在原始图像集I0中，对所有人物的形体进行调整，以普通人体形体为标准，对于不符合的人体形体样本，通过拉伸将其调至标准，得到图像集I1，并通过姿态识别技术识别图像集I1，得到人体姿态数据集P0；步骤三、对人体姿态数据集P0中的每一帧数据，均统一设定人体的某一部位作为参考点B，并将人体各关节点位置转换为相对于参考点B的平面向量，从而得出新的数据集P1，再对数据集P1中每个人体的关节点，按照时间顺序与各帧中关节点位置的平面向量，将其数据放入一个集合中，得到一个动作A的运动形态集Pa0；步骤四、对运动形态集Pa0中的每一个关节点的运动数据，均采用数学模型为Ax 2+Bxy+Cy 2+D+Ey+F＝0的椭圆二次曲线方程进行线性回归，得出一般形态，其中，位置x、y在时间轴上的运动规律分别为两者的拟合，对应产生2个运动分量曲线分别为Pfx、Pfy，之后再将一个动作各关节点的运动分量曲线(Pfx、Pfy)代入进行计算，得出一个在平面上运动的轨迹Pt，并将其放入一个集合中，得出动作A的运动形态集Pa；步骤五、对每一个关节点，均建立一个统计出现率的三维矩阵图，并对其每一次出现的位置进行统计，并在该位置上，往该位置本平面的四周进行衰减性地扩散，同时在矩阵中对相应帧进行叠加，得到关节点的出现率分布图Pp，之后，对于图像采集点N中所有的采集点，将其得到的运动形态集Pa与出现率分布图Pp均放入一个集合中，得出动作A的模型Am；步骤六、对一个待检测识别其动作A的目标进行检测时，使用姿态识别技术对每个画面中的对象获取其姿态数据，并根据时间顺序均放入一个集合Pd中，并对集合Pd中的各个关节点，将同一关节点按照时间顺序将各帧的位置连接起来，形成一条折线L；步骤七、取模型Am对应关节点的轨迹Pt，使其与折线L进行对比，得出形态相似值V0，取模型Am对应关节点的出现率分布图Pp，对出现率分布图Pd中所有点在出现率分布图Pp矩阵中保存的值进行累加统计，得出该关节点运动出现在正确位置的置信值V1，同时，结合预先设置V0和V1的阈值，当V0或V1满足阈值条件时，则判定为进行了动作A，而当V0和V1都不满足阈值条件时，则挑选符合度最高的值判定其进行了该动作。
一种人体动作识别方法[发明专利]
![一种人体动作识别方法[发明专利]](https://img.taocdn.com/s3/m/e541dff62dc58bd63186bceb19e8b8f67c1cef0d.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910363482.X(22)申请日 2019.04.30(71)申请人 苏州大学地址 215131 江苏省苏州市相城区济学路8号(72)发明人 杨剑宇 赵晓枫 朱晨 (74)专利代理机构 北京金宏来专利代理事务所(特殊普通合伙) 11641代理人 杜正国 陆华(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称一种人体动作识别方法(57)摘要本发明提出一种动作识别方法，包括正则化坐标系，对动作样本每一帧骨骼关节点的三维坐标进行标准化处理；设计二阶自循环神经网络，提取每一帧骨骼关节点坐标特征，得到每一帧的特征向量；从每种动作类型的训练样本中选择一个作为该动作类型的参考动作样本，将测试动作样本内的各帧与每个参考动作样本各帧进行匹配，建立时序对应关系；计算测试动作样本与每个参考动作样本的匹配代价，找出与测试动作样本有最小匹配代价的参考动作样本，该参考动作样本的动作类型即为测试动作样本的动作类型。
本发明提取的特征维度较小，算法效率高，通过时间序列匹配，该方法对同类型动作在时间长度和时间形态上的差异有良好的适应性，提高了动作识别的准确率。
权利要求书5页 说明书11页 附图3页CN 110097008 A 2019.08.06C N 110097008A1.一种人体动作识别方法，包括如下步骤：步骤一、正则化坐标系，并对动作样本每一帧骨骼关节点的三维坐标进行标准化处理；步骤二、设计一种二阶自循环神经网络对人体骨骼关节点的三维坐标数据进行特征提取，得到每一帧的特征向量；步骤三、从每种动作类型的训练样本中选择一个作为该类型的参考动作样本，将测试动作样本内的各帧与每个参考动作样本各帧进行匹配，建立时序对应关系；步骤四、计算测试动作样本与每个参考动作样本的匹配代价；步骤五、寻找与测试动作样本有最小匹配代价的参考动作样本，该参考动作样本的动作类型即为测试动作样本的动作类型。
一种视频监控中的人体行为识别方法[发明专利]
![一种视频监控中的人体行为识别方法[发明专利]](https://img.taocdn.com/s3/m/7e28c5da3968011ca2009107.png)
专利名称：一种视频监控中的人体行为识别方法
专利类型：发明专利
发明人：张洪博,苏松志,李绍滋,林贤明,郭锋,曹冬林,吕艳萍申请号：CN201210566810.4
申请日：20121224
公开号：CN103106394A
公开日：
20130515
专利内容由知识产权出版社提供
摘要：一种视频监控中的人体行为识别方法，涉及计算机视觉领域。
提供能够对视频中连续不同的行为进行识别的一种视频监控中的人体行为识别方法。
包括检测和表示局部时空特征、计算局部时空特征与类别相关性、计算视频帧与类别相关性、检测和识别人体行为。
基于该人体行为识别方法的人体行为监控系统包括视频采集单元、存储单元、特征抽取单元、相关性分析单元、行为识别单元、视频输出单元和预警单元。
能够对视频中连续不同的行为进行识别。
申请人：厦门大学深圳研究院,厦门大学
地址：518057 广东省深圳市南山区高新南四道019号虚拟大学园R4-A601
国籍：CN
代理机构：厦门南强之路专利事务所
代理人：马应森
更多信息请下载全文后查看。
一种基于人体关键点的人体动作识别方法及装置[发明专利]
![一种基于人体关键点的人体动作识别方法及装置[发明专利]](https://img.taocdn.com/s3/m/a74588cd900ef12d2af90242a8956bec0975a5aa.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202011244644.7(22)申请日 2020.11.10(71)申请人 上海依图网络科技有限公司地址 200051 上海市徐汇区宜州路180号1幢第1层01、02室(72)发明人 魏子昆 王琦 聂学成 (74)专利代理机构 北京同达信恒知识产权代理有限公司 11291代理人 李欣(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)(54)发明名称一种基于人体关键点的人体动作识别方法及装置(57)摘要本申请涉及动作识别技术领域，尤其涉及一种基于人体关键点的人体动作识别方法及装置，分别对待识别视频的各视频帧进行人体检测，获得各人体区域图像，分别针对各视频帧，获得任意一个视频帧中的人体区域图像的关键点热图和深度图，将任意一视频帧中的人体区域图像、关键点热图和深度图输入至已训练的坐标转换模型中，通过全卷积网络进行特征提取，并通过坐标回归网络对提取到的特征向量进行坐标回归处理，获得该人体区域图像的各三维关键点坐标，根据确定出的各三维关键点坐标，对人体进行动作识别，获得人体的人体动作类别，这样，通过将人体关键点的二维坐标转换为三维坐标，并基于三维坐标对人体进行动作识别，能够提高动作识别的准确率。
权利要求书3页 说明书17页 附图2页CN 112287866 A 2021.01.29C N 112287866A1.一种基于人体关键点的人体动作识别方法，其特征在于，包括：分别对待识别视频的各视频帧进行人体检测，获得各人体区域图像；分别针对所述各视频帧，获得任意一视频帧中的人体区域图像的各二维关键点坐标，通过预设的转换方式将所述各二维关键点坐标转换为关键点热图，并通过确定所述人体区域图像的图像深度，获得所述人体区域图像的深度图；分别针对所述各视频帧，将任意一视频帧中的人体区域图像、关键点热图和深度图输入至已训练的坐标转换模型中，通过全卷积网络对所述关键点热图、所述深度图和该人体区域图像进行特征提取，确定该人体区域图像的特征向量，并通过坐标回归网络对所述特征向量进行坐标回归处理，获得该人体区域图像的各三维关键点坐标，其中，所述坐标转换模型的网络结构至少包括全卷积网络和坐标回归网络；根据确定出的各三维关键点坐标，对所述待识别视频中包含的人体进行动作识别，获得所述人体的人体动作类别。
人体行为识别方法、装置以及机器人[发明专利]
![人体行为识别方法、装置以及机器人[发明专利]](https://img.taocdn.com/s3/m/036c67cf0722192e4436f661.png)
专利名称：人体行为识别方法、装置以及机器人专利类型：发明专利
发明人：裴雅超,姚开鹏
申请号：CN201910624434.1
申请日：20190711
公开号：CN112215040A
公开日：
20210112
专利内容由知识产权出版社提供
摘要：本发明涉及一种人体行为识别方法、装置以及机器人。
在本发明，通过深度神经网络提取训练视频的动态特征和空间特征，并将其与代表行为规范等的运动特征在时间上进行拼接。
随后将拼接后的时序特征在时间上进行等分，并将等分后的时序特征输入至时序神经网络进行训练至收敛，输出与训练视频相应的动作标签。
由此，能够获得与行为规范等相关联的动作标签。
通过使用该动作标签对实时视频进行识别，不仅能够准确识别人体行为，还能够预测人物的短期行为。
因此，根据本发明，能够提供一种准确识别人体行为的方法以及装置，并能够提供一种能够准确地识别人体行为并能够预测人物的短期行为的机器人。
申请人：株式会社日立制作所
地址：日本国东京都千代田区丸之内一丁目6番6号
国籍：JP
代理机构：上海华诚知识产权代理有限公司
代理人：肖华
更多信息请下载全文后查看。
《基于时空特征的人体动作识别方法研究》范文
《基于时空特征的人体动作识别方法研究》篇一一、引言随着计算机视觉技术的飞速发展，人体动作识别技术在智能监控、人机交互、医疗康复等领域得到了广泛的应用。
其中，基于时空特征的人体动作识别方法是一种重要且有效的方法。
该方法通过对人体动作的时空特征进行提取和分析，实现了对人体动作的准确识别。
本文将重点研究基于时空特征的人体动作识别方法，分析其原理、方法及存在的问题，并提出相应的解决方案。
二、人体动作识别的基本原理及方法人体动作识别主要基于计算机视觉技术，通过对视频或图像中的人体动作进行提取和分析，实现对人体动作的识别。
其中，基于时空特征的方法是通过对人体动作在时间和空间上的变化进行提取和分析，从而实现对人体动作的识别。
在人体动作识别的过程中，常用的方法包括基于模板匹配的方法、基于特征的方法和基于深度学习的方法。
其中，基于特征的方法是通过对人体动作的时空特征进行提取和分析，实现对人体动作的识别。
而基于深度学习的方法则是通过训练深度神经网络模型，实现对人体动作的自动识别。
三、基于时空特征的人体动作识别方法研究基于时空特征的人体动作识别方法主要包括以下步骤：数据预处理、特征提取、分类器设计和识别结果评估。
1. 数据预处理：对人体动作数据进行预处理，包括去除噪声、归一化等操作，以便后续的特征提取和分类器设计。
2. 特征提取：通过提取人体动作在时间和空间上的变化特征，如关节点轨迹、骨骼结构等，形成具有代表性的特征向量。
3. 分类器设计：利用提取的特征向量训练分类器模型，如支持向量机、随机森林等，实现对人体动作的分类和识别。
4. 识别结果评估：通过对比识别结果与真实标签，评估识别方法的准确率、召回率等性能指标。
四、存在的问题及解决方案虽然基于时空特征的人体动作识别方法已经取得了一定的成果，但仍存在一些问题。
首先，特征提取的准确性和鲁棒性有待提高；其次，分类器模型的复杂度和泛化能力需要进一步优化；最后，实时性和计算效率也是需要解决的问题。
【CN110059587A】基于时空注意力的人体行为识别方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910250775.7(22)申请日 2019.03.29(71)申请人 西安交通大学地址 710049 陕西省西安市咸宁西路28号(72)发明人 田智强 产文颂 郑帅 杜少毅 兰旭光 (74)专利代理机构 西安通大专利代理有限责任公司 61200代理人 徐文权(51)Int.Cl.G06K 9/00(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称基于时空注意力的人体行为识别方法(57)摘要本发明公开了一种基于时空注意力的人体行为识别方法，本发明使用卷积神经网络提取图片特征，从而得到特征向量作为长短期记忆网络的输入，比直接输入图片更具有优势；使用长短期记忆网络较好的保留和处理了视频中的时序信息；使用时空注意力机制，使得模型可以关注空间上比较重要的点和时间上比较重要的序列，从而提高了识别的效率和准确率。
权利要求书2页 说明书5页 附图2页CN 110059587 A 2019.07.26C N 110059587A1.基于时空注意力的人体行为识别方法，其特征在于，包括以下步骤：步骤一，将输入的视频拆分成图像帧，并均匀的抽取所需数量的图片；步骤二，采用完成的卷积神经网络对抽取的图片进行特征提取，从而得到对应的特征向量；步骤三，利用提取特征向量作为输入，使用前向感知机计算每张图片对应的空间注意力权重；步骤四，使用空间注意力权重对图片特征向量进行加权得到加权特征向量；步骤五，将加权特征向量输入到长短期记忆网络中，通过长短期记忆网络中的前向传播，计算得到输出的类别概率向量；使用每个图片的特征向量和对应长短期记忆网络隐藏层的输出计算得到对应的空间注意力权重；步骤六，使用空间注意力权重对每张图片的类别概率向量进行加权求和，得到一个类别概率向量；步骤七，使用若干已标记的视频数据对模型进行训练；训练过程中使用反向传播，当损失较大时，不断更新模型参数，直到损失收敛到较小的值，保存为模型；取类别概率向量中的最大值对应的类别作为最终的类别并输出，作为模型参数；步骤八，将保存的模型和模型参数相结合，构成人体行为识别模型。
面向人体动作识别的局部特征时空编码方法
面向人体动作识别的局部特征时空编码方法王斌;刘煜;王炜;徐玮;张茂军【期刊名称】《四川大学学报（工程科学版）》【年(卷),期】2014(046)002【摘要】为克服BoF特征袋模型在视频人体动作识别中忽视局部特征间时空位置关系的问题,提出局部特征时空编码方法.将局部特征时空位置坐标引入特征编码中,直接对它们的时空位置关系建模.首先,将局部特征投影到人体运动子时空域,获得局部特征的时空位置坐标;然后,在特征编码阶段同时对局部特征的出现信息和时空位置坐标进行编码;最后,采用特征池提取该时空域内局部特征的统计信息用于动作分类.为进一步提高性能,多尺度时空编码和局部约束时空编码方法也一并被提出,并在分类阶段采用局部约束块稀疏表示分类方法提高动作识别精度.在KTH、Weizmann、UCF sports等标准测试集的实验表明,本文算法能够有效表示局部特征间时空位置关系,提高动作识别精度.【总页数】7页(P72-78)【作者】王斌;刘煜;王炜;徐玮;张茂军【作者单位】国防科学技术大学信息系统与管理学院,湖南长沙410073;国防科学技术大学信息系统与管理学院,湖南长沙410073;国防科学技术大学信息系统与管理学院,湖南长沙410073;国防科学技术大学信息系统与管理学院,湖南长沙410073;国防科学技术大学信息系统与管理学院,湖南长沙410073【正文语种】中文【中图分类】TP391【相关文献】1.基于局部特征词袋模型人体动作识别关键帧选取方法 [J], 柳似霖;王颖;吴峰2.面向人体动作识别的局部特征融合时间卷积网络 [J], 宋震; 周元峰; 贾金公; 辛士庆; 刘毅3.基于深度学习的时空特征融合人体动作识别 [J], 王倩;孙宪坤;范冬艳4.结合多注意力机制与时空图卷积网络的人体动作识别方法 [J], 李炫烨;郝兴伟;贾金公;周元峰5.融合因果关系和时空图卷积网络的人体动作识别 [J], 叶松涛;周扬正;范红杰;陈正雷因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910137022.5
(22)申请日 2019.02.25
(71)申请人 重庆邮电大学
地址 400065 重庆市南岸区南山街道崇文
路2号
(72)发明人 甘玲 瞿成凯
(74)专利代理机构 重庆市恒信知识产权代理有
限公司 50102
代理人 刘小红 陈栋梁
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/62(2006.01)
(54)发明名称
一种基于局部时空特征的人体行为识别方
法
(57)摘要
本发明请求保护一种基于局部时空特征的
人体行为识别方法，属于计算机视觉技术领域以
及人体行为识别技术领域。
本发明首先利用
Kinect深度传感器中提取的骨骼视频序列作为
人体行为表示，为视频序列中的每一个行为的每
一帧提取位移矢量特征、相对位置特征、关节夹
角特征等局部时空特征，然后利用K -means聚类
算法和VLAD算法将局部特征聚合成若干特征向
量，然后将特征向量与LMNN算法结合进行度量学
习，最后采用K -NN分类器进行分类。
本发明用于
人体行为识别能使特征表达更具描述性和准确
性，
可以明显提高行为识别准确率。
权利要求书2页 说明书6页 附图1页CN 109902614 A 2019.06.18
C N 109902614
A
1.一种基于局部时空特征的人体行为识别方法，其特征在于，包括以下步骤：
步骤S1：输入数据集，即骨骼视频序列S；
步骤S2：为骨骼视频序列S中的每一个行为的每一帧提取位移矢量特征(f1,f2,f3)，相对位置特征(f4,f5,f6,f7)，关节夹角特征f8，从而构建局部时空特征f n,s，其中n∈{1,..., 8}，s表示每个行为所划分的帧数；
步骤S3：使用不同初始值的K-means聚类算法对每一组局部特征序列f n,t聚类C次，其中t∈{1,...,s}，C为一个常数，S为每个动作行为划分的帧数，对于每一组局部特征就获得C* k个集群μn,c,m，其中n∈{1,...,8},c∈{1,...,C},m∈{1,...,k}，k表示聚类中心的个数；
步骤S4：对步骤S3聚类得到的每一个集群μn,c,m运用VLAD局部聚合描述符算法将局部特征聚合成特征向量νn,c,m，并将νn,c,m进行幂律归一化处理，将所有集群归一化后得到的特征向量进行级联得到最终的局部特征向量F n,c；
步骤S5，将局部特征向量F n,c与LMNN最大边界近邻算法结合进行度量学习，LMNN算法设计一个最小化目标函数来提高特征类内聚合度和类间离散度，并且降低特征维度；
步骤S6：采用K-NN分类算法进行特征向量的训练，其中使用5-折叠交叉验证法和使用留一交叉校验法进行训练数据集和测试数据集的划分和验证；
步骤S7：输出分类识别结果。
2.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为骨骼视频序列S中的每一个行为的每一帧提取位移矢量特征(f1,f2,f3)，具体包括：
首先获取人体关节点的空间三维坐标，然后根据相邻两帧的坐标信息变化计算出每一
帧人体骨骼关节点位移矢量，计算公式为：
其中是序列索引s中
关节i的坐标(x,y,z)，△T是两个序列s+1和s-1之间的时间间隔，τ是给定序列中的骨架(帧)的数量采取从人体中心逐渐分割到四肢的方式构造三个特征。
3.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为视频序列中的每一个行为的每一帧提取相对位置特征(f4,f5,f6,f7)，具体包括：首先要获取人体关节点的空间三维坐标，然后根据同一骨架的不同关节的坐标计算出
每一帧人体骨骼关节点相对位置，计算公式为：
其中
和是来自同
一骨架的不同关节的坐标(x,y,z)采用身体部位的脊椎、右髋、左髋、头部相对于身体的其他部位构造四个特征。
4.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为视频序列中的每一个行为的每一帧提取关节夹角特征f8，具体包括：首先获取人体关节点的空间三维坐标，然后根据同一骨架的不同关节的坐标计算出每一帧人体骨骼
关节点关节夹角，计算公式为：其中θi,s为s帧中第i个关节
角，“·”为向量的内积，“| |”表示向量的模，将得到的关节夹角值归一化到[-1,1]，计算公式为：θ'i,s＝||θi,s||∈[-1,1]，其中“|| ||”表示归一化处理，根据人体表征布局方式，结
权 利 要 求 书1/2页
2
CN 109902614 A。