【CN109858430A】一种基于强化学习优化的多人姿态检测方法【专利】

2
CN 109858430 A
权 利 要 求 书
2/3 页
测试以防 止其过拟合 ；对多人 训练集与测试集中的 多人图 片进行人体目 标检 测 ，对每张多 人图片中的人体目标使用包围框进行定位并保存所有包围框坐标，所述包围框坐标与每张 多人图片一一对应；
S42 .利用经S41中目标检测器得到的多人训练集与测试集人体目标包围框对所述多人 训练集与测试集中的多人图片进行裁切得到单人图片，根据单人图片的长边采用周围补零 的方式补成正方形单人图片，所述多个正方形单人图片组成裁切后的正方形单人图片训练 集与测试集，其图片来源与多人训练集和测试集相对应；
(10)申请公布号 CN 109858430 A (43)申请公布日 2019.06.07
权利要求书3页 说明书7页 附图4页
CN 109858430 A
CN 109858430 A
权 利 要 求 书
1/3 页
1 .一种基于强化学习优化的多人姿态检测方法，其特征在于，包括以下步骤： S1 .采集多张多人图片并进行处理，生成多人数据集及单人数据集，将所述单人与多人 数据集按预设比 例分 别拆分为 训练集与测试集 ，得到多人 训练集 、多人 测试集 、单人 训练 集、单人测试集； S2 .建立用于定位目标的目标检测器、用于调整包围框的目标精细模型、用于检测人体 姿态的姿态检测器，三者形成多人姿态检测算法结构； S3 .利用单人训练集训练目标精细模型中的特征提取部分，作为目标精细模型的预训 练参数，并使用单人测试集进行测试以防止模型过拟合； S4 .利用多人训练集训练目标检测器，利用单人训练集集训练姿态检测器，并使用各自 的测试集分别进行测试以防止模型过拟合；使用目标检测器和姿态检测器的训练精度生成 正方形单人图片数据集训练目标精细模型，在训练中使用S3中所述预训练参数对目标精细 模型进行初始化； S5 .输入需要检测的多人图片，利用目标检测器定位所述需要检测的多人图片中的多 个人体目 标 ，利 用目 标精细模型对多个人体目 标的 包围 框进行 调整 ，及利 用姿态检 测器分 别检测多个人体目标的姿态。 2 .根据权利要求1所述的一种基于强化学习优化的多人姿态检测方法，其特征在于，所 述步骤S1中的多人数据集包括多人图片与人体包围框坐标标签。 3 .根据权利要求1所述的一种基于强化学习优化的多人姿态检测方法，其特征在于，所 述步骤S1中的单人数据集包括利用包围框裁剪后的单人图片以及每个人体的初始关节点 坐标。 4 .根据权利要求1或2或3所述的一种基于强化学习优化的多人姿态检测方法，其特征 在于，所述步骤S1具体包括以下过程： S11 .采集多人图片，使用包围框对多人图片中的多个人体目标进行定位，并保存多个 人体目标的包围框坐标，包围框坐标由左上角点与右下角点组成，形成多人数据集； S12 .对多人图片中的每个人体目标的每个初始关节点坐标进行定位，与每个人体目标 的 包围 框一一对应保存所述每个初始关节点坐标 ，所述初始关节点坐标由 单个坐标点构 成； S13 .根据多人数据集中的包围框对人体目标进行裁切得到单人图片，将裁切后的单人 图片通过周围补零的方式补成边长为单人图片长边的长度的正方形单人图片；将所述多人 图 片中的关节点坐标映 射至所述正方形单人图 片中 ，保存关节点坐标数据 ，形成单人数据 集； S14 .对多人数据集和单人数据集进行总数量10％的随机抽取，作为多人测试集和单人 测试集，其余的图片作为多人训练集和单人训练集。 5 .根据权利要求4所述的一种基于强化学习优化的多人姿态检测方法，其特征在于，所 述 周围补零是指图 片为非正方形时 ，在图 片周围补充RGB亮度为零的像素点 ，使其成为正方 形图片。 6 .根据权利要求1或2或3所述的一种基于强化学习优化的多人姿态检测方法，其特征 在于，所述步骤S4具体包括以下过程： S41 .利用多人训练集训练目标检测器，并在训练之后用多人测试集对目标检测器进行
(74)专利代理机构 杭州千克知识产权代理有限 公司 3324 G06K 9/00(2006 .01) G06K 9/62(2006 .01) G06N 3/04(2006 .01) G06N 3/08(2006 .01)
( 54 )发明 名称 一种基于强化学习优化的多人姿态检测方
法 ( 57 )摘要
本发明提供一种基于强化学习优化的多人 姿态检测方法。针对传统方法中目标检测器所定 位的有些包围框不能很好地贴合人体，导致姿态 检测器的检测精度下降 ，进而影响到整个多人姿 态检测算法的精度，提出了基于强化学习的目标 精细模型 ，针对不够精确的 包围 框进行 调整。目 标精细模型使得包围框能更加贴合人体，减少了 包围框中图像的冗余信息，可以提高姿态检测器 的检测精度。
S45 .利用S3所述预训练参数对目标精细模型的特征提取部分进行初始化后开始训练， 目标精细模型读取所述目标检测器的包围框坐标并对其进行调整，形成调整后的人体包围 框；
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910080912 .7
(22)申请日 2019 .01 .28
(71)申请人 杭州电子科技大学 地址 310018 浙江省杭州市经济技术开发 区白杨街道2号大街1158号
(72)发明人 黄铎 应娜 郭春生 朱宸都 蔡哲栋 刘兆森
S43 .利用单人训练集训练姿态检测器，并在训练之后对用单人测试集对目标检测器进 行测试以防止其过拟合；使用训练好的姿态检测器对正方形单人图片训练集与测试集进行 姿态检测并保存检测得到的检测关节点坐标，所述检测关节点坐标与正方形单人图片一一 对应；
S44 .逐一计算S43中正方形单人图片数据集(包括训练集和测试集)的检测关节点坐标 与从单个多人图片裁切出的所有正方形单人图片的人体包围框坐标标签相应的精度，计算 方法为统计一张正方形单人图片中检测关节点与初始关节点坐标相同的个数，除以所述正 方形单人图 片中的关节点个数 ；选取精度最高的 标签为该多人图 片所对应的 人形目 标 ，并 保存为原始精度；