【CN109766868A】一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法【专利】
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤三所述获取精确 的 身体各部分区域的 边界框的 具体过程包括 ：首先 ，根据身体各部分区域对应的 关键点信 息形成一个能够包含所述关键点信息的一个最小矩形框，然后利用放大因子为1 .2对所述 矩形框进行放大，获得放大后的矩形框；所述放大后的矩形框即为边界框。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910063662 .6
(22)申请日 2019 .01 .23
(71)申请人 哈尔滨工业大学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号
(72)发明人 张永强 丁明理 李贤 杨光磊 董娜 朱 月熠 王莉娜 白 延成
身体区域分割和图像合成模块，用于通过检测到的行人身体的关键点信息将行人身体 自动划分成不同的语义区域，并利用语义区域生成合成图像输入至行人分类网络中完成行 人分类网络的训练；
行人分类网络，用于判断所述合成图像是行人图像还是背景图像。 2 .根据权利要求1所述真实场景遮挡行人检测网络，其特征在于，所述行人分类网络包 括Resnet50主网络结构和两个平行的全连接层。 3 .一种基于权利要求1所述检测网络的真实场景遮挡行人检测方法，其特征在于，所述 检测方法包括： 步骤一、利用行人检测数据库中的训练样本训练生成一个基准行人检测器；然后，通过 所述基准行人检测器对所述行人检测数据库中的样本图像进行截取获得候选区域图像； 步骤二 、通过关键点检 测网 络检 测所述候选区 域图 像中人体身体的 关键点 信息 ，将所 述关键点信息作为身体关键点真值，进而训练关键点检测网络； 步骤三、所述身体区域分割和图像合成模块通过关键点信息将行人身体自动划分成不 同的语义区域并获取精确的各语义区域的边界框；然后，根据边界框将身体各部分区域从 输入的 候选区域图 像中截取出来 ，并通过缩放形式进行图 像尺寸统一 ，获得与所述语义区 域对应的 身体区域图 像 ；最后 ，将所述身体区域图 像与所述候选区域图 像在图 像级别上合 成一张图 像 ，进而获得合成图 像 ；将所述合成图 像输入至行人分类网络中 指导 训练行人分 类网络； 步骤四 、所述行人分类网 络根据输入的 合成图 像 ，合成图 像中 包含了行人身体各个部 分语义区域图 像 ，通过这些部分语义区域图 像 判别输入图 像是行人图 像还是背景图 像 ，进 而完成真实场景中遮挡行人的检测。 4 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤一所述获得候选 区域图像的具体过程包括： 第一步 ：利用行人检测数据库中的 训练样本 训练生成一个基准行人检测器 ；其中 ，所述 行人检测数据库包括训练样本图像和测试样本图像； 第二步 ：对于 训练 样本图 像中的 每一张图 像 ，利 用基准行人检 测器其进行行人位置 信 息预测，并从每一张图像中截取产生100个最有可能包含行人的区域并保存； 第三步 ：对于 测试样本图 像中的 每一张图 像 ，利 用基准行人检 测器其进行行人位置 信 息预 测 ，并从每一张图 像中截取产生100个最有可能包含行人的区域并保存 ；其中 ，第二步 和第三步获得的最有可能包含行人的区域即为候选区域图像。 5 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤一所述行人检测 数据库采用CityPersons数据集；所述CityPersons数据集依据行人大小和受遮挡程度将所 有被检定目标分为正常、小目标、严重遮挡目标和全部四类 ，其中 ，严重遮挡目标是指行人 躯体面积为20％—65％可见的行人目标。 6 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤二所述人体身体
行人检测网பைடு நூலகம்及其检测方法 ( 57 )摘要
本发明提出了一种基于身体关键点检测的 真实场景遮挡行人检测网络及其检测方法，属于 计算机视觉的行人检测技术领域。所述检测网络 包括关键点检测网络、身体区域分割和图像合成 模块以 及行人分类网络。所述检 测方法为 ：利 用 行人检测数据库训练生成基准行人检测器，通过 基准行人检测器获取候选区域图像。通过关键点 检测网络检测候选区域图像中人体身体的关键 点 信息 ，将关键点 信息作为身体关键点真值 ，进 而训练关键点检测网络。利用身体区域分割和图 像合成模块获得合成图像；将合成图像输入至行 人分类网络中指导训练行人分类网络。行人分类 网络根据输入的合成图像判别输入图像是行人 图像还是背景图像，完成真实场景中遮挡行人的 检测。
(74)专利代理机构 哈尔滨市阳光惠远知识产权 代理有限公司 23211
代理人 安琪
(51)Int .Cl . G06K 9/00(2006 .01)
(10)申请公布号 CN 109766868 A (43)申请公布日 2019.05.17
( 54 )发明 名称 一种基于身体关键点检测的真实场景遮挡
9 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤四所述行人图像 和背景图像的分类标准为：输入候选区域经过行人分类网络后的得分大于阈值0 .5即判别 为行人图像，如果得分小于阈值0 .5即判别为背景图像。
2
CN 109766868 A
权 利 要 求 书
2/2 页
的关键点信息包括鼻子 ，左右眼睛 ，左右耳朵 ，左右 肩膀 ，左右肘关节 ，左右腕关节 ，左右髋 关节，左右膝关节和左右踝关节。
7 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，所述步骤三所述语义 区域包括：头部、上半身、身体中间部分和下半身。
权利要求书2页 说明书9页 附图4页
CN 109766868 A
CN 109766868 A
权 利 要 求 书
1/2 页
1 .一种基于身体关键点检测的真实场景遮挡行人检测网络，其特征在于，所述检测网 络包括关键点检测网络、身体区域分割和图像合成模块以及行人分类网络；
关键点检 测网 络 ，用于检 测行人身体的 关键点 信息 ，并 将所述关键点 信息输入至身体 区域分割和图像合成模块；
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910063662 .6
(22)申请日 2019 .01 .23
(71)申请人 哈尔滨工业大学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号
(72)发明人 张永强 丁明理 李贤 杨光磊 董娜 朱 月熠 王莉娜 白 延成
身体区域分割和图像合成模块，用于通过检测到的行人身体的关键点信息将行人身体 自动划分成不同的语义区域，并利用语义区域生成合成图像输入至行人分类网络中完成行 人分类网络的训练；
行人分类网络，用于判断所述合成图像是行人图像还是背景图像。 2 .根据权利要求1所述真实场景遮挡行人检测网络，其特征在于，所述行人分类网络包 括Resnet50主网络结构和两个平行的全连接层。 3 .一种基于权利要求1所述检测网络的真实场景遮挡行人检测方法，其特征在于，所述 检测方法包括： 步骤一、利用行人检测数据库中的训练样本训练生成一个基准行人检测器；然后，通过 所述基准行人检测器对所述行人检测数据库中的样本图像进行截取获得候选区域图像； 步骤二 、通过关键点检 测网 络检 测所述候选区 域图 像中人体身体的 关键点 信息 ，将所 述关键点信息作为身体关键点真值，进而训练关键点检测网络； 步骤三、所述身体区域分割和图像合成模块通过关键点信息将行人身体自动划分成不 同的语义区域并获取精确的各语义区域的边界框；然后，根据边界框将身体各部分区域从 输入的 候选区域图 像中截取出来 ，并通过缩放形式进行图 像尺寸统一 ，获得与所述语义区 域对应的 身体区域图 像 ；最后 ，将所述身体区域图 像与所述候选区域图 像在图 像级别上合 成一张图 像 ，进而获得合成图 像 ；将所述合成图 像输入至行人分类网络中 指导 训练行人分 类网络； 步骤四 、所述行人分类网 络根据输入的 合成图 像 ，合成图 像中 包含了行人身体各个部 分语义区域图 像 ，通过这些部分语义区域图 像 判别输入图 像是行人图 像还是背景图 像 ，进 而完成真实场景中遮挡行人的检测。 4 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤一所述获得候选 区域图像的具体过程包括： 第一步 ：利用行人检测数据库中的 训练样本 训练生成一个基准行人检测器 ；其中 ，所述 行人检测数据库包括训练样本图像和测试样本图像； 第二步 ：对于 训练 样本图 像中的 每一张图 像 ，利 用基准行人检 测器其进行行人位置 信 息预测，并从每一张图像中截取产生100个最有可能包含行人的区域并保存； 第三步 ：对于 测试样本图 像中的 每一张图 像 ，利 用基准行人检 测器其进行行人位置 信 息预 测 ，并从每一张图 像中截取产生100个最有可能包含行人的区域并保存 ；其中 ，第二步 和第三步获得的最有可能包含行人的区域即为候选区域图像。 5 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤一所述行人检测 数据库采用CityPersons数据集；所述CityPersons数据集依据行人大小和受遮挡程度将所 有被检定目标分为正常、小目标、严重遮挡目标和全部四类 ，其中 ，严重遮挡目标是指行人 躯体面积为20％—65％可见的行人目标。 6 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤二所述人体身体
行人检测网பைடு நூலகம்及其检测方法 ( 57 )摘要
本发明提出了一种基于身体关键点检测的 真实场景遮挡行人检测网络及其检测方法，属于 计算机视觉的行人检测技术领域。所述检测网络 包括关键点检测网络、身体区域分割和图像合成 模块以 及行人分类网络。所述检 测方法为 ：利 用 行人检测数据库训练生成基准行人检测器，通过 基准行人检测器获取候选区域图像。通过关键点 检测网络检测候选区域图像中人体身体的关键 点 信息 ，将关键点 信息作为身体关键点真值 ，进 而训练关键点检测网络。利用身体区域分割和图 像合成模块获得合成图像；将合成图像输入至行 人分类网络中指导训练行人分类网络。行人分类 网络根据输入的合成图像判别输入图像是行人 图像还是背景图像，完成真实场景中遮挡行人的 检测。
(74)专利代理机构 哈尔滨市阳光惠远知识产权 代理有限公司 23211
代理人 安琪
(51)Int .Cl . G06K 9/00(2006 .01)
(10)申请公布号 CN 109766868 A (43)申请公布日 2019.05.17
( 54 )发明 名称 一种基于身体关键点检测的真实场景遮挡
9 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤四所述行人图像 和背景图像的分类标准为：输入候选区域经过行人分类网络后的得分大于阈值0 .5即判别 为行人图像，如果得分小于阈值0 .5即判别为背景图像。
2
CN 109766868 A
权 利 要 求 书
2/2 页
的关键点信息包括鼻子 ，左右眼睛 ，左右耳朵 ，左右 肩膀 ，左右肘关节 ，左右腕关节 ，左右髋 关节，左右膝关节和左右踝关节。
7 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，所述步骤三所述语义 区域包括：头部、上半身、身体中间部分和下半身。
权利要求书2页 说明书9页 附图4页
CN 109766868 A
CN 109766868 A
权 利 要 求 书
1/2 页
1 .一种基于身体关键点检测的真实场景遮挡行人检测网络，其特征在于，所述检测网 络包括关键点检测网络、身体区域分割和图像合成模块以及行人分类网络；
关键点检 测网 络 ，用于检 测行人身体的 关键点 信息 ，并 将所述关键点 信息输入至身体 区域分割和图像合成模块；