【CN109766868A】一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法【专利】
基于YOLOv3算法的遮挡场景下行人检测
摘要随着人工智能和计算机硬件的发展，行人检测技术被应用于自动驾驶、智能视频监控、智能机器人等领域。
其中基于卷积神经网络的目标检测算法YOLOv3具有检测实时性较好、检测准确度较高等优点，被广泛应用于行人检测领域。
但是依旧存在密集场景下行人互相遮挡导致YOLOv3难以准确检测出被遮挡的行人，以及行人被物体遮挡导致YOLOv3难以准确提取行人全身特征从而出现漏检的问题。
针对行人间互相遮挡导致YOLOv3难以准确检测出被遮挡的行人的问题，本文提出基于边框排斥损失函数以及改进非极大值抑制（Non-Maximum Suppression,NMS）的YOLOv3行人检测算法。
一、在训练过程中，YOLOv3使用边框定位损失函数计算行人先验预测框与标记框之间的定位误差，在回归过程中修正误差，使得YOLOv3能够准确定位行人。
但是当行人互相遮挡时，行人先验预测框与标记框互相重叠导致算法将两个互相遮挡的行人判定为单行人，影响边框定位损失函数，从而使得网络无法准确识别出互相遮挡的行人。
为此，本文加入一组损失函数代表目标行人与邻近行人之间的误差，在训练过程中减小邻近行人对目标行人的影响，使得网络能够准确识别出互相遮挡的行人。
二、在密集场景下的行人检测中，当行人互相遮挡时，置信度得分较低的行人先验预测框会被NMS判定为虚假行人预测框，从而造成漏检现象。
基于此，本文使用线性函数改进NMS中的置信度得分函数，使用权值来衰减邻近先验预测框的置信度得分，将置信度得分相对较高的行人预测框保留在NMS的循环列表中，从而减少漏检现象。
除去行人间互相遮挡，在行人检测中存在大量的行人被物体遮挡，导致YOLOv3难以提取行人全身特征从而造成行人被漏检。
基于此，本文在YOLOv3主干网络后加入一个预测网络分支用于检测在实际场景中难以被遮挡的头肩部位，利用头肩预测结果增强行人全身预测结果的鲁棒性，提高行人被物体遮挡下的检测准确度。
同时由于YOLOv3的多尺度检测能力不足加大了行人被物体遮挡场景下的检测困难度，因此本文通过加深YOLOv3的主干网络、增加特征输出网络的层级、增加锚框尺度的多样性的方法来强化网络对不同距离下被遮挡行人的检测能力，提高算法的多尺度检测能力。
《结合场景理解的遮挡人脸识别算法的研究》范文
《结合场景理解的遮挡人脸识别算法的研究》篇一一、引言随着科技的不断进步，人脸识别技术在公共安全、智能安防、身份验证等领域得到了广泛应用。
然而，在现实生活中，人脸常常因各种原因被遮挡，如口罩、围巾、墨镜等，这给传统的人脸识别技术带来了巨大的挑战。
因此，结合场景理解，研究遮挡人脸识别算法，对提升人脸识别技术的鲁棒性和实用性具有重大意义。
二、问题陈述与重要性传统的人脸识别技术通常基于正面无遮挡的图像进行训练和识别。
然而，在现实生活中，由于各种环境因素和用户行为习惯，人脸往往会被遮挡物所覆盖。
这种遮挡不仅影响了人脸识别的准确率，也限制了其在实际场景中的应用。
因此，研究结合场景理解的遮挡人脸识别算法，对于提高人脸识别技术的实用性和适应性具有重要意义。
三、算法研究现状及发展趋势目前，针对遮挡人脸识别的研究已经取得了一定的成果。
这些研究主要通过改进传统的卷积神经网络、深度学习等算法，来处理遮挡带来的图像特征提取困难问题。
同时，基于图像处理技术，研究人员开发出了各种遮罩和恢复技术来弥补遮挡造成的图像信息损失。
此外，还有基于3D信息的多模态识别方法，利用多个视角的信息来增强对遮挡的容忍度。
随着技术的不断进步，这些方法将越来越完善和高效。
四、本文研究的场景理解与算法设计（一）场景理解本文提出的算法基于场景理解的思想。
首先，通过分析不同的场景特征，如光照条件、背景复杂度、遮挡物的类型和位置等，来为后续的图像处理提供有效的指导信息。
其次，结合人脸检测和姿态估计技术，对图像中的人脸进行准确的定位和姿态分析。
（二）算法设计针对遮挡人脸识别问题，本文设计了一种基于深度学习的多阶段识别算法。
该算法首先通过卷积神经网络提取图像中的多尺度特征。
然后，结合场景理解的结果，利用注意力机制和特征融合技术来突出重要区域的特征信息。
在后续的分类阶段，采用基于相似度匹配的方法来提高识别的准确率。
此外，我们还设计了损失函数来平衡遮挡区域和非遮挡区域的特征学习过程。
《基于深度学习的口罩遮挡人脸识别系统的设计与开发》
《基于深度学习的口罩遮挡人脸识别系统的设计与开发》一、引言随着科技的飞速发展，深度学习在人工智能领域的应用日益广泛。
在公共安全、身份验证、疫情防控等多个领域，人脸识别技术发挥着重要作用。
然而，在疫情期间，人们佩戴口罩成为常态，这给传统的人脸识别系统带来了挑战。
因此，设计并开发一个基于深度学习的口罩遮挡人脸识别系统显得尤为重要。
本文将详细阐述该系统的设计与开发过程。
二、系统需求分析1. 功能需求：系统应能在用户佩戴口罩的情况下，准确识别出人脸，并进行身份验证或信息记录。
2. 性能需求：系统应具备高识别率、低误报率，以及良好的响应速度。
3. 用户界面需求：系统应具备友好的用户界面，方便用户操作。
三、系统设计1. 硬件设计：系统主要由摄像头、计算机等硬件组成。
摄像头负责捕捉人脸图像，计算机负责运行深度学习算法。
2. 软件设计：软件部分主要包括图像预处理、深度学习模型、人脸识别算法等模块。
图像预处理模块负责对捕捉到的人脸图像进行预处理，如去噪、增强等。
深度学习模型模块是系统的核心部分，负责实现人脸特征提取和识别。
四、深度学习模型的选择与优化1. 模型选择：本系统采用卷积神经网络（CNN）作为核心模型，其具有强大的特征提取能力，适用于人脸识别任务。
2. 数据集：为了训练模型，需要大量带标签的人脸图像数据集。
数据集应包含不同角度、光照、表情、遮挡（包括口罩遮挡）的人脸图像。
3. 模型优化：通过调整网络结构、增加训练轮次、使用正则化等技术手段，提高模型的泛化能力和识别率。
五、人脸识别算法的实现1. 人脸检测：利用预训练的人脸检测算法，从图像中检测出人脸区域。
2. 人脸特征提取：将检测到的人脸区域输入到深度学习模型中，提取出人脸特征。
3. 人脸匹配与识别：将提取的人脸特征与数据库中的特征进行比对，找出最相似的结果，实现人脸识别。
六、系统实现与测试1. 实现过程：根据系统设计和算法实现方案，进行编程和开发。
利用Python等编程语言和TensorFlow等深度学习框架，实现系统的各项功能。
人体关键点检测的Mask R-CNN网络模型改进研究
人体关键点检测是一种基于目标检测算法并应用在人体关键点信息捕捉上的智能算法，具有能将空间中的人体信息通过摄像头转化为可量化处理的数据信息的功能。
传统目标检测方法对于人体关键点检测问题的研究由于应用场景繁多的干扰因素与不稳定性一直进度缓慢，如特征点匹配算法[1]、基于梯度特征的目标检测算法[2]、K均值聚类算法等[3]。
近年来深度学习的兴起对于人体关键点检测问题的解决提供了新的思路，但是复杂的网络模型往往意味着需要较高硬件水平的支持与较长的计算时间，多数深度学习网络模型需要耗费大量的人力物力与计算成本。
人体关键点的检测算法也从局限于单人关键点检测发展到多人情况下的人体关键点检测。
而多人情况下的人体关键点检测往往伴随着更复杂的网络结构，意味着更高的计算成本与更长的训练时间。
在这个移动终端普及化与倡导智能自动化的今天，一个良好的适用于人体关键点检测问题的网络模型应该具有较强鲁棒性、较低的计算成本、较好的识别精度、能容纳多名使用者等的特点。
区域卷积神经网络（Regions with Convolution Neu-ral Network，R-CNN）[4]系列网络模型是近年目标检测算法中的一直在发展的较为成熟的网络结构，通过构建数个甚至数十上百个卷积层-激活层-池化层的卷积结构来对图像进行特征提取，把目标检测问题拆分为回归与分类两个问题的集合，并使用大样本下有监督的预训⦾模式识别与人工智能⦾人体关键点检测的Mask R-CNN网络模型改进研究宋玲，夏智敏广西大学计算机与电子信息学院，南宁530004摘要：由于在现有的人体关键点检测问题中，深度学习解决方案采用的掩膜区域卷积神经网络Mask R-CNN存在参数量大导致计算成本过高、迭代次数多导致训练时间过长等问题，提出了一种基于重组通道网络ShuffleNet改进Mask R-CNN网络模型。
通过引入ShuffleNet的网络结构，使用分组逐点卷积与通道重排的操作与联合边框回归和掩膜分割的计算结果对Mask R-CNN进行轻量化改进。
《基于深度学习的口罩遮挡人脸识别系统的设计与开发》
《基于深度学习的口罩遮挡人脸识别系统的设计与开发》一、引言随着科技的飞速发展，深度学习在人工智能领域的应用日益广泛。
在疫情防控的背景下，口罩遮挡人脸识别系统成为了一个重要的研究方向。
本文将详细介绍基于深度学习的口罩遮挡人脸识别系统的设计与开发过程，包括系统架构、算法选择、模型训练和优化等关键环节。
二、系统需求分析本系统主要面向公共安全、医疗健康、智能安防等领域，要求在用户佩戴口罩的情况下，实现准确的人脸识别。
因此，系统需要具备以下功能：1. 能够在不同光照、角度和背景条件下进行人脸识别；2. 能够识别佩戴口罩的人脸特征，实现准确的人脸匹配；3. 具有较高的识别速度和较低的误识率。
三、系统架构设计本系统采用深度学习技术，以卷积神经网络（CNN）为基础，结合人脸检测、特征提取和人脸比对等技术，实现口罩遮挡下的人脸识别。
系统架构主要包括以下几个部分：1. 数据预处理模块：对输入的人脸图像进行预处理，包括灰度化、归一化等操作；2. 人脸检测模块：采用基于深度学习的人脸检测算法，实现对佩戴口罩的人脸的准确检测；3. 特征提取模块：利用卷积神经网络等深度学习算法，从检测到的人脸图像中提取出有效的人脸特征；4. 人脸比对模块：将提取的特征与人脸库中的特征进行比对，实现人脸识别。
四、算法选择与模型训练1. 人脸检测算法：本系统采用基于深度学习的目标检测算法，如MTCNN（Multi-task Cascaded Convolutional Networks）等，实现对佩戴口罩的人脸的准确检测。
2. 特征提取算法：采用卷积神经网络（CNN）进行特征提取。
通过训练大量的数据集，使模型能够从人脸图像中提取出有效的人脸特征。
3. 模型训练与优化：采用深度学习框架（如TensorFlow、PyTorch等），对模型进行训练和优化。
通过调整模型参数、学习率等超参数，提高模型的准确率和识别速度。
同时，采用数据增强技术，扩充训练数据集，提高模型的泛化能力。
基于机器视觉的人体关键点检测技术研究与应用
基于机器视觉的人体关键点检测技术研究与应用人体关键点检测技术在计算机视觉领域起着重要的作用。
随着机器学习和深度学习的快速发展，越来越多的方法被提出来解决这一问题。
本文将对基于机器视觉的人体关键点检测技术进行研究与应用，探讨其原理、方法和应用领域。
一、人体关键点检测技术的原理人体关键点检测是指通过计算机视觉技术对人体姿势进行分析和理解，从而定位身体的关键点，例如头部、肩膀、手肘、手腕等，进一步探测身体的姿势和动作。
该技术在人体动作识别、人体姿态估计、人脸识别等领域有着广泛的应用。
基于机器视觉的人体关键点检测技术通常通过以下几个步骤来实现：1. 图像预处理：对输入的图像进行预处理，包括图像的缩放、裁剪、滤波等操作，以提高后续关键点检测算法的性能。
2. 特征提取：从预处理后的图像中提取特征，常用的特征包括边缘、纹理、颜色等信息，以便后续的人体关键点检测算法能够更好地理解图像。
3. 关键点检测：根据提取的特征，利用机器学习或深度学习算法来检测人体的关键点。
常用的方法包括基于模型的方法（如随机森林、支持向量机等）和基于深度学习的方法（如卷积神经网络、循环神经网络等）。
4. 姿态估计：通过关键点的位置信息，进一步估计人体的姿态和动作。
这一步骤通常结合机器学习算法，如隐马尔可夫模型、条件随机场等，来对关键点进行建模和推理，从而实现对人体姿态的估计。
二、人体关键点检测技术的方法1. 基于机器学习的方法：基于机器学习的人体关键点检测方法主要依赖于手工设计的特征和模型。
常见的方法包括AdaBoost、随机森林和支持向量机等。
这些方法通常需要人工提取特征，并使用训练样本来构建模型。
2. 基于深度学习的方法：基于深度学习的人体关键点检测方法利用深度神经网络模型来自动学习特征和模型。
常用的方法包括卷积神经网络（CNN）、循环神经网络（RNN）和注意力机制等。
这些方法通过大规模数据集的训练，可以自动学习更丰富的特征表示，并实现更准确的关键点检测。
【CN109766838A】一种基于卷积神经网络的步态周期检测方法【专利】
权利要求书2页 说明书5页 附图2页
CN 109766838 A
CN 109766838 A
权 利 要 求 书
1/2 页
1 .一种基于卷积神经网络的步态周期检测方法，其特征在于，具体的实现步骤为： 步骤1 .对步态视频进行预处理，包括视频解码，行人轮廓提取和质心归一化的图像预 处理操作； 步骤2 .训练用于提取步态周期性特征的卷积神经网络； 步骤3 .将待测的步态视频帧序列送入卷积神经网络中，输出波形经过滤波后，通过确 定相邻的波峰与波谷的位置即得到一个步态周期。 2 .根据权利要求1所述的一种基于卷积神经网络的步态周期检测方法，其特征在于，步 骤2具体为： 步骤2 .1 .用数值量化表示训练集中每一视频帧在一个步态周期中的位置，并标记为其 标签，标签值的计算公式为
背景技术 [0002] 步态识别与生物特征识别方式相比可以在测试者不知情的情况下完成数据的收 集工作和远距离身份的 识别。而步态 周期检 测是步态识别中一个不可避免的 过程 ，一个具 有良好识别率的步态识别算法是建立在一个分割完好的步态周期之上的。又因步态识别具 有隐 蔽性的 特点 ，数据采集的随 意性较大 ，行人 相对于摄像头的 方向 和行人的 服饰状态都 可以是任意的 ，加大了周期检测的难度。 [0003] 步态周期检测技术的发展伴随着步态识别的发展。现有方法中多以行人宽度作为 特征进行步态周期检测。文献(Silhouette-Based Human Identification from Body Shape and Gait .IEEE International Conference on Automatic Face and Gesture Recognition .2002 ,366-372)较早的提出了利用身体特征的宽度和高度特征进行周期检 测，但该方法受行人与摄像机距离影响较大。文献(Gait recognition with transient binary patterns .Visual Communication and Image Representation .2015 ,33(C) ,6977)等在此基础上提出利用归一化的单一的轮廓宽度特征进行步态周期检测，但该方法在 正面与背面视角下难以工作。文献(Silhouette Analysis-Based Gait Recognition for Human Identification .Pattern Analysis&Machine Intelligence IEEE Transactions on ,2003 ,25(12):1505-1518)提出利用步态轮廓的宽高比进行步态周期检测，避免了高度 归 一 化 对行 人 宽 度造成的 影响 。文献 (H uma n Id e n tif i ca ti o n Us i ng Te m po ra l Information Preserving Gait Template .IEEE Transactions on Pattern Analysis& Machine Intelligence ,2012 ,34(11):2164-76)通过对每一帧图像下肢平均宽度的提取来 代表该帧在一个完整的步态序列中所代表的位置，避免了携带物对行人宽度的影响。总体 来说基于身体宽度特征方法在侧面90 °时能够有效的检测出步态周期，但在正面和侧面视 角时误差很大，甚至不能工作。文献(The humanID gait challenge problem:data sets , performance ,and analysis .IEEE Transactions on Pattern Analysis&Machine Intelligence ,2005 ,27(2):162-177)选择利用人体的二维面积作为周期检测的特征进行 特征提取。但同样存在正面和侧面视角时误差很大的问题。文献(Dual-ellipse fitting approach for robust gait periodicity detection .Neurocomputing ,2012 ,79(3):173178) 提出了一种基于双椭圆拟合的方法。以 质心点为分割行人的中心点将行人轮廓按照图 像的垂直方向分为左右两半，分别用椭圆来进行拟合，使得行人轮廓与椭圆相切，计算该椭 圆的 离心率 ，两个拟合的 椭圆的 离心率 相加作为特征来表示该帧图 像的 周期性特征。在侧 面90 °、正面和背面视角下取得了较高的识别率 ，但在斜视角度如18 °和36 °等误差较大。 [0004] 近年来深度学习快速发展，卷积神经网络作为一种有效的图像特征提取工具被广 泛运 用于计算机视觉领域。受其 启发 ，本文提出一种基于卷积神经网络的 步态 周期检测方
一种结合人体关键点热图特征的人像景别识别方法[发明专利]
![一种结合人体关键点热图特征的人像景别识别方法[发明专利]](https://img.taocdn.com/s3/m/ab9007d7f71fb7360b4c2e3f5727a5e9856a2728.png)
专利名称：一种结合人体关键点热图特征的人像景别识别方法专利类型：发明专利
发明人：沈思成,孔彦,吴富章,武延军
申请号：CN202210137627.6
申请日：20220215
公开号：CN114529944A
公开日：
20220524
专利内容由知识产权出版社提供
摘要：本发明公开了一种结合人体关键点热图特征的人像景别识别方法。
本发明首先通过人体检测器检测出人体区域，然后基于深度学习的特征提取器和卷积姿态机分别提取人体的特征和人体骨骼关键点热图特征，将这两个特征进行通道融合得到融合特征；将融合特征分别送入两个分支网络，其中分类网络用于分类当前的景别类型；另一个分支回归网络则是对人体骨骼关键点的预测，在L2loss 损失函数的监督下，对景别分类网络起到正反馈的作用，有利于分类网络能够学习到与人体骨骼关键点相关的强特征。
这种输入输出双监督的机制，能够有效监督网络重点学习有利于判断景别的人体骨骼关键区域；本发明提供的方法能够较为稳定的识别景别，并且鲁棒性很好。
申请人：中国科学院软件研究所
地址：100190 北京市海淀区中关村南四街4号
国籍：CN
代理机构：北京君尚知识产权代理有限公司
代理人：司立彬
更多信息请下载全文后查看。
《基于深度学习的遮挡人脸检测研究》
《基于深度学习的遮挡人脸检测研究》一、引言随着科技的发展，人脸识别技术在各个领域得到了广泛的应用。
然而，在现实生活中，人脸往往被各种物品如口罩、围巾、手等遮挡，这给人脸识别带来了很大的困难。
因此，遮挡人脸检测成为了近年来研究的热点问题。
本文旨在探讨基于深度学习的遮挡人脸检测研究，为解决这一问题提供新的思路和方法。
二、研究背景及意义近年来，深度学习在计算机视觉领域取得了显著的成果，其中包括人脸识别、目标检测、图像分类等任务。
然而，当人脸被部分或完全遮挡时，传统的人脸识别算法往往无法准确地进行识别。
因此，研究遮挡人脸检测具有重要的现实意义。
通过深度学习技术，可以提高人脸识别的准确性和鲁棒性，为安全监控、智能门禁、人脸支付等应用提供更好的技术支持。
三、相关技术研究综述目前，针对遮挡人脸检测的方法主要分为两大类：基于传统算法的方法和基于深度学习的方法。
传统算法主要依靠手工设计的特征进行检测，如HOG、SIFT等。
然而，这些方法在处理复杂场景和多种遮挡情况时效果不佳。
随着深度学习的发展，卷积神经网络（CNN）在人脸检测领域取得了显著的成果。
通过训练大量的数据，CNN可以自动学习到人脸的特征，从而实现对遮挡人脸的准确检测。
四、基于深度学习的遮挡人脸检测方法本文提出了一种基于深度学习的遮挡人脸检测方法。
该方法主要采用卷积神经网络进行训练和识别。
首先，我们构建了一个深度卷积神经网络模型，该模型可以自动学习到人脸的特征。
其次，我们利用大量的人脸数据集进行训练，包括正常的人脸、被遮挡的人脸等。
在训练过程中，我们采用了多种损失函数和优化算法，以提高模型的准确性和鲁棒性。
最后，我们利用训练好的模型对输入的图像进行检测，判断其中是否存在遮挡的人脸。
五、实验与分析为了验证本文提出的方法的有效性，我们进行了大量的实验。
首先，我们使用了公开的人脸数据集进行训练和测试。
其次，我们比较了不同模型在遮挡人脸检测任务上的性能。
实验结果表明，本文提出的基于深度学习的遮挡人脸检测方法具有较高的准确性和鲁棒性。
融合人体关键点与可见部位注意力特征的行人检测方法[发明专利]
![融合人体关键点与可见部位注意力特征的行人检测方法[发明专利]](https://img.taocdn.com/s3/m/8202395b178884868762caaedd3383c4bb4cb46f.png)
专利名称：融合人体关键点与可见部位注意力特征的行人检测方法
专利类型：发明专利
发明人：薛彦兵,董翔超,蔡靖,王志岗,温显斌
申请号：CN202111294660.1
申请日：20211103
公开号：CN114067359A
公开日：
20220218
专利内容由知识产权出版社提供
摘要：一种融合人体关键点与可见部位注意力特征的行人检测方法，通过引入人体关键点注意力机制和可见部位注意力机制来对严重遮挡的行人特征进行优化，在抑制遮挡物的特征信息的同时使更多的特征信息聚集在行人上，减少遮挡物对模型的干扰，使得模型能够较好地检测处于严重遮挡状态的行人目标，同时为了提升检测框的质量，本方法通过衰减低质量样本的置信度来提升检测的精准度。
基于本方法的行人检测在Citypersons数据集上的漏检率为40.59%，相比其他方法有更低的漏检率，对于严重遮挡的行人检测任务具有一定的实用价值。
申请人：天津理工大学
地址：300384 天津市西青区宾水西道391号
国籍：CN
代理机构：天津市君砚知识产权代理有限公司
代理人：程昊
更多信息请下载全文后查看。
基于多尺度上下文信息的遮挡行人检测
基于多尺度上下文信息的遮挡行人检测
赵世阳;王晓峰
【期刊名称】《计算机工程与应用》
【年(卷),期】2022(58)11
【摘要】在遮挡场景下的行人检测一直是计算机视觉中的一个棘手问题,由于被遮挡的行人尺度差异大,可见率低,通常会给检测带来极大的挑战。
针对这一问题,提出了一种针对行人遮挡检测的模型结构,对基于anchor-free的行人检测方法进行改进。
设计了一种提取多尺度上下文信息的结构,通过级联多个不同扩张率的卷积层,使用密集连接实现多尺度特征共享,提取各个区域的上下文信息来解决遮挡问题。
此外,为了提高特征的可分辨性,使用通道注意力机制对多尺度特征融合进行自适应的调整。
实验结果表明,该方法在Caltech行人数据集的遮挡子集上实现了41.73%的MR^(−2),性能优于其他检测算法。
【总页数】9页(P141-149)
【作者】赵世阳;王晓峰
【作者单位】上海海事大学信息工程学院
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于多尺度上下文语义信息的图像场景分类算法
2.基于上下文信息的监控场景行人检测方法
3.基于遮挡检测和时空上下文信息的目标跟踪算法
4.基于上下文以及多尺度信息融合的目标检测算法
5.基于注意力机制的煤矿工作面遮挡行人检测
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( 12 )发明专利申请
(21)申请号 201910063662 .6
(22)申请日 2019 .01 .23
(71)申请人 哈尔滨工业大学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号
(72)发明人 张永强 丁明理 李贤 杨光磊 董娜 朱 月熠 王莉娜 白 延成
9 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤四所述行人图像 和背景图像的分类标准为：输入候选区域经过行人分类网络后的得分大于阈值0 .5即判别 为行人图像，如果得分小于阈值0 .5即判别为背景图像。
权利要求书2页 说明书9页 附图4页
CN 109766868 A
CN 109766868 A
权 利 要 求 书
1/2 页
1 .一种基于身体关键点检测的真实场景遮挡行人检测网络，其特征在于，所述检测网 络包括关键点检测网络、身体区域分割和图像合成模块以及行人分类网络；
关键点检 测网 络 ，用于检 测行人身体的 关键点 信息 ，并 将所述关键点 信息输入至身体 区域分割和图像合成模块；
(74)专利代理机构 哈尔滨市阳光惠远知识产权 代理有限公司 23211
代理人 安琪
(51)Int .Cl . G06K 9/公布号 CN 109766868 A (43)申请公布日 2019.05.17
( 54 )发明 名称 一种基于身体关键点检测的真实场景遮挡
行人检测网络及其检测方法 ( 57 )摘要
本发明提出了一种基于身体关键点检测的 真实场景遮挡行人检测网络及其检测方法，属于 计算机视觉的行人检测技术领域。所述检测网络 包括关键点检测网络、身体区域分割和图像合成 模块以 及行人分类网络。所述检 测方法为 ：利 用 行人检测数据库训练生成基准行人检测器，通过 基准行人检测器获取候选区域图像。通过关键点 检测网络检测候选区域图像中人体身体的关键 点 信息 ，将关键点 信息作为身体关键点真值 ，进 而训练关键点检测网络。利用身体区域分割和图 像合成模块获得合成图像；将合成图像输入至行 人分类网络中指导训练行人分类网络。行人分类 网络根据输入的合成图像判别输入图像是行人 图像还是背景图像，完成真实场景中遮挡行人的 检测。
身体区域分割和图像合成模块，用于通过检测到的行人身体的关键点信息将行人身体 自动划分成不同的语义区域，并利用语义区域生成合成图像输入至行人分类网络中完成行 人分类网络的训练；
行人分类网络，用于判断所述合成图像是行人图像还是背景图像。 2 .根据权利要求1所述真实场景遮挡行人检测网络，其特征在于，所述行人分类网络包 括Resnet50主网络结构和两个平行的全连接层。 3 .一种基于权利要求1所述检测网络的真实场景遮挡行人检测方法，其特征在于，所述 检测方法包括： 步骤一、利用行人检测数据库中的训练样本训练生成一个基准行人检测器；然后，通过 所述基准行人检测器对所述行人检测数据库中的样本图像进行截取获得候选区域图像； 步骤二 、通过关键点检 测网 络检 测所述候选区 域图 像中人体身体的 关键点 信息 ，将所 述关键点信息作为身体关键点真值，进而训练关键点检测网络； 步骤三、所述身体区域分割和图像合成模块通过关键点信息将行人身体自动划分成不 同的语义区域并获取精确的各语义区域的边界框；然后，根据边界框将身体各部分区域从 输入的 候选区域图 像中截取出来 ，并通过缩放形式进行图 像尺寸统一 ，获得与所述语义区 域对应的 身体区域图 像 ；最后 ，将所述身体区域图 像与所述候选区域图 像在图 像级别上合 成一张图 像 ，进而获得合成图 像 ；将所述合成图 像输入至行人分类网络中 指导 训练行人分 类网络； 步骤四 、所述行人分类网 络根据输入的 合成图 像 ，合成图 像中 包含了行人身体各个部 分语义区域图 像 ，通过这些部分语义区域图 像 判别输入图 像是行人图 像还是背景图 像 ，进 而完成真实场景中遮挡行人的检测。 4 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤一所述获得候选 区域图像的具体过程包括： 第一步 ：利用行人检测数据库中的 训练样本 训练生成一个基准行人检测器 ；其中 ，所述 行人检测数据库包括训练样本图像和测试样本图像； 第二步 ：对于 训练 样本图 像中的 每一张图 像 ，利 用基准行人检 测器其进行行人位置 信 息预测，并从每一张图像中截取产生100个最有可能包含行人的区域并保存； 第三步 ：对于 测试样本图 像中的 每一张图 像 ，利 用基准行人检 测器其进行行人位置 信 息预 测 ，并从每一张图 像中截取产生100个最有可能包含行人的区域并保存 ；其中 ，第二步 和第三步获得的最有可能包含行人的区域即为候选区域图像。 5 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤一所述行人检测 数据库采用CityPersons数据集；所述CityPersons数据集依据行人大小和受遮挡程度将所 有被检定目标分为正常、小目标、严重遮挡目标和全部四类 ，其中 ，严重遮挡目标是指行人 躯体面积为20％—65％可见的行人目标。 6 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤二所述人体身体
2
CN 109766868 A
权 利 要 求 书
2/2 页
的关键点信息包括鼻子 ，左右眼睛 ，左右耳朵 ，左右 肩膀 ，左右肘关节 ，左右腕关节 ，左右髋 关节，左右膝关节和左右踝关节。
7 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，所述步骤三所述语义 区域包括：头部、上半身、身体中间部分和下半身。
8 .根据权利要求3所述真实场景遮挡行人检测方法，其特征在于，步骤三所述获取精确 的 身体各部分区域的 边界框的 具体过程包括 ：首先 ，根据身体各部分区域对应的 关键点信 息形成一个能够包含所述关键点信息的一个最小矩形框，然后利用放大因子为1 .2对所述 矩形框进行放大，获得放大后的矩形框；所述放大后的矩形框即为边界框。