【CN109815881A】行为识别模型的训练方法行为识别方法装置及设备【专利】
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( 54 )发明 名称 行为识别模型的 训练方法 、行为识别方法 、
装置及设备 ( 57 )摘要
本发明 提供了一 种行为识别模型的 训练方 法、行为识别方法、装置及设备，涉及人工智能技 术领域，该方法包括：获取训练集；分别检测每张 图像的目标区域；计算训练集对应于目标区域的 平均亮度信息 ；将每张图像的目标区域分割为前 景 和背景 ，并将背景标记为黑色 ；根据平均亮度 信息调节每张图像的前景的亮度，得到预处理后 的图像；将预处理后的图像输入神经网络进行训 练 ，直至 神经网络收敛 ，将收敛情况下的 神经网 络作为行为识别模型。本发明实施例可以消除背 景的 影响 ，增强对复 杂场景识别的 鲁棒性 ，可以 应 用在现实光线复杂的 场景中 ，提高了识别准确 率，避免过度曝光或光线不足产生的准确度下降 问题。
发明内容 [0004] 有鉴于此，本发明的目的在于提供一种行为识别模型的训练方法、行为识别方法、 装置及设备，可以提高行为识别精度和效率。 [0005] 为了实现上述目的，本发明实施例采用的技术方案如下： [0006] 第一方面，本发明实施例提供了一种行为识别模型的训练方法，包括：获取训练 集，所述训练集包括包含多个对象的多张图像；分别检测每张所述图像的目标区域；计算所 述训练集对应于所述目标区域的平均亮度信息；将每张所述图像的目标区域分割为前景和 背景，并将所述背景标记为黑色；所述前景为包含待识别行为的区域，所述背景为所述图像 中除 所述前景的 其他区域 ；根据所述平均亮度信息 调节每张所述图 像的 前景的 亮度 ，得到 预处理后的图像；将所述预处理后的图像输入神经网络进行训练，直至所述神经网络收敛， 将收敛情况下的所述神经网络作为行为识别模型。 [0007] 进一步，所述图像为人脸图像，所述目标区域为人脸区域。 [0008] 进一步，在将每张所述图像的目标区域分割为前景和背景的步骤之前，所述方法 还包括：将所述目标区域进行扩大，得到每张所述图像的扩大区域，并将所述扩大区域用于 后续的前背景分割。 [0009] 进一步，所述将所述目标区域进行扩大，得到每张所述图像的扩大区域的步骤，包 括 ：根据所述目标区域与对应的所述图 像的比 例 ，确定需扩大尺寸 ；或者 ，根据所述目标区 域的 大小确定需扩大尺寸 ；按照所述需扩大尺寸将所述目 标区域进行扩大 ，得到每张所述 图像的扩大区域。 [0010] 进一步，所述方法还包括：对所述多张图像进行数据清洗，删除不存在人脸的所述 图像。 [0011] 进一步，所述分别检测每张所述图像的目标区域的步骤，包括：通过预设的检测工
4
CN 109815881 A
说 明 书
1/11 页
行为识别模型的训练方法、行为识别方法、装置及设备
技术领域 [0001] 本发明涉及人工智能技术领域，尤其是涉及一种行为识别模型的训练方法、行为 识别方法、装置及设备。
背景技术 [0002] 行为识别是指对人的行为模式进行分析和识别，包括从视频序列中抽取相关的视 觉信息 ，使 用一 种合适的 方法进行表达上述视觉信息 ，然后解释这些视觉信息以 识别人的 行为。行为识别是人运动视觉分析的高级处理环节。在人工智能研究领域，行为识别是智能 监控、人机交互 、自 动驾驶等诸多应 用的 基础。在驾驶领域 ，由 于分心驾驶导致的 事故不断 增加，成为影响交通安全的主要因素之一，使用行为识别技术对司机行为进行检测，在司机 出现分心驾驶行为(如：吸烟，打电话)时及时制止，可以有效降低事故发生概率。 [0003] 现有的行为识别方法，受到光照条件各异、视角多样性、背景复杂等诸多因素的影 响，识别的精确性和效率并不能完全满足相关行业的实用要求。
2
CN 109815881 A
权 利 要 求 书
2/3 页
理后的图像；所述目标值对应的亮度与所述平均亮度信息对应的亮度之间的差值小于亮度 差别阈值。
10 .根据权利要求1-5任一项所述的方法，其特征在于，在所述根据所述平均亮度信息 调节每张所述图像的前景的亮度的步骤之后，所述方法还包括：
对调节亮度后的所述图像进行翻转处理、旋转处理、调节所述图像的前景的亮度、调节 所述图像的前景的对比度和/或调节所述图像的前景的饱和度；
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910051226 .7
(22)申请日 2019 .01 .18
(71)申请人 成都旷视金智科技有限公司 地址 611700 四川省成都市郫县郫都区德 源镇（菁蓉镇）红旗大道北段223号 申请人 北京旷视科技有限公司
3
CN 109815881 A
权 利 要 求 书3/3源自页模型，该装置包括： 图像获取模块，用于获取待识别图像； 目标区域检测模块，用于检测所述待识别图像的目标区域； 分 割标记模块 ，用于将所述待识别图 像的目 标区 域分 割为前景 和背景 ，并 将所述背景
标记为黑色，得到预处理后的所述待识别图像； 识别模块 ，用于将预处理 后的 所述待识别图 像输入所述行为识别模型 ，得到行为识别
结果。 17 .一种处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运
行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至14 中任一项所述的方法的步骤。
18 .一种具有处理器可执行的程序代码的计算机可读介质，其特征在于，所述程序代码 使所述处理器执行上述权利要求1至14中任一所述方法。
将处理后的所述图像作为预处理后的图像。 11 .一种行为识别方法，其特征在于，应用于权利要求1-9任一项训练得到的行为识别 模型，该方法包括： 获取待识别图像； 检测所述待识别图像的目标区域； 将所述待识别图 像的目 标区域分 割为前景 和背景 ，并 将所述背景标记为黑色 ，得到预 处理后的所述待识别图像； 将预处理后的所述待识别图像输入所述行为识别模型，得到行为识别结果。 12 .根据权利要求11所述的方法，其特征在于，在将所述待识别图像的目标区域分割为 前景和背景的步骤之前，所述方法还包括： 将所述目 标区 域进行扩大 ，得到所述待识别图 像的 扩大区 域 ，并 将所述扩大区 域 用于 后续的前背景分割。 13 .根据权利要求11或12所述的方法，其特征在于，所述检测所述待识别图像的目标区 域的步骤，包括： 通过预设的检测工具提取所述待识别图像中包含动作信息的区域，并将包含动作信息 的区域作为目标区域。 14 .根据权利要求11或12所述的方法，其特征在于，所述行为识别模型为深度神经网 络，所述深度神经网络包括依次连接的卷积池化层、至少一个卷积块、卷积池化层、全连接 层和输出层； 所述卷积块包括依次连接的通道分割层、深度卷积层、压缩激活层和拼接层，所述通道 分割层还与所述拼接层直接连接；所述拼接层之后还连接有通道拼接层。 15 .一种网络训练装置，其特征在于，包括： 训练集获取模块，用于获取训练集，所述训练集包括包含多个对象的多张图像； 检测模块，用于分别检测每张所述图像的目标区域； 计算模块，用于计算所述训练集对应于所述目标区域的平均亮度信息； 前背景分 割模块 ，用于将每张所述图 像的目 标区 域分 割为前景 和背景 ，并 将所述背景 标记为黑色 ；所述前景为包含待识别行为的区域 ，所述背景为所述图 像中除 所述前景的 其 他区域； 亮度调节模块 ，用于根据所述平均亮度信息 调节每张所述图 像的 前景的 亮度 ，得到预 处理后的图像； 训练模块 ，用于将所述预处理 后的图 像输入神经网络进行 训练 ，直至所述 神经网络收 敛，将收敛情况下的所述神经网络作为行为识别模型。 16 .一种行为识别装置，其特征在于，应用于权利要求1-10任一项训练得到的行为识别
5
CN 109815881 A
说 明 书
2/11 页
具提取所述图像中包含动作信息的区域，并将包含动作信息的区域作为目标区域。 [0012] 进一步，所述计算所述训练集对应于所述目标区域的平均亮度信息的步骤，包括： 提取所述训练集中所有图像或者部分图像的所述目标区域的亮度信息；对所述亮度信息取 平均值得到平均亮度信息。 [0013] 进一步，所述计算所述训练集对应于所述目标区域的平均亮度信息的步骤，包括： 提取所述训练集中所有图像或者部分图像的所述目标区域的红色通道值；对所述红色通道 值取平均值得到平均亮度信息。 [0014] 进一步，所述根据所述平均亮度信息调节每张所述图像的前景的亮度，得到预处 理后的图像的步骤，包括：调节每张所述图像的前景的所有像素的亮度或者红色通道值，直 至所述前景的平均亮度达到所述平均亮度信息对应的亮度，以得到预处理后的图像；或者， 将每张所述图像的前景的所有像素的亮度或者红色通道值调节至目标值，以得到预处理后 的图像；所述目标值对应的亮度与所述平均亮度信息对应的亮度之间的差值小于亮度差别 阈值。 [0015] 进一步，在所述根据所述平均亮度信息调节每张所述图像的前景的亮度的步骤之 后 ，所述方法还包括 ：对调节亮度后的 所述图 像进行 翻转处理 、旋转处理 、调节所述图 像的 前景的亮度、调节所述图像的前景的对比度和/或调节所述图像的前景的饱和度；将处理后 的所述图像作为预处理后的图像。 [0016] 第二方面，本发明实施例提供了一种行为识别方法，应用于第一方面任一项训练 得到的 行为识别模型 ，该方法包括 ：获取待识别图 像 ；检 测所述待识别图 像的目 标区域 ；将 所述待识别图 像的目标区域分 割为前景 和背景 ，并将所述背景标记为黑色 ，得到预处理 后 的 所述待识别图 像 ；将预处理 后的 所述待识别图 像输入所述行为识别模型 ，得到行为识别 结果。 [0017] 进一步，在将所述待识别图像的目标区域分割为前景和背景的步骤之前，所述方 法还包括：将所述目标区域进行扩大，得到所述待识别图像的扩大区域，并将所述扩大区域 用于后续的前背景分割。 [0018] 进一步，所述检测所述待识别图像的目标区域的步骤，包括：通过预设的检测工具 提取所述待识别图像中包含动作信息的区域，并将包含动作信息的区域作为目标区域。 [0019] 进一步，所述行为识别模型为深度神经网络，所述深度神经网络包括依次连接的 卷积池化层、至少一个卷积块、卷积池化层、全连接层和输出层；所述卷积块包括依次连接 的通道分割层、深度卷积层、压缩激活层和拼接层，所述通道分割层还与所述拼接层直接连 接；所述拼接层之后还连接有通道拼接层。 [0020] 第三方面，本发明实施例提供了一种网络训练装置，包括：训练集获取模块，用于 获取训练集，所述训练集包括包含多个对象的多张图像；检测模块，用于分别检测每张所述 图像的目标区域；计算模块，用于计算所述训练集对应于所述目标区域的平均亮度信息；前 背景分 割模块 ，用于将每张所述图 像的目 标区域分 割为前景 和背景 ，并 将所述背景标记为 黑色；所述前景为包含待识别行为的区域，所述背景为所述图像中除所述前景的其他区域； 亮度调节模块 ，用于根据所述平均亮度信息 调节每张所述图 像的 前景的 亮度 ，得到预处理 后的图像；训练模块，用于将所述预处理后的图像输入神经网络进行训练，直至所述神经网 络收敛，将收敛情况下的所述神经网络作为行为识别模型。
(10)申请公布号 CN 109815881 A (43)申请公布日 2019.05.28 G06T 7/11(2017 .01) G06T 7/194(2017 .01)
权利要求书3页 说明书11页 附图5页
CN 109815881 A
CN 109815881 A
权 利 要 求 书
1/3 页
1 .一种行为识别模型的训练方法，其特征在于，包括： 获取训练集，所述训练集包括包含多个对象的多张图像； 分别检测每张所述图像的目标区域； 计算所述训练集对应于所述目标区域的平均亮度信息； 将每张所述图 像的目 标区域分 割为前景 和背景 ，并 将所述背景标记为黑色 ；所述前景 为包含待识别行为的区域，所述背景为所述图像中除所述前景的其他区域； 根据所述平均亮度信息调节每张所述图像的前景的亮度，得到预处理后的图像； 将所述预处理 后的图 像输入神经网络进行 训练 ，直至所述 神经网络收 敛 ，将收 敛情况 下的所述神经网络作为行为识别模型。 2 .根据权利要求1所述的方法，其特征在于，所述图像为人脸图像，所述目标区域为人 脸区域。 3 .根据权利要求2所述的方法，其特征在于，在将每张所述图像的目标区域分割为前景 和背景的步骤之前，所述方法还包括： 将所述目 标区 域进行扩大 ，得到每张所述图 像的 扩大区 域 ，并 将所述扩大区 域 用于后 续的前背景分割。 4 .根据权利要求3所述的方法，其特征在于，所述将所述目标区域进行扩大，得到每张 所述图像的扩大区域的步骤，包括： 根据所述目标区域与对应的所述图像的比例，确定需扩大尺寸； 或者，根据所述目标区域的大小确定需扩大尺寸； 按照所述需扩大尺寸将所述目标区域进行扩大，得到每张所述图像的扩大区域。 5 .根据权利要求2所述的方法，其特征在于，所述方法还包括： 对所述多张图像进行数据清洗，删除不存在人脸的所述图像。 6 .根据权利要求1-5任一项所述的方法，其特征在于，所述分别检测每张所述图像的目 标区域的步骤，包括： 通过预设的检测工具提取所述图像中包含动作信息的区域，并将包含动作信息的区域 作为目标区域。 7 .根据权利要求1-5任一项所述的方法，其特征在于，所述计算所述训练集对应于所述 目标区域的平均亮度信息的步骤，包括： 提取所述训练集中所有图像或者部分图像的所述目标区域的亮度信息； 对所述亮度信息取平均值得到平均亮度信息。 8 .根据权利要求1-5任一项所述的方法，其特征在于，所述计算所述训练集对应于所述 目标区域的平均亮度信息的步骤，包括： 提取所述训练集中所有图像或者部分图像的所述目标区域的红色通道值； 对所述红色通道值取平均值得到平均亮度信息。 9 .根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述平均亮度信息调节 每张所述图像的前景的亮度，得到预处理后的图像的步骤，包括： 调节每张所述图像的前景的所有像素的亮度或者红色通道值，直至所述前景的平均亮 度达到所述平均亮度信息对应的亮度，以得到预处理后的图像；或者， 将每张所述图像的前景的所有像素的亮度或者红色通道值调节至目标值，以得到预处
(72)发明人 李茹 王光甫 陈远鹏 刘帅成
(74)专利代理机构 北京超凡志成知识产权代理 事务所(普通合伙) 11371
代理人 范彦扬
(51)Int .Cl . G06K 9/00(2006 .01) G06K 9/34(2006 .01) G06N 3/04(2006 .01) G06N 3/08(2006 .01)
装置及设备 ( 57 )摘要
本发明 提供了一 种行为识别模型的 训练方 法、行为识别方法、装置及设备，涉及人工智能技 术领域，该方法包括：获取训练集；分别检测每张 图像的目标区域；计算训练集对应于目标区域的 平均亮度信息 ；将每张图像的目标区域分割为前 景 和背景 ，并将背景标记为黑色 ；根据平均亮度 信息调节每张图像的前景的亮度，得到预处理后 的图像；将预处理后的图像输入神经网络进行训 练 ，直至 神经网络收敛 ，将收敛情况下的 神经网 络作为行为识别模型。本发明实施例可以消除背 景的 影响 ，增强对复 杂场景识别的 鲁棒性 ，可以 应 用在现实光线复杂的 场景中 ，提高了识别准确 率，避免过度曝光或光线不足产生的准确度下降 问题。
发明内容 [0004] 有鉴于此，本发明的目的在于提供一种行为识别模型的训练方法、行为识别方法、 装置及设备，可以提高行为识别精度和效率。 [0005] 为了实现上述目的，本发明实施例采用的技术方案如下： [0006] 第一方面，本发明实施例提供了一种行为识别模型的训练方法，包括：获取训练 集，所述训练集包括包含多个对象的多张图像；分别检测每张所述图像的目标区域；计算所 述训练集对应于所述目标区域的平均亮度信息；将每张所述图像的目标区域分割为前景和 背景，并将所述背景标记为黑色；所述前景为包含待识别行为的区域，所述背景为所述图像 中除 所述前景的 其他区域 ；根据所述平均亮度信息 调节每张所述图 像的 前景的 亮度 ，得到 预处理后的图像；将所述预处理后的图像输入神经网络进行训练，直至所述神经网络收敛， 将收敛情况下的所述神经网络作为行为识别模型。 [0007] 进一步，所述图像为人脸图像，所述目标区域为人脸区域。 [0008] 进一步，在将每张所述图像的目标区域分割为前景和背景的步骤之前，所述方法 还包括：将所述目标区域进行扩大，得到每张所述图像的扩大区域，并将所述扩大区域用于 后续的前背景分割。 [0009] 进一步，所述将所述目标区域进行扩大，得到每张所述图像的扩大区域的步骤，包 括 ：根据所述目标区域与对应的所述图 像的比 例 ，确定需扩大尺寸 ；或者 ，根据所述目标区 域的 大小确定需扩大尺寸 ；按照所述需扩大尺寸将所述目 标区域进行扩大 ，得到每张所述 图像的扩大区域。 [0010] 进一步，所述方法还包括：对所述多张图像进行数据清洗，删除不存在人脸的所述 图像。 [0011] 进一步，所述分别检测每张所述图像的目标区域的步骤，包括：通过预设的检测工
4
CN 109815881 A
说 明 书
1/11 页
行为识别模型的训练方法、行为识别方法、装置及设备
技术领域 [0001] 本发明涉及人工智能技术领域，尤其是涉及一种行为识别模型的训练方法、行为 识别方法、装置及设备。
背景技术 [0002] 行为识别是指对人的行为模式进行分析和识别，包括从视频序列中抽取相关的视 觉信息 ，使 用一 种合适的 方法进行表达上述视觉信息 ，然后解释这些视觉信息以 识别人的 行为。行为识别是人运动视觉分析的高级处理环节。在人工智能研究领域，行为识别是智能 监控、人机交互 、自 动驾驶等诸多应 用的 基础。在驾驶领域 ，由 于分心驾驶导致的 事故不断 增加，成为影响交通安全的主要因素之一，使用行为识别技术对司机行为进行检测，在司机 出现分心驾驶行为(如：吸烟，打电话)时及时制止，可以有效降低事故发生概率。 [0003] 现有的行为识别方法，受到光照条件各异、视角多样性、背景复杂等诸多因素的影 响，识别的精确性和效率并不能完全满足相关行业的实用要求。
2
CN 109815881 A
权 利 要 求 书
2/3 页
理后的图像；所述目标值对应的亮度与所述平均亮度信息对应的亮度之间的差值小于亮度 差别阈值。
10 .根据权利要求1-5任一项所述的方法，其特征在于，在所述根据所述平均亮度信息 调节每张所述图像的前景的亮度的步骤之后，所述方法还包括：
对调节亮度后的所述图像进行翻转处理、旋转处理、调节所述图像的前景的亮度、调节 所述图像的前景的对比度和/或调节所述图像的前景的饱和度；
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910051226 .7
(22)申请日 2019 .01 .18
(71)申请人 成都旷视金智科技有限公司 地址 611700 四川省成都市郫县郫都区德 源镇（菁蓉镇）红旗大道北段223号 申请人 北京旷视科技有限公司
3
CN 109815881 A
权 利 要 求 书3/3源自页模型，该装置包括： 图像获取模块，用于获取待识别图像； 目标区域检测模块，用于检测所述待识别图像的目标区域； 分 割标记模块 ，用于将所述待识别图 像的目 标区 域分 割为前景 和背景 ，并 将所述背景
标记为黑色，得到预处理后的所述待识别图像； 识别模块 ，用于将预处理 后的 所述待识别图 像输入所述行为识别模型 ，得到行为识别
结果。 17 .一种处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运
行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至14 中任一项所述的方法的步骤。
18 .一种具有处理器可执行的程序代码的计算机可读介质，其特征在于，所述程序代码 使所述处理器执行上述权利要求1至14中任一所述方法。
将处理后的所述图像作为预处理后的图像。 11 .一种行为识别方法，其特征在于，应用于权利要求1-9任一项训练得到的行为识别 模型，该方法包括： 获取待识别图像； 检测所述待识别图像的目标区域； 将所述待识别图 像的目 标区域分 割为前景 和背景 ，并 将所述背景标记为黑色 ，得到预 处理后的所述待识别图像； 将预处理后的所述待识别图像输入所述行为识别模型，得到行为识别结果。 12 .根据权利要求11所述的方法，其特征在于，在将所述待识别图像的目标区域分割为 前景和背景的步骤之前，所述方法还包括： 将所述目 标区 域进行扩大 ，得到所述待识别图 像的 扩大区 域 ，并 将所述扩大区 域 用于 后续的前背景分割。 13 .根据权利要求11或12所述的方法，其特征在于，所述检测所述待识别图像的目标区 域的步骤，包括： 通过预设的检测工具提取所述待识别图像中包含动作信息的区域，并将包含动作信息 的区域作为目标区域。 14 .根据权利要求11或12所述的方法，其特征在于，所述行为识别模型为深度神经网 络，所述深度神经网络包括依次连接的卷积池化层、至少一个卷积块、卷积池化层、全连接 层和输出层； 所述卷积块包括依次连接的通道分割层、深度卷积层、压缩激活层和拼接层，所述通道 分割层还与所述拼接层直接连接；所述拼接层之后还连接有通道拼接层。 15 .一种网络训练装置，其特征在于，包括： 训练集获取模块，用于获取训练集，所述训练集包括包含多个对象的多张图像； 检测模块，用于分别检测每张所述图像的目标区域； 计算模块，用于计算所述训练集对应于所述目标区域的平均亮度信息； 前背景分 割模块 ，用于将每张所述图 像的目 标区 域分 割为前景 和背景 ，并 将所述背景 标记为黑色 ；所述前景为包含待识别行为的区域 ，所述背景为所述图 像中除 所述前景的 其 他区域； 亮度调节模块 ，用于根据所述平均亮度信息 调节每张所述图 像的 前景的 亮度 ，得到预 处理后的图像； 训练模块 ，用于将所述预处理 后的图 像输入神经网络进行 训练 ，直至所述 神经网络收 敛，将收敛情况下的所述神经网络作为行为识别模型。 16 .一种行为识别装置，其特征在于，应用于权利要求1-10任一项训练得到的行为识别
5
CN 109815881 A
说 明 书
2/11 页
具提取所述图像中包含动作信息的区域，并将包含动作信息的区域作为目标区域。 [0012] 进一步，所述计算所述训练集对应于所述目标区域的平均亮度信息的步骤，包括： 提取所述训练集中所有图像或者部分图像的所述目标区域的亮度信息；对所述亮度信息取 平均值得到平均亮度信息。 [0013] 进一步，所述计算所述训练集对应于所述目标区域的平均亮度信息的步骤，包括： 提取所述训练集中所有图像或者部分图像的所述目标区域的红色通道值；对所述红色通道 值取平均值得到平均亮度信息。 [0014] 进一步，所述根据所述平均亮度信息调节每张所述图像的前景的亮度，得到预处 理后的图像的步骤，包括：调节每张所述图像的前景的所有像素的亮度或者红色通道值，直 至所述前景的平均亮度达到所述平均亮度信息对应的亮度，以得到预处理后的图像；或者， 将每张所述图像的前景的所有像素的亮度或者红色通道值调节至目标值，以得到预处理后 的图像；所述目标值对应的亮度与所述平均亮度信息对应的亮度之间的差值小于亮度差别 阈值。 [0015] 进一步，在所述根据所述平均亮度信息调节每张所述图像的前景的亮度的步骤之 后 ，所述方法还包括 ：对调节亮度后的 所述图 像进行 翻转处理 、旋转处理 、调节所述图 像的 前景的亮度、调节所述图像的前景的对比度和/或调节所述图像的前景的饱和度；将处理后 的所述图像作为预处理后的图像。 [0016] 第二方面，本发明实施例提供了一种行为识别方法，应用于第一方面任一项训练 得到的 行为识别模型 ，该方法包括 ：获取待识别图 像 ；检 测所述待识别图 像的目 标区域 ；将 所述待识别图 像的目标区域分 割为前景 和背景 ，并将所述背景标记为黑色 ，得到预处理 后 的 所述待识别图 像 ；将预处理 后的 所述待识别图 像输入所述行为识别模型 ，得到行为识别 结果。 [0017] 进一步，在将所述待识别图像的目标区域分割为前景和背景的步骤之前，所述方 法还包括：将所述目标区域进行扩大，得到所述待识别图像的扩大区域，并将所述扩大区域 用于后续的前背景分割。 [0018] 进一步，所述检测所述待识别图像的目标区域的步骤，包括：通过预设的检测工具 提取所述待识别图像中包含动作信息的区域，并将包含动作信息的区域作为目标区域。 [0019] 进一步，所述行为识别模型为深度神经网络，所述深度神经网络包括依次连接的 卷积池化层、至少一个卷积块、卷积池化层、全连接层和输出层；所述卷积块包括依次连接 的通道分割层、深度卷积层、压缩激活层和拼接层，所述通道分割层还与所述拼接层直接连 接；所述拼接层之后还连接有通道拼接层。 [0020] 第三方面，本发明实施例提供了一种网络训练装置，包括：训练集获取模块，用于 获取训练集，所述训练集包括包含多个对象的多张图像；检测模块，用于分别检测每张所述 图像的目标区域；计算模块，用于计算所述训练集对应于所述目标区域的平均亮度信息；前 背景分 割模块 ，用于将每张所述图 像的目 标区域分 割为前景 和背景 ，并 将所述背景标记为 黑色；所述前景为包含待识别行为的区域，所述背景为所述图像中除所述前景的其他区域； 亮度调节模块 ，用于根据所述平均亮度信息 调节每张所述图 像的 前景的 亮度 ，得到预处理 后的图像；训练模块，用于将所述预处理后的图像输入神经网络进行训练，直至所述神经网 络收敛，将收敛情况下的所述神经网络作为行为识别模型。
(10)申请公布号 CN 109815881 A (43)申请公布日 2019.05.28 G06T 7/11(2017 .01) G06T 7/194(2017 .01)
权利要求书3页 说明书11页 附图5页
CN 109815881 A
CN 109815881 A
权 利 要 求 书
1/3 页
1 .一种行为识别模型的训练方法，其特征在于，包括： 获取训练集，所述训练集包括包含多个对象的多张图像； 分别检测每张所述图像的目标区域； 计算所述训练集对应于所述目标区域的平均亮度信息； 将每张所述图 像的目 标区域分 割为前景 和背景 ，并 将所述背景标记为黑色 ；所述前景 为包含待识别行为的区域，所述背景为所述图像中除所述前景的其他区域； 根据所述平均亮度信息调节每张所述图像的前景的亮度，得到预处理后的图像； 将所述预处理 后的图 像输入神经网络进行 训练 ，直至所述 神经网络收 敛 ，将收 敛情况 下的所述神经网络作为行为识别模型。 2 .根据权利要求1所述的方法，其特征在于，所述图像为人脸图像，所述目标区域为人 脸区域。 3 .根据权利要求2所述的方法，其特征在于，在将每张所述图像的目标区域分割为前景 和背景的步骤之前，所述方法还包括： 将所述目 标区 域进行扩大 ，得到每张所述图 像的 扩大区 域 ，并 将所述扩大区 域 用于后 续的前背景分割。 4 .根据权利要求3所述的方法，其特征在于，所述将所述目标区域进行扩大，得到每张 所述图像的扩大区域的步骤，包括： 根据所述目标区域与对应的所述图像的比例，确定需扩大尺寸； 或者，根据所述目标区域的大小确定需扩大尺寸； 按照所述需扩大尺寸将所述目标区域进行扩大，得到每张所述图像的扩大区域。 5 .根据权利要求2所述的方法，其特征在于，所述方法还包括： 对所述多张图像进行数据清洗，删除不存在人脸的所述图像。 6 .根据权利要求1-5任一项所述的方法，其特征在于，所述分别检测每张所述图像的目 标区域的步骤，包括： 通过预设的检测工具提取所述图像中包含动作信息的区域，并将包含动作信息的区域 作为目标区域。 7 .根据权利要求1-5任一项所述的方法，其特征在于，所述计算所述训练集对应于所述 目标区域的平均亮度信息的步骤，包括： 提取所述训练集中所有图像或者部分图像的所述目标区域的亮度信息； 对所述亮度信息取平均值得到平均亮度信息。 8 .根据权利要求1-5任一项所述的方法，其特征在于，所述计算所述训练集对应于所述 目标区域的平均亮度信息的步骤，包括： 提取所述训练集中所有图像或者部分图像的所述目标区域的红色通道值； 对所述红色通道值取平均值得到平均亮度信息。 9 .根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述平均亮度信息调节 每张所述图像的前景的亮度，得到预处理后的图像的步骤，包括： 调节每张所述图像的前景的所有像素的亮度或者红色通道值，直至所述前景的平均亮 度达到所述平均亮度信息对应的亮度，以得到预处理后的图像；或者， 将每张所述图像的前景的所有像素的亮度或者红色通道值调节至目标值，以得到预处
(72)发明人 李茹 王光甫 陈远鹏 刘帅成
(74)专利代理机构 北京超凡志成知识产权代理 事务所(普通合伙) 11371
代理人 范彦扬
(51)Int .Cl . G06K 9/00(2006 .01) G06K 9/34(2006 .01) G06N 3/04(2006 .01) G06N 3/08(2006 .01)