【CN109829390A】一种基于深度学习的电梯智能调度系统及方法【专利】

(74)专利代理机构 杭州天昊专利代理事务所 (特殊普通合伙) 33283
代理人 董世博
(51)Int .Cl . G06K 9/00(2006 .01) G06N 3/04(2006 .01)
(10)申请公布号 CN 109829390 A (43)申请公布日 2019.05.31
( 54 )发明 名称 一 种基于深度学 习的电 梯智能 调度系统 及
方法 ( 57 )摘要
本发明公开了一 种基于深度学 习的电 梯智 能调度方法及系统 ，方法包括 ：采集图像信息 ，获 取每处电 梯正在等待乘梯人的全部信息 ；对实时 采集到的 每处电 梯正在等待乘梯人的 视频图 像 进行存储 ，并实时进行预处理 ，包括监控连续视 频的关键帧选取，关键帧选取的标准为每段乘梯 人等待视频中最能反映出所有乘梯人信息的那 一帧 ；最终获取监控视频中的关键帧中的乘梯人 数目 、乘梯人的性别、体形、体重估计的属性信 息，并将算法分析求得的信息送至电梯智能调度 模块 ；实时获取当前电 梯的 停靠位置 、配合求得 的 乘梯人数目 和属性 信息进行电 梯调度的 控 制 中心分配结果实时反馈给电梯运行监控模块；通 过电梯运行监控模块负责电梯安全、乘梯人安全 与便捷维护。
权利要求书3页 说明书8页 附图2页
CN 109829390 A
CN 109829390 A
权 利 要 求 书
1/3 页
1 .一种基于深度学习的电梯智能调度方法，其特征在于，包括以下步骤： 采集图像信息，获取每处电梯正在等待乘梯人的全部信息； 对实时 采集到的 每处电 梯正在等待乘梯人的 视频图 像进行存储 ，并实时 进行预处理 ， 包括监控连续视频的关键帧选取，关键帧选取的标准为每段乘梯人等待视频中最能反映出 所有乘梯人信息的 那一帧 ； 包括基于目标检测算法的实时乘梯人数目检测模块与基于多属性分类算法的乘梯人 多属性分类模块的深度学习控制模块最终获取监控视频中的关键帧中的乘梯人数目、乘梯 人的性别、体形、体重估计的属性信息，并将算法分析求得的信息送至电梯智能调度模块； 实时获取当前电 梯的 停靠位置、配合上级单元求得的 乘梯人数目 和属性信息进行电 梯 调度的控制中心分配结果实时反馈给电梯运行监控模块； 通过电梯运行监控模块负责电梯安全、乘梯人安全与便捷维护。 2 .如权利要求1所述的基于深度学习的电梯智能调度方法，其特征在于，基于目标检测 算法的实时乘梯人数目检测模块的具体工作过程如下： 利用深度学习中的多层卷积网络获取待测输入乘梯人图像中的数据，获得监控关键帧 的特征图 ； 利用提取边缘的神经网络直接训练得到特征图中的候选区域，利用提取边缘的神经网 络的工作原理在于其在特征图上滑动窗口 ，其中滑动窗口的位置提供了物体的大致位置信 息，而框的回归算法提供框更精确的位置信息； 由提取边缘的神经网络得到待测输入图像中所有候选框的特征信息，再将候选框的特 征信息传至多层全连接层，并在最后一层分别使用分类器，配合乘梯人分类loss判别候选 框中是否 属于一个特定类 ，对于 属于某一特征的 候选框 ，配合乘梯人边界框回 归loss进一 步调整边界框的位置，最后求得准确的待乘梯人的数量与位置信息，并通过opencv工具根 据乘梯人在原图中为具体坐标值，格式为（x1 ,y1 ,width ,height）来裁剪得到多分类属性识 别网络所需要的人体图。 3 .如权利要求2所述的基于深度学习的电梯智能调度方法，其特征在于，基于多属性分 类算法的乘梯人多属性分类模块的深度学习控制模块的具体工作过程如下： 获 取 待乘 梯人监控图 像 ，由 上 级目 标检 测模块获 得 待 测具体 乘 梯人的 具体位置 信息 （x1 ,y1 ,width ,height），并结合原图信息从而得到送至属性识别网络中的原图具体内容； 根据上述具体图像信息获取具体乘梯人的图像，再由图像分割模块获取待测对象的各 个部位图 ； 再利用多层卷积网络来获取各身体部位的特征图 ； 将主干网络提取到特征图进行正则化操作后送至多类属性多输出网络； 输出检测结果，所述检测结果包括性别、体形、年龄、人员类别信息。 4 .如权利要求3所述的基于深度学习的电梯智能调度方法，其特征在于，多层卷积网络 的主干网络是Resnet50。 5 .如权利要求4所述的基于深度学习的电梯智能调度方法，其特征在于，输入为224* 224*3格式的图片，Resnet50的主要工作过程如下： convolution层中 ，卷积核为7*7*64 ，padding深度为3 ，stride为2 ，输入为224*224*3 ， 输出为112*112*64；
2
CN 109829390 A
权 利 要 求 书
2/3 页
Max-pooling层中，池化核为3*3，padding深度为0，stride为2，输出为56*56*64； resnet_2层：包含resnet_2a（输入56*56*64，输出56*56*256）； 包含resnet_2b（输入56*56*256 ,输出56*56*256）； 包含resnet_2c（输入56*56*256 ,输出56*56*256）； resnet_3层：包含resnet_3a（输入56*56*64，输出28*28*512）； 包含resnet_3b（输入28*28*512 ,输出28*28*512）； 包含resnet_3c（输入28*28*512 ,输出28*28*512）； 包含resnet_3d（输入28*28*512 ,输出28*28*512）； resnet_4层、resnet_5层，最终输出7*7*2048； AVE pooling，池化核7*7，padding深度为0，stride为1，则输出为1*1*2048； FC53 ，输出为1*1*53 ，再经过sof tmax得到53个二分类 属性的 具体概率 ，最终得到该乘 梯人的属性。 6 .一种基于深度学习的电梯智能调度系统，其特征在于，包括： 乘梯人监控视频图 像数据处理单元 ，用于采集图 像信息 ，获取每处电 梯正在等待乘梯 人的全部信息； 图 像预处理模块 ，对实时 采集到的 每处电 梯正在等待乘梯人的 视频图 像进行存储 ，并 实时进行预处理 ，包括监控连续视频的关键帧选取 ，关键帧选取的标准为每段乘梯人等待 视频中最能反映出所有乘梯人信息的那一帧； 深度学习控制模块，包括基于目标检测算法的实时乘梯人数目检测模块与基于多属性 分类算法的乘梯人多属性分类模块的深度学习控制模块最终获取监控视频中的关键帧中 的乘梯人数目、乘梯人的性别、体形、体重估计的属性信息，并将算法分析求得的信息送至 电梯智能调度模块； 电 梯智能 调度模块 ，用于实时获取当前电 梯的 停靠位置、配合上级单元求得的 乘梯人 数目和属性信息进行电梯调度的控制中心分配结果实时反馈给电梯运行监控模块； 电 梯运行监控模块 ，用于通过电 梯运行监控模块负责电 梯安全、乘梯人安全与便捷维 护。 7 .如权利要求6所述的基于深度学习的电梯智能调度系统，其特征在于，基于目标检测 算法的实时乘梯人数目检测模块的具体工作过程如下： 利用深度学习中的多层卷积网络获取待测输入乘梯人图像中的数据，获得监控关键帧 的特征图 ； 利用提取边缘的神经网络直接训练得到特征图中的候选区域，利用提取边缘的神经网 络的工作原理在于其在特征图上滑动窗口 ，其中滑动窗口的位置提供了物体的大致位置信 息，而框的回归算法提供框更精确的位置信息； 由提取边缘的神经网络得到待测输入图像中所有候选框的特征信息，再将候选框的特 征信息传至多层全连接层，并在最后一层分别使用分类器，配合乘梯人分类loss判别候选 框中是否 属于一个特定类 ，对于 属于某一特征的 候选框 ，配合乘梯人边界框回 归loss进一 步调整边界框的位置，最后求得准确的待乘梯人的数量与位置信息，并通过opencv工具根 据乘梯人在原图中为具体坐标值，格式为（x1 ,y1 ,width ,height）来裁剪得到多分类属性识 别网络所需要的人体图。
( 19 )中华人民 共和国国家知识产权局( 12 )发明专利申请
(21)申请号 201910019632 .5
(22)申请日 2019 .01 .09
(71)申请人 浙江新再灵科技股份有限公司 地址 310051 浙江省杭州市滨江区(临 )东 流路1805号2幢五层
(72)发明人 王伟 王超 陈国特