一种基于深度学习的异常行为实时监测方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910948269.5
(22)申请日 2019.10.08
(71)申请人 北京邮电大学
地址 100876 北京市海淀区西土城路10号
(72)发明人 吴铭　张闯　刘泽萱　
(74)专利代理机构 北京挺立专利事务所(普通
合伙) 11265
代理人 叶树明
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/06(2006.01)
G06N 3/08(2006.01)
(54)发明名称一种基于深度学习的异常行为实时监测方法(57)摘要本发明提供了一种基于深度学习的异常行为实时监测方法，包括：通过摄像头获取人体目标视频数据；将人体目标视频数据根据截取频率按帧提取，得到人体目标图像，将人体目标图像输入至核心控制器中；核心控制器对人体目标图像的身体关键点和骨架结构进行提取，并将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，并将身体姿态演变图输入分类器；分类器基于身体姿态演变图，区分动作分类，得到目标动作，当检测到目标动作为异常行为时，通过报警模块进行提示，该方法将人工智能的算法应用至传统的视频监控系统，获取功能和性能的提升，并可以快速产生动作的分类信息可以良好的反馈人体的状态，纠正、监督
人体的异常行为。

权利要求书2页 说明书9页 附图11页CN 110781771 A 2020.02.11
C N 110781771
A
1.一种基于深度学习的异常行为实时监测方法，其特征在于，包括：
步骤一、通过摄像头获取人体目标视频数据；
步骤二、将人体目标视频数据根据截取频率按帧提取，得到人体目标图像，将人体目标图像输入至核心控制器OpenPose中；
步骤三、核心控制器对人体目标图像的身体关键点和骨架结构进行提取，并将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，并将身体姿态演变图输入分类器Softmax；
步骤四、分类器基于身体姿态演变图，区分动作分类，得到目标动作，当检测到目标动作为异常行为时，通过报警模块进行提示。

2.如权利要求1所述的方法，其特征在于，所述步骤三中，所述核心控制器，包括：
使用openpose在主流数据集COCO中采用交叉熵损失函数并利用随机梯度下降的方法进行预训练，训练90个迭代周期后得到一个基本模型；
使用从人体目标视频数据中抽帧得到的人体目标图像进行标注作为训练、验证和测试数据集，在训练集上对基本模型采用交叉熵损失函数并利用随机梯度下降的方法进行反向传播对模型微调，训练60个迭代周期，再用验证数据集每5个迭代周期验证一次模型的微调的效果，得到训练好的核心控制器；
在测试集上测试模型的效果。

3.如权利要求2所述的方法，其特征在于，所述交叉熵损失函数为
其中，K为标签值的个数，第i个样本预测
为第k个标签值的概率为p ik，第i个样本的真实标签为y ik，L log为交叉熵损失，N为样本的个数，Y为所有真实标签的集合，P为分类器预测得到的概率分布；
在机器学习中，用p(x)描述真实分布，q(x)描述模型预测的分布；计算损失时，使用交叉熵计算概率分布的差异。

4.如权利要求2所述的方法，其特征在于，所述反向传播算法是建立在梯度下降法的基础上；由激励传播和权重更新两个环节反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。

5.如权利要求4所述的方法，其特征在于，所述激励传播由正向传播过程和反向传播过程组成；在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层；如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成；误差达到所期望值时，网络学习结束。

6.如权利要求4所述的方法，其特征在于，所述权重更新为对于每个神经元上的权重，按照以下步骤进行更新：
将输入激励和响应误差相乘，从而获得权重的梯度；将梯度与预设比例相乘并取反后与权重相加；
其中，所述比例将会影响到训练过程的速度和效果，因此称为“训练因子”；梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。

7.如权利要求4所述的方法，其特征在于，梯度下降法为每次迭代使用一个样本来对参数进行更新，使得训练速度加快；对于第i个样本的目标函数为：
其中θ是线性回归方程hθ(x)中的参数向量；i＝1,2,...,m，表示样本数，y是输入x的预测目标，
(1)对目标函数求偏导：△为求梯度的符号；
(2)参数更新：其中α为学习率；
在使用时，将从视频数据中提取出的人体目标图像输入至核心控制器中，就可以得到当前目标的身体关键点以及骨架结构。

8.如权利要求1所述的方法，其特征在于，所述步骤三中，将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，包括：
基于五点线性插值将检测到的身体关键点进行处理：
记得到的14个身体关键点的坐标分别为(x0，y0)(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)，(x7，y7)，(x8，y8)，(x9，y9)，(x10，y10)，(x11，y11)，(x12，y12)，(x13，y13)，编号表示：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，其中，(x i，y i)，(x j，y j)是某个肢干的两个端点，物理意义上这两个端点在人体骨架上是相邻的，其中i，j，＝1,2,K,14i<j，在这两个点中间均匀插入五个采样点，记a＝(x j-x i)/6,b＝(y j-y i)/6，插入的五个点的坐标分别为(x i+ a,y i+b)，(x i+2*a,y i+2*b)，(x i+3*a,y i+3*b)，(x i+4*a,y i+4*b)，(x i+5*a,y i+5*b)，使采样点更加稠密；若(x i，y i)，(x j，y j)在物理意义上不相邻，则不进行线性插值；
将关键点坐标归一化为[0,1]，将视频数据中提取的所有人体目标图像中检测出来的身体关键点坐标按照时间顺序级联，再将x坐标和y坐标分开成两个维度，生成两个通道的特征图，再添加一个全零通道生成用于训练的身体姿态演变图。

9.如权利要求1所述的方法，其特征在于，所述分类器Softmax的训练方法，包括：
将训练集的身体姿态演变图的动作分类作为分类器的输入，通过反向传播算法训练分类器，通过传递误差信号来更新梯度，寻找最优值，即找到能够使目标函数最大化的参数，并在验证集上通过反向传播算法进行调整，得到最终的准确率高的分类器；最终的准确率为训练好的分类器在测试集上运行的结果；
在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作。

10.如权利要求9所述的方法，其特征在于，所述在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作，包括：将动作共分为五种类别：踢、打、跑、跳四种异常行为以及正常行为；将踢、打、跑、跳四种异常行为分别标号1、2、3、4，将正常行为标号0；当分类器输出一个0-4的标号时就可根据标号进行类别的判断。

一种基于深度学习的异常行为实时监测方法
技术领域
[0001]本发明涉及监控技术领域，涉及一种基于深度学习的异常行为实时监测方法。

背景技术
[0002]视频监控系统在生产和生活中起着越来越大的作用，成为了人们生活中不可缺少的一道安全屏障，银行、商场、学校、小区、工厂、公共交通等公共领域对视频监控的需要不言而喻，随着平安城市的建设，监控系统也将发挥它的作用。

[0003]很多人的安全意识较差，在追逐打闹的过程中容易发生意外伤害的事故，如有的人在短短几分钟内就因为跑跳、打闹而磕伤、碰伤，结果往往是遭受伤痛的折磨，甚至造成残疾，对自己、对他人也对社会关系或社会秩序造成伤害和破坏，并带来一定的法律后果。

特别地，打架斗殴会对是非辨别能力不强的未成年人产生极大的诱惑性和腐蚀，一些相对弱小的未成年人为了不受有不良行为的未成年人的欺负，也往往加入打架斗殴的行列，进而发展成为一个小群体，这种欲望的膨胀，往往使他们走上违法犯罪的道路。

[0004]针对这些现象，各个安全部门都会花费大量的人力物力来对负责区域进行监控，查看是否有异常情况的出现，但是由于日常的监控视频实在是又多又长，因此视频监控人员难以实时监督所有情况，例如在学校中有数十上百个教室，各个位置的摄像头更是不计其数。

同时回看监控视频时也采用的是抽取查看某些教室视频中某时间段的方式，不能做到全视频全时间段的检查。

[0005]虽然目前的视频监控系统已在社会各界得到了广泛的应用，也产生了一些积极的作用，但是视频监控系统的智能化程度还远远不能满足需求，大多数的视频监控系统仅仅使用了最原始的视频信息。

传统的视频监控还有非常多的缺陷，不仅需要很多监控人员，还可能出现一系列问题，如监控视频数据分析困难、监控视频中异常行为漏报、处理事件不及时等。

[0006]如：申请号201710142279.0一种基于人脸和语音识别的课堂行为监控系统及方法，该发明公开了一种基于人脸和语音识别的课堂行为监控系统及方法，包括以下步骤：通过摄像头采集课堂中学生、教师的视频信息；通过录音设备采集课堂中学生、教师的语音信息；主控处理器对接收到的学生、教师的视频信息进行预处理，提取学生、教师的面部表情特征和行为特征；主控处理器对接收到的学生的语音信息进行处理，提取学生语音特征；主控处理器对接收到的教师的语音数据信息进行处理，提取教师语音特征，计算教师教学效果的分值，根据得分对教师教学做出评价并提供指导性建议。

[0007]申请号：201610447391.0一种智能家居养老的视频监控异常行为方法，该方法公开了一种智能家居养老的视频监控异常行为方法，属于模式识别、计算机视觉技术领域。

该系统通过双镜头监控摄像头实时监控室内活动情况；通过视频处理节点识别处理异常行为，并依据人脸表情作为辅助识别，检测是否出现异常行为活动；然后由通讯中心给用户发送异常行为警告信息。

[0008]上述公开的技术方案存在以下缺陷：
[0009] 1.针对性弱：
[0010]目前已有的监控设备几乎都只有单一的录制功能，不能对人的行为进行分类，无法进行针对性的人体行为检测。

[0011] 2.准确率低：
[0012]基于视频监控的人体检测器经常出现定位不准与误判的情况，准确率较低。

[0013] 3.成本高：
[0014]主流的监控设备都需要大量的人力资源来查看与调度，成本很高，且人经常会出现疏忽的情况，在一定程度上无法及时发现危险情况并立即处理。

发明内容
[0015]本发明主要解决了传统的视频监控不仅需要很多监控人员，还可能出现一系列问题，如监控视频数据分析困难、监控视频中异常行为漏报、处理事件不及时等技术问题，提出了一种基于深度学习的异常行为实时监测方法，该方法通过摄像头拍摄监控范围内人群的动作，输入至核心控制器判断人的行为，如果判断为追逐打闹等异常行为，则通过报警模块传达给中控室或保卫处，若有喇叭还可以通过喇叭进行提示。

故，系统包括如下方法：(1)人体目标视频的获取(2)关键点提取器，得到关键点骨架图(3)行为分类器，区分不同种类的行为(4)纠正器、统计器。

本发明通过使用先进的检测模块，可以提高速度,提升关键点的准确度，可以良好的反馈师生的状态，纠正、监督师生的异常行为。

[0016]本发明的技术方案如下：
[0017]本发明提供了一种基于深度学习的异常行为实时监测方法，包括：
[0018]步骤一、通过摄像头获取人体目标视频数据；
[0019]步骤二、将人体目标视频数据根据截取频率按帧提取，得到人体目标图像，将人体目标图像输入至核心控制器OpenPose中；
[0020]步骤三、核心控制器对人体目标图像的身体关键点和骨架结构进行提取，并将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，并将身体姿态演变图输入分类器Softmax；
[0021]步骤四、分类器基于身体姿态演变图，区分动作分类，得到目标动作，当检测到目标动作为异常行为时，通过报警模块进行提示。

[0022]所述步骤二中，将人体目标图像输入至核心控制器OpenPose中，包括：首先根据计算资源对人体目标图像的大小和分辨率进行调整，然后输入到已训练好的openpose网络中。

[0023]所述步骤三中，所述核心控制器，包括：
[0024]首先使用openpose在主流数据集COCO中采用交叉熵损失函数并利用随机梯度下降的方法进行预训练，训练90个迭代周期后得到一个基本模型，随后用从人体目标视频数据中抽帧得到的人体目标图像进行标注作为训练、验证和测试数据集，首先在训练集上对基本模型采用交叉熵损失函数并利用随机梯度下降的方法进行反向传播对模型微调，训练60个迭代周期，再用验证数据集每5个迭代周期验证一次模型的微调的效果，最后得到训练好的核心控制器；最后在测试集上测试模型的效果。

[0025]所述交叉熵损失函数为其中，K
为标签值个数，且第i个样本预测为第k个标签值的概率为p ik，第i个样本的真实标签为y ik，L log为交叉熵损失，N为样本的个数，Y为所有真实标签的集合，P为分类器预测得到的概率分布；在机器学习中，用p(x)描述真实分布，q(x)描述模型预测的分布；计算损失时，使用交叉熵计算概率分布的差异。

[0026]所述反向传播算法是建立在梯度下降法的基础上；由激励传播和权重更新两个环节反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。

[0027]所述激励传播由正向传播过程和反向传播过程组成；在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层；如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成；误差达到所期望值时，网络学习结束。

[0028]所述权重更新为对于每个神经元上的权重，按照以下步骤进行更新：
[0029]将输入激励和响应误差相乘，从而获得权重的梯度；将梯度与预设比例相乘并取反后与权重相加；
[0030]其中，所述比例将会影响到训练过程的速度和效果，因此称为“训练因子”；梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。

[0031]梯度下降法为每次迭代使用一个样本来对参数进行更新，使得训练速度加快；对于第i个样本的目标函数为：其中θ是线性回归方程hθ(x)中的参数向量i＝1,2,...,m，表示样本数，y是输入x的预测目标；
[0032](1)对目标函数求偏导：△为求梯度的符号；
[0033](2)参数更新：其中α为学习率；
[0034]在使用时，将从视频数据中提取出的人体目标图像输入至核心控制器中，就可以得到当前目标的身体关键点以及骨架结构。

[0035]所述步骤三中，将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，包括：
[0036]基于五点线性插值将检测到的身体关键点进行处理：
[0037]记得到的14个身体关键点的坐标分别为(x0，y0),(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)，(x7，y7)，(x8，y8)，(x9，y9)，(x10，y10)，(x11，y11)，(x12，y12)，(x13，y13)，其中，编号表示：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，如果有，(x i，y i)，(x j，y j)是某个肢干的两个端点，物理意义上这两个端点在人体骨架上是相邻的，例如在人体骨架上脖子(x1，y1)和右肩(x2，y2)在物理意义上是相邻的，其中i，j，＝1,2,K,14i<j，在这两个点中间均匀插入五个采样点，记a＝(x j-x i)/6,b＝(y j-y i)/6，插入的五个点的坐标分别为(x i+a,y i
+b)，(x i+2*a,y i+2*b)，(x i+3*a,y i+3*b)，(x i+4*a,y i+4*b)，(x i+5*a,y i+5*b)，使采样点更加稠密，若(x i，y i)，(x j，y j)在物理意义上不相邻，如鼻子和右肩不相邻，则不进行线性插值；[0038]将关键点坐标归一化为[0,1]，将视频数据中提取的所有人体目标图像中检测出来的身体关键点坐标按照时间顺序级联，再将x坐标和y坐标分开成两个维度，生成两个通道的特征图，再添加一个全零通道生成用于训练的身体姿态演变图。

[0039]所述分类器Softmax的训练方法，包括：
[0040]将训练集的身体姿态演变图的动作分类作为分类器的输入，通过反向传播算法训练分类器，通过传递误差信号来更新梯度，寻找最优值，即找到能够使目标函数最大化的参数，并在验证集上通过反向传播算法进行调整，得到最终的准确率高的分类器；最终的准确率为训练好的分类器在测试集上运行的结果；
[0041]在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作。

[0042]所述在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作，包括：
[0043]将动作共分为五种类别：踢、打、跑、跳四种异常行为以及正常行为；将踢、打、跑、跳四种异常行为分别标号1、2、3、4，将正常行为标号0；当分类器输出一个0-4的标号时就可根据标号进行类别的判断。

[0044]本发明的有益效果是：
[0045]本发明将人工智能的算法应用至传统的视频监控系统，获取功能和性能的提升。

提供了一个端到端的系统，可以快速产生动作的分类信息可以良好的反馈人体的状态，纠正、监督人体的异常行为。

本发明着力于提高人体关键点定位以及动作分类的准确性，将人从监控中解放出来，仅在检测到危险情况并报警后才需要人来处理，能够大大减少人力资源的消耗。

[0046]本发明(1)适性强：任何时刻都可以使用本发明，操作简便，随时监控教室内的情况，有助于学生的身心健康。

[0047](2)性价比高：系统还会不断升级，有摄像头、危险报警模块、核心控制器的设备可以有无限的可能性，当本发明载入其他算法后，未来还可以提供更多元化的服务。

[0048](3)准确度高：专有数据集，更目的性的训练，可以提升模型的准确度。

[0049](4)满足实时性：模型框架小，且可在廉价的核心处理器上进行快速的运算，达到一定的实时性。

附图说明
[0050]图1所示为一种基于深度学习的异常行为实时监测方法的流程示意图；
[0051]图2所示为分类器softmax示意图；
[0052]图3所示为人体的身体关键点及骨架结构示意图；
[0053]图4a和图4b所示为身体关键点进行5点线性插值示意图；
[0054]图5a所示为教室内“跑”情况示例第一帧示意图；
[0055]图5b所示为教室内“跑”情况示例第十一帧示意图；
[0056]图5c所示为教室内“跑”情况示例第二十一帧示意图；
[0057]图5d所示为教室内“跑”情况示例第三十一帧示意图；
[0058]图5e所示为教室内“跑”情况示例第四十一帧示意图；
[0059]图5f所示为教室内“跑”情况示例第五十一帧示意图；
[0060]图5g所示为教室内“跑”情况示例第六十一帧示意图；
[0061]图5h所示为教室内“跑”情况示例第七十一帧示意图；
[0062]图5i所示为教室内“跑”情况示例第八十一帧示意图；
[0063]图5j所示为教室内“跑”情况示例第九十一帧示意图；
[0064]图5k所示为教室内“跑”情况示例第一百零一帧示意图；
[0065]图5l所示为教室内“跑”情况示例第一百一十一帧示意图；
[0066]图5m所示为教室内“跑”情况示例第一百二十一帧示意图；
[0067]图5n所示为教室内“跑”情况示例第一百三十一帧示意图；
[0068]图6a所示为教室内打闹情况示例第一帧示意图；
[0069]图6b所示为教室内打闹情况示例第十一帧示意图；
[0070]图6c所示为教室内打闹情况示例第二十一帧示意图；
[0071]图6d所示为教室内打闹情况示例第三十一帧示意图；
[0072]图6e所示为教室内打闹情况示例第四十一帧示意图；
[0073]图6f所示为教室内打闹情况示例第五十一帧示意图；
[0074]图6g所示为教室内打闹情况示例第六十一帧示意图；
[0075]图6h所示为教室内打闹情况示例第七十一帧示意图；
[0076]图6i所示为教室内打闹情况示例第八十一帧示意图；
[0077]图6j所示为教室内打闹情况示例第九十一帧示意图；
[0078]图6k所示为教室内打闹情况示例第一百零一帧示意图；
[0079]图6l所示为教室内打闹情况示例第一百一十一帧示意图；
具体实施方式
[0080]为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

[0081]实施例一
[0082]如图1所示，本发明实施例一提供了一种基于深度学习的异常行为实时监测方法，包括：
[0083]步骤一、通过摄像头获取人体目标视频数据；
[0084]将摄像头摆放到合适位置，获取到人体目标视频数据。

[0085]步骤二、将人体目标视频数据根据截取频率按帧提取，得到人体目标图像，将人体目标图像输入至核心控制器OpenPose中；
[0086]从摄像头拍摄得到的短视频中每10帧截取出图像(截取频率可根据计算资源调整)，输入至核心处理器中。

[0087]将人体目标图像输入至核心控制器OpenPose中，包括：首先根据计算资源对人体目标图像的大小和分辨率进行调整，例如：将图片调整为440*480大小，100*100的分辨率，然后输入到已训练好的openpose网络中。

OpenPose人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。

可以实现人体动作、面部表情、手指运动等姿态估计。

[0088]步骤三、核心控制器对人体目标图像的身体关键点和骨架结构进行提取，并将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，并将身体姿态演变图输入分类器Softmax；
[0089]如图2-3所示，softmax用于多分类过程中，它将多个神经元的输出，映射到(0,1)区间内，可以看成概率来理解，假设我们有一个数组Z，Zi表示Z中的第i个元素，那么这个元素的softmax值就是在Softmax回归中将x分类为类别j的概率为：
[0090]
[0091]例：假设有三个类别，将一张图片输入到网络中，网络输出这一张图片属于三个类别的数值分别为3、1、-3，e指数的值为20、2.7、0.05，再分别除以累加和得到最终的概率值，0.879、0.119、0.002。

所以属于第一类的概率最大，就将这一个图片判断为第一类。

[0092]步骤四、分类器基于身体姿态演变图，区分动作分类，得到目标动作，当检测到目标动作为异常行为时，通过报警模块进行提示。

[0093]本发明需要教室的监控视频，而主流的动作分类器的背景都较为复杂，不适合于本发明。

故本发明在动作分类器进行了改动。

[0094]首先使用openpose在主流数据集COCO中采用交叉熵损失函数并利用随机梯度下降的方法进行预训练，训练90个迭代周期后得到一个基本模型，随后用从人体目标视频数据中抽帧得到的人体目标图像进行标注作为训练、验证和测试数据集，首先在训练集上对基本模型采用交叉熵损失函数并利用随机梯度下降的方法进行反向传播对模型微调，训练60个迭代周期，再用验证数据集每5个迭代周期验证一次模型的微调的效果，最后得到训练好的核心控制器；最后在测试集上测试模型的效果。

[0095]所述交叉熵损失函数为其中，
我们假设有K个标签值，且第i个样本预测为第k个标签值的概率为p ik，第i个样本的真实标签为y ik，L log为交叉熵损失，N为样本的个数，Y为所有真实标签的集合，P为分类器预测得到的概率分布；在机器学习中，往往用p(x)用来描述真实分布，q(x)用来描述模型预测的分布。

计算损失，理应使用相对熵来计算概率分布的差异，然而由相对熵推导出的结果看：相对熵＝交叉熵-信息熵。

由于信息熵描述的是消除p(即真实分布)的不确定性所需信息量的度量，所以其值应该是最小的、固定的。

那么：优化减小相对熵也就是优化交叉熵，所以在机器学习中使用交叉熵就可以了。

[0096]所述反向传播算法是建立在梯度下降法的基础上；由激励传播和权重更新两个环节反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。

[0097]所述激励传播由正向传播过程和反向传播过程组成；在正向传播过程中，输入信。