基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法的制作流程

本技术涉及足球视频片段分类技术领域，具体地说，涉及一种基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法。其步骤如下：准备大量的足球比赛视频片段；通过人工的方式对上述视频片段进行标注；利用上述视频片段及标注数据，训练基于卷积神经网络算法的足球视频片段3分类模型；利用训练好的足球视频片段3分类模型对足球视频片段进行处理。该基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法中，基于深度学习的视频分类算法可以自动对图片中的各种特征信息进行自动学习编码，不需要人工设计特征的介入，从而避免了人工设计特征引起的泛化能力差、准确性低的问题。

技术要求

1.一种基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法，其步骤如下：

S1、准备大量的足球比赛视频片段；

S2、通过人工的方式对上述视频片段进行标注；

S3、利用上述视频片段及标注数据，训练基于卷积神经网络算法的足球视频片段3分类模型；

S4、利用训练好的足球视频片段3分类模型对足球视频片段进行处理，对于视频直播或视频录播，每5秒截取一个视频片段，将截取出的每个视频片段输入足球3分类模型，对处理的视频片段进行分类，将分类信息输出，整个算法结束。

2.根据权利要求1所述的基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法，其特征在于：S1中，准备视频数据中的足球比赛视频片段方法为通过在正常比赛中截取视频片段或通过网络爬虫爬取大量的足球视频片段。

3.根据权利要求1所述的基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法，其特征在于：S2中，视频片段标注信息包括如下步骤：

步骤一：标注视频片段是否进球；

步骤二：标注进球片段视频是什么类型的进球，包括普通进球和定位球进球。

4.根据权利要求1所述的基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法，其特征在于：S3中，利用上述视频片段及标注数据包括未进球视频片段，普通进球视频片段和定位球进球视频片段。

5.根据权利要求1所述的基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法，其特征在于：基于卷积神经网络算法的模型训练包括如下步骤：

步骤一：利用预训练模型对卷积神经网络进行初始化，网络的初始学习率为0.001，输入的num_segments为35，每个视频长度在5秒左右。采用TSN神经网络，预训练模型是

bn_inception-9f5701afb96c8044.pth；

步骤二：将训练视频和对应的标注数据作为输入，利用反向传播算法对TSN模型进行训练，当模型的loss在5个epoch上没有变化时，降低学习率，每个epoch保存一次中间模型，当epoch超过160次以后，结束训练，让模型自动学习到足球视频中的有用信息

步骤三：从所有中间模型中选择准确率最高的模型作为最终使用的模型。

6.根据权利要求5所述的基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法，其特征在于：TSN神经网络的输入数据预处理步骤如下：

①、对于每个训练视频，将视频所有帧读取出来，将所有帧等间隔分成若干段，如分成了35段，每中一段随机取出一个视频帧作为该段的输入，也就是每个视频会取出35个视频帧作为一个输入；

②、对取出的35个视频帧会进行一些预处理，包括随机水平翻转、center crop、colorjittering等。

技术说明书

一种基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法

技术领域

本技术涉及足球视频片段分类技术领域，具体地说，涉及一种基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法。

背景技术

目前针对足球视频中进球片段的判断方法为：首先对数据库中足球比赛的压缩视频通过解码器进行解码；接下来进行视频镜头边界检测，然后对镜头类型中的其它镜头进行特征提取，在相应特征提取的基础上进行足球视频镜头分类；然后根据镜头分类结果进行视频镜头片段边界检测，并提取每个片段中的观测矢量；再从一个片段中所提取的观测矢量来判断该片段所属的类型，接下来对确定的精彩片段进行划分，最后将划分后的精彩片段进行摘录并存储到数据库中。该方法在视频镜头分类阶段使用的是人工设计的特征，包括颜色特征、运动特征、纹理特征、字幕特征，首先这些人工设计的特征，并不能完全反应视频图像中的所有信息，其次这些特征很容易受到不同摄像机、不同光照、不同球场、不同角度等的影响，从而进一步影响这些特征准确性；其次该专利在进行视频片段分类阶段时，采用的特征仍然是人工设计的特征，而选择的分类算法为隐马尔科夫模型HMM进行的分类，该算法训练难度高、分类精度低，同样影响了该专利的使用范围和分类精度。

技术内容

本技术的目的在于提供一种基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法，以解决上述背景技术中提出的某种或某些缺陷。

为实现上述目的，本技术提供一种基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法，其步骤如下：

S1、准备大量的足球比赛视频片段；

S2、通过人工的方式对上述视频片段进行标注；

S3、利用上述视频片段及标注数据，训练基于卷积神经网络算法的足球视频片段3分类模型；

S4、利用训练好的足球视频片段3分类模型对足球视频片段进行处理，对于视频直播或视频录播，每5秒截取一个视频片段，将截取出的每个视频片段输入足球3分类模型，对处理的视频片段进行分类，将分类信息输出，整个算法结束。

作为优选，S1中，准备视频数据中的足球比赛视频片段方法为通过在正常比赛中截取视频片段或通过网络爬虫爬取大量的足球视频片段。

作为优选，S2中，视频片段标注信息包括如下步骤：

步骤一：标注视频片段是否进球；

步骤二：标注进球片段视频是什么类型的进球，包括普通进球和定位球进球。

作为优选，S3中，利用上述视频片段及标注数据包括未进球视频片段，普通进球视频片段和定位球进球视频片段。

作为优选，卷积神经网络算法包括以下步骤：

步骤一：利用预训练模型对卷积神经网络进行初始化，网络的初始学习率为0.001，输入的num_segments为35，每个视频长度在5秒左右。采用TSN神经网络，预训练模型是

bn_inception-9f5701afb96c8044.pth；

步骤二：将训练视频和对应的标注数据作为输入，利用反向传播算法对TSN模型进行训练，当模型的loss在5个epoch上没有变化时，降低学习率，每个epoch保存一次中间模型，当epoch超过160次以后，结束训练，让模型自动学习到足球视频中的有用信息

步骤三：从所有中间模型中选择准确率最高的模型作为最终使用的模型。

作为优选，TSN神经网络的输入数据预处理步骤如下：

①、对于每个训练视频，将视频所有帧读取出来，将所有帧等间隔分成若干段，如分成了35段，每中一段随机取出一个视频帧作为该段的输入，也就是每个视频会取出35个视频帧作为一个输入；

②、对取出的35个视频帧会进行一些预处理，包括随机水平翻转、center crop、color jittering等。

与现有技术相比，本技术的有益效果：

1、该基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法中，基于深度学习的视频分类算法可以自动对图片中的各种特征信息进行自动编码，不需要人工设计特征的介入，从而避免了人工设计特征引起的泛化能力差、准确性低的问题。