视频处理方法及相关设备的制作技术

图片简介:
本公开提供了一种视频处理方法及装置、计算机可读存储介质、电子设备。

该方法包括：获取待处理视频；从所述待处理视频中提取第一图像帧；检测获得所述第一图像帧中的目标敏感元素；从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。

通过本公开实施例提供的技术方案，可以提高处理视频中敏感元素的效率。

技术要求
1.一种视频处理方法，其特征在于，包括：
获取待处理视频；
从所述待处理视频中提取第一图像帧；
检测获得所述第一图像帧中的目标敏感元素；
从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；
对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；
根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。

2.根据权利要求1所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，包括：
获得所述目标敏感元素在所述第二图像帧中的当前位置；
获得所述第一图像帧的所述目标敏感元素的第一目标位置；
若所述当前位置与所述第一目标位置之间的距离小于或等于距离阈值，则根据所述当前位置与所述第一目标位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。

3.根据权利要求2所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
若所述当前位置与所述第一目标位置之间的距离大于所述距离阈值，则根据所述当前位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。

4.根据权利要求2或3所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
获得所述目标敏感元素在所述第二图像帧中的当前宽度；
获得所述第一图像帧的所述目标敏感元素的第一目标宽度；
若所述当前宽度与所述第一目标宽度之间的差异值小于或等于宽度阈值，则根据所述当前宽度与所述第一目标宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。

5.根据权利要求4所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
若所述当前宽度与所述第一目标宽度之间的差异值大于所述宽度阈值，则根据所述当前宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。

6.根据权利要求5所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
获得所述目标敏感元素在所述第二图像帧中的当前高度；
获得所述第一图像帧的所述目标敏感元素的第一目标高度；
若所述当前高度与所述第一目标高度之间的差异值小于或等于高度阈值，则根据所述当前高度与所述第一目标高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度。

7.根据权利要求6所述的方法，其特征在于，对所述第二图像帧中的所述目标敏感元素进行遮挡处理，生成第二打码图像帧，还包括：
若所述当前高度与所述第一目标高度之间的差异值大于所述高度阈值，则根据所述当前高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度；
对所述第二图像帧中处于所述第二目标位置且具有所述第二目标宽度和所述第二目标高度的所述目标敏感元素进行遮挡处理，生成所述第二打码图像帧。

8.根据权利要求1所述的方法，其特征在于，还包括：
从所述待处理视频中提取第四图像帧；
若所述第四图像帧的上一帧未检测到所述目标敏感元素，则检测所述第四图像帧中是否存在所述目标敏感元素；
若所述第四图像帧中不存在所述目标敏感元素，则从所述待处理视频中跳过预定帧数的图像帧。

9.根据权利要求1所述的方法，其特征在于，还包括：
从所述待处理视频中提取第五图像帧；
若所述第五图像帧的上一帧未检测到所述目标敏感元素，则检测所述第五图像帧中是否存在所述目标敏感元素；
若所述第五图像帧中不存在所述目标敏感元素，则根据所述第五图像帧之前连续不存在所述目标敏感元素的图像帧的数量，确定当前跳过帧数；
从所述待处理视频中跳过所述当前跳过帧数的图像帧。

10.根据权利要求1所述的方法，其特征在于，还包括：
获取样本视频；
提取所述样本视频中的图像帧；
从所述图像帧中获得训练样本，所述训练样本已标注所述目标敏感元素的位置及类别；
利用所述训练样本训练标识检测器；
其中，训练完成的所述标识检测器用于检测获得所述第一图像帧中的目标敏感元素。

11.根据权利要求1所述的方法，其特征在于，还包括：
从所述处理后视频中确定规格适配的目标视频；
确定目标图片；
确定包含目标推荐信息的目标文本；
合成所述目标视频、所述目标图片、所述目标文本与目标模版，生成视频动态商品广告。

12.一种视频处理装置，其特征在于，包括：
待处理视频获取单元，用于获取待处理视频；
第一图像帧提取单元，用于从所述待处理视频中提取第一图像帧；
敏感元素检测单元，用于检测获得所述第一图像帧中的目标敏感元素；
视频敏感元素跟踪单元，用于从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；
敏感元素遮挡处理单元，用于对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；
处理后视频生成单元，用于根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。

13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至11任一项所述的方法。

14.一种电子设备，其特征在于，包括：
至少一个处理器；
存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如权利要求1至11中任一项所述的方法。

技术说明书
视频处理方法及相关设备
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种视频处理方法及装置、计算机可读存储介质、电子设备。

背景技术
随着互联网技术的飞速发展，越来越多的互联网内容以视频形式出现，但有些视频中经常会出现一些不太适宜播放的内容或者不符合视频播放平台审核规范的元素，这些内容或者元素可以称之为敏感元素，包括但不限于：(1)某些不必要的广告牌、LOGO(LOGOtype的缩写，徽标或者商标，起到对徽标拥有公司的识别和推广的作用。

网络中的徽标主要是各个网站用来与其它网站链接的图形标志，代表一个网站或网站的一个板块)；(2)某些少儿不宜的暴露或者血腥内容；(3)某些不愿意展示给观众的个人隐私。

此时需要对原视频中的敏感元素进行遮挡处理。

现有技术中通常采用人工审核的方式，即由视频播放平台的审核人员逐个播放观看上传至该平台的原视频，根据审核规范对其进行逐帧图片的人工审核，观看到敏感元素时再对其进行遮挡处理，这种处理方式需要耗费大量的人力，效率低下，对于当前海量上传的视频内容而言，无法满足用户的实时性要求。

因此，需要一种新的视频处理方法及装置、计算机可读存储介质、电子设备。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。

技术内容
本公开实施例提供一种视频处理方法及装置、计算机可读存储介质、电子设备，能够解决上述相关技术中存在的对视频中的敏感元素进行遮挡处理效率低下、成本较高的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

本公开实施例提供一种视频处理方法，所述方法包括：获取待处理视频；从所述待处理视频中提取第一图像帧；检测获得所述第一图像帧中的目标敏感元素；从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。

本公开实施例提供一种视频处理装置，所述装置包括：待处理视频获取单元，用于获取待处理视频；第一图像帧提取单元，用于从所述待处理视频中提取第一图像帧；敏感元素检测单元，用于检测获得所述第一图像帧中的目标敏感元素；视频敏感元素跟踪单元，用于从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后；敏感元素遮挡处理单元，用于对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧；处理后视频生成单元，用于根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。

在本公开的一些示例性实施例中，敏感元素遮挡处理单元包括：当前位置获得单元，用于获得所述目标敏感元素在所述第二图像帧中的当前位置；第一目标位置获得单元，用于获得所述第一图像帧的所述目标敏感元素的第一目标位置；第二目标位置获得单元，用于若所述当前位置与所述第一目标位置之间的距离小于或等于距离阈值，则根据所述当前位置与所述第一目标位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。

在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：第二目标位置确定单元，用于若所述当前位置与所述第一目标位置之间的距离大于所述距离阈值，则根据所述当前位置确定所述第二图像帧中的所述目标敏感元素的第二目标位置。

在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：当前宽度获得单元，用于获得所述目标敏感元素在所述第二图像帧中的当前宽度；第一目标宽度获得单元，用于获得所述第一图像帧的所述目标敏感元素的第一目标宽度；第二目标宽度获得单元，用于若所述当前宽度与所述第一目标宽度之间的差异值小于或等于宽度阈值，则根据所述当前宽度与所述第一目标宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。

在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：第二目标宽度确定单元，用于若所述当前宽度与所述第一目标宽度之间的差异值大于所述宽度阈值，则根据所述当前宽度确定所述第二图像帧中的所述目标敏感元素的第二目标宽度。

在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：当前高度获得单元，用于获得所述目标敏感元素在所述第二图像帧中的当前高度；第一目标高度获得单元，用于获得所述第一图像帧的所述目标敏感元素的第一目标高度；第二目标高度获得单元，用于若所述当前高度与所述第一目标高度之间的差异值小于或等于高度阈值，则根据所述当前高度与所述第一目标高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度。

在本公开的一些示例性实施例中，敏感元素遮挡处理单元还包括：第二目标高度确定单元，用于若所述当前高度与所述第一目标高度之间的差异值大于所述高度阈值，则根据所述当前高度确定所述第二图像帧中的所述目标敏感元素的第二目标高度；第二打码图像帧生成单元，用于对所述第二图像帧中处于所述第二目标位置且具有所述第二目标宽度和所述第二目标高度的所述目标敏感元素进行遮挡处理，生成所述第二打码图像帧。

在本公开的一些示例性实施例中，所述装置还包括：第四图像帧提取单元，用于从所述待处理视频中提取第四图像帧；第一目标敏感元素判断单元，用于若所述第四图像帧的上一帧未检测到所述目标敏感元素，则检测所述第四图像帧中是否存在所述目标敏感元素；固定跳帧单元，用于若所述第四图像帧中不存在所述目标敏感元素，则从所述待处理视频中跳过预定帧数的图像帧。

在本公开的一些示例性实施例中，所述装置还包括：第五图像帧提取单元，用于从所述待处理视频中提取第五图像帧；第二目标敏感元素判断单元，用于若所述第五图像帧的上一帧未检测到所述目标敏感元素，则检测所述第五图像帧中是否存在所述目标敏感元素；当前跳过帧数确定单元，用于若所述第五图像帧中不存在所述目标敏感元素，则根据所述第五图像帧之前连续不存在所述目标敏感元素的图像帧的数量，确定当前跳过帧数；动态跳帧单元，用于从所述待处理视频中跳过所述当前跳过帧数的图像帧。

在本公开的一些示例性实施例中，所述装置还包括：样本视频获取单元，用于获取样本视频；图像帧提取单元，用于提取所述样本视频中的图像帧；训练样本获得单元，用于从所述图像帧中获得训练样本，所述训练样本已标注所述目标敏感元素的位置及类别；检测器训练单元，用于利用所述训练样本训练标识检测器。

其中，训练完成的所述标识检测器用于检测获得所述第一图像帧中的目标敏感元素。

在本公开的一些示例性实施例中，所述装置还包括：目标视频适配单元，用于从所述处理后视频中确定规格适配的目标视频；目标图片确定单元，用于确定目标图片；目标文本确定单元，用于确定包含目标推荐信息的目标文本；视频动态商品广告生成单元，用于合成所述目标视频、所述目标图片、所述目标文本与目标模版，生成视频动态商品广告。

本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的视频处理方法。

本公开实施例提供了一种电子设备，包括：至少一个处理器；存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如上述实施例中所述的视频处理方法。

在本公开的一些实施例所提供的技术方案中，自动检测待处理视频中的第一图像帧中的目标敏感元素，并通过视频跟踪技术跟踪到其它包括该目标敏感元素的图像帧例如第二图像帧，提出了一种基于检测-跟踪的快速进行敏感元素自动识别并遮挡的技术方案，能自动地去除待处理视频中的目标敏感元素，在不影响检测结果的前提下，提高了对视频中目标敏感元素遮挡处理的效率，加快了视频文件的处理速度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：
图1示出了可以应用本公开实施例的视频处理方法或视频处理装置的示例性系统架构的示意图；
图2示意性示出了根据本公开的一实施例的视频处理方法的流程图；
图3示意性示出了根据本公开的一实施例的标识检测器的网络结构图；
图4示意性示出了根据本公开的一实施例的标识检测器的网络结构图；
图5示意性示出了根据本公开的一实施例的标识检测器的网络结构图；
图6示意性示出了根据本公开的一实施例的视频处理方法的流程图；
图7示意性示出了根据本公开的一实施例的视频处理方法的示意图；
图8示意性示出了根据本公开的一实施例的动态商品广告的示意图；
图9示意性示出了根据本公开的一实施例的视频动态商品广告的示意图；
图10示意性示出了根据本公开的一实施例的包括目标敏感元素的视频动态商品广告其中一帧的示意图；图11示意性示出了对图10中的目标敏感元素进行打码处理后的视频动态商品广告其中一帧的示意图；
图12示意性示出了根据本公开的一实施例的视频处理装置的框图；
图13示出了适于用来实现本公开实施例的电子设备的结构示意图。

具体实施方式
现在将参考附图更全面地描述示例实施例。

然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。

在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。

然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。

在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。

可以采用软件形式来实现这些功能实体，或在至少一个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。

例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在至少一个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。

下面结合附图对本公开示例实施方式进行详细说明。

图1示出了可以应用于本公开实施例的视频处理方法或视频处理装置的示例性系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、103和服务器102。

在终端设备101、103和服务器102之间可以通过网络进行提供通信链路的介质。

网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器102可以是独立的服务器，也可以是多个服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

终端设备101、103可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、可穿戴智能设备、虚拟现实设备、增强现实设备等，但并不局限于此。

本公开实施例中，终端设备101、103上可以安装有视频客户端、游戏客户端、即时通讯客户端、新闻资讯客户端等各类客户端。

例如，广告主或者为广告主服务的广告制作商可以使用终端设备101上安装的视频客户端，上传其制作的广告素材至服务器102，该广告素材可以称之为待处理视频。

服务器102可以是与该视频客户端对应的视频播放平台的服务器。

服务器102接收到终端设备101上传的待处理视频后，从所述待处理视频中提取第一图像帧，检测获得所述第一图像帧中的目标敏感元素，从所述待处理视频中跟踪到包括所述目标敏感元素的第二图像帧，所述第二图像帧位于所述所述第一图像帧之后，对所述第一图像帧和所述第二图像帧中的所述目标敏感元素进行遮挡处理，分别生成第一打码图像帧和第二打码图像帧，根据所述第一打码图像帧和所述第二打码图像帧，生成所述待处理视频的处理后视频。

服务器102还可以对处理后视频进行进一步的处理，生成视频动态商品广告，并将视频动态商品广告存储在视频动态商品广告库中，然后根据预设的推荐策略将视频动态商品广告库中的视频动态商品广告推送至终端设备103，使用终端设备103的用户可以打开其上安装的视频客户端，播放或者点击推荐给其的视频动态商品广告。

应该理解，图1中的终端设备和服务器的数目仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备和服务器。

需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。

相反，本公开的实施方式可以应用于适用的任何需要对视频中的敏感元素进行遮挡处理的场景。

相关技术中，为了从所给的视频的每一帧图像中检测出敏感元素，其是对视频中的每一帧图像，逐帧去检测敏感元素的位置，然后逐帧对检测出的敏感元素进行遮挡处理，然后再将遮挡处理后的每一帧图像重新组成新的视频输出。

但是这种处理方式存在以下缺点：将视频完全图像化，对其每一帧的处理方法一致，而没有很好的利用视频中帧与帧之间的关系。

由此导致对一个视频的处理非常耗时。

一个约700帧的视频，需要大约10分钟的处理时间，其无法满足现实场景中的实时性需求。

基于上述相关技术中存在的技术问题，本公开实施例提出了一种视频处理方法，以用于至少部分解决上述问题。

本公开各实施例提供的方法可以由任意的电子设备来执行，例如上述图1中的服务器102，或者终端设备101和103中的任意一者或者多者，或者服务器102与终端设备之间进行交互，本公开对此不做限定。

图2示意性示出了根据本公开的一实施例的视频处理方法的流程图。

本公开实施例提供的方法以由服务器来执行为例进行说明。

如图2所示，本公开实施例提供的方法可以包括以下步骤。

在步骤S210中，获取待处理视频。