一种视频编码方法、视频解码方法、装置及系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201810050810.6
(22)申请日 2018.01.18
(71)申请人 杭州海康威视数字技术股份有限公
司
地址 310051 浙江省杭州市滨江区阡陌路
555号
(72)发明人 周璐璐　
(74)专利代理机构 北京三高永信知识产权代理
有限责任公司 11138
代理人 江崇玉
(51)Int.Cl.
H04N 19/103(2014.01)
H04N 19/13(2014.01)
H04N 19/61(2014.01)
H04N 19/80(2014.01)
H04N 19/184(2014.01)
(54)发明名称一种视频编码方法、视频解码方法、装置及系统(57)摘要本申请是关于一种视频编码方法、视频解码方法、装置及系统，属于视频编解码领域。

所述方法包括：获取失真图片，生成失真图片对应的边信息分量，将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图片包括的失真图像块对应的第一去失真图像块，从所述失真图像块对应的图像块集合中选择一个图像块作为所述失真图像块对应的目标去失真图像块，所述图像块集合包括所述失真图像块对应的第一去失真图像块和/或所述失真图像块；根据该失真图片包括的各失真图像块对应的去失真图像块，编码在当前原始视频图片之后的原始视频图片得到视频比特流。

本申请能够提
高去失真的性能。

权利要求书6页 说明书25页 附图15页CN 110062226 A 2019.07.26
C N 110062226
A
1.一种视频编码方法，其特征在于，所述方法包括：
获取失真图片，所述失真图片是对当前原始视频图片进行编码时生成的；
生成失真图片对应的边信息分量，所述边信息分量表示所述失真图片相对所述当前原始视频图片的失真特征；
将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图片包括的失真图像块对应的第一去失真图像块，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图片，所述原始样本图片对应的多个失真图片，以及每个所述原始样本图片对应的失真图片所对应的边信息分量；
从所述失真图像块对应的图像块集合中选择一个图像块作为所述失真图像块对应的目标去失真图像块，所述图像块集合包括所述失真图像块对应的第一去失真图像块和/或所述失真图像块；
根据所述失真图像块对应的目标去失真图像块，对所述当前原始视频图片之后的原始视频图片进行编码得到视频比特流。

2.如权利要求1所述的方法，其特征在于，所述将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图片包括的失真图像块对应的第一去失真图像块，包括：
对所述失真图片进行划分，得到所述失真图片包括的失真图像块，将所述失真图像块和所述失真图像块对应的边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图像块对应的第一去失真图像块；或者，
将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到去失真图图片，对所述去失真图片进行划分得到所述失真图片包括的失真图像块对应的第一去失真图像块。

3.如权利要求1所述的方法，其特征在于，所述获取失真图片之后，还包括：
将所述失真图片输入至少一个滤波器进行滤波处理，得到每个滤波器输出的所述失真图片包括的失真图像块对应的第二去失真图像块，所述失真图像块对应的图像块集合还包括所述每个滤波器输出的所述失真图像块对应的第二去失真图像块。

4.如权利要求1至3任一项所述的方法，其特征在于，所述从图像块集合中选择一个图像块，包括：
根据所述失真图像块在所述当前原始视频图片中对应的原始图像块，从图像块集合中选择一个图像块；或者，
根据所述失真图像块包括的各编码单元的编码信息，从图像块集合中选择一个图像块。

5.如权利要求4所述的方法，其特征在于，所述根据所述失真图像块在所述当前原始视频图片中对应的原始图像块，从图像块集合中选择一个图像块，包括：
分别计算所述图像块集合中的每个图像块与所述失真图像块对应的原始图像块之间的差异值；
从所述图像块集合中选择与所述失真图像块对应的原始图像块之间的差异值最小的图像块。

6.如权利要求4所述的方法，其特征在于，所述视频比特流还包括所述失真图片对应的
滤波标志图，所述方法还包括：
在根据所述失真图像块对应的原始图像块，从图像块集合中选择一个图像块时，根据所述失真图像块在所述失真图片的位置，在所述滤波标志图中填写用于标识所述目标去失真图像块的数据类型的标志信息。

7.一种视频解码方法，其特征在于，所述方法包括：
对接收的视频比特流进行熵解码，得到当前熵解码数据；
获取失真图片包括的各失真图像块，所述失真图片为对所述当前熵解码数据进行解码时生成的；
根据所述当前熵解码数据确定目标图像块对应的数据类型，所述目标图像块为所述失真图片中的一个失真图像块；
在所述数据类型用于表示卷积神经网络模型滤波的数据时，生成目标图像块对应的边信息分量，所述边信息分量表示所述目标图像块相对其在原始视频图片中对应的原始图像块的失真特征，所述原始视频图片是所述当前熵解码数据对应的视频图片；
将所述目标图像块以及所述边信息分量输入卷积神经网络模型进行卷积滤波处理，得到所述目标图像块对应的去失真图像块，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图片，所述原始样本图片对应的多个失真图片，以及每个所述原始样本图片对应的失真图片所对应的边信息分量；
根据所述失真图片包括的各失真图像块对应的去失真图像块，对后续接收的视频比特流进行解码。

8.如权利要求7所述的方法，其特征在于，所述方法还包括：
在所述数据类型用于表示一滤波器滤波的数据时，将所述目标图像块输入所述滤波器进行滤波处理，得到所述目标图像块对应的去失真图像块；或者，
在所述数据类型用于表示所述目标图像块时，将所述目标图像块确定为所述目标图像块对应的去失真图像块。

9.如权利要求7所述的方法，其特征在于，所述当前熵解码数据包括滤波标志图，所述滤波标志图包括所述失真图片中的各失真图像块对应的标志信息，失真图像块对应的标志信息用于标识所述失真图像块对应的数据类型；
所述根据所述当前熵解码数据确定目标图像块对应的数据类型，包括：
根据目标图像块在所述失真图片中的位置，从所述滤波标志图中读取所述目标图像块对应的标志信息；
根据所述标志信息确定所述目标图像块对应的数据类型。

10.如权利要求7所述的方法，其特征在于，所述当前熵解码数据包括所述原始视频图片中的各编码单元的位置和编码信息；
所述根据所述当前熵解码数据确定目标图像块对应的数据类型，包括：
根据所述目标图像块在所述失真图片中的位置和所述原始视频图片中的各编码单元的位置，确定所述目标图像块包括的各编码单元；
根据所述目标图像块包括的各编码单元的编码信息，确定所述目标图像块对应的数据类型。

11.一种视频编码装置，其特征在于，所述装置包括：
获取模块，用于获取失真图片，所述失真图片是对当前原始视频图片进行编码时生成的；
生成模块，用于生成失真图片对应的边信息分量，所述边信息分量表示所述失真图片相对所述当前原始视频图片的失真特征；
滤波模块，用于将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图片包括的失真图像块对应的第一去失真图像块，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图片，所述原始样本图片对应的多个失真图片，以及每个所述原始样本图片对应的失真图片所对应的边信息分量；
选择模块，用于从所述失真图像块对应的图像块集合中选择一个图像块作为所述失真图像块对应的目标去失真图像块，所述图像块集合包括所述失真图像块对应的第一去失真图像块和/或所述失真图像块；
编码模块，用于根据所述失真图像块对应的目标去失真图像块，对所述当前原始视频图片之后的原始视频图片进行编码得到视频比特流。

12.如权利要求11所述的装置，其特征在于，所述滤波模块包括：
第一滤波单元，用于对所述失真图片进行划分，得到所述失真图片包括的失真图像块，将所述失真图像块和所述失真图像块对应的边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图像块对应的第一去失真图像块；或者，
第二滤波单元，用于将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到去失真图图片，对所述去失真图片进行划分得到所述失真图片包括的失真图像块对应的第一去失真图像块。

13.如权利要求11所述的装置，其特征在于，所述滤波模块，还用于：
将所述失真图片输入至少一个滤波器进行滤波处理，得到每个滤波器输出的所述失真图片包括的失真图像块对应的第二去失真图像块，所述失真图像块对应的图像块集合还包括所述每个滤波器输出的所述失真图像块对应的第二去失真图像块。

14.如权利要求11至13任一项所述的装置，其特征在于，所述选择模块包括：
第一选择单元，用于根据所述失真图像块在所述当前原始视频图片中对应的原始图像块，从图像块集合中选择一个图像块；或者，
第二选择单元，用于根据所述失真图像块包括的各编码单元的编码信息，从图像块集合中选择一个图像块。

15.如权利要求14所述的装置，其特征在于，所述第一选择单元，用于：
分别计算所述图像块集合中的每个图像块与所述失真图像块对应的原始图像块之间的差异值；
从所述图像块集合中选择与所述失真图像块对应的原始图像块之间的差异值最小的图像块。

16.如权利要求14所述的装置，其特征在于，所述视频比特流还包括所述失真图片对应的滤波标志图，所述装置还包括：
填写模块，用于在根据所述失真图像块对应的原始图像块，从图像块集合中选择一个图像块时，根据所述失真图像块在所述失真图片的位置，在所述滤波标志图中填写用于标
识所述目标去失真图像块的数据类型的标志信息。

17.一种视频解码装置，其特征在于，所述装置包括：
解码模块，用于对接收的视频比特流进行熵解码，得到当前熵解码数据；
获取模块，用于获取失真图片包括的各失真图像块，所述失真图片为对所述当前熵解码数据进行解码时生成的；
确定模块，用于根据所述当前熵解码数据确定目标图像块对应的数据类型，所述目标图像块为所述失真图片中的一个失真图像块；
生成模块，用于在所述数据类型用于表示卷积神经网络模型滤波的数据时，生成目标图像块对应的边信息分量，所述边信息分量表示所述目标图像块相对其在原始视频图片中对应的原始图像块的失真特征，所述原始视频图片是所述当前熵解码数据对应的视频图片；
滤波模块，用于将所述目标图像块以及所述边信息分量输入卷积神经网络模型进行卷积滤波处理，得到所述目标图像块对应的去失真图像块，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图片，所述原始样本图片对应的多个失真图片，以及每个失真图片对应的边信息分量；
所述解码模块，还用于根据所述失真图片包括的各失真图像块对应的去失真图像块，对后续接收的视频比特流进行解码。

18.如权利要求17所述的装置，其特征在于，所述滤波模块，还用于：
在所述数据类型用于表示一滤波器滤波的数据时，将所述目标图像块输入所述滤波器进行滤波处理，得到所述目标图像块对应的去失真图像块；或者，
在所述数据类型用于表示所述目标图像块时，将所述目标图像块确定为所述目标图像块对应的去失真图像块。

19.如权利要求17所述的装置，其特征在于，所述当前熵解码数据包括滤波标志图，所述滤波标志图包括所述失真图片中的各失真图像块对应的标志信息，失真图像块对应的标志信息用于标识所述失真图像块对应的数据类型；
所述确定模块，包括：
读取单元，用于根据目标图像块在所述失真图片中的位置，从所述滤波标志图中读取所述目标图像块对应的标志信息；
第一确定单元，用于根据所述标志信息确定所述目标图像块对应的数据类型。

20.如权利要求17所述的装置，其特征在于，所述当前熵解码数据包括所述原始视频图片中的各编码单元的位置和编码信息；
所述确定模块包括：
第二确定单元，用于根据所述目标图像块在所述失真图片中的位置和所述原始视频图片中的各编码单元的位置，确定所述目标图像块包括的各编码单元；
第三确定单元，用于根据所述目标图像块包括的各编码单元的编码信息，确定所述目标图像块对应的数据类型。

21.一种视频编码方法，其特征在于，所述方法包括：
获取失真图片包括的失真图像块，所述失真图片是对原始视频图片进行编码时生成的；
根据目标图像块包括的编码单元的编码信息，确定所述目标图像块对应的数据类型，所述目标图像块为所述失真图片中的任一失真图像块；
在所述数据类型用于表示卷积神经网络模型滤波的数据时，生成所述目标图像块对应的边信息分量，所述边信息分量表示所述目标图像块相对其在所述原始视频图片中对应的原始图像块的失真特征；
将所述目标图像块以及所述边信息分量输入卷积神经网络模型进行卷积滤波处理，得到所述目标图像块对应的去失真图像块，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图片，所述原始样本图片对应的多个失真图片，以及每个所述原始样本图片对应的失真图片所对应的边信息分量；
根据所述失真图片中的失真图像块对应的去失真图像块，对所述当前原始视频图片之后的原始视频图片进行编码得到视频比特流。

22.如权利要求21所述的方法，其特征在于，所述方法还包括：
在所述数据类型用于表示一滤波器滤波的数据时，将所述目标图像块输入所述滤波器进行滤波处理，得到所述目标图像块对应的去失真图像块；或者，
在所述数据类型用于表示所述目标图像块时，将所述目标图像块确定为所述目标图像块对应的去失真图像块。

23.一种视频编码装置，其特征在于，所述装置包括：
获取模块，用于获取失真图片包括的失真图像块，所述失真图片是对原始视频图片进行编码时生成的；
确定模块，用于根据目标图像块包括的编码单元的编码信息，确定所述目标图像块对应的数据类型，所述目标图像块为所述失真图片中的任一失真图像块；
生成模块，用于在所述数据类型用于表示卷积神经网络模型滤波的数据时，生成所述目标图像块对应的边信息分量，所述边信息分量表示所述目标图像块相对其在所述原始视频图片中对应的原始图像块的失真特征；
滤波模块，用于将所述目标图像块以及所述边信息分量输入卷积神经网络模型进行卷积滤波处理，得到所述目标图像块对应的去失真图像块，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图片，所述原始样本图片对应的多个失真图片，以及每个所述原始样本图片对应的失真图片所对应的边信息分量；
编码模块，用于根据所述失真图片中的失真图像块对应的去失真图像块，对所述当前原始视频图片之后的原始视频图片进行编码得到视频比特流。

24.如权利要求23所述的装置，其特征在于，所述滤波模块，还用于：
在所述数据类型用于表示一滤波器滤波的数据时，将所述目标图像块输入所述滤波器进行滤波处理，得到所述目标图像块对应的去失真图像块；或者，
在所述数据类型用于表示所述目标图像块时，将所述目标图像块确定为所述目标图像块对应的去失真图像块。

25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤或实现权利要求21或22所述的方法步骤。

26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机
程序，所述计算机程序被处理器执行时实现权利要求7-10任一所述的方法步骤。

27.一种编解码系统，其特征在于，所述系统包括如权利要求11至16任一项所述的视频编码装置和如权利要求17至20任一项所述的视频解码装置；或者，
所述系统包括如权利要求21或22所述的视频编码装置和如权利要求17至20任一项所述的视频解码装置。

一种视频编码方法、视频解码方法、装置及系统
技术领域
[0001]本申请涉及视频编解码领域，特别涉及一种视频编码方法、视频解码方法、装置及系统。

背景技术
[0002]在视频编码系统中，在对原始视频图片进行编码时，原始视频图片会被进行多次处理得到重构图片。

在视频编码的过程中，该重构图片又可以作为参考图片，被用于对原始视频图片进行编码。

[0003]原始视频图片会被进行多次处理后得到的重构图片相对原始视频图片可能已经发生像素偏移，即重构图片存在失真，导致视觉障碍或假象。

这些失真影响重构图片的主客观质量，由于重构图片作为视频编码的参考图片，还会影响后续编码的预测准确性，影响最终比特流的大小。

发明内容
[0004]为了提高去失真的性能，本申请实施例提供了一种视频编码方法、视频解码方法、装置及系统。

所述技术方案如下：
[0005]第一方面，本申请实施例提供了一种视频编码方法，所述方法包括：
[0006]获取失真图片，所述失真图片是对当前原始视频图片进行编码时生成的；[0007]生成失真图片对应的边信息分量，所述边信息分量表示所述失真图片相对所述当前原始视频图片的失真特征；
[0008]将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图片包括的失真图像块对应的第一去失真图像块，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图片，所述原始样本图片对应的多个失真图片，以及每个所述原始样本图片对应的失真图片所对应的边信息分量；[0009]从所述失真图像块对应的图像块集合中选择一个图像块作为所述失真图像块对应的目标去失真图像块，所述图像块集合包括所述失真图像块对应的第一去失真图像块和/或所述失真图像块；
[0010]根据所述失真图像块对应的目标去失真图像块，对所述当前原始视频图片之后的原始视频图片进行编码得到视频比特流。

[0011]可选的，所述将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图片包括的失真图像块对应的第一去失真图像块，包括：
[0012]对所述失真图片进行划分，得到所述失真图片包括的失真图像块，将所述失真图像块和所述失真图像块对应的边信息分量输入卷积神经网络模型进行滤波处理得到所述失真图像块对应的第一去失真图像块；或者，
[0013]将所述失真图片和所述边信息分量输入卷积神经网络模型进行滤波处理得到去失真图图片，对所述去失真图片进行划分得到所述失真图片包括的失真图像块对应的第一
去失真图像块。

[0014]可选的，所述获取失真图片之后，还包括：
[0015]将所述失真图片输入至少一个滤波器进行滤波处理，得到每个滤波器输出的所述失真图片包括的失真图像块对应的第二去失真图像块，所述失真图像块对应的图像块集合还包括所述每个滤波器输出的所述失真图像块对应的第二去失真图像块。

[0016]可选的，所述从图像块集合中选择一个图像块，包括：
[0017]根据所述失真图像块在所述当前原始视频图片中对应的原始图像块，从图像块集合中选择一个图像块；或者，
[0018]根据所述失真图像块包括的各编码单元的编码信息，从图像块集合中选择一个图像块。

[0019]可选的，所述根据所述失真图像块在所述当前原始视频图片中对应的原始图像块，从图像块集合中选择一个图像块，包括：
[0020]分别计算所述图像块集合中的每个图像块与所述失真图像块对应的原始图像块之间的差异值；
[0021]从所述图像块集合中选择与所述失真图像块对应的原始图像块之间的差异值最小的图像块。

[0022]可选的，所述视频比特流还包括所述失真图片对应的滤波标志图，所述方法还包括：
[0023]在根据所述失真图像块对应的原始图像块，从图像块集合中选择一个图像块时，根据所述失真图像块在所述失真图片的位置，在所述滤波标志图中填写用于标识所述目标去失真图像块的数据类型的标志信息。

[0024]第二方面，本申请实施例提供了一种视频解码方法，所述方法包括：
[0025]对接收的视频比特流进行熵解码，得到当前熵解码数据；
[0026]获取失真图片包括的各失真图像块，所述失真图片为对所述当前熵解码数据进行解码时生成的；
[0027]根据所述当前熵解码数据确定目标图像块对应的数据类型，所述目标图像块为所述失真图片中的一个失真图像块；
[0028]在所述数据类型用于表示卷积神经网络模型滤波的数据时，生成目标图像块对应的边信息分量，所述边信息分量表示所述目标图像块相对其在原始视频图片中对应的原始图像块的失真特征，所述原始视频图片是所述当前熵解码数据对应的视频图片；
[0029]将所述目标图像块以及所述边信息分量输入卷积神经网络模型进行卷积滤波处理，得到所述目标图像块对应的去失真图像块，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图片，所述原始样本图片对应的多个失真图片，以及每个所述原始样本图片对应的失真图片所对应的边信息分量；
[0030]根据所述失真图片包括的各失真图像块对应的去失真图像块，对后续接收的视频比特流进行解码。

[0031]可选的，所述方法还包括：
[0032]在所述数据类型用于表示一滤波器滤波的数据时，将所述目标图像块输入所述滤波器进行滤波处理，得到所述目标图像块对应的去失真图像块；或者，。