图像修复模型训练方法及系统及图像修复方法与相关技术

图片简介:

本技术介绍了图像修复模型训练方法及系统及图像修复方法，包括：对若干原图图像进行随机掩膜处理，生成训练数据集用于训练图像修复深度神经网络模型；构建图像修复深度神经网络模型，图像修复深度神经网络模型包括：生成模型与判别模型，生成模型用于修复图像残缺区域或模糊区域，判别模型用于判断生成模型的修复结果是否符合预设要求；利用训练数据集训练图像修复深度神经网络模型，得到训练后的图像修复深度神经网络模型；本技术能更有效的修复图像，满足人们对高质量图像的需求，本技术能够解决传统图像修复技术在

修复区域大、图像颜色差异大的情况下难以修复、修复效果不好，修复后的区域不自然等问题。

技术要求

1.图像修复模型训练方法，其特征在于，所述方法包括：

对若干原图图像进行随机掩膜处理，生成训练数据集用于训练图像修复深度神经网络模型，训练数据集包括：原图图像数据、带有目标边缘信息的图像数据和只有掩膜的图像

数据；

构建图像修复深度神经网络模型，图像修复深度神经网络模型包括：生成模型与判别模型，生成模型用于修复图像残缺区域或模糊区域，判别模型用于判断生成模型的修复结

果是否符合预设要求；

利用训练数据集训练图像修复深度神经网络模型，得到训练后的图像修复深度神经网络

模型。

2.根据权利要求1所述的图像修复模型训练方法，其特征在于，对若干原图图像进行随机掩膜处理，包括：

设定原图图像随机掩膜的超参数；

创建分辨率与原图图像相同的背景图像；

基于背景图像和设定的超参数对原图图像进行随机掩膜处理。

3.根据权利要求2所述的图像修复模型训练方法，其特征在于，原图图像随机掩膜的超参数包括：

掩膜个数、掩膜的最大拐点个数、两个像素点之间的最小距离、两个像素点之间的最大

距离、这两个像素点之间连线的最小宽度、这两个像素点之间连线的最大宽度和最大拐角。

4.根据权利要求2所述的图像修复模型训练方法，其特征在于，创建随机掩膜的流程为：

根据设定的超参数最大拐点个数随机生成一个数值代表生成掩膜的过程中需要偏转的次数；

根据背景图像的分辨率随机初始化起始点的坐标X,Y；

循环执行步骤(1)-步骤(5)，循环次数为拐点个数；

步骤(1)：根据两个像素点之间的最小距离，两个像素点之间最大距离，在最小距离与最大距离之间随机选择两个像素点之间距离；

步骤(2)：根据最大拐角,在0和最大拐角之间随机选择转向角度；

步骤(3)：基于选择的两个像素点之间距离和选择的转向角度，计算下一个像素点的坐标并将此点作为下一个循环中选择下一个点的起始点坐标；

步骤(4)：根据线的最大宽度和最小宽度，在最大宽度和最小宽度之间随机选择该条线段的宽度；

步骤(5)：根据当前循环的起始点坐标、下一个循环的起始点坐标和选择的线段的宽度，在背景图像上绘制线段完成随机掩膜的创建。

5.根据权利要求1所述的图像修复模型训练方法，其特征在于，生成模型包括：图像拼接模块、图像粗修复模块和图像精修复模块；

将原图图像数据、带有目标边缘信息的图像数据和只有掩膜的图像数据输入图像拼接模块；

图像拼接模块将原图图像和只有掩膜的图像进行布尔运算，得到带有掩膜的图像；

图像拼接模块将带有掩膜的图像和带有目标边缘信息的图像进行拼接操作，得到拼接后的图像数据；

图像粗修复模块对拼接后的图像数据进行一次修复处理，获得一次修复后的图像数据；

图像精修复模块对一次修复后的图像数据进行二次修复处理，获得二次修复后的图像数据；

将二次修复后的图像数据、只有掩膜的图像数据和带有目标边缘信息的图像数据共同输入判别模型，判别模型判断二次修复后的图像是否符合预设要求。

6.根据权利要求5所述的图像修复模型训练方法，其特征在于：

[H1,W1,N1]代表原图图像的数组形状，[H1,W1,N2]代表目标边缘信息的图像数组形状，[H1,W1,N3]代表只有掩膜的图像数组形状，拼接后的数组形状为[H1,W1,N1+N2+N3]；

通过图像粗修复模块一次修复处理后的图像形状为[H1,W1,3]；

图像精修复模块有两条分支，一次修复处理后的图像并行进入两条分支，经过两个分支处理后得到两个数组形状均为[H1/4,W1/4,N4]，拼接得到的两个数组，输出的二次修复后的图像数组形状为[H1,W1,3]。

7.根据权利要求5所述的图像修复模型训练方法，其特征在于，粗修复模块包括多个门卷积、门膨胀卷积和门反卷积；图像精修复模块中一条分支包括多个门卷积和门膨胀卷积，另一条分支包括多个门卷积和内容感知层；判别模型包括多个卷积。

8.根据权利要求1所述的图像修复模型训练方法，其特征在于，图像修复深度神经网络模型的训练方式为：

步骤(a)：固定判别模型不进行训练，使用随机梯度下降方法训练生成模型，当任意两相邻循环结束时的生成模型的损失值小于阈值s1时，停止训练生成模型；

步骤(b)：固定生成模型不进行训练，使用随机梯度下降方法训练判别模型，当任意两相邻循环结束时的判别模型的损失值小于阈值s2时，停止训练判别模型；

重复执行步骤(a)-步骤(b)，直至图像修复深度神经网络模型总损失小于阈值s3。

9.图像修复模型训练系统，其特征在于，所述系统包括：

随机掩膜单元，用于对若干原图图像进行随机掩膜处理，生成训练数据集用于训练图像修复深度神经网络模型，训练数据集包括：原图图像数据、带有目标边缘信息的图像数据和只有掩膜的图像数据；

模型构建单元，用于构建图像修复深度神经网络模型，图像修复深度神经网络模型包括：生成模型与判别模型，生成模型用于修复图像残缺区域或模糊区域，判别模型用于判断生成模型的修复结果是否符合预设要求；

模型训练单元，用于利用训练数据集训练图像修复深度神经网络模型，得到训练后的图像修复深度神经网络模型。

10.图像修复方法，其特征在于，所述方法包括：

收集待修复图像；

标注待修复图像：标注待修复图像中有模糊或有残缺的区域，并将这类标注记为第一类标注，标注第一类标注区域中的物体或目标的边缘，并将这类标注记为第二类标注；

生成掩膜图像与边缘信息图像：根据第一类标注结果，在与待修复图像分辨率相同的第一底色图像上绘画出标注区域，并用不同于底色的第二颜色进行填充；

在边缘信息图像生成阶段，根据第二类标注结果，在与待修复图像分辨率相同的第一底色图像上绘画出标注的物体或目标边缘，以不同于底色的第二颜色线段表示；

模型推理：在模型推理阶段，将待修复图像、只有掩膜图像和带有边缘信息的图像输入采用权利要求1-8中任意一个方法训练后的图像修复深度神经网络模型中，模型输出修复后的图像。

技术说明书

图像修复模型训练方法及系统及图像修复方法

技术领域