一种基于深度卷积神经网络的金属板带表面缺陷检测系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201710543616.7
(22)申请日 2017.07.05
(71)申请人 北京科技大学
地址 100083 北京市海淀区学院路30号
(72)发明人 李江昀　任起锐　郑俊锋　
(74)专利代理机构 北京市广友专利事务所有限
责任公司 11237
代理人 张仲波
(51)Int.Cl.
G01N 21/89(2006.01)
G06N 3/04(2006.01)
(54)发明名称
一种基于深度卷积神经网络的金属板带表
面缺陷检测系统
(57)摘要
本发明提供一种基于深度卷积神经网络的
金属板带表面缺陷检测系统，能够实时检测金属
板带表面缺陷。

所述系统包括：相机、用于安装所
述相机的安装架及处理器模块；其中，所述安装
架，横跨于工业现场传送带之上；所述相机，安装
在所述安装架上，用于实时采集传送带上金属板
带的表面图像；所述处理器模块，用于采用深度
卷积神经网络算法，对实时采集的金属板带的表
面图像进行缺陷识别本发明适用于机器视觉技
术领域。

权利要求书1页 说明书5页 附图1页CN 107328787 A 2017.11.07
C N 107328787
A
1.一种基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，包括：相机、用于安装所述相机的安装架及处理器模块；其中，
所述安装架，横跨于工业现场传送带之上；
所述相机，安装在所述安装架上，用于实时采集传送带上金属板带的表面图像；
所述处理器模块，用于采用深度卷积神经网络算法，对实时采集的金属板带的表面图像进行缺陷识别。

2.根据权利要求1所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，所述相机为工业CCD相机。

3.根据权利要求1所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，所述系统还包括：上位机；
所述处理器模块，用于将识别结果通过通信线缆上传至上位机；
所述上位机，用于对接收到的识别结果进行展示。

4.根据权利要求1所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，深度卷积神经网络的结构包括：输入层、与所述输入层连接的卷积层、与所述卷积层连接的池化层及所述池化层连接的全连接层。

5.根据权利要求4所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，所述输入层，用于输入实时采集的金属板带的表面图像，对于输入的每张图像，在深度方向上的某个层，对应着多个神经元，每个神经元各自分别对应于相应图像中的某一个局部区域，提取各局部区域的特征，并根据提取的各局部区域的特征组成局部区域数据矩阵，同时将神经元的权重组成权值矩阵；
所述输入层，还用于将所述局部区域数据矩阵和权值矩阵输出至所述卷积层。

6.根据权利要求5所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，神经元的权重表现为卷积和的形式。

7.根据权利要求5所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，所述卷积层，用于将所述输入层输出的所述局部区域数据矩阵和权值矩阵进行点积运算，得到图像各局部区域的特征激活值，其中，得到的各局部区域的特征激活值为特征激活值矩阵；
所述卷积层，还用于将得到的特征激活值矩阵输出至所述池化层。

8.根据权利要求7所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，所述池化层，用于选取m维权值矩阵对接收到特征激活值矩阵进行每个局部区域的平均值或最大值求解，得出代表相应局部区域的特征值，其中，所述特征值为：求解后得到的映射到隐藏空间的平均值或最大值。

9.根据权利要求8所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，其特征在于，所述全连接层，用于将所述池化层映射到隐藏空间的特征值进行分类，并去除分类过程中冗余的计算结果，输出最终的识别结果。

权　利　要　求　书1/1页CN 107328787 A
一种基于深度卷积神经网络的金属板带表面缺陷检测系统
技术领域
[0001]本发明涉及机器视觉技术领域，特别是指一种基于深度卷积神经网络的金属板带表面缺陷检测系统。

背景技术
[0002]金属板带是汽车、机械制造、化工、航空航天和造船等行业不可缺少的原材料。

金属板带表面缺陷是指金属板带在生产加工的过程中，由于工艺或其它各种原因致使金属板带表面局部区域物理或化学性质不均匀。

常见的金属板带表面缺陷有辊印、污渍、划痕、孔洞、漏涂、凹陷、气泡、异物、剥落等。

表面缺陷是原子活性较高的部位，常常成为金属腐蚀的始发处，表面缺陷的存在会大大降低零件的抗疲劳强度，有损零件表面的质量，影响机器、仪器的使用性能和寿命，影响其最终产品的性能和质量。

因此及时检测金属板带表面缺陷，对缺陷进行严重程度评价，对于提高表面质量和产品经济效益有着重要意义。

[0003]随着我国工业化水平的不断发展，对金属板带表面质量的要求也越来越高，如何快速准确地检测出表面缺陷成为金属板带轧制过程中非常关键的一个环节。

现有的表面缺陷检测系统均采用传统的模式识别或机器学习方法，在工业相机获取金属板带表面图片后，对图片进行预处理，接着对预处理后的图片需要人为设计特征提取算法提取特征；由于具体图像的处理方法和特征提取方法不同，特定方法可能只对某几种特定的缺陷分类效果较好，对其他种类的缺陷分类效果较差，且其过程繁琐，因此传统方法对图片的处理速度较慢，无法满足工业现场在线检测的实时性要求。

发明内容
[0004]本发明要解决的技术问题是提供一种基于深度卷积神经网络的金属板带表面缺陷检测系统，以解决现有技术所存在的无法满足工业现场在线检测的准确性和实时性要求的问题。

[0005]为解决上述技术问题，本发明实施例提供一种基于深度卷积神经网络的金属板带表面缺陷检测系统，包括：相机、用于安装所述相机的安装架及处理器模块；其中，[0006]所述安装架，横跨于工业现场传送带之上；
[0007]所述相机，安装在所述安装架上，用于实时采集传送带上金属板带的表面图像；[0008]所述处理器模块，用于采用深度卷积神经网络算法，对实时采集的金属板带的表面图像进行缺陷识别。

[0009]进一步地，所述相机为工业CCD相机。

[0010]进一步地，所述系统还包括：上位机；
[0011]所述处理器模块，用于将识别结果通过通信线缆上传至上位机；
[0012]所述上位机，用于对接收到的识别结果进行展示。

[0013]进一步地，深度卷积神经网络的结构包括：输入层、与所述输入层连接的卷积层、与所述卷积层连接的池化层及所述池化层连接的全连接层。

[0014]进一步地，所述输入层，用于输入实时采集的金属板带的表面图像，对于输入的每张图像，在深度方向上的某个层，对应着多个神经元，每个神经元各自分别对应于相应图像中的某一个局部区域，提取各局部区域的特征，并根据提取的各局部区域的特征组成局部区域数据矩阵，同时将神经元的权重组成权值矩阵；
[0015]所述输入层，还用于将所述局部区域数据矩阵和权值矩阵输出至所述卷积层。

[0016]进一步地，神经元的权重表现为卷积和的形式。

[0017]进一步地，所述卷积层，用于将所述输入层输出的所述局部区域数据矩阵和权值矩阵进行点积运算，得到图像各局部区域的特征激活值，其中，得到的各局部区域的特征激活值为特征激活值矩阵；
[0018]所述卷积层，还用于将得到的特征激活值矩阵输出至所述池化层。

[0019]进一步地，所述池化层，用于选取m维权值矩阵对接收到特征激活值矩阵进行每个局部区域的平均值或最大值求解，得出代表相应局部区域的特征值，其中，所述特征值为：求解后得到的映射到隐藏空间的平均值或最大值。

[0020]进一步地，所述全连接层，用于将所述池化层映射到隐藏空间的特征值进行分类，并去除分类过程中冗余的计算结果，输出最终的识别结果。

[0021]本发明的上述技术方案的有益效果如下：
[0022]上述方案中，通过安装在安装架上的相机实时采集传送带上金属板带的表面图像；并通过处理器模块采用深度卷积神经网络算法，对实时采集的金属板带的表面图像进行缺陷识别。

对于金属板带缺陷检测，深度卷积神经网络算法不同于传统的模式识别或机器学习方法，深度卷积网络不需要积累大量的专业知识，且深度卷积网络是由简单模块的多层堆叠，每个模块都是训练学习所得，不需要人为设计特征提取算法提取特征，能够提高金属板带表面缺陷的检测速度。

附图说明
[0023]图1为本发明实施例提供的基于深度卷积神经网络的金属板带表面缺陷检测系统的流程示意图；
[0024]图2为本发明实施例提供的基于深度卷积神经网络的金属板带表面缺陷检测系统的详细结构示意图。

[0025]图3为本发明实施例提供的深度卷积神经网络的结构示意图。

具体实施方式
[0026]为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

[0027]本发明针对现有的无法满足工业现场在线检测的实时性要求的问题，提供一种基于深度卷积神经网络的金属板带表面缺陷检测系统。

[0028]如图1所示，本发明实施例提供的基于深度卷积神经网络的金属板带表面缺陷检测系统，包括：相机11、用于安装所述相机11的安装架12及处理器模块13；其中，
[0029]所述安装架12，横跨于工业现场传送带之上；
[0030]所述相机11，安装在所述安装架12上，用于实时采集传送带上金属板带的表面图
像；
[0031]所述处理器模块13，用于采用深度卷积神经网络算法，对实时采集的金属板带的表面图像进行缺陷识别。

[0032]本发明实施例所述的基于深度卷积神经网络的金属板带表面缺陷检测系统，通过安装在安装架上的相机实时采集传送带上金属板带的表面图像；并通过处理器模块采用深度卷积神经网络算法，对实时采集的金属板带的表面图像进行缺陷识别。

对于金属板带缺陷检测，深度卷积神经网络算法不同于传统的模式识别或机器学习方法，深度卷积网络不需要积累大量的专业知识，且深度卷积网络是由简单模块的多层堆叠，每个模块都是训练学习所得，不需要人为设计特征提取算法提取特征，能够提高金属板带表面缺陷的检测速度。

[0033]在前述基于深度卷积神经网络的金属板带表面缺陷检测系统的具体实施方式中，进一步地，所述相机为工业电荷耦合元件(Charge-coupled Device，CCD)相机。

[0034]如图2所示，在前述基于深度卷积神经网络的金属板带表面缺陷检测系统的具体实施方式中，进一步地，所述系统还包括：上位机14；
[0035]所述处理器模块13，用于将识别结果通过通信线缆上传至上位机14；
[0036]所述上位机14，用于对接收到的识别结果进行展示。

[0037]如图3所示，本实施例中，深度卷积神经网络的结构包含但不限于：输入层—卷积层—池化层—全连接层这几个方面，在实际应用中，深度卷积神经网络的结构由实际情况确定。

[0038]本实施例中，作为一可选实施例，深度卷积神经网络的结构包括但不限于：输入层、与所述输入层连接的卷积层、与所述卷积层连接的池化层及所述池化层连接的全连接层。

[0039]本实施例中，所述输入层，用于输入实时采集的金属板带的表面图像，对于输入的每张图像，在深度方向上可以看作由很多层组成，对于其中一个层，可以对应有很多神经元，优选地，神经元的权重表现为卷积和的形式，即一个滤波器，这些神经元各自分别对应于相应图像中的某一个局部区域，提取各局部区域的特征。

一个局部区域的特征可以称为一个块，如果将所有的块拉成一个个列向量，则可以得到很多这些列向量组成的局部区域数据矩阵，再将神经元的权重拉成一个个行向量，这样就得到一个权值矩阵。

[0040]本实施例中，作为一可选实施例，所述输入层，用于输入实时采集的金属板带的表面图像，对于输入的每张图像，在深度方向上的某个层，对应着多个神经元，每个神经元各自分别对应于相应图像中的某一个局部区域，提取各局部区域的特征，并根据提取的各局部区域的特征组成局部区域数据矩阵，同时将神经元的权重组成权值矩阵；
[0041]所述输入层，还用于将所述局部区域数据矩阵和权值矩阵输出至所述卷积层。

[0042]本实施例中，例如，可以选取一个n维权值矩阵，该n维权值矩阵按照一定步长值滑动，对局部区域数据矩阵进行点积运算，得到了相应局部区域的特征激活值；其实就是将所有的滤波器和所有的局部区域的特征分别进行点积运算，当然点积运算结果还需要重新重塑到期望的输出尺寸，通过卷积层的点积运算达到提取图像各局部区域的特征激活值的目的。

[0043]本实施例中，卷积层完成了对输入层输入的图像的每个局部区域的点积运算即卷
积，其中，得到的各局部区域的特征激活值为特征激活值矩阵。

[0044]自然图像有其固有特性，图像的一部分的统计特性与其他部分是一样的。

在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，使用同样的学习特征。

当从一个大尺寸图像(即：输入层输入的实时采集的金属板带的表面图像)中随机选取一小块(即：局部区域)，例如，8x8作为样本，并且从这个小块样本中学习到了一些特征，这时可以把从这个8x8样本中学习到的特征作为探测器，应用到这个大尺寸图像的任意地方中去。

特别是，可以用从8x8样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同的特征激活值。

[0045]本实施例中，特征激活值是针对图像的特征而来的，对于一张输入的图像而言具有其固有特性，通过卷积计算得到的结果相当于人为将图像中的特征进行了量化，用特征激活值表征图像的特征。

[0046]本实施例中，作为一可选实施例，所述卷积层，用于将所述输入层输出的所述局部区域数据矩阵和权值矩阵进行点积运算，得到图像各局部区域的特征激活值，其中，得到的各局部区域的特征激活值为特征激活值矩阵；
[0047]所述卷积层，还用于将得到的特征激活值矩阵输出至所述池化层。

[0048]所述卷积层得到的特征激活值具有“静态性”的属性，即在一个局部区域有用的特征激活值极有可能在另一个局部区域同样适用。

因此对不同局部区域的特征激活值进行聚合统计可以实现各种图像的分类。

[0049]本实施例中，在通过所述卷积层获得了特征激活值之后，需要利用这些特征激活值做分类，此时，要用到池化层。

在池化层的处理中，可以选取m维权值矩阵对接收到特征激活值矩阵进行每个局部区域的平均值或最大值求解，得出能够代表相应局部区域的特征值，其中，所述特征值为：求解后得到的映射到隐藏空间的平均值或最大值，将这些代表局部区域的特征值作为后续分类的依据(此处的局部区域在卷积层卷积结果上来说是特征激活值矩阵中的一个子集，空间映射到图像上则代表了图像上相应的局部区域)。

[0050]选择输入层输入的图像(但实际上，是指卷积层对图像进行处理后所得到的特征激活值矩阵，因为特征激活值与图像的特征存在着某种对应关系，所以此处直接说了图像)中的连续范围作为池化区域，并且池化相同/重复的隐藏空间(隐藏空间就是在处理过程中每次点积/卷积的结果，卷积层可以不止一层)产生的特征激活值，那么，这些池化单元就具有平移不变性。

这就意味着即使图像经历了一个小的平移之后，依然会产生相同的(池化)特征。

这样一来不论图像最终的位置在哪里，分类时仍然能够精确地将其分类为相同的数字。

[0051]本实施例中，作为一可选实施例，所述池化层，用于选取m维权值矩阵对接收到特征激活值矩阵进行每个局部区域的平均值或最大值求解，得出代表相应局部区域的特征值，其中，所述特征值为：求解后得到的映射到隐藏空间的平均值或最大值。

[0052]在前述基于深度卷积神经网络的金属板带表面缺陷检测系统的具体实施方式中，进一步地，所述全连接层，用于将所述池化层映射到隐藏空间的特征值进行分类，并去除分类过程中冗余的计算结果，输出最终的识别结果。

[0053]以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也
应视为本发明的保护范围。

图1
图2
图3。