【CN110059676A】一种基于深度学习与多目标分布排序的航空插头孔位识别方法【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910264451.9
(22)申请日 2019.04.03
(71)申请人 北京航空航天大学
地址 100191 北京市海淀区学院路37号
(72)发明人 郑联语　李树飞　
(51)Int.Cl.
G06K 9/20(2006.01)
G06K 9/46(2006.01)
G06K 9/62(2006.01)
G06T 7/73(2017.01)
G06T 7/90(2017.01)
(54)发明名称一种基于深度学习与多目标分布排序的航空插头孔位识别方法(57)摘要本发明公开了一种基于深度学习与多目标分布排序的航空插头孔位识别方法，包括以下步骤：启动相机并初始化，捕获航空插头图像，训练插头定位网络模型在工业场景图像中定位航空插头目标，判断候选目标是否满足尺寸约束条件，从图像中裁剪插头孔位区域，训练孔位识别网络模型识别插头孔位区域的孔位与防错销钉阵列，根据多目标排序原理编号航空插头孔位阵列，判定航空插头孔位安装状态，匹配数据库并输出识别结果。

该基于深度学习与多目标分布排序的航空插头孔位识别方法通过拍摄航空插头图像，视觉识别航空插头与插头孔位，对插头孔位进行排序编号，判定航空插头的安装结果，节省了检验航空插头孔位安装状态的人力成本且
效率高。

权利要求书2页 说明书5页 附图4页CN 110059676 A 2019.07.26
C N 110059676
A
1.一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，该方法包含：
S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度；
S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像；
S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标；
S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像；
S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域；
S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测；
S7、根据插头孔位坐标与防错销钉坐标，对插头孔位和防错销钉进行阵列多目标排序，对插头孔位进行编号；
S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果；
S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。

2.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S3步骤中的插头定位网络模型训练方法包括：
S31、在现场场景中采集大量不同种类的航空插头正面图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标，制作航空插头图像数据集D1；
S32、对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集D2；
S33、构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标，分类图像中的航空插头类型；
S34、使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数；
S35、训练完成后，保存插头定位网络模型。

3.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S6步骤中的插头定位网络模型训练方法包括：
S61、根据航空插头图像数据集D1中标注的插头坐标将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐标和防错销钉坐标，标注插头孔位的类别和防错销钉的类别；
S62、对插头孔位区域数据集D3中的每张图像进行图像增强操作，得到增强孔位区域数据集D4；
S63、构建孔位识别深度神经网络，建立孔位识别网络模型的训练目标，回归插头孔位区域图像中插头孔位坐标和防错销钉坐标，分类图像中的插头孔位和防错销钉的类型；
S64、使用插头孔位区域数据集D3和增强孔位区域数据集D4训练孔位识别神经网络，拟合网络模型的参数；
S65、训练完成后，保存孔位识别网络模型。

4.如权利要求2和权利要求3所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于：所述S32和S62中的图像增强操作包括图像白平衡、图像颜色变换、图像几何伸缩、图像旋转变换及图像随机噪声五种操作，所述S33中插头定位深度神经网络和S63中孔位识别深度神经网络包含特征提取网络、特征融合网络和输出网络，所述特征提取网络包含四层卷积层和池化层，所述特征融合网络包含三层上采样层和级联层，所述输出网络预测检测目标的类别和位置坐标，所述特征提取网络和所述特征融合网络之间连接有1×1的卷积过滤器，所述特征融合网络和所述输出网络之间连接有3×3的卷积过滤器。

5.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于：所述S4步骤中的尺寸约束条件为所述S3中航空插头候选目标的长宽比在0.6-1.4，所述S3中航空插头候选目标的长度大于所述S3中航空插头图像长度的四分之一。

6.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S7步骤中的阵列多目标排序方法包括：
S71、根据所述S6中输出的防错销钉的坐标计算插头孔位区域的几何中
心点以该点为极点，引向长宽比最大的防错销
钉的坐标的射线为极轴建立级坐标系；
S72、计算所述S6中输出的每个插头孔位的坐标P i＝(x i，y i)在极坐标系中的极角
和极径
S73、根据极径γi距离极点的距离将插头孔位坐标自外向内分为M个区段，第j个区段上的插头孔位坐标为P i J，自外向内根据每一层区段上的插头孔位坐标的极角大小对插头孔位进行排序，依此顺序对插头孔位区域的插头孔位进行编号。

7.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于：所述S8步骤中根据插头孔位的像素颜色判别孔位中是否安装导线。

一种基于深度学习与多目标分布排序的航空插头孔位识别
方法
技术领域
[0001]本发明涉及飞机制造智能装配领域，尤其涉及一种基于深度学习与多目标分布排序的航空插头孔位识别方法。

背景技术
[0002]在飞机制造中，飞机装配成本和装配工作量约占全机成本与工作量的一半，飞机装配中导线插头装配占有较大比重。

航空插头主要用来连接不同设备之间的电气通信，飞机上航空插头种类和数量繁多，每一种航空插头有其独立的安装状态结果，导线从航空插头背面安装至航空插头的孔位内后，需要对航空插头的安装结果进行校验，该过程严重依赖人工，工人需要区分航空插头正面已安装导线的孔位和未安装导线的孔位，搜索该插头在数据库中存储的安装状态结果，通过比对安装结果是否保持一致进而判断该插头中是否存在漏装导线的孔位，或者错装导线的孔位。

该过程繁琐复杂、效率低下，难以适应飞机批量的快速生产需求。

发明内容
[0003]本发明提供了一种基于深度学习与多目标分布排序的航空插头孔位识别方法。

[0004]为了实现上述目的，本发明采用了如下工作流程：
[0005]S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度。

[0006]S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像。

[0007]S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标。

[0008]S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像。

[0009]S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域。

[0010]S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测。

[0011]S7、根据插头孔位坐标与防错销钉坐标，对插头孔位和防错销钉进行阵列多目标排序，对插头孔位进行编号。

[0012]S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果。

[0013]S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。

[0014]优选地，所述S3步骤中的插头定位网络模型训练方法包括：
[0015]S31、在现场场景中采集大量不同种类的航空插头正面图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标，制作航空插头图像数据集D1。

[0016]S32、对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集D2。

[0017]S33、构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标，分类图像中的航空插头类型。

[0018]S34、使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数。

[0019]S35、训练完成后，保存插头定位网络模型。

[0020]优选地，所述S6步骤中的孔位识别网络模型训练方法包括：
[0021]S61、根据航空插头图像数据集D1中标注的插头坐标将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐标和防错销钉坐标，标注插头孔位的类别和防错销钉的类别。

[0022]S62、对插头孔位区域数据集D3中的每张图像进行图像增强操作，得到增强孔位区域数据集D4。

[0023]S63、构建孔位识别深度神经网络，建立孔位识别网络模型的训练目标，回归插头孔位区域图像中插头孔位坐标和防错销钉坐标，分类图像中的插头孔位和防错销钉的类型。

[0024]S64、使用插头孔位区域数据集D3和增强孔位区域数据集D4训练孔位识别神经网络，拟合网络模型的参数。

[0025]S65、训练完成后，保存孔位识别网络模型。

[0026]进一步的，所述S32和S62中的图像增强操作包括图像白平衡、图像颜色变换、图像几何伸缩、图像旋转变换及图像随机噪声五种操作。

[0027]进一步的，所述S33中插头定位深度神经网络和S63中孔位识别深度神经网络包含特征提取网络、特征融合网络和输出网络，所述特征提取网络包含四层卷积层和池化层，所述特征融合网络包含三层上采样层和级联层，所述输出网络预测检测目标的类别和位置坐标，所述特征提取网络和所述特征融合网络之间连接有1×1的卷积过滤器，所述特征融合网络和所述输出网络之间连接有3×3的卷积过滤器。

[0028]优选地，所述S4步骤中的尺寸约束条件为所述S3中航空插头候选目标的长宽比在0.6-1.4，所述S3中航空插头候选目标的长度大于所述S3中航空插头图像长度的四分之一。

[0029]优选地，所述S7步骤中的阵列多目标排序方法包括：
[0030]S71、根据所述S6中输出的防错销钉的坐标计算插头孔位区域的几
何中心点以该点为极点，引向长宽比最大的防
错销钉的坐标的射线为极轴建立级坐标系。

[0031]S72、计算所述S6中输出的每个插头孔位的坐标P i＝(x i,y i)在极坐标系中的极角
和极径
[0032]S73、根据极径γi距离极点的距离将插头孔位坐标自外向内分为M个区段，第j个
区段上的插头孔位坐标为自外向内根据每一层区段上的插头孔位坐标的极角大小对插头孔位进行排序，依此顺序对插头孔位区域的插头孔位进行编号。

[0033]优选地，所述S8步骤中根据插头孔位的像素颜色判别孔位中是否安装导线。

[0034]该发明的有益之处是，通过相机拍摄航空插头图像，视觉识别图像中的航空插头与插头孔位，对检测出的插头孔位进行分布排序与编号，判断插头孔位的安装状态，得知航空插头的安装结果，代替人工检验航空插头的安装结果，节省了人力成本且效率高；航空插头的插头孔位尺寸小，难以直接在航空插头图像中识别插头孔位，首先训练插头定位网络模型从图像中检测插头孔位区域，将插头孔位区域从图像中裁剪下来形成新的图像，继而训练孔位识别网络模型从插头孔位区域识别插头孔位，设计合理，能够分别从含有复杂工业背景的图像中检测航空插头和插头孔位，提高了识别结果的准确率；插头定位深度神经网络和孔位识别深度神经网络中特征提取网络的四层卷积层和池化层能够有效提取航空插头和插头孔位的特征，特征融合网络能够融合图像中不同尺度的提取特征，提高了网络的使用性能；航空插头候选目标的尺寸约束条件可以过滤图像中的噪声目标，保证预测的候选目标为航空插头，提高了航空插头定位的可靠性；结合防错销钉和插头孔位的阵列特征，在极坐标系下对插头孔位多目标进行排序编号，简单易行且适应性强；安装有导线的插头孔位为黄铜色，与未安装导线的插头孔位颜色差异明显，采用像素颜色判别插头孔位是否安装有导线的方式效率高且保证了准确率。

附图说明
[0035]图1为本发明的航空插头孔位识别流程图；
[0036]图2为本发明的典型航空插头的结构示意图；
[0037]图3为本发明的典型航空插头的孔位分布示意图；
[0038]图4为本发明的航空插头孔位识别过程的示意图；
[0039]图5为本发明的深度神经网络的结构示意图；
[0040]图6为本发明的单层航空插头孔位排序方法示意图；
[0041]图7为本发明的多层航空插头孔位编号方法示意图。

[0042]图2中，1、插头孔位，2、插头正面，3、防错销钉。

[0043]图4中，31、插头坐标，61、防错销钉坐标，62、插头孔位坐标。

[0044]从图2中可看出典型航空插头的形状与结构。

[0045]从图3中可看出典型航空插头的插头孔位和防错销钉的排列方式。

具体实施方式
[0046]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

[0047]在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便
于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

[0048]实施例1：
[0049]参照图1-2，一种基于深度学习与多目标分布排序的航空插头孔位识别方法，采用了如下工作流程：
[0050]S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度。

[0051]S2、相机对焦完成后，参考图3，在现场工业场景下捕获航空插头正面2图像。

[0052]S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，参考图4，输出航空插头的类别及在图像坐标系下的插头坐标31，作为航空插头候选目标。

[0053]S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像。

[0054]S5、若航空插头候选目标满足所述S4中的尺寸约束条件，参考图4，根据所述S3中插头定位网络模型输出的插头坐标31从图像中裁剪插头孔位区域。

[0055]S6、将插头孔位区域送入训练完成的孔位识别网络模型，参考图4，输出插头孔位区域中的插头孔位坐标62与防错销钉坐标61，完成插头孔位区域中的插头孔位1与防错销钉3的类别识别与位置检测。

[0056]S7、根据插头孔位坐标62与防错销钉坐标61，参考图6-7，对插头孔位1和防错销钉3进行阵列多目标排序，对插头孔位1进行编号。

[0057]S8、判定每个插头孔位1的安装状态，判断该插头孔位1中是否安装导线，进而得知整个航空插头的安装结果。

[0058]S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。

[0059]为解决难以直接从航空插头图像中识别插头孔位1的问题，参考图1，分别训练插头定位网络模型和孔位识别网络模型，参考图4，首先使用插头定位网络模型检测航空插头在图像中的插头坐标31，根据插头坐标31将插头孔位区域从图像中裁剪下来送入孔位识别网络模型，检测孔位坐标62与防错销钉坐标61。

所述插头定位网络模型的训练方法包括，在现场场景中采集大量不同种类的航空插头正面2的图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标31，制作航空插头图像数据集D1；对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集；构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标31，分类图像中的航空插头类型；使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数；训练完成后，保存插头定位网络模型。

所述孔位识别网络模型训练方法包括，根据航空插头图像数据集D1中标注的插头坐标31将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐标62和防错销钉坐标61，标注插头孔位1的类别和防错销钉3的类别；对插头孔位区域数据集D3中的每张图像进行图像增强操作，得到增强孔位区域数据集D4；构建孔位识别深度神经网络，建立孔位识别网络模型的训练目标，回归插头孔位区域图像中插头孔位坐标62和防错销钉坐标61，分类图像中的插头孔位1和防错销钉3的类型；使用插头孔位区域数据集D3和增强孔位区域数据集D4训练孔位识别神经网络，拟合网络模型
的参数；训练完成后，保存孔位识别网络模型。

所述图像增强操作包括图像白平衡、图像颜色变换、图像几何伸缩、图像旋转变换及图像随机噪声五种操作。

参考图5，所述插头定位深度神经网络和孔位识别深度神经网络包含特征提取网络、特征融合网络和输出网络，所述特征提取网络包含四层卷积层和池化层，所述特征融合网络包含三层上采样层和级联层，所述输出网络预测检测目标的类别和位置坐标，所述特征提取网络和所述特征融合网络之间连接有1×1的卷积过滤器，所述特征融合网络和所述输出网络之间连接有3×3的卷积过滤器。

[0060]所述S4步骤中的尺寸约束条件为所述S3中航空插头候选目标的长宽比在0.6-1.4，所述S3中航空插头候选目标的长度大于所述S3中航空插头图像长度的四分之一。

[0061]为解决插头孔位1的阵列多目标排序问题，参考图6，根据所述S6中输出的防错销
钉3的坐标计算插头孔位区域的几何中心点
以该点为极点，引向长宽比最大的防错销钉3的坐标
的射线为极轴建立级坐标系。

计算所述S6中输出的每个插头孔位1的坐标
P i＝(x i,y i)在极坐标系中的极角
和极径参考图7，根据极径γi距离极点的距离将插头孔位坐标62自外向内分为M个区段，第j个区段上的插头孔位坐标62为自外向内根据每一层区段上的插头孔位坐标62的极角大小对插头孔位1进
行排序，依此顺序对插头孔位区域的插头孔位1进行编号。

[0062]安装有导线的插头孔位1为黄铜色，与未安装导线的插头孔位1的颜色差异明显，所述S8步骤中根据插头孔位1的像素颜色判别孔位中是否安装导线，操作简单方便，值得大范围推广。

[0063]以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

图1
图2
图3
图4
图5
图6
图7。