基于小波时频图和ResNet18的焊接状态监测方法研究

现代电子技术
Modern Electronics Technique
Apr. 2024Vol. 47 No. 8
2024年4月15日第47卷第8期
0 引 言
焊接作为现代制造业的重要组成部分，其涉及领域非常广，包括机械加工、石油储气、汽车等行业，且焊接
技术水平的高低能够反映出一个国家制造业的发展状况。

熔化极气体保护焊（Gas Metal Arc Welding, GMAW ）因采用明弧焊接、熔池可见度好、受热应力变形小以及焊接效率高等特点，被广泛用于全位置焊接中。

焊接过程中出现未熔合、气孔、咬边等焊接状态，会
DOI ：10.16652/j.issn.1004⁃373x.2024.08.027
引用格式：张亚文，吴立斌，周建平.基于小波时频图和ResNet18的焊接状态监测方法研究[J].现代电子技术，2024，47（8）：165⁃170.
基于小波时频图和ResNet18的焊接状态监测方法研究
张亚文1， 吴立斌2， 周建平3
（1.新疆大学 智能制造现代产业学院（机械工程学院）， 新疆 乌鲁木齐 830000； 2.四川石油天然气建设股份有限公司， 四川 成都 610213；
3.新疆大学 智能制造现代产业学院（机械工程学院）， 新疆 乌鲁木齐 830000）
摘 要： 针对焊接过程中因外部干扰因素或焊接参数选择不当而导致的气孔和未熔合缺陷的问题，提出一种小波时频图和深度残差网络（ResNet18）相结合的焊接质量检测方法。

首先，搭建管道全位置自动焊接试验平台，利用拾音器记录熔合良好、未熔合和气孔焊接状态下的声音信号，将采集到的声音信号进行小波阈值降噪处理并且计算信号的信噪比，从而得到合适的信号降噪方法。

其次，使用连续小波变换得到小波时频图，对时频图进行压缩和预处理，将时频图的大小设置为224×224，并剔除时频图上的标题、坐标和能量等。

最后，将处理好的小波时频图作为输入，以未熔合、熔合良好和气孔三种状态作为输出，利用ResNet18网络进行训练。

结果表明，该模型对三种焊接状态下的声音信号具有良好的监测效果，其准确
率为90.78%。

关键词： 焊接过程； 焊接质量检测； ResNet18； 深度残差网络； 声音信号； 小波阈值降噪； 小波时频图
中图分类号： TN911.23⁃34 文献标识码： A 文章编号： 1004⁃373X （2024）08⁃0165⁃06Research on welding condition monitoring method based on wavelet time⁃frequency
diagram and ResNet18
ZHANG Yawen 1, WU Libin 2, ZHOU Jianping 3
(1. College of Intelligent Manufacturing and Modern Industry (School of Mechanical Engineering), Xinjiang University, Urumqi 830000, China; 2. Sichuan Petroleum and Natural Gas Construction Company Limited, Chengdu 610213, China;
3. College of Intelligent Manufacturing and Modern Industry (School of Mechanical Engineering), Xinjiang University, Urumqi 830000, China)
Abstract ： In allusion to the problems of porosity and unfused defects caused by external interference factors or improper selection of welding parameters in the welding process, a welding quality inspection method combining wavelet time ⁃frequency mapping and deep residual network (ResNet18) is proposed. A testing platform for pipeline all ⁃position automatic welding is constructed, and the sound signals under the weld states of good fusion, unfused and porosity are recorded by means of a pickup, and the collected sound signals are subjected to wavelet threshold noising reduction and the signal⁃to⁃noise ratio is calculated, so as to obtain a suitable signal noising reduction method. The wavelet time ⁃frequency diagram is obtained by means of the continuous wavelet transform, and the time ⁃frequency diagram is compressed and preprocessed, and the size of the time ⁃
frequency diagram is set to 224×224, and the title, coordinates and energy on the time ⁃frequency diagram are eliminated. By using processed wavelet time ⁃frequency maps as input, and the three states of unfused, well ⁃fused and porosity as output, the ResNet18 network is used for training. The results show that the model has a good effect of monitoring the sound signals in the three welding states with an accuracy of 90.78%.Keywords ： welding process; welding quality inspection; ResNet18; deep residual network; sound signal; wavelet threshold
denoising; wavelet time⁃frequency map
收稿日期：2023⁃11⁃17 修回日期：2023⁃12⁃25
165
现代电子技术2024年第47卷
使得焊缝出现焊接缺陷、结构力学性能变差，容易造成焊件报废，从而降低生产效率以及增加生产成本[1]。

在目前的焊接工艺流程中，焊接质量的评定是在焊接完成后，使用无损检测、超声波检测及金相分析等方法发现焊缝产生的缺陷位置，从而进行焊后打磨或者坡口返修，但这会增加时间成本。

如果能够在焊接过程中对焊接的质量进行实时监测，当出现焊接质量问题时，操作人员能够及时进行干预和处理，可以在一定程度上提高焊接质量，提升焊接效率和节约相应的成本。

有经验的工人一般会根据焊接时的电弧声音来判断焊接质量，进而实时地调整工艺参数，这主要是因为焊接过程中产生的声音信号蕴含着与焊接质量密切相关的信息。

文献[2]针对不同焊接熔透状态，提出了一种基于主观评价的熔透状态识别方法。

针对电弧音色特征构建音色空间模型，利用支持向量机模型实现对熔透状态的识别，识别率能够达到91%以上。

文献[3]对焊接过程中所形成的噪声信息进行了收集，首先通过频域对噪声信息进行了特征提取；再基于修正的梅尔频率的光谱系数和稀疏对不同焊缝的熔透特性信息进行获取；然后通过SVM技术对所采集的信息加以识别。

结果表明，该方法识别效果良好，准确率能够达到98%。

文献[4]通过采集焊接声音、电流、电压等数据构建数据集，提取特征并构建特征集，利用支持向量机模型对焊接状态进行预测。

结果表明，分类识别率能达到99%以上。

文献[5]针对焊接的熔透状态与声音相关的特性，提取出与声音信号相关的短时幅值平均值、幅值标准差、能量和及对数能量平均值等特征；再将上述的特征构建成特征集，并且建立SVM分类模型，实现了对铝合金脉冲GTAW的熔透状态的识别。

文献[6]通过采集焊接过程中的声音信号，采用模拟人类听觉皮层反映的方式提取相关特征向量，构建了听觉感知模型来识别焊缝的熔透状态。

焊接过程中，电弧干伸长过长、保护气体不畅以及焊接参数会产生未熔合和气孔缺陷，进而对焊接质量造成影响。

为此，本文提出了一种基于小波时频图和深度残差网络（ResNet18）相结合的焊接缺陷检测方法。

针对焊接熔合良好、焊接气孔和未熔合缺陷，先对采集到的焊接声音信号进行小波降噪处理，再对降噪后的声音信号进行连续小波变换，得到小波时频图。

之后，将小波时频图输入到深度残差网络（RetNet18）中，将熔合良好、焊接气孔和未熔合三种焊接状态作为输出。

1 信号预处理及特征提取
焊接是一个复杂的物理化学的局部冶金过程，焊接过程中容易受到外部因素影响，如：环境噪声、焊接设备以及人的声音等。

因此，实际采集到的焊接声音信号中包含一些噪声信号，为了后续对焊接声音信号进行分析，需要对焊接声音信号进行相应的降噪处理，并利用连续小波变换得到小波时频图，为后续识别分类做准备。

1.1 小波降噪
由于焊接所采集到的声音信号容易受到焊接电源、焊接机器人的运行以及外部环境噪声的影响，因此拾音器采集到的焊接声音信号包含一定噪声信号。

为避免其对后续的特征提取造成影响，需要对采集到的信号进行降噪处理。

本文所采用的小波阈值降噪法目前已经应用在多个领域中，对信号的降噪处理有良好的效果[7]。

设含有噪声的信号模型为：
f(i)=s(i)+n(i)（1）式中：f(i)为含噪信号；s(i)为原始采集的信号；n(i)为噪声信号。

小波阈值降噪是对采集到的含有噪声的信号进行多尺度的小波分解，得到低频和高频系数；然后再采用阈值函数对高频系数进行阈值处理；最后将处理好的信号进行重构，得到降噪后的信号[8]。

小波降噪过程按以下步骤进行：
1）对含噪声的信号在多尺度下进行分解，将原始信号和噪声信号分离；再选择小波函数和分解层数M，对信号进行M层小波分解。

2）选择合适的阈值，并将小波分解后的高频系数进行阈值处理。

3）利用小波逆变换对阈值处理后的小波系数进行处理，得到重构后的信号。

为了得到合适的降噪效果，需要确定小波函数、阈值以及分解层数等。

1.2 小波时频图
焊接电弧声音是焊接时电弧产生能量的变化而产生的振动，而焊接质量与焊接电弧的状态、电弧在熔池中位置以及坡口边沿的熔化状态密切相关[9]。

与人类产生语音信号非常相似，电弧声音信号的发声模型可以分为声源和声道模型，电弧声源模型一般认为电弧声信号的激励来源为焊接电信号[10]。

焊接出现不同的焊接状态时，焊接电流会发生突变，并且会导致声音信号发生变化，此时的声音信号可视作非平稳信号。

傅里叶变换在处理非平稳信号时无法突出分析信号的突变时间，因此不适合处理非平稳的信号。

而小波变换采用随频率变化的时频窗对信号进行时频分析，并且通过伸缩平移运算对信号逐步进行多尺度分析，最终达到在高频和低
166
第8期
频处频率都进行细分处理，能自动适应时频信号分析的要求[11]。

将可平方和积分的信号f (t )转换成连续小波，公式如下：
WT x (α,τ)=
1
α
∫-∞
+∞x (t )ψ
()
t -τ
α
d t （2）
式中：
WT x (α,τ)为小波变换系数；α为缩放因子；τ为平移因子。

将采集到的声音信号转换成小波时频图，具体的实现过程如下：
1） 设α为伸缩因子，
f s 为采样频率，F c 为小波中心频率，则实际频率为：
F a =F c ·f s α
（3）2） 尺度序列形式为：
c totalscal,c (totalscal -1),L ,c 2,c
（4）
式中：
totalscal 是对信号进行小波变换时所用尺度序列的长度；c 为常数；c totalscal 尺度对应的实际频率为
f s 2。

因此根据式（4）可得出尺度序列：
c =2·F c ·totalscal
（5）
3） 根据确定的小波基和尺度，通过式（2）求出小波
系数；然后依据式（3）将尺度序列转换为实际频率序列f ；最后结合时间序列t 即可绘制小波时频图，获取特征
信息。

1.3 ResNet18网络分类模型
2016年，He 等人提出了ResNet 残差网络模型，该模
型的思想是短路连接（Shortcut Connection ），它能够解决传统神经网络的梯度爆炸和网络退化问题。

ResNet 残差网络模型主要由卷积层构成的模块组成，这些模块被称为残差模块[12]。

残差模块的输入通过恒等映射直接加到模块的输出中，深度残差网络由多个残差模块组成，每个残差网络可以拟合上一个分类器的误差，从而达到提升分类能力的效果
[13]。

残差模块基本结构如图1所示。

图1 残差模块示意图
ResNet 网络将每组残差单元映射中的网络设为
一个残差模块，残差模块的定义如下：
y =F (x ,{}W i )+x
（6）
式中：x 、y 分别为残差模块的输入和输出向量；F (x ,{}W i )是待训练的残差映射，并且式（6）中的x 与F 维
度需相同。

如果存在池化导致维度不同，这时则需要在短路连接中增加恒等映射来实现维度匹配，公式为：
y =F (x ,{}W i )+W s x
（7）
ResNet18是由17个卷积层与1个全连接层构成，其
中17个卷积层由一个独立卷积和4个残差模块组成。

该网络是由多个残差模块所组成的，每个残差模块利用恒等映射的方式将模块的输入和输出信息进行合并，最后一个残差模块与全连接层相连，以此来降低拟合误差，最后经过Softmax 操作得到类别的概率[14]。

ResNet18网络结构如图2所示，具体参数如表1所示。

表1 ResNet18网络具体参数
层名称Conv1Conv2_x Conv3_x Conv4_x Conv5_x 输出层
输出尺寸112×11256×5628×2814×147×71×1
网络结构
éëêêùûúú7×7,64最大池化层×2
éëê
êùû
úú3×3,643×3,64×2éëê
êùûúú3×3,1283×3,128×2éëê
êùûúú3×3,2563×3,256×2éëêê
ùû
úú3×3,5123×3,
512×2
平均池化层全连接层Softmax
2 管道焊接试验平台
2.1 试验设备
为了获取管道全位置自动焊接过程中的声音信号，
本文搭建了基于GMAW 焊接特点的管道焊接系统。

管道焊接系统主要由焊接试验系统、声音信号采集系统以及运动控制系统三部分组成。

焊接试验系统由安意源500型焊接小车、E52系列气保控制电源、焊枪升降机构组成；信号采集系统由拾音器和采集卡组成；运动控制系统由遥控器、驱动器以及步进电机组成。

管道焊接设
备安装示意图如图3所示。

焊接采用上行焊接的方法，焊接时由遥控器发出指
令，焊接小车由180°向0°焊接，声音信号采集设备安装在电弧水平距离焊接电弧100 mm 处，用于采集焊接过程中的声音信号。

该设备的采样频率为44.8 kHz ，符合焊接声音信号的采样需求。

张亚文，等：基于小波时频图和ResNet18的焊接状态监测方法研究
167
现代电子技术
2024年第47
卷
图3 管道焊接设备安装示意图
2.2 试验材料
焊接管道的材料为L245NS ，规格为
Φ406 mm ×15 mm ，焊丝为BOHLER EMK 6的实芯焊
丝，直径为1.0 mm 。

管道坡口角度为22.5°，组对间隙为1.0 mm 。

管道分为左右两个半圆，每个半圆各180°，焊接时
按照角度可分为平焊（0°~60°）、立焊（60°~120°）、仰焊（120°~180°），其中每15°为一个段，一共有24段，其管道相关的示意图如图4所示。

管道焊接按照填充分为：根焊(第1层)、热焊（第2层）、填充（3~6层）和盖面层（第7层），本文信号采集工作主要集中在热焊层和填充层。

焊缝填充层道数示意图如图5
所示。

图4 管道分区示意图
2.3 设置对照组试验
在焊接时，模拟焊接真实环境并同步采集焊接时产
生的声音信号；再根据焊接材料和工艺选择最优的焊接工艺参数，设置三组对照组试验，其中一组采用正常的焊接工艺，其他两组人为模拟焊接出气孔缺陷和未熔合缺陷。

在其他焊接参数不变的情况下，在两组对照管道试验的平焊位置（0°~15°）、立焊位置（90°~100°）和仰焊位置（170°~180°）处分别采用减少气体和将焊炬摆动距离减少，以此模拟产生气孔缺陷和未熔合缺陷。

三种焊接状态示意图如图6所示。

记录上述的焊接声音信号，并将声音信号分成三类，
方便后续分析。

图5
焊缝填充层道数示意图
图6 三种焊接状态示意图
3 实验验证
3.1 声音信号降噪处理
焊接时将焊接声音信号进行采集，剔除掉焊接前后
起弧阶段和收弧阶段的声音信号，再将数据进行保存。

本文选取db4函数进行去噪处理，分解层数为4层，图7所示是降噪前后声音信号的波形对比图。

由图可知，经
过小波阈值降噪处理之后，焊接声音的原始特性变得更加明显，原始声音信号中的高频信号明显减少。

3.2 小波时频图提取及预处理
利用连续小波变换将降噪后的声音信号进行处理，
图2 ResNet18网络结构
168
第8期
本文采用db6小波基函数，分解层数设为5层，样本的时间长度为3 000 ms 。

图8为三种焊接状态下的声音信号的小波时频图。

连续小波变换处理后的小波时频图无法直接使用，需要对时频图进行预处理，其步骤如下：1） 使用连续小波变换的方法将焊接声音信号生成为小波时频图。

2） 去除小波时频谱图周边的坐标、文字、能量条等内容。

3） 根据深度残差网络输入层样本图片要求，将小
波时频图处理为245×245的大小，然后对时频图进行压
缩处理。

图7
降噪前后的声音信号
图8 不同焊接状态下的小波时频图
得到小波时频图后，再对小波时频图进行预处理压缩，预处理后的小波时频图如图9所示。

三种不同焊接状态的小波时频图样本各1 200个，选取其中的 960个作为训练样本，剩余的240个作为测试样本，并且对三种焊接状态进行标签化处理，为后续模型分类识别
做准备。

图9 预处理后的小波时频图
3.3 焊接状态分类
在焊接试验过程中，将三种不同焊接状态的声音信
号各提取10 s ，并将所有的声音信号进行降噪处理和转换成小波时频图；再将小波时频图样本集随机按照8∶2的比例分成训练集和测试集；最后在深度残差网络中进行训练，训练结果见图10。

训练样本经过20轮迭代和180次训练，得到最优的损失和准确率，将测试集放入模型进行测试，得到其准确率为90.78%。

结果表明，所提模型对三种焊接状态下的声音信号检测效果较好。

4 结 论
本文搭建了管道全位置自动焊焊接试验平台，针对
张亚文，等：基于小波时频图和ResNet18的焊接状态监测方法研究169
现代电子技术
2024年第47卷
三种焊接状态所产生的声音信号，采用小波时频图直接作为焊接状态识别的依据，建立了基于小波时频图和深度残差网络（ResNet18）模型，进行三种焊接状态的声音
识别的实验研究，并且验证了该模型的有效性。

测试集的验证效果表明，该焊接状态检测方法可以为焊接过程中的在线质量检测提供一定参考。

作者简介：张亚文（1995—），男，新疆伊犁人，硕士研究生，主要研究方向为焊接自动化。

吴立斌（1967—），男，江苏金坛人，高级工程师，
主要研究方向为全位置管道焊接技术与工艺。

图10 训练结果
参考文献
[1] 谭棋.基于电弧声信号的管道全位置焊接状态监测技术研究[D].襄阳：湖北文理学院，2023.
[2] 赵佳敏.基于电弧声主观评价与音色建模的焊缝熔透状态识
别[D].南昌：南昌航空大学，2021.
[3] 郭鹏，孙章龙，高继民，等.基于共稀疏模型的MAG 焊熔透状
态的识别[J].南昌大学学报（工科版），2018，40（4）：390⁃396.[4] RAMESHKUMAR K, VIGNESH A, GOKULA C P, et al.
Machine learning models for weld quality monitoring in shielded metal arc welding process using arc signature features [J]. SAE international journal of materials and manufacturing, 2022, 15(4): 347⁃365.
[5] 张欢欢.基于声音信号频率特征的铝合金脉冲GTAW 熔透识
别方法研究[D].上海：上海交通大学，2016.
[6] WANG Q S, GAO Y F, HUANG L R, et al. Weld bead
penetration state recognition in GMAW process based on a central auditory perception model [J]. Measurement, 2019, 147:
106901.
[7] 李薇，白艳萍.基于MEEMD 小波软阈值函数的去噪方法[J].重
庆理工大学学报（自然科学），2018，32（5）：189⁃198.[8] 刘晓凰，李春英.基于EEMD 分解和改进小波阈值降噪的齿轮故障诊断[J].机械管理开发，2018，33（4）：76⁃78.[9] 陈凯.基于焊接参数及电弧声音的薄板CMT 搭接质量监测研究[D].上海：上海交通大学，2019.
[10] 吕娜.基于电弧声信号的铝合金脉冲GTAW 熔透特征识别及
其实时控制研究[D].上海：上海交通大学，2014.
[11] 向小民，汪杰，卢云.基于小波时频图和AlexNet 网络的电弧
故障诊断方法[J].国外电子测量技术，2022，41（10）：170⁃177.[12] HE K, ZHANG X, REN S, et al. Deep residual learning for
image recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 770⁃778.
[13] 管淑贤，葛万成.基于ResNet18的减速带识别及其环境影响
研究[J].通信技术，2021，54（3）：597⁃603.
[14] 单巍，董璇，龚佳佳，等.基于Resnet18网络的红外图像行人
危险动作识别[J].河北师范大学学报（自然科学版），2023，47
（3）：245⁃250.
170。