结构光在集装箱顶角加强板焊缝定位中的应用

结构光在集装箱顶角加强板焊缝定位中的应用
王海霞;林青;许琳
【摘要】According to the welding characteristic of container reinforced plate, an automation positioning method based on the structured light of the welding seam is developed.Two traits are included in the method: The camera is located on a right-angled framework, and its optical axis is normal to the working plane,then depth information can be obtained by comparing the size of area, accordingly three-dimensional information extraction can be transformed into two-dimensional and space point can be transformed image point by affine transform.This system consists of two lasers and one camera.lt will be much easier to process image because of the significant characteristic of laser light in welding environment when laser is used as an aide to help camera to locate much reliably.The particular implementation procedure is as follows: Transition emerged on the welding between the reinforced plate and the roof plate when two laser beans are projected to an angel of the reinforced plate.Four couple of image coordinates of transition points are attained by processing tripe effectively which are used to gain the reinforced plate's welding initial characteristic point and orientation by fitting a straight line,finally the other characteristic points can be attained one by one referring to the image template which is made beforehand.This system takes advantage of the laser efficiently, resolves the automatic positioning problems on reinforced plate welding beam reliably.%针对集装箱顶角加强板的焊接特点,设
计了一种基于结构光的自动焊缝定位方法.该方法主要有两个特点:一是将摄像机安装在机器人上,使光轴垂直工作平面,通过比较面积大小来获得深度信息,从而将三维信息的获取问题转化为二维信息的提取,并利用仿射变换获得空间信息;二是利用激光器与摄像机相配合的方式进行定位,由于激光束在焊接环境中的特征明显,可降低图像处理的难度.具体实现过程是利用两条线激光打在加强板的一个角上,在加强板和顶板之间的焊缝处出现转折,通过对激光条纹的有效处理,获得4对转折点的图像坐标,然后拟合直线求出加强板的焊接初始位置及方向,再结合事先制作的图像模板将加强板的其他特征点逐一求出.该系统有效地利用了激光器的优势,可靠地解决了加强板焊缝的自动定位问题.
【期刊名称】《计算机工程与应用》
【年(卷),期】2011(047)023
【总页数】4页(P220-223)
【关键词】视觉定位;结构光;仿射变换;图像处理
【作者】王海霞;林青;许琳
【作者单位】山东科技大学山东省机器人与智能技术重点实验室,山东青岛266510;山东科技大学山东省机器人与智能技术重点实验室,山东青岛266510;山东科技大学山东省机器人与智能技术重点实验室,山东青岛266510
【正文语种】中文
【中图分类】TP242
WANG Haixia，LIN Qing，XU Lin.Weld seam positioning method of container reinforced plate based on structured puter Engineering
and Applications，2011，47(23)：220-223.
目前，集装箱制造厂中80%的焊接工作采用人工焊接，包括波纹板焊接[1-2]、外伸梁焊接[3]、中梁焊接[4]、侧板焊接、加强板焊接等。

由于其工装粗糙很难实现自动焊接，若改进工装完全实现自动化又增加成本、降低生产速度，这是目前竞争激烈的集装箱生产行业不愿付诸实施的方式。

但日益上升的以人为本、人性化管理的社会利益驱动，需要一套成本低廉、定位精度高、使用方便，而且能够被推广应用的自动焊接机器人，将工人从恶劣的污染环境中解脱出来，同时保证焊接质量和焊接效率。

为解决这一问题，研究人员针对不同的焊接工种，设计专用的焊接机器人来代替工人工作[1-4]，这些机器人是通过特殊的结构实现自动焊接，比如仿形焊是针对厚
板搭接焊的特点设计的，利用触头顶住厚板的边缘引导焊枪进行焊接，但对于薄板以及一些复杂形状的焊接就需要利用传感器来判断焊缝的定位。

目前，提取焊缝信息的传感器有电弧[1]、机械[2]、超声[3]和光电式传感器[5-11]等。

以前，研究人员直接利用电弧光照射熔池前方的焊缝区域获取焊缝信息[4]。

近年来，光学传感
器的应用越来越广，主要包括红外、光电、激光、视觉、光谱和光纤式等传感器，光学传感器的研究以视觉传感器为主，视觉传感器由于可以远离强光、强热区，采集信息量大，因而在焊接领域得到广泛的应用[5-6，10-11]。

利用视觉获取焊缝
信息的方法主要分两种：结构光式和模板匹配方法。

其中基于结构光的视觉系统具有高度的灵活性、精度高、获取信息能力强，这种传感器正在成为智能自适应焊接机器人焊接优先选用的视觉系统[7-9]。

基于模板匹配技术也在自动焊接中有较多
的应用[10-11]，但该方法具有时间复杂度高、对图像亮度与尺寸变化敏感等缺点，难以有效地应用到实时性要求高的焊接现场。

鉴于此，提出一种简单、可靠、精确高的集装箱顶角加强板焊缝定位方法，并通过实验验证了该方法的有效性。

集装箱顶角加强板焊接是一种占用劳动力多、焊接工艺简单的焊接任务，它是被补
焊在集装箱顶板的四个角上，如图1，目的是增加顶板四个角的强度，需要四个工人才能完成，占用劳动力多，增加焊接成本，但是相比波纹焊而言，它的工艺简单、位置变化范围小，板形、尺寸已知，又是平面作业，是实现自动焊接的有利条件。

如图1所示是“L”形加强板的焊接环境，加强板的尺寸是300 mm×400 mm×3 mm，它通过三角定位块简单地被固定在顶板的一个角处，相对于集装箱体来说，加强板位置是不变的，但整个箱体在上部工位的位置是变化的，这是因为集装箱是通过链条传动带动其前行，当到达顶板的焊接工位时有一个自动弹出的挡块阻止其前行，由于惯性箱体碰到挡块后又反弹回去，造成加强板在工装上的焊位发生变化，而且滑道粗糙，使得停下来时前后轮不在一条直线上，形成一定的夹角。

根据生产需求，要求焊接机器人安装在与地面相连的上部工位框架上，那么相对机器人来说，焊接目标的位置每次都是变化的，其变化范围在10 mm内。

另外，考虑加强板面相对于焊接工位的深度是一致的，只是不同型号的集装箱高低有所差异。

因此，本文需要解决的问题是在310 mm×410 mm范围内实现平面焊缝的自动定位问题。

设相机坐标系的Z轴垂直空间平台，用(u，v)表示图像点，(x，y)表示空间点，则图像点与空间点之间的关系表示为：
其中θ是两坐标系的相对旋转角度，(xo，yo)是相对平移矢量，dx和dy分别是x，y两个方向上的缩放率，若再考虑相机发生畸变产生的剪切变换，仿射矩阵H可
表示成：
其中M是2×2的非奇异矩阵，t是一个二维矢量，共有6个未知数，需要三对对应点可求出仿射矩阵H。

多于三对点则可利用下面约束下求解：
称这一过程为系统标定。

因为，同一型号的箱体加强板形状和高度相同，H也不
再发生变化，即使深度有变化也可用后面方法求出深度。

根据目标实际尺寸制作一个图像模板，如图2中ABCDEF所表示的图形，它的图
像点 A，…，F 均已知，A′B′C′D′E′F′表示实际的加强板图形；以模板的两个边建
立坐标系u-A-v，利用图像处理获得实际图像的位置和方向，表示如下：
其中，点A′和向量A′B′可通过激光束辅助的图像处理方法获得，后面将介绍具体
实现方法。

加强板图像的其他坐标可以通过下式计算得到：
在制作模板时，除了存储图像点信息外，还需存储对应的深度信息和面积。

在实际工作中，集装箱的高度是有差异的，这时不需要重新标定，只需比较目标图像和模板图像的面积就可以计算出深度信息，因此在计算平面点(x，y)之前，可以先通过计算面积来获得目标的深度信息。

通过简单推导可知目标深度信息与其图像面积的1/2次方成反比，由于篇幅所限，具体过程不在这里赘述。

从前面的基础理论可知，该系统的难点关键在于图像点的准确提取，即激光条纹在加强板上所形成的断点的提取，因为图像点A′和向量A′B′是通过这些点计算出来的，因此，如何准确提取断点则是决定最终焊缝定位准确与否的关键所在。

由前面介绍可知，为了降低图像处理难度，将激光束斜射在放置于集装箱顶角的加强板上，由于集装箱顶板与加强板在垂直方向深度不同，从垂直加强板的方向看去，反射光形成一条折线，在加强板的边界得到4对转折点，如图3(a)。

通过简单的
图像处理便可以获得图中的4对转折点，如图3(b)中的红色点和黑色点，利用这
4对点便可以确定目标在图像中的位置以及姿态。

理论上，A′F′和A′B′边上的黑色点和红色点均在同一条直线上，这样就可以通过4点拟合一条直线得到加强板两
条边的直线方程，向量A′B′便可以获得，再计算两条直线的交点便得到顶点A′的
坐标。

但实际上，由于激光部分光点在加强板上会被吸收以及图像处理有可能将有用信息去除，导致它们并不在同一条直线上。

因此，利用每对转折点的中点作为直线上的点，这样每条边上可以获得两个中点，则可通过两点定一线、两线交一点的原理，计算出点A′和向量A′B′。

准确地提取激光条纹中心线将关系到后续特征点精确提取的成败，也是整个焊缝定位系统的关键步骤。

为了提高图像处理的速度，增加焊缝特征点提取的可靠性，先
要确定图像中条纹的区域，由于激光条纹在图像中的颜色信息明显，如图4(a)中
图中R值的直方图所示，颜色取值范围集中、易于提取，因此可采用彩色分割的
方法确定条纹区域，该方法不需要针对每幅图片重新设定分割阈值，有较好的普适性；然后对图像进行二值化、去噪声处理，如图4(b)、(c)中所示，传统的滤波方
法在去除噪声的同时，图像的细节特征也变得模糊，不利于后续处理。

本文为了尽可能多地消除干扰噪声，而又能尽量减小对有用的激光条纹产生不良影响，采用数学形态学的方法来去除噪声。

考虑到部分激光条纹区域出现断裂和模糊，而该方法的最终目的是提取4对转折点，因此在去噪时要尽量减少对转折处的滤波。

故本
文采用膨胀-腐蚀-膨胀的操作来消除噪声，同时填充激光条纹的细小断裂和凹槽；最后，对去噪后的图像进行细化，得到激光条纹的中心线，如图4(d)。

在实际应用中一条激光束形成的直线段不止三条，在边缘部分会有些离散的小线段，而对本方法有用的信息是激光条纹打在加强板上形成断裂的三段条纹。

因此必须提取这三条条纹，才能获得所需的转折点。

图像细化后的直线是用单像素且连续的线条，方便特征点的提取。

本文结合激光条纹之间的位置关系提出一个简单的分割方法，该方法分为自上而下和自下而上两部分，自上而下搜索方法是为了分割第一条激光条纹形成的直线段，自下而上是分割第二条激光条纹形成的直线段，具体实现过程如下。

图5(a)是本方法的结构元素，每个位置的值均为 1，标有“+”处为原点，“0”“1”“2”“3”分别表示模板元素的四个位置。

当模板与图中的直线
区域作卷积运算时，将有5种情形，如图5(b)，(c)，(d)，其中间点情形有3种。

下面将以自上而下的搜索方式为例介绍算法的程序步骤：
步骤1 设定初始参数
index=1：循环列变量的起始值；
flag=1：记录直线段的条数；
flag1=0：记录每条直线段中像素点的个数。

步骤2 判断index是否小于图像宽度width_image，是则转向步骤3，否则结束。

步骤3 给循环列变量和行变量初始赋值，i=index，j=1。

步骤4 按照模板中1-3-2-0的位置顺序对原图进行卷积运算，当卷积值在X(X=0，1，2，3)位置时为1，则直接跳出循环，直接进行步骤5(表明遇到直线)；否则，
当所有卷积值都为0时，循环变量加1，重复步骤4。

步骤5 flag1=flag1+1，分别将X位置的行和列值存到矩阵 Line_i[flag，flag1]和Line_j[flag，flag1]中，并将模板原点移动到这一位置。

步骤6 按照1-3-2的位置顺序进行卷积运算，当卷积值在x(x=1，2，3)位置为1时，停止计算，转向步骤5(继续搜索直线)；否则，当卷积中所有值都是0时，转向步骤7(一条直线搜索结束)。

步骤7 flag1=flag1+1，将 x位置的行列值记录在Line_i[flag，flag1]和
Line_j[flag，flag1]中，并将x位置的行赋给index，flag=flag+1，flag1=0，转向步骤2。

自下而上的搜索方法只是循环变量以及变化方向有所改变，这里不再详细介绍。

通过这一简单的分割方法，将图像中所有直线信息存储在Line_i和Line_j中，根
据激光条纹的位置关系以及每段条纹的长度特征，可以很容易地将其中有效的六段条纹提取出来，并得到相关的4对转折点的坐标，然后根据3.1节中的方法获得A′和A′B′。

本实验是在MOTOMAN-SV3X机器人平台上进行的，其中摄像机采用德国BASLER公司的A102fc彩色摄像头，扫描面积为2/3′，分辨率为1 392×1 040，输出格式IEEE 1394。

激光器采用上海磐川光电科技有限公司生产的型号为PL-6310L-LB的半导体红光一字线激光器，线宽3 mm，功率10 mW。

直角支架是
利用2 mm厚的Q235制作的。

在实验进行之前，首先制作一张与加强板形状相同的模板，将其放在板面上，在实
验室环境下获取其图像，然后进行图像角点提取、面积计算、顶点的空间坐标测量等工作，为后续的系统标定做准备。

其中顶点的空间坐标是利用MOTOMAN-
SV3X机器人获得的，机器人重复定位精度<0.03 mm；而图像点的提取可以通过Harris角点算法进行提取。

由于实验室工作平台是白色，模板是黑色，几乎没有
噪声，因此很容易将模板的角点提取出来，而且精度很高，为了后续焊缝特征点的精确定位，可多次实验选择效果最好的图像作为模板。

最后，在获得模板的6个
图像点和对应6个空间点后，利用公式(2)和(3)便可以求出仿射变换矩阵H。

接下来将介绍本文提出的结构光视觉定位方法在实验中的具体实施过程。

首先，由于加强板的移动范围很小，双激光条纹的位置也变化不大，保持在图像的上半部分，因此，在图像处理过程中只需处理图像的上半部分，这样大大降低图像处理时间同时也保证了处理精度；其次，在提取激光条纹中心线时，考虑条纹之间的关系及宽度，选择5×5的矩形结构元素进行去噪；最后，在得到加强板图像的A′和A′B′后，利用2.2节中的公式(6)将加强板的其他图像点计算出来，并求出区域面积，再根
据2.3节内容和公式(3)，分别求出深度信息和空间点坐标。

下面是本实验的实验
结果：
表1和表2分别是目标在不同高度时计算的实验结果，两次深度信息的理论值分
别是79 mm和75 mm，根据以上数据可知，深度信息计算比较准确，误差不超
过0.2 mm，平面坐标误差不超过2 mm。

简单分析影响实验精度的因素有两方面：一是由系统标定造成；二是图像点提取带来的误差。

在标定过程中模板的图像点提取精度很高，但测量模板空间点位置是通过控制机器人进行对点来实现的，这是一种通过肉眼观察进行的定位方法，与专业的测量仪器测量精度有很大差别，因此，利用专用的测量仪器将会减小这部分误差。

另外，在转折点提取时，可能由于去噪处理去除了部分有用信息，导致点的提取误差，后续工作将会在这方面作进一步的改进。

提出一种基于结构光的焊缝定位方法。

该方法首先利用激光束在焊接板上的明显特征，使其成为焊缝特征点提取的辅助工具，大大简化了图像处理难度，并利用彩色阈值分割法提取条纹区域，避免了阈值选取的麻烦，提高了图像处理的可靠性；其次，在去除噪声时，充分考虑数学形态学变换所具有的平移不变性和递增性，综合使用膨胀和腐蚀操作，较好地消除了图像中的干扰，并补缺激光条纹上的细小断裂和有用信息；同时，提出一种简单的上下搜索方法将细化后的激光条纹进行分割，为转折点的提取提供了方便；最后，利用仿射变换和面积比得到焊缝角点的空间坐标。

实验证明该方法思路简单、容易实现、抗干扰能力强、定位精度高，是一种具有应用价值的焊缝定位方法。

【相关文献】
[1]林柏山，张善宝，阎相和.集装箱波纹板自动拼焊机的研制[J].焊接，1996(2)：2-5.
[2]陈丽华，田松亚，黄玉美.集装箱专用焊机的设计[J].机械与电子，2005(3)：74-76.
[3]姚河清，丁坤，刘榴，等.集装箱吊车外伸梁专用焊接设备的研制[J].电焊机，2004，34(7)：48-50.
[4]李晓辉，汪苏，刘小辉，等.焊接机器人智能化的发展[J].电焊机，2005，35(6)：39-41.
[5]都东，王胜华，王力，等.基于对象特征分析的焊缝识别视觉传感技术[J].焊接学报，2008，
29(9)：108-112.
[6]Mike W.The role of seam tracking in robotic welding and bonding[J].The Industrial Robot，2002，29(2)：132-137.
[7]Xu D，Jiang Z，Wang L.Features extraction for structured light image of welding seam with arc and splash disturbance[C]//The Eighth International Conference on Control，Automation，Robotics，and Vision，ICRACV 2004，Kunming，China，December 2004，3：1559-1563.
[8]伏喜斌，林三宝，杨春利.基于激光视觉传感的角焊缝外形尺寸检测[J].焊接学报，2008，29(7)：47-50.
[9]徐培全，唐新华，芦凤桂，等.利用环形激光视觉传感的焊缝三维恢复[J].光学学报，2007，
27(12)：2215-2219.
[10]陈希章，陈善本，林涛.一种基于视觉的平面焊缝初始焊位定位的简易方法[J].焊接学报，2006，27(3)：73-76.
[11]龚烨飞，戴先中，李新德，等.基于模型匹配的结构光视觉焊接接头定位[J].华中科技大学学报，2008，36(1)：76-79.。