基于激光视觉的焊缝跟踪及纠偏系统
一种基于磁控电弧与激光视觉传感的焊缝自动跟踪控制方法及系统[
专利名称：一种基于磁控电弧与激光视觉传感的焊缝自动跟踪控制方法及系统
专利类型：发明专利
发明人：洪波,洪宇翔,李湘文,柳健,汤希
申请号：CN201310297612.7
申请日：20130717
公开号：CN103341685A
公开日：
20131009
专利内容由知识产权出版社提供
摘要：一种基于磁控电弧与激光视觉传感的焊缝自动跟踪控制方法及系统，它主要是解决现有空间焊缝的自动实时跟踪精度低，系统容错性不佳等技术问题。
其技术方案要点是：将磁控电弧传感器(10)和激光视觉传感器(11)获取的焊枪(1)对焊缝中心的偏差信息，一并输入至跟踪系统中央控制器(8)，采用双传感预估检验校准的融合方法进行信息处理，将融合后的偏差信息作为执行机构的焊缝偏差调节量，由执行机构执行焊缝偏差调节，实现焊缝自动跟踪，完成自动化焊接。
它主要是用于焊缝自动跟踪。
申请人：湘潭大学,洪波
地址：411105 湖南省湘潭市雨湖区羊牯塘湘潭大学
国籍：CN
更多信息请下载全文后查看。
激光视觉引导机器臂焊缝跟踪系统应用分析
激光视觉引导机器臂焊缝跟踪系统应用分析摘要：在实现焊接自动化的过程中，焊缝自动跟踪技术是十分关键的一点。
本文以弧焊机器人系统为例，在其传统的模式上，设计了一种由激光视觉所引导的机器臂焊缝跟踪系统。
本文在了解激光焊缝跟踪系统结构的基础上，进一步分析了激光焊缝对于图像的处理以及激光焊缝跟踪控制算法，并最终从对实验结果的分析过程中证明了激光视觉焊缝跟踪系统具有十分广阔的应用前景。
关键词：激光视觉；机器臂；焊缝跟踪系统；应用1.引言近几年，我国的金属制造业发展十分迅速。
在加工金属的过程中，应用最为普遍的加工方法是焊接技术，随着金属制造业的大幅度增加，实现自动化的金属加工具有十分重要的意义。
焊缝跟踪技术具有十分显著的作用，主要包括：一是可以对焊缝的位置信息进行实时的传送；二是让焊炬的运动控制这一模块变成一种自适应的闭环焊接系统，正是由于其所具有的上述优点，所以国内外相关企业以及研究机构都对这一技术进行了连续的研究，并在研究的过程中不断开发新的传感器以及焊缝跟踪技术。
现阶段视觉传感技术在检测图像以及控制运动等方面依然是使用的计算机平台，因此在控制软件开发的过程中存在很大的难度。
为解决这一问题，有研究者提出对于图片的处理通过可编程控制器 FPGA 或者是单片机平台进行，但是经过实验发现这两种方法都存在低速以及低精度的弊端，此外，对于这些跟踪系统来说，其对检测到的跟踪偏移量信息的通信过程是依靠一些比较繁琐的通信协议完成的，因此很难方便的连接到行业内部的主流焊接设备系统，也就是说，这些方法在实际应用中存在着一定的限制。
对于激光视觉所引导的传感跟踪技术来说，其特点主要包括以下几点：第一点是该技术包含大量的信息；第二点该技术其可以实现在垂直以及水平双维度上的跟踪；第三点是该技术具有比较高的灵敏度与精确度；第四点是因为该技术不接触被焊工件因而其适合任何一种破口的形状，适用性比较好。
正是因为激光视觉所引导的传感跟踪技术解决了传统的电弧传感方法以及机械传感方法的弊端，因为其在现实生活中的应用前景是十分广阔的。
基于激光视觉的焊缝跟踪及纠偏系统
硕士学位论文MASTER DISSERTATION基于激光视觉的焊缝跟踪及纠偏系统Welding Seam Tracking and Correcting System Based on Laser Vision作者沈鹏程校内导师孙坚教授校外导师倪鹏专业领域控制工程中国计量学院二〇一五年六月Welding Seam Tracking and Correcting System Based on Laser VisionByPengcheng ShenA Dissertation Submitted toChina Jiliang UniversityIn partial fulfillment of the requirementFor the degree ofMaster of EngineeringChina Jiliang UniversityJune, 2015中图分类号TP242.2 学校代码10356 UDC621.3 密级公开硕士学位论文MASTER DISSERTATION基于激光视觉的焊缝跟踪及纠偏系统Welding Seam Tracking and Correcting System Based on Laser Vision作者沈鹏程专业领域控制工程校内导师孙坚教授校外导师倪鹏申请学位工学硕士论文类型应用研究二〇一五年六月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中国计量学院或其他教育机构的学位或证书而使用过的材料。
与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。
学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解中国计量学院有关保留、使用学位论文的规定。
特授权中国计量学院可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。
基于激光视觉的焊缝跟踪系统方案
基于激光视觉的焊缝跟踪系统一、焊缝自动跟踪系统构成基于激光视觉传感,具有主动性、非接触、能获取物体的三维信息、灵敏度精度高、抗电磁场干扰能力强等优点,被认为是焊缝检测的主要发展方向。
线激光法是一种直接获取深度图像的方法,它可以获取焊缝的二维半信息。
基于激光视觉的焊缝跟踪系统如图1所示，主要有3个组成部分，分别是视觉传感、图像处理和跟踪控制。
CCD摄像机垂直对准工件,激光器倾斜布置，激光器打出的激光,经柱透镜形成一光片照射到工件上形成一条宽度很窄的光带。
当该光带被工件反射或折射后,经滤光片保留激光器发出的特定波长的光,而滤除其他波长的光,最后进入CCD摄像机成像。
由于坡口各处与工件在垂直方向深度不同,故从垂直工件的方向看去,反射光成一折线,折线反映了光纹中心与焊缝坡口中心的三维位置关系。
计算机对采集图像进行图像预处理，减少图像中的噪声污染，并加强焊缝特征信息信号，通过一定的算法提取焊缝特征点，得到焊缝与电弧偏差。
此偏差作为跟踪控制系统的输入条件，依据控制算法进行处理，最后获得驱动信号控制焊炬运动，实现焊缝跟踪过程实时控制。
图1 系统构成二、焊缝自动跟踪硬件设计1.激光器在本系统中决定采用半导体激光器。
半导体激光器是以半导体为工作介质，具有超小形、高效率、结构简单、价格便宜、工作速度快、波长范围宽等一系列优点。
本视觉系统中采用的激光器是红光一字线激光器，由点激光二极管发光通过一柱透镜变换成直线形的激光条纹。
有文献通过测量MIG焊弧光的光谱范围，提出弧光的范围为150～970nm。
通过比较弧光波长与普通激光二极管波长，认为弧焊传感器中所用激光二极管的中心波长最好为467nm，594nm，610nm，632nm和950nm。
从而可选择适当波长的激光感器以减少弧光对激光的干扰。
参考多篇文献，本系统选用弧光干扰最小中心波长650 nm的条形半导体激光器。
2.摄像头CCD和滤光片本系统采用面阵型CCD工业摄像头，主要考虑其性能稳定，工作可靠的特点，要求CCD 尺寸1/3"，帧率25fps以上。
基于激光视觉的焊缝跟踪系统的研究的开题报告
基于激光视觉的焊缝跟踪系统的研究的开题报告
一、选题的背景和意义
随着工业自动化程度的不断提高，焊接工艺的自动化也越来越受到人们的重视。
对于焊接工艺来说，焊缝的质量是决定焊接效果的关键因素之一。
因此，在焊接过程中能够实时跟踪焊缝的位置和形状，对保证焊缝的质量至关重要。
传统的焊缝跟踪方法主要是通过感应器或摄像机来实现，但这种方法存在误差较大、精度不高等问题。
而基于激光视觉的焊缝跟踪系统，则能够解决这些问题，因此具有广泛的应用前景。
二、研究的目的和内容
本次研究旨在设计一种基于激光视觉的焊缝跟踪系统，通过激光投射线来实时监测焊接过程中焊缝的位置和形状。
具体研究内容包括：
1. 激光视觉技术的基本原理研究；
2. 激光投射线的设计、构建及其与摄像机、计算机等组件的整合；
3. 焊接过程中焊缝跟踪算法的研究和实现；
4. 实验验证和结果分析。
三、研究的方法和步骤
本次研究采用文献资料法、理论分析法和实验验证法。
具体步骤如下：
1. 理论分析激光视觉跟踪技术的基本原理和应用场景；
2. 设计和构建激光投射线、摄像机等硬件设备，并进行组件整合；
3. 研究并实现焊缝跟踪算法；
4. 进行实验验证，并对实验结果进行分析。
四、预期成果和意义
本次研究预期将设计出一种基于激光视觉的焊缝跟踪系统，并验证其在焊接过程中的有效性。
该系统具有以下意义：
1. 提高焊缝跟踪的精度和稳定性，减小人为干扰因素对焊缝质量的影响；
2. 实现焊缝自动跟踪，提高生产效率和工作效率；
3. 推动焊接工艺的自动化进程，提高工业制造的智能化水平。
基于视觉传感的焊缝自动跟踪系统研究
将本文提出的实时焊缝跟踪技术分别在平板对接直缝试件、法兰 环缝试件上进行试验，跟踪精度分别可以控制在±0.15mm 和±0. 2 mm 之内。考虑到图像处理的精度问题，其实际误差在±0.3mm 和 ±0.35mm 之内。
关键词：焊缝跟踪，视觉传感，图像处理算法，焊接机器人，模糊 PID
-2-
上海交通大学硕士学位论文
上海交通大学 硕士学位论文 基于视觉传感的焊缝自动跟踪系统研究 姓名：盛仲曦 申请学位级别：硕士 专业：材料加工工程 指导教师：林涛
20090101
上海交通大学硕士学位论文
基于视觉传感的焊缝自动跟踪系统研究
摘要
目前服役的焊接机器人 90％都是以“示教－再现”模式进行工作 的，少数以轨迹规划方式工作。焊接过程中，焊枪与焊缝中心都会存 在一定误差，并且，焊接过程又是一个复杂、非线性、干扰因素较多 的过程，焊接工件热变形、咬边、错边，以及焊缝间隙的变化等是不 可预知的，这些因素都会直接影响到焊接质量。在“示教－再现”或 轨迹规划应用的基础上，实时焊缝纠偏可以进一步提高焊接精度，尤 其适用于辅助工程上焊接易变形、装配复杂等自动焊难以控制的工件 生产。
基于激光视觉传感器的机器人实时焊缝跟踪方法
第５１卷 第４期 激光与红外Ｖｏｌ．５１，Ｎｏ．４ ２０２１年４月 ＬＡＳＥＲ ＆ ＩＮＦＲＡＲＥＤＡｐｒｉｌ，２０２１ 文章编号：１００１ ５０７８（２０２１）０４ ０４２１ ０７·激光应用技术·基于激光视觉传感器的机器人实时焊缝跟踪方法陈新禹，张庆新，朱琳琳，胡 为（沈阳航空航天大学自动化学院，辽宁沈阳１１０１３６）摘 要：为实现变姿态焊接过程的实时焊缝跟踪，提出基于机器人坐标系下绝对焊缝轨迹的实时跟踪算法。
将线式激光传感器安装在机器人的法兰盘上，且位于焊枪运行的前方。
焊接过程中，激光传感器连续采集焊缝位置信息，并结合手眼标定矩阵以及机器人实时姿态，将传感器采集的焊缝坐标转换到机器人基础坐标系下，从而形成空间绝对焊缝轨迹；再根据焊枪的当前位置与焊缝的空间绝对轨迹生成位置偏差。
为了提高计算精度，提出采用三次非均匀有理Ｂ样条进行数据插值和检索；最后，将位置偏差变换到焊枪工具坐标系下进行实时修正。
实验结果表明：该跟踪算法能够实现焊接机器人针对变姿态焊接过程的连续跟踪，跟踪过程平滑光顺，跟踪整体精度优于０ ５ｍｍ。
基本满足焊缝实时跟踪应用的一般要求。
关键词：焊缝跟踪；实时跟踪；样条插值；激光传感器；焊接机器人中图分类号：ＴＰ２４２ ２ 文献标识码：Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００１ ５０７８．２０２１．０４．００４ＴｈｅｍｅｔｈｏｄｏｆｒｅａｌｔｉｍｅｓｅａｍｔｒａｃｋｉｎｇｆｏｒｒｏｂｏｔｉｃｗｅｌｄｉｎｇｓｙｓｔｅｍｂａｓｅｄｏｎｌａｓｅｒｖｉｓｉｏｎｓｅｎｓｏｒＣＨＥＮＸｉｎ ｙｕ，ＺＨＡＮＧＱｉｎｇ ｘｉｎ，ＺＨＵＬｉｎ ｌｉｎ，ＨＵＷｅｉ（ＳｃｈｏｏｌｏｆＡｕｔｏｍａｔｉｏｎ，ＳｈｅｎｙａｎｇＡｅｒｏｓｐａｃｅＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ１１０１３６，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｒｅａｌｉｚｅｒｅａｌ ｔｉｍｅｓｅａｍｔｒａｃｋｉｎｇｗｈｉｌｅｃｈａｎｇｉｎｇｗｅｌｄｉｎｇｔｏｒｃｈ′ｓｇｅｓｔｕｒｅ，ａｎｏｖｅｌｔｒａｃｋｉｎｇｓｔｒａｔｅｇｙｂａｓｅｄｏｎａｂｓｏｌｕｔｅｓｅａｍｔｒａｊｅｃｔｏｒｙｉｓｐｒｏｐｏｓｅｄ Ｔｈｅｌｉｎｅｓｔｒｕｃｔｕｒｅｄｌａｓｅｒｓｅｎｓｏｒｉｓｍｏｕｎｔｅｄｏｎｔｈｅｆｌａｎｇｅｏｆｒｏｂｏｔｉｎｔｈｅｆｒｏｎｔｏｆｔｈｅｗｅｌｄｉｎｇｔｏｒｃｈ Ｄｕｒｉｎｇｔｈｅｗｅｌｄｉｎｇｐｒｏｃｅｓｓ，ｔｈｅｌａｓｅｒｓｅｎｓｏｒｃｏｎｔｉｎｕｏｕｓｌｙｃｏｌｌｅｃｔｓｔｈｅｓｅａｍｐｏｓｉｔｉｏｎｉｎｓｅｎｓｏｒｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍ Ｕｓｉｎｇｈａｎｄ ｅｙｅｍａｔｒｉｘａｎｄｒｏｂｏｔｐｏｓｉｔｉｏｎａｎｄｇｅｓｔｕｒｅｍａｔｒｉｘ，ｔｈｅｈｏｍｏｇｅｎｅｏｕｓｃｏｏｒｄｉｎａｔｅｖａｌｕｅｃａｎｂｅｔｒａｎｓｆｏｒｍｅｄｆｒｏｍｓｅｎｓｏｒｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍｉｎｔｏｒｏｂｏｔｂａｓｅｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍ，ｗｈｉｃｈｆｏｒｍｅｄｔｈｅａｂｓｏｌｕｔｅｓｅａｍｔｒａｊｅｃｔｏｒｙ；ｔｈｅｐｏｓｉｔｉｏｎｄｅｖｉａｔｉｏｎｃａｎｂｅｃｏｍｐｕｔｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｃｕｒｒｅｎｔｐｏｓｉｔｉｏｎｏｆｔｈｅｗｅｌｄｉｎｇｔｏｒｃｈａｎｄｔｈｅａｂｓｏｌｕｔｅｓｅａｍｔｒａｊｅｃｔｏｒｙ Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｃａｌｃｕｌａｔｉｏｎ，ａｍｅｔｈｏｄｏｆｉｎｔｅｒｐｏｌａｔｉｏｎｂａｓｅｄｏｎｃｕｂｉｃｎｏｎｕｎｉｆｏｒｍｒａｔｉｏｎａｌＢ ｓｐｌｉｎｅｓｉｓａｄｄｒｅｓｓｅｄ；ｆｉｎａｌｌｙ，ｔｈｅｐｏｓｉｔｉｏｎｄｅｖｉａｔｉｏｎｉｓｔｒａｎｓｆｏｒｍｅｄｔｏｔｈｅｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍｏｆｗｅｌｄｉｎｇｔｏｒｃｈｔｏｏｌｆｏｒｒｅａｌ ｔｉｍｅｐｏｓｉｔｉｏｎｃｏｒｒｅｃｔｉｏｎ Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｎｏｖｅｌｓｔｒａｔｅｇｙｃａｎｒｅａｌｉｚｅｔｈｅｃｏｎｔｉｎｕｏｕｓｓｍｏｏｔｈｌｙｔｒａｃｋｉｎｇｗｈｉｌｅｃｈａｎｇｉｎｇｔｏｒｃｈ′ｓｇｅｓｔｕｒｅｉｎｗｅｌｄｉｎｇｐｒｏｃｅｓｓ，ａｎｄｉｔｓｔｒａｃｋｉｎｇｅｒｒｏｒｉｓｂｅｔｔｅｒｔｈａｎ０ ５ｍｍｗｈｉｃｈｓａｔｉｓｆｉｅｓｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｏｆａｕｔｏｍａｔｉｃｗｅｌｄｉｎｇＫｅｙｗｏｒｄｓ：ｓｅａｍｔｒａｃｋｉｎｇ；ｒｅａｌ ｔｉｍｅｔｒａｃｋｉｎｇ；ｓｐｌｉｎｅｉｎｔｅｒｐｏｌａｔｉｏｎ；ｌａｓｅｒｓｅｎｓｏｒ；ｗｅｌｄｉｎｇｒｏｂｏｔ基金项目：国家自然科学基金项目（Ｎｏ．６１５０３２５６）；辽宁省自然科学基金联合基金项目（Ｎｏ．２０１５０２００６１）资助。
基于激光视觉的螺旋焊管内外焊焊缝跟踪系统
接头几何形状 的测量基础上 ， 他不受工件 的表面
形 态或 焊 接过 程 的影 响 。 Ｖｓ ｌ 统 结 构 框 图 如 图 １所 示 ， 统 ｉａＷｅｄ系 ｔ 系
吸收国外先进技术 ， 将英 国 Ｍ Ｔ Ｅ Ａ公 司 自动 图像 识别跟踪技术成 功地应用 到螺旋 焊管生 产工艺
中 ， 得 了 良好 的 效果 。这 项 技 术 采 用 视 频 摄 像 取
０ 前
言
本 文介 绍一 种新 型 的基 于激 光视 觉 的 内外 焊 跟踪 系 统 Ｖｓ ｌ， 系 统 采 用 非 接 触 式 激 光 ｉａＷｅ 该 ｔ ｄ 视觉 传感 器 ， 采用 一套 控 制 器 同 时控 制 内焊 和 外 焊焊 枪 ， 而 保证 焊 缝成形 的均匀 一 致性 。 从
等 其它 光源 的影 响 。
（） ｃ 内焊焊缝 图像 （） ｄ 内焊焊缝位置分析 结果
图 ３ 内 外 焊 焊 缝 图像 处 理
如果 发 现 当前 的焊枪 位 置与 观察 到 的焊缝 位 置之 问有 偏差 ，Ｃ机 就将 控制 指令 发 送 给 可编 程 Ｐ 控 制 器 （ Ｌ ，Ｐ Ｃ输 出模 拟 信 号 驱 动 电机驱 Ｐ Ｃ） 由 Ｌ
外焊（ Ｄ 传 感器 ０）
暑三 ＿ 塞 ＝驷 厂 ［ － ｛
—
～
内、 外焊 【 ， 由于图像来源 于强度 不高 的 自然 ４但 Ｊ 光， 对不 同管径 、 不同类型焊缝坡 口及遇到焊漏等
情况 时 ，Ｃ 的 图像 就 有 可 能 无 法 处 理 和 识 别 ， ＣＤ 需要 手工 干 预 。这是 我们 今后 要 解决 的课题 。
主要包 括激光传感器 、 控制器 、 操作者控制单元 、
机 头调 整机 构 四个 部分 。
结构光式激光视觉传感器的焊缝跟踪系统
绪 言
焊缝 跟踪 系统一般 指 的 是弧焊 焊 缝跟踪 系统 ： 在 焊 接 过 程 中 ， 先 应 该 使 电 弧 与 焊 缝 对 中 ， 是 首 这 保 证 焊 接 质 量 的关 键 。 缝 自动 跟 踪 系 统 是 指 自动 焊 焊 接 生 产 过 程 中 ， 电 弧 偏 离 焊 缝 时 ． 时 而 准 确 当 及 地 将 电弧 调 整 回 到 焊 缝 位 置 这 样 一种 装 置 ： 随 着 生 产 的 发 展 ， 产 品 的 焊 接 质 量 要 求 越 来 对 越 高 ， 时 要 求 改 善 工 作 环 境 降 低 焊 接 工 人 的 劳 动 同 强 度 。焊 接 自动 化 是 发 展 方 向 。在 长 期 的 生 产 实 践 中 ． 们 已 制 作 了 各 种 各 样 的 自动 焊 接 装 置 。但 如 人 不 采 用 自动 跟 踪 系统 ， 多 零 件 要 求 二 次 ） ３ ． 许 Ｊ １ 以确 Ｉ 保 装 配 精 度 ， 能 满 足 自动 焊 的 要 求 ， 而 提 高 ｒ成 才 从 本 。 由 于 焊 接 作 业 的 特 殊 性 — — 焊 接 变 形 ， 多 场 许
加 工 装 配 不 均 匀 引 起 ）为 避 免 此 情 况 ， 往 要 限 制 焊 ， 往
接速度不 能太快 ； 导杆（ 的磨损 也要影 响传感器 的 轮） 精度 ， 此外 ． 存在 导前 误差 ， 由于机 械 传感 器 结构 但 简 单 ， 护 方 便 ， 怕 电 弧 的 磁 、 、 尘 、 溅 等 干 维 不 光 烟 飞
合 没 有 焊 缝 跟 踪 系 统 就 不 能 实 现 自动 焊 。 因 此 ． 人
服 电机 由控 制信 号控 制 。根据信 号 的转 换原理传感 器可分 为 ：． ａ 机械式 或机 械一 电子式传 感器 ．． ｂ 电磁 感 应式 传感 器 ；． 弧式 传 感 器 ； 光 学 传 感 器 等 ｃ电 也
一种基于激光和视觉取像的对接焊焊缝跟踪系统[实用新型专利]
![一种基于激光和视觉取像的对接焊焊缝跟踪系统[实用新型专利]](https://img.taocdn.com/s3/m/636ef23826fff705cd170a30.png)
专利名称：一种基于激光和视觉取像的对接焊焊缝跟踪系统专利类型：实用新型专利
发明人：袁宝兴
申请号：CN201922328888.2
申请日：20191223
公开号：CN211759365U
公开日：
20201027
专利内容由知识产权出版社提供
摘要：本实用新型涉及自动焊接领域，具体是一种基于激光和视觉取像的对接焊焊缝跟踪系统。
一种基于激光和视觉取像的对接焊焊缝跟踪系统，包括焊枪和机架，所述焊枪固定在机架上，工业激光设备设置在工业反光镜上方，工业反光镜设置在焊枪的前方，工业相机设置在需要焊接位置的正上方；工业相机通过工业以太网连接工业电脑，工业电脑内预装图像处理软件，工业电脑通过工业以太网连接PLC控制器，PLC控制器连接上下伺服电机和左右伺服电机，所述上下伺服电机和左右伺服电机控制固定工业相机、工业激光设备、工业反光镜和焊枪的机架的上下及左右运动。
该系统利用激光提供光源，相机捕捉工件焊缝特征，进行焊缝跟踪焊接，大大提高焊接的精确度。
申请人：无锡奇能焊接系统有限公司
地址：214028 江苏省无锡市新区城南路221号
国籍：CN
代理机构：长沙惟盛赟鼎知识产权代理事务所(普通合伙)
代理人：姚亮梅
更多信息请下载全文后查看。
基于改进TLD算法的激光视觉传感型焊缝跟踪
第４５卷 第３期２０２１年５月激 光 技 术ＬＡＳＥＲＴＥＣＨＮＯＬＯＧＹＶｏｌ．４５，Ｎｏ．３Ｍａｙ，２０２１ 文章编号：１００１ ３８０６（２０２１）０３ ０２９２ ０６基于改进ＴＬＤ算法的激光视觉传感型焊缝跟踪杜健准１，高向东１，黎扬进１，肖小亭１，孙友松１，卢新钊２（１．广东工业大学广东省焊接工程技术研究中心，广州５１０００６；２．广东精泰人防工程有限公司，肇庆５２６２３８）摘要：为了解决基于线激光视觉传感的焊缝中心位置定位精度不高的问题，采用了一种基于改进跟踪 学习 检测（ＴＬＤ）算法的焊缝跟踪方法。
由激光视觉传感器实时获取焊缝图像，采用将跟踪器与检测器结合的ＴＬＤ算法实时跟踪焊缝特征点，同时通过在线学习机制更新分类器参量。
在此基础上对激光条纹图像截取感兴趣区域，大幅减少检测器的搜索区域；根据激光条纹光强分布特性，结合纠偏方向选取跟踪器有效特征点，以此提高算法效率，对不锈钢板Ｖ型焊缝和搭接焊缝进行跟踪试验。
结果表明，跟踪与检测可实现共同定位焊缝中心位置，其融合的焊缝跟踪方法能够准确地提取焊缝特征点，两种焊缝跟踪平均绝对误差分别为０．０６２ｍｍ和０．０５２ｍｍ。
此方法为提高焊缝跟踪精度提供了依据。
关键词：图像处理；焊缝跟踪；跟踪 学习 检测算法；激光视觉中图分类号：ＴＮ２４９；ＴＧ４０９ 文献标志码：Ａ ｄｏｉ：１０ ７５１０／ｊｇｊｓ ｉｓｓｎ １００１ ３８０６ ２０２１ ０３ ００４ＡｌａｓｅｒｖｉｓｉｏｎｓｅｎｓｉｎｇｍｅｔｈｏｄｆｏｒｓｅａｍｔｒａｃｋｉｎｇｂａｓｅｄｏｎａｎｉｍｐｒｏｖｅｄＴＬＤａｌｇｏｒｉｔｈｍＤＵＪｉａｎｚｈｕｎ１，ＧＡＯＸｉａｎｇｄｏｎｇ１，ＬＩＹａｎｇｊｉｎ１，ＸＩＡＯＸｉａｏｔｉｎｇ１，ＳＵＮＹｏｕｓｏｎｇ１，ＬＵＸｉｎｚｈａｏ２（１．ＧｕａｎｇｄｏｎｇＰｒｏｖｉｎｃｉａｌＷｅｌｄｉｎｇＥｎｇｉｎｅｅｒｉｎｇＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈＣｅｎｔｅｒ，ＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｃｈｉｎａ；２．ＧｕａｎｇｄｏｎｇＪｉｎｇｔａｉＣｉｖｉｌＡｉｒＤｅｆｅｎｓｅＰｒｏｊｅｃｔｓＣｏ．Ｌｔｄ．，Ｚｈａｏｑｉｎｇ５２６２３８，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｌｏｗｐｏｓｉｔｉｏｎｉｎｇａｃｃｕｒａｃｙｏｆｔｈｅｗｅｌｄｓｅａｍｃｅｎｔｅｒｂａｓｅｄｏｎｌｉｎｅｌａｓｅｒｖｉｓｉｏｎｓｅｎｓｉｎｇ，ａｓｅａｍｔｒａｃｋｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎａｎｉｍｐｒｏｖｅｄｔｒａｃｋｉｎｇ ｌｅａｒｎｉｎｇ ｄｅｔｅｃｔｉｏｎ（ＴＬＤ）ａｌｇｏｒｉｔｈｍｗａｓａｄｏｐｔｅｄ．Ｔｈｅｗｅｌｄｉｍａｇｅｓｗｅｒｅａｃｑｕｉｒｅｄｉｎｒｅａｌｔｉｍｅｄｕｒｉｎｇｔｈｅｗｅｌｄｓｅａｍｔｒａｃｋｉｎｇ．ＴｈｅＴＬＤａｌｇｏｒｉｔｈｍｃｏｍｂｉｎｉｎｇｔｈｅｔｒａｃｋｅｒ（ｔｒａｃｋｉｎｇ）ａｎｄｔｈｅｄｅｔｅｃｔｏｒ（ｄｅｔｅｃｔｉｏｎ）ｗａｓａｄｏｐｔｅｄｔｏｔｒａｃｋｗｅｌｄｆｅａｔｕｒｅｐｏｉｎｔｓｉｎｒｅａｌｔｉｍｅａｎｄｔｈｅｏｎｌｉｎｅｌｅａｒｎｉｎｇｍｅｃｈａｎｉｓｍ（ｌｅａｒｎｉｎｇ）ｗａｓａｄｏｐｔｅｄｔｏｕｐｄａｔｅｔｈｅｃｌａｓｓｉｆｉｅｒｐａｒａｍｅｔｅｒｓ，ｓｏａｓｔｏｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙｏｆｓｅａｍｔｒａｃｋｉｎｇ．Ｏｎｔｈｉｓｂａｓｉｓ，ｔｈｅｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ（ＲＯＩ）ｗａｓｉｎｔｅｒｃｅｐｔｅｄｆｒｏｍｔｈｅｌａｓｅｒｓｔｒｉｐｅｉｍａｇｅｓ，ｗｈｉｃｈｇｒｅａｔｌｙｒｅｄｕｃｅｄｔｈｅｄｅｔｅｃｔｏｒ’ｓｓｅａｒｃｈａｒｅａ．Ｔｈｅｅｆｆｅｃｔｉｖｅｆｅａｔｕｒｅｐｏｉｎｔｓｏｆｔｈｅｔｒａｃｋｅｒｗｅｒｅｓｅｌｅｃｔｅｄｔｏｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅａｌｇｏｒｉｔｈｍａｃｃｏｒｄｉｎｇｔｏｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｌｉｇｈｔｉｎｔｅｎｓｉｔｙｄｉｓｔｒｉｂｕｔｉｏｎｏｆｔｈｅｌａｓｅｒｓｔｒｉｐｅｉｎｃｏｍｂｉｎａｔｉｏｎｗｉｔｈｔｈｅｒｅｃｔｉｆｙｉｎｇｄｉｒｅｃｔｉｏｎ．ＴｈｅＶ ｓｈａｐｅｄｗｅｌｄａｎｄｔｈｅｌａｐｐｅｄｗｅｌｄｏｆｔｈｅｓｔａｉｎｌｅｓｓｓｔｅｅｌｐｌａｔｅｗｅｒｅｔｒａｃｋｅｄ．Ｔｈｅｒｅｓｕｌｔｓｉｎｄｉｃａｔｅｔｈａｔｔｈｅｌｏｃａｔｉｏｎｏｆｔｈｅｓｅａｍｃｅｎｔｅｒｃａｎｂｅａｃｈｉｅｖｅｄｂｙｔｒａｃｋｉｎｇａｎｄｄｅｔｅｃｔｉｎｇａｎｄｔｈｅｆｕｓｉｏｎｗｅｌｄｔｒａｃｋｉｎｇｍｅｔｈｏｄｃａｎａｃｃｕｒａｔｅｌｙｅｘｔｒａｃｔｗｅｌｄｆｅａｔｕｒｅｐｏｉｎｔｓ．Ｔｈｅｍｅａｎａｂｓｏｌｕｔｅｔｒａｃｋｉｎｇｅｒｒｏｒｓｏｆｂｏｔｈｗｅｌｄｓｅａｍｓｗｅｒｅ０．０６２ｍｍａｎｄ０．０５２ｍｍ．Ｔｈｉｓｍｅｔｈｏｄｐｒｏｖｉｄｅｓｔｈｅｂａｓｉｓｆｏｒｉｍｐｒｏｖｉｎｇｔｈｅａｃｃｕｒａｃｙｏｆｗｅｌｄｓｅａｍｔｒａｃｋｉｎｇ．Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ；ｓｅａｍｔｒａｃｋｉｎｇ；ＴＬＤａｌｇｏｒｉｔｈｍ；ｌａｓｅｒｖｉｓｉｏｎ 基金项目：国家自然科学基金资助项目（５１６７５１０４）；广州市科技计划资助项目（２０２００２０２００６８）；广东省教育厅创新团队资助项目（２０１７ＫＣＸＴＤ０１０）作者简介：杜健准（１９９４ ），男，硕士研究生，主要从事焊接自动化方面的研究。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
硕士学位论文MASTER DISSERTATION基于激光视觉的焊缝跟踪及纠偏系统Welding Seam Tracking and Correcting System Based on Laser Vision作者沈鹏程校内导师孙坚教授校外导师倪鹏专业领域控制工程中国计量学院二〇一五年六月Welding Seam Tracking and Correcting System Based on Laser VisionByPengcheng ShenA Dissertation Submitted toChina Jiliang UniversityIn partial fulfillment of the requirementFor the degree ofMaster of EngineeringChina Jiliang UniversityJune, 2015中图分类号TP242.2 学校代码10356 UDC621.3 密级公开硕士学位论文MASTER DISSERTATION基于激光视觉的焊缝跟踪及纠偏系统Welding Seam Tracking and Correcting System Based on Laser Vision作者沈鹏程专业领域控制工程校内导师孙坚教授校外导师倪鹏申请学位工学硕士论文类型应用研究二〇一五年六月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中国计量学院或其他教育机构的学位或证书而使用过的材料。
与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。
学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解中国计量学院有关保留、使用学位论文的规定。
特授权中国计量学院可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。
同意学校向国家有关部门或机构送交论文的复印件和磁盘。
（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日致谢我在研究生三年的学习和生活中受益良多，首先要感谢我的导师孙坚教授在我攻读硕士期间给我的悉心指导和帮助，他为人谦和热情，治学严谨细心。
在生活中，能像我知心的朋友一样鼓励我，在科研上，孙坚教授渊博的学识、严谨的治学态度，也深深的影响了我，在论文的写作和措辞等方面，他总是以“专业标准”严格要求我，在孙坚教授的指导下，使我在研究生三年的学习中也取得了一定的成绩，让我的学习科研能力、动手实践能力有了突飞猛进。
值此毕业论文之际，谨向恩师致以衷心的感谢和祝福。
感谢研究所全体老师在本文研究过程中给予的指导和帮助，特别感谢钟少俊老师提供的帮助和宝贵意见，在整个毕业设计过程中，从开题报告、系统方案设计和系统调试中都给予了指导。
感谢师弟张振、陶伟、刘春学在系统硬件搭建时，给予的帮助；感谢游于训、王亚丽、沈广月同学在后续软件算法编写时给予的帮助。
感谢张海波、朱少诚师兄在论文写作过程中，给予的指导；感谢唐杰学长、刘君学姐在前期工作中给予的帮助和支持。
从论文的选题到搜集资料，从写稿到反复修改，期间经历了喜悦、痛苦和彷徨，伴随着这篇毕业论文的最终成稿，自己还有一点成就感，短暂的三年研究生生活很快就要结束，再次真诚地感觉所有在我三年读书期间帮助过我的老师、同学和朋友，祝大家一生平安！最后要感谢的是我的父母，感谢他们多年来一直给予我鼎力支持和无私奉献，默默的支持我完成学业。
在未来的日子里，我会更加努力的学习和工作，不辜负父母对我的殷切期望！沈鹏程2015年6月基于激光视觉的焊缝跟踪及纠偏系统摘要：本文是在示教型焊接机器人的平台上，针对其不能在焊接过程中实时纠正焊缝偏差导致焊接精度较低的问题，综合国内外焊接机器人发展及研究现状，发现焊接机器人技术与传感技术密不可分，而在众多传感方式中激光视觉传感获得的焊缝信息量最大且精度较高，因此本文提出了在示教机器人的基础上增加激光视觉模块来提高原示教型焊接机器人的焊接精度。
本文主要工作如下：(1) 对基于激光视觉的焊缝跟踪及纠偏系统进行硬件和软件方案设计，在硬件上，对激光视觉模块的硬件进行选型，包括了工业相机、光学镜头、激光传感器及窄带滤光片，除此以外，为了在焊接时能对视觉系统进行有效的保护，本文设计了激光视觉系统保护装置。
(2) 系统的图像处理软件是在VS2008和OpenCV平台上进行开发的，其处理过程主要分为图像预处理和图像后处理，图像预处理的目的是对焊缝图像进行除噪和增强光带条纹信息，主要包括的处理方法有：高斯滤波，直方图均衡化以及图像二值化。
(3) 经过图像预处理，得到清晰的光带条纹之后，进行了图像后处理，首先确定了焊缝图像的感兴趣区域，缩小了图像处理的范围，为后续图像处理提高处理速度；然后，通过图像细化的方法得到焊缝图像中光带条纹的中心线；最后，通过斜率法来提取焊缝图像的特征点，并对提取的结果进行了分析和图像误差计算。
(4) 在分析标定原理的基础上，通过相机标定确定相机图像坐标系和世界坐标系的转换关系，并得到系统标定误差，上位机与示教型焊接机器人控制器TMS320F2812通过RS232串口建立通信方式。
综合图像误差及相机标定误差，系统的误差值在1mm误差范围内，原示教型机器人的焊接精度得到了提高。
关键词：激光视觉；焊缝跟踪与纠偏；焊接机器人；图像处理；相机标定分类号：TP242.2UDC：621.3IWelding Seam Tracking and Correcting SystemBased on Laser VisionAbstract: This dissertation aimed at the low accuracy of teaching welding robot and the robot cannot correct the welding position in real-time; researched on the development of welding robot at home and abroad; found that welding robot technology is bounded together with sensor technology, it showed that laser vision achieves the largest information of welding seam and has high accuracy among those sensors which can be used on welding seam tracking and correcting. Thus, this thesis proposed a method that added a laser vision module on the platform of teaching robot to improve its accuracy. All of the work including:(1) Designed the hardware and software of the laser vision system. The design and selection for hardware equipments include: industrial camera, optical lens, laser sensor, and narrow-band filters, in addition, this dissertation designed a protection device for the laser vision system.(2) The software of this system was developed on the environment of VS2008 and OpenCV, the main work of image processing can be divided into two steps: preprocessing and postprocessing, the purpose of preprocessing is reduce image noise and enhance the image information of optical stripe, methods such as Gaussian filtering, histogram equalization and image binarization.(3) After image preprocessing, the clear optical stripe can be obtained, then steped into image postprocessing. In this part, the region of interest was chosen first to narrow the image processing range and reduced time for subsequent process; then, through image thinning method to get the center line of optical stripe; at last, used slope method to extract feature points from image, also analyzed extraction results and image errors calculation.(4) Analyzed the camera calibration principle, and through the calibration to determin the conversion relationship between image coordinate system and world coordinate system; acquired calibration error after calculation; established RS232 serial communication between PC and teaching welding robot controllerIITMS320F2812.Combined camera calibration error with image error, the total error of vision system is less than 1 mm, this system has improved the accuracy of teaching welding robot. Keywords: laser vision; welding seam tracking and correcting; welding robot; image processing; camera calibrationClassification: TP242.2UDC：621.3III目次摘要 (I)目次 (IV)图清单 (VI)附表清单 ................................................................................................................... V II 1 绪论 (8)1.1 选题背景与意义 (8)1.2 焊接机器人发展概况 (9)1.3 焊接过程中的传感技术概况 (12)1.3.1 电弧式传感器 (12)1.3.2 视觉传感技术 (13)1.4 国内外激光视觉焊接技术发展状况及应用 (14)1.5 本文研究内容 (15)2 焊缝跟踪及纠偏系统总体设计及硬件组成 (17)2.1 引言 (17)2.2 系统总体设计 (17)2.2.1 设计方案 (17)2.2.2 设计指标及要求 (18)2.3 系统硬件组成及选型 (19)2.3.1 示教型焊接机器人原型机 (19)2.3.2 工业相机 (20)2.3.3 光学镜头 (22)2.3.4 激光传感器与窄带滤光片 (23)2.3.5 视觉系统保护装置 (25)2.4 小结 (27)3 焊缝跟踪及纠偏系统软件设计及图像预处理 (28)3.1 引言 (28)3.2 图像处理基本概念 (28)3.3 系统软件设计 (30)IV3.3.1 图像处理软件 (30)3.3.2 设计方案 (31)3.4 图像预处理 (32)3.4.1 图像平滑处理方法 (32)3.4.2 图像增强处理方法 (35)3.4.3 图像二值化处理方法 (36)3.5 小结 (37)4 图像后处理与焊缝特征点提取 (38)4.1 引言 (38)4.2 图像后处理 (38)4.2.1 焊缝图像感兴趣区域提取 (38)4.2.2 焊缝图像提取中心线方法 (39)4.3 焊缝图像特征点提取 (42)4.3.1 斜率法提取焊缝特征点 (42)4.3.2 对接型和搭接型焊缝图像特征点提取结果及分析 (43)4.4 图像误差数值分析 (44)4.5 小结 (46)5 实验标定与焊接机器人通信 (47)5.1 引言 (47)5.2 坐标系转换与实验标定 (47)5.2.1 坐标系转换关系 (47)5.2.2 相机标定原理 (50)5.2.3 相机标定实验与结果 (54)5.3 焊接机器人通信 (57)5.4 小结 (59)6 总结和展望 (60)6.1 总结 (60)6.2 展望 (60)参考文献 (62)作者简介 (65)V图清单图 1.1 iRVision视觉传感系统 (11)图 1.2 Laser-Pilot焊接系统 (11)图 1.3 ROBO-FIND焊接机器人 (11)图 2.1 系统结构示意图 (17)图 2.2 对接型焊缝示意图 (18)图 2.3 搭接型焊缝示意图 (18)图 2.4 四轴联动示教型焊接机器人原型机 (19)图 2.5 大恒MER-130-30UM相机 (21)图 2.6 25mm焦距相机镜头 (23)图 2.7 激光视觉模块保护装置设计图 (26)图 2.8 激光视觉模块保护装置实物图 (26)图 3.1 图像坐标系 (29)图 3.2 焊缝图像处理软件界面 (31)图 3.3 软件系统结构图 (31)图 3.4 图像掩膜示例 (33)图 3.5 高斯滤波后的对接型焊缝图像 (34)图 3.6 图像增强后的对接型焊缝图像 (36)图 3.7 二值化后的对接型焊缝图像 (37)图 4.1 选取焊缝图像中的感兴趣区域 (39)图 4.2 骨骼化后的焊缝图像 (42)图 4.3 无弧光影响对接型焊缝特征点提取 (43)图 4.4 无弧光影响搭接型焊缝特征点提取 (43)图 4.5 有弧光影响对接型焊缝特征点提取 (44)图 4.6 有弧光影响搭接型焊缝特征点提取 (44)图 5.1 相机镜头畸变影响下坐标系关系示意图 (49)图 5.2 Matlab标定工具箱软件界面 (54)图 5.3 相机标定板 (55)图 5.4 相机采集得到的标定板图像 (55)图 5.5 标定板角点识别 (56)图 5.6 焊接机器人控制器及外围电路 (57)图 5.7 焊接机器人通讯软件界面 (58)VI附表清单表 2.1系统主要技术指标及工作对象要求 (18)表 2.2 四轴联动示教型焊接机器人原型机性能指标及参数 (19)表 2.3 相机主要性能及参数表 (21)表 2.4 相机镜头性能参数 (23)表 2.5 半导体激光器性能参数 (24)表 4.1 无弧光影响图像偏移量 (45)表 4.2 有弧光影响图像偏移量 (46)表 5.1 焊接机器人主控芯片性能参数 (57)表 5.2 通信模块信号注明 (58)表 5.3 异步串行通信模块设置 (59)VII中国计量学院硕士学位论文1 绪论1.1 选题背景与意义焊接作为材料加工中的一个重要环节，在工业生产中得到了广泛的应用，同时，它也是工业生产中的一个非常重要的加工方法，全世界将近百分之五十的钢产量，都是经由焊接工艺变为各种产品。