一种2D无标定板机器人视觉定位方法及应用

一种2D无标定板机器人视觉定位方法及
应用
摘要：通过阐述相机坐标系与机器人坐标系之间的变换关系，利用特征定位与模板匹配算法，搭建标定与定位流程，设计并实现了一套无需标定版的2D
视觉定位抓取方案。

实验结果表明，视觉定位的单边误差均值为0.236mm，机器人实际抓取误差均值0.32mm，实现工业机器人抓取。

相比于需要标定板的传统视觉定位方法，该视觉定位系统标定无需高精度标定板，只需要特征明显的定位区域，满足生产要求。

关键词：模板匹配；特征定位；工业机器人；自动化；标定；视觉定位；工业相机
A 2D non-calibration plate robot visual positioning method and application
The first author1
(School of Mechanical & Electrical Engineering, Wuhan Institute of Technology, Wuhan 430200, China )
Abstract: By elaborating the transformation relationship between camera coordinate system and robot coordinate system, the calibration and positioning process was built. A 2D visual positioning and grasping scheme without calibration was designed and realized. The experimental results show that the average unilateral error of visual positioning is 0.236mm, and the average grasping error of robot is
0.32mm, realizing industrial robot grasping. Compared with the traditional visual positioning method that requires calibration plate, the vision positioning system calibration does not need high-precision
calibration plate but only needs the positioning area with obvious characteristics, which fully meets the requirements of the enterprise automatic production line.
Keywords:Template matching;Feature location;Industrial robot;Industrial camera; Automation;Calibration;Visual positioning
0 引言
机器视觉定位是一门涵盖图像处理、人工智能、计算机科学的交叉学科，在
智能制造领域应用广泛[1,2,3]。

人工示教的传统工业机器人为实现高精度定位需要
生产线相对固定[4]，基于视觉引导与定位的视觉定位系统将人工智能技术与工业
机器人结合，在满足企业生产柔性的同时提高机器人定位精度，大大提高了企业
生产效率[5,6]。

随着德国工业4.0与《中国制造2025》的提出，视觉定位技术在工业领域的
应用日益扩大，人们致力于提高视觉定位算法精度。

Abdur Rsoyid等[7]通过非线
性最小二乘法求解平面并联机构的外部运动学标定；Moru Desmond K等[8]分析了
相机焦距、标定板安装方式等机械因素对标定过程的影响，通过多变量统计分析
提高了标定精度。

彭妍等[9]基于平面变换提出了一种椭圆拟合标准圆的视觉算法；雷正龙等[10]将视觉定位应用于焊缝路径识别；李光明等[11]利用LabVIEW实现视觉定位与特征几何匹配的结合。

目前大部分视觉定位算法需要利用高精度生产的标定板，而针对不同的工作
环境需要设计不同尺寸大小的标定板，无疑增加了企业生产成本。

本文设计一种
无需标定板的视觉定位方案，通过识别特征明显的标定特征即可计算相机坐标系
与机器人坐标系的转换关系。

1视觉定位系统流程及算法
本文成像系统由工业相机、工业镜头与光源组成。

相机精度要求为0.025mm
视野范围80mm*80mm，工作距离320mm。

根据上述数据进行相机选型，考虑一定
冗余及实际作业要求,最终选用海康MV-CH120-20GM工业相机，镜头选用海康
MVL-KF2528M-12MPE工业镜头。

1.1 视觉定位流程设计
本文所设计的视觉定位系统主要通过识别物体表面标定特征进行手眼标定，拍摄物体表面高精度定位特征获取抓取点位置信息,利用手眼标定结果将抓取点
像素坐标转换为机器人坐标，具体流程如图1-1。

图1-1 视觉定位流程
1.2 标定物特征提取算法
高精度标定板通常作为手眼标定的特征物，然而工业所使用的标定板一般较为昂贵，且需要机器人抓取标定板在标定平面内进行移动，控制标定板所在平面为工作平面。

为降低成本，本方案使用无需标定板的12点标定，通过在工件上
添加矩形标定特征，利用Canny算法提取特征边缘点云信息，使用最小二乘法拟合边缘点云获取矩形中心像素坐标，公式如下：
(1)
(2)
其中，，，分别为矩形四个感兴趣区域，将其中像素点作为输入进
行上述最小二乘法拟合，获得拟合出的矩形四个顶点，，，。

2 实验结果及分析
2.1 手眼标定实验
根据生产现场具体环境，本文选用Eye To Hand模式安装相机。

通过多次拍
摄机器人手臂上的特征标定物计算相机坐标系与机器人坐标系之间的相对关系。

1）在机器人坐标系与像素坐标系之间的变换关系为:
(3)
(4)
其中为机器人坐标系与相机坐标系之间的旋转矩阵，为与之间的平移
向量，为相机焦距。

2）本文定位方案假定机器人平面与像素坐标系平行，首先通过8次平行移
动求解机器人坐标系与像素坐标系夹角，分别沿机器人轴平移6次，沿轴
平移2次，每次移动10mm，两坐标系夹角关系如下:
(5)
其中为平移次数，为第次平移时像素坐标系下的标定中心点坐标。

3）机器人坐标系平面旋转中心未知，通过3次旋转求解旋转中心，
每次固定旋转3°。

(6)
其中为第次旋转后特征中心点的像素坐标，为旋转角度，为两次
旋转后与的像素距离。

2.2 机器人抓取实验
为验证算法可靠性，设计如下实验流程：使用机器人托起工件进行6次随机平移旋转，记录每次移动后机器人位姿作为示教点，每次移动工件后使用上文设计算法流程计算补偿，得到视觉抓取点，计算视觉抓取点与该次移动对应的示教点之间的误差并移动机器人至视觉抓取点，验证是否成功抓取，实验结果如表3-3所示。

表2-1 视觉算法误差验证结果
编号点位X/mm Y/mm Rz/°
1示教点342.06-
2225.15
91.58
视觉抓取点
342.26
4
-
2225.532
91.512
误差0.2040.3820.068
2示教点338.36-
2216.14
88.82
视觉抓取点
337.95
2
-
2216.323
88.854
误差0.4080.1830.034
3示教点639.33-
2660.69
163.05
视觉抓取点639.56-
2660.811
163.01
3
误差0.230.1210.037
4示教点643.94-
2668.94
162.61
视觉抓取点
643.70
2
-
2668.801
162.63
2
误差0.2380.1390.022
经过实验证明，本文所设计视觉算法流程平均单边精度0.236mm；6次平移
旋转实验中机器人均可根据视觉定位结果准确抓取工件，平均定位误差为0.32mm，完全满足项目需求。

图3-3对比了本文所提出的视觉系统与文献[14][15]的视觉
抓取误差，结果表明本文提出的视觉定位系统精度更高。

图2-1 抓取结果对比
4 结语
本文设计了一套基于视觉的机器人抓取定位系统，实验结果表明机器人根据
视觉定位结果能够较为准确抓取工件，平均定位误差为0.32mm。

该视觉系统无需
标定板及高精度标定物，在满足精度要求的同时降低了系统成本，无需人工示教。

本文视觉定位系统误差主要由环境及示教点误差决定，光照对定位精度的影响尤为突出。

后续通过提高示教点精度、增加遮光板等能进一步提高视觉定位精度。

参考文献
[1]Rastegarpanah A ,Marturi N ,Stolkin R. Autonomous vision-guided bi-manual grasping and manipulation[J].2017 IEEE Workshop on Advanced and its Social Impacts (ARSO),2017:1-7
[2]Wang Yongzhi et al. A Visual Grasping Strategy for Improving Assembly Efficiency Based on Deep Reinforcement Learning[J]. Journal of Sensors, 2021, 2021
[3]Robotics; New Robotics Findings from Spanish National Research Council (CSIC) Described (Visual grasp point localization, classification and state recognition in robotic manipulation of cloth: An overview)[J]. Journal of Robotics & Machine Learning, 2017, :
104-.
[4]焦键.工业机器人视觉技术在自动化系统中的应用——评《工业机器人视觉技术及应用》[J].机械设
计,2021,38(02):152.DOI:10.13841/ki.jxsj.2021.02.028.
[5]宗光华.中国机器人热的反思与前瞻(一)——我国工业机器人产业近况评估[J].机器人技术与应用,2019(01):17-25.
[6]张杨.人工智能背景下基于视觉引导的工业机器人拾取技术研究——评《工业机器人视觉技术及应用》[J].机械设
计,2021,38(03):150.DOI:10.13841/ki.jxsj.2021.03.027.
[7]Abdur Rosyid and Bashar El-Khasawneh and Anas Alazzam. External Kinematic Calibration of Hybrid Kinematics Machine Utilizing Lower-DOF Planar Parallel Kinematics Mechanisms[J]. International Journal of Precision Engineering and Manufacturing, 2019, 21(prepublish) : 1-21.
[8]Moru Desmond K. and Borro Diego. Analysis of different parameters of influence in industrial cameras calibration processes[J]. Measurement, 2021, 171 : 108750-.
[9]彭妍,郭君斌,于传强,柯冰.基于平面变换的高精度相机标定方法[J/OL].
北京航空航天大学学报:1-10[2022-06-25].DOI:10.13700/j.bh.1001-
5965.2021.0015.
[10]雷正龙，吕涛，陈彦宾，等 . 基于扫描激光视觉传感的焊缝图像特征
信息识别[J].焊接学报，2013，34（5）：54⁃58
[11]李光明，孙英爽，党小娟 .基于 LabVIEW 的几何匹配方法的设计与实
现[J].计算机工程与设计，2016，37（10）：2705⁃2709.。