三维视觉在工业机器人行业的关键技术研究及应用

民营科技2018年第4期

科技创新

三维视觉在工业机器人行业的关键技术研究及应用

谢显飞

（广州启帆工业机器人有限公司，广东广州510006）

1概述

新时代掀起的人工智能浪潮，首当其冲的载体就是机器人，因此机器人的整体应用水平和智能化程度的高低，关系着国家的人工智能发展。本文针对机器人的应用做了深入的研究。

机器人好比我们人类的手臂，一个人仅有好的手臂是不完美的，还需要配上一双锐利的眼睛和一个聪慧的大脑，此时工业上的眼睛就是我们的机器视觉，后台的集成智能算法就好比人类的大脑。经过多年的视觉技术研发和应用，

二维平面视觉在工业领域的应用已经比较广泛和成熟了。由于二维平面视觉提供的数据只有平面信息，不能反应一个物体的高度和物体的位置姿态等信息，所以在工业机器人的应用中存在不足，

有待提高改善。根据实际应用的需要，很多应用场景都需要获得物体的三维信息，再由机器人进行操作，则提出了三维视觉在工业机器人行业的技术研究及应用。为解决现有平面视觉在机器人行业的局限性、单一性等问题，运用三维重建、三维测量、三维位置估算、手眼标定等三维视觉关键技术，将三维视觉在工业机器人行业中得以应用。三维视觉与工业机器人的结合使机器人更加地柔性化，智能化，可以提高生产效率。2三维视觉关键技术研究

2.1三维重建技术研究。三维视觉的根据不同的三维成像原理可分为三种：单目线激光结构光、双目线激光结构光、双目编码结构光；其中单目线激光结构光和双目线激光结构光在成像过程中是需要有相对运动，双目编码结构光是可以静止状态对物体进行三维重建[1]。本文重点研究和介绍单目线激光结构光的成像原理以及其重建原理。单目线激光结构光其三角的成像原理（如图1所示）

。图1三角成像原理

其中激光器投光平面和相机成像平面形成一个固定的夹

角，并保持固定的间距，利用三角形的三角关系可以求得激光线上点到相机成像平面的距离。三角原理[2]的求解方法示意图

如图2所示：

图2三角原理示意图

由图2中的三角形关系可得：1=

d

tan α+d/tan β由上式可得：d=

1·sin α·sin βsin （α+β）

因此可以求得d ，即该点到相机的实际距离。

由于三维相机和物体是相对运动的，

以此这里可以提供该点的Y 的坐标值，这样就得到了这个点的三维坐标值（X ，Y ，Z ），很多个这样的点，就组成了三维点云如图3所示，就形成了物体三维信息。

图3三维成像效果

2.2三维测量技术研究。三维测量技术有区别于二维测量技术主要在于三维视觉可以提供物体的深度信息，

传统的二维图像的构造是在像素坐标（u ，v ）中存储灰度信息，三维视觉可以生成高度图即在像素坐标（u ，v ）中存储该位置的高度信息，这样就给我们的测量提供了更多的信息。

除了高度图的信息，三维视觉还有另一种数据表达方式点云数据，其指的是通过三维重建可以获取所有位置点的（X ，Y ，Z ）的

摘

要：为满足工业机器人的定制化、多样化的应用需求，解决工业机器人受二维视觉平面信息限制，

在机器视觉应用方式的局限性，单一性等问题。研究运用三维重建、三维测量、三维位置估算、手眼标定等三维视觉关键技术，并引用实例进行验证，为三维视觉关键技术在工业机器人行业的应用提供了理论基础和应用参考。结论表明，在工业机器人行业运用三维视觉技术的思想和方法是可行的。

关键词：三维视觉；机器人；三维重建；三维测量中图分类号：TP242文献标识码：A

文章编号：1673-4033（2018）04-0050-02

基金项目：柔性机器人关键技术的研究与产业化（28100005）；机器人与关键零部件技术研发和机器人集成技术研究

（28200001），精密激光加工智能装备的研发（28800002）。

作者简介：谢显飞（1989—），男，汉族，广东广州人，硕士学位，广州启帆工业机器人有限公司软件工程师，

主要从事机器视觉与图像处理、人工智能、企业信息化等方面的研究与开发工作，当前职务：产品研发、项目管理，研究方向：机器视觉与图像处理、人工智能、机器人、

自动化集成等

。50

民营科技2018年第4期科技创新

值，这些离散的点拼接在一起就形成了三维点云数据，通过三维点云的数据分析可以测得比如物体的长、宽、高、体积、深度等三维信息。

2.3三维位置估算的算法研究。三维位置估算指的是通过预先给定的物体三维模型[3]，在一堆无序的物体中，通过三维视觉的重建和位置估算算法，获取目标物体的三维位置信息和姿态信息。实现三维位置估算技术流程如图4所示。

图4三维位置估算技术流程图

由三维相机提供点云，通过点云图可以获取相应的深度图和灰度图，将获得的深度图和灰度图与模板库中的三维模型生成的深度图和灰度图分别进行匹配，找到相似度最高的那个。然后分别提取最相似的那个图像的SIFT特征点和模板中的SIFT特征点进行匹配运算，生成选择平移矩阵矩阵，使得版模图像完全重合到目标图像。这样就得到了完整的三维位置姿态信息，从而进行信息输出。实现三维定位，位置姿态识别功能。

2.4手眼标定。手眼标定是实现三维视觉和机器人的关联。通常都是借助一个中间物质，称为标定块如图5所示，来实现数据的转化。

图5标定块

标定块上4个角点的坐标标记为（U，V，W），机器人装上标定杆，进行完TCP工具坐标标定完之后，再用标定杆尖端拾取标定块上对应的角点的坐标标记为（X，Y，Z）。此时有了4组对应的坐标值，可以通过坐标系转化矩阵运算公式[4]，求得三维视觉坐标系到机器人坐标系的变换矩阵R。

其中R的计算公式为：R=（u，v，1）-1·（x，y，1）。

求得了变换矩阵，就可以把三维视觉中得到的数据，通过变换矩阵R，可以计算得到改点在机器人坐标系的表示方法。

其中机器人坐标系下的表达方式为：（x，y，z）=（u，v，1）·R。

3三维视觉机器人分拣应用实例

以上我们研究完了三维重建原理，三维测量原理，三维位置姿态估算原理，三维手眼标定原理等，将其都集成在一起，就能实现很多三维视觉在机器人的应用[5]。

此处研究了基于机器人的三维分拣是一个多传感器、多系统集成的柔性化工作站，由六轴机器人、三维视觉系统、工控机、直线滑台模组等主要部分组成。如图6所示。

三维视觉机器人分拣工作站的工作流程如图7所示。

图7三维视觉分拣工作站工作流程图

图8是三维视觉分拣工作站的软件界面图，其中包含的菜单栏、配置栏、参数设置、可视化窗体、通讯助手等功能模块。

图8三维视觉分拣系统界面图

4结论

通过研究三维视觉在工业机器人行业的关键技术的研究，开发了三维视觉分拣软件，并在三维视觉分拣工作站中得以应用，实现了在无序乱堆的物品中，通过三维视觉关键技术，将其识别并由六轴机器人进行拾取。本研究内容不仅限于三维分拣应用，还能做完成其他很多三维视觉应用，如三维测量，三维喷涂，三维打磨、三维焊接等。

该三维视觉关键技术研究，突破了传统的二维平面视觉，给工业机器人的应用提供了更多的可能性，同时响应了市场需求，带来了重大的现实意义。

参考文献

[1]Mitra N J，Nguyen A.Estimating surface normals in noisy point cloud data[C]//Proceedings of the nineteenth annual symposium on Computational geometry.

[2]T.D.Ditto，D.A.Lyon.Moly.A prototype hand-held three-dimensional digitizer with diffraction optics[J].Opt.Eng，2000（1）：12-20.

[3]张文斌.基于线结构光的三维视觉关键技术研究[D].太原：中北

大学，2013.

[4]李宝，程志全，党岗，等.三维点云法向量估计综述[J].计算机工

程与应用，2010（23）：2-5.

[5]柯科勇.基于双目视觉的散乱堆放工件拾取系统[D].广州：广东

工业大学，

2016.

图6三维视觉分拣工作站效果图

51