基于双目立体视觉及机械手精确定位系统

基于双目立体视觉的机械手精确定位系统

双目立体视觉

导读：摘要：在机械手执行任务的过程中，控制机械手定位到目标位置是一个非常关键的问题。本文提出了一种基于双目立体视觉的机械手自动定位系统设计方法，由双目立体视觉系统根据目标物的二维图像计算出目标物的三维坐...

摘要：在机械手执行任务的过程中，控制机械手定位到目标位置是一个非常关键的问题。本文提出了一种基于双目立体视觉的机械手自动定位系统设计方法，由双目立体视觉系统根据目标物的二维图像计算出目标物的三维坐标，然后根据此三维坐标去控制机械手自动运动到目标位置。实验表明该系统能提高排爆机器人机械手的易操作性，大大提高了机械手的性能。

关键词：双目立体视觉, 标定, 运动控制

The target positioning system of a manipulator based on binocular st

ereo vision

Wang Wei , LuoFei, Jiang Liangzhong, Qi Hengnian

Abstract: Target Positioning is very important for a manipulator, whic h implies to control the manipulator moving to the position of a ta rget. This paper proposes the design of an automatically target posit ioning system based on binocular stereo vision technical, where the 3 D coordinate of a target is acquired through the binocular stereo vi sion subsystem, then the manipulator will be controlled to perform au tomatically target positioning according to the 3D coordinate acquired. The experiment result showed that this system have extended the abi lity of a manipulator greatly.

Key Words: Binocular stereo vision, Camera calibration, Motion control 机器人技术是涉及机械学、传感器技术、驱动技术、控制技术、通信技术和计算机技术的一门综合性高新技术，既是光机电一体化的重要基础，又是光机电一体化技术的典型代表，它是多学科科技革命的必然结果。近年来，随着机器人研究的不断发展，机器人技术开始源源不断地向人类活动的各个领域渗透，结合这些领域的应用特点，各种各样的具有不同功能的机器人被研制出来，并且在不同的应用领域都得到了广泛的应用。例如，美国 Wolstenholme 机器公司生产的MR5和MR7排爆机器人，能用于户内及户外环境、适应各种地形活动，完成排爆功能，已被美国军方广泛使用。排爆机器人是特种机器人的一种，主要用于在事发现场排除处理爆炸物及其他危险物品。排爆机器人的多功能机械手，作为排爆机器人的完成抓取任务的主要执行器，应能完成包括抓取爆炸物在内的一系列任务，对于排爆机器人来讲尤为重要。排爆是一个充满变化而复杂的过程，在排爆机器人执行任务的过程中，最关键的一步就是控制机器人的多功能机械手去抓取目标物，即控制机

械手精确的定位到目标物位置，完成抓取动作。目前世界上已投入使用的排爆机器人，在工作方式上，都需要一个经验丰富的操作员，对机械手进行远程手动控制，达到机械手精确定位的目的。这种工作方式，一方面对操作员的要求非常高，另一方面，手动控制也很难达到很高的精度。因此，若能通过计算机视觉技术实现机械手的自动精确定位，而不需要去手动控制机械手的各个关节，将会在很大程度上提高排爆机器人的性能。

本文详细描述了基于双目立体视觉的排爆机器人的多功能机械手自动定位系统的设计。

该系统首先由双目立体视觉技术计算出目标物在视觉坐标系中的三维坐标，并将该坐标转换到机器人坐标系，然后根据该坐标控制机械手实现自动定位。本文对该机器人的系统结构和双目立体视觉子系统进行了详细的描述。最后进行了实际的抓取实验，取得了良好的实验效果。

1、系统结构

该排爆机器人的主要功能部件为一辆能被远程操控的运动小车和一个多关节多功能机械手。该机器人的装配示意图见图1所示。

图1 系统装配示意图

图2 系统装配示意图

在排爆机器人执行任务的过程中，该小车将会被遥控到危险物所在的环境中，使危险目标物处于机械手的工作空间中，机械手便可以开始工作，完成抓取目标的任务。该机械手的设计仿照人类手臂的构造，总共有六个自由度，包括腰旋转关节，肩转动关节，肘转动关节，腕转动关节，手爪旋转关节与手爪开闭关节。这种多自由度的设计使得机械手具有较大的灵活度，以适应复杂的工作环境的要求。

两个摄像头被安装在机械手小臂上，用来充当双目立体视觉系统的双目。为实现机械手目标自动定位的功能，除了在现场工作的该机器人本体之外，还需要一台不在现场的后台计

算机进行支持。两摄像头将摄取的目标物的图像传递到后台计算机，后台计算机上的立体视觉子系统通过该两幅二维图像，计算出目标物在摄像头坐标系中的三维坐标，将其转换为在机器人坐标系中的三维坐标，并将其传给机器人本体上的嵌入式计算机，并由该嵌入式计算机完成手臂的运动控制，控制手臂运动到目标物位置，从而实现自动目标定位的功能。系统结构如图2所示。

2、双目立体视觉子系统

双目立体视觉是指用两台性能相当、位置固定的CCD摄像机，获取同一景物的两幅图像，通过两个摄像头所获取的二维图像，来计算出景物的三维信息。在原理上比较类似人类的双目视觉。组建一个完整的双目立体视觉系统一般需要经过摄像机标定，图像匹配，深度计算等步骤。

2.1 摄像机标定

在摄像机成像过程中，物体成像在图像上的位置与空间中该物体表面相应点的几何位置有关，这些位置的相互关系，由摄像枪成像几何模型所决定，该几何模型的参数称为摄像机参数。这些参数必须由试验和计算决定，试验和计算的过程称为摄像枪标定。一般，摄像机的成像模型可用以下函数关系来描述：

其中I left，I right，分别为目标的左，右图像坐标，C left，C right则为目标分别在左摄像机坐标系和右摄像机坐标系中的三维坐标，而函数H left与H right则代表了左摄像机和右摄像机的成像模型。利用张氏平面法可以方便的对H left与H right进行估计。

在分别对左右摄像头进行标定后，还需对该双目立体视觉系统进行立体标定，目标是得到两摄像头之间的相对位置关系，由旋转矩阵R和平移矩阵T来描述。

若得到多个空间点的C left，C right数据，则可以通过最小二乘法得到旋转矩阵R和平移矩阵T的估计值。

该双目立体视觉系统标定结果如图3所示。