基于双目立体视觉的机械手精确定位系统

５结论
目前投入使用的排爆机器人在实际排爆过程中都需要对机
械手的各关节实施手动控制，以完成目标定位，进而抓取目标的
功能。 丌转第６５页）
Ｉ（ＰＬＣ狡 万术方应数用据２００例’｜
＠鼬罔邮局订眠８２躺３６０元／－２１１一
愿西藏财莉雨酾稠蟊蕊
单片机开发与应用
哟，“看门狗”根据程序运行指定时间间隔内未进行操作，来判 探测仪器研制等工作。
Ａｂｓｔｒａｃｔ：Ｔａｒｇｅｔ Ｐｏｓｉｔｉｏｎｉｎｇ ｉｓ ｖｅｒｙ ｉｍｐｏｒｔａｎｔ ｆｏｒ ａ ｍａｎｉｐｕｌａｔｏｒ，ｗｈｉｃｈ ｉｍｐｌｉｅｓ ｔｏ ｃｏｎｔｒｏｌ ｔｈｅ ｍａｎｉｐｕｌａｔｏｒ ｍｏｖｉｎｇ ｔｏ ｔｈｅ ｐｏｓｉｔｉｏｎ ｏｆ ａ ｔａｒｇｅｔ．Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ｔｈｅ ｄｅｓｉｇｎ ｏｆ ａｎ ａｕｔｏｍａｔｉｃａｌｌｙ ｔａｒｇｅｔ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｔｅｃｈｎｉｃａｌ，ｗｈｅｒｅ ｔｈｅ ３Ｄ ｃｏｏｒｄｉｎａｔｅ ｏｆ ａ ｔａｒｇｅｔ ｉｓ ａｃｑｕｉｒｅｄ ｔｈｒｏｕｇｈ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｕｂｓｙｓｔｅｍ，ｔｈｅｎ ｔｈｅ ｍａｎｉｐｕｌａｔｏｒ ｗｉｌｌ ｂｅ ｃｏｎｔｒｏｌｌｅｄ ｔｏ ｐｅｒｆｏｒｍ ａｕｔｏｍａｔｉｃａｌｌｙ ｔａｒｇｅｔ ｐｏｓｉｔｉｏｎｉｎｇ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ３Ｄ ｃｏｏｒｄｉｎａｔｅ ａｃｑｕｉｒｅｄ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｉｓ ｓｙｓｔｅｍ ｈａｖｅ ｅｘｔｅｎｄｅｄ ｔｈｅ ａｂｉｌｉｔｙ ｏｆ ａ ｍａｎｉｐｕｌａｔｏｒ ｇｒｅａｔｌｙ．
误读，为消除干扰影响，可采用软件滤波方法。常用的软件滤
ｅｎｖｉｒｏｎｍｅｎｔ ｄｅｔｅｃｔｏｒ，ａｎｄ ｔｈｅ ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ ｓｔｕｄｉｅｓ．
波方法有：
Ｓｕｎ ｙｕｅ ｑｉａｎｇ，ｆｅｍａｌｅ，１９６３一，Ｂｅｒｉｎｇ，ｔｈｅ Ｈａｎ ｎａｔｉｏｎａｌｉｔｙ，
ａ．中位值平均滤波法。对重要信号进行多次Ｎ个采样，去除ｄｏｃｔｏｒ ｓｕｐｅｒｖｉｓｏｒ，ｔｈｅ ｒｅｓｅａｒｃｈｅｒ ｏｆ ｔｈｅ ｌａｂｏｒａｔｏｒｙ ｏｆ ｓｐａｃｅ ｅｎｖｌ一
像枪成 像几何模型所决定，该几何模型的参数称为摄像机参数。
这些参数必须由试验和计算决定，试验和计算的过程称为摄像 枪标定。一般，摄像机的成像模型可用以下函数关系来描述：
ＣⅫ＝Ｈ｜啦ｔｌ姊）
Ｃ嘞ｆ＝Ｈ∞ｍ（，≈Ⅱ）
其中，ｋ，Ｉ咄分别为目标的左，右图像坐标，Ｃ。，ｃ咄则为目 标分别在左摄像机坐标系和右摄像机坐标系中的三维坐标，而
本文详细描述了基于双目立体视觉的排爆机器人的多功能 机械手自动定位系统的设计。
该系统首先由双目立体视觉技术计算出目标物在视觉坐标 系中的三维坐标，并将该坐标转换到机器人坐标系，然后根据 该坐标控制机械手实现自动定位。本文对该机器人的系统结构 和双目立体视觉子系统进行了详细的描述。最后进行了实际的 抓取实验，取得了良好的实验效果。
坐标ｃ曲。同一点的两图像坐标则由图像匹配过程获得。
一
机
械 ·１———叫位置（速度）检测ｌ·－型Ｌ＿Ｊ
手
运
动 ——１—叫塑鱼！墨］—叫皇鎏皇塑Ｉ
规●
ｌ位置（速度）检测ｌ●
图４嵌入式控制子系统
３嵌入式控制子系统
位于机器人本体上的嵌入式计算机用于对机械手进行控 制。包括手臂的整体运动规划与各关节直流电机的位置控制。 当嵌入式计算机收到后台计算机发来的目标物的三维坐标后，
１０．６
．１７．６
Ｏ．５０
０．７０ ０．９０
３
９８．９
１７．９
１７．９
Ｏ．９０
１．２０ Ｏ．６０
４
９７．２
．１６．３ ．１９．６
１．４０
１．９０ Ｏ．６０
５
８２．４
一１．７
．１９．６
１．１０
１．２０ １．１０
将一目标物置于机械手的工作范围内，利用本系统实施自 动抓取实验。在实验过程中，先手动控制机械手各个关节，使得 可以通过两摄像头观察到目标物，然后启动双目立体视觉系统， 通过两摄像头所摄得的目标物的图像计算目标物的三维坐标， 再将三维坐标传给机器人本体上的嵌入式计算机，由其控制手 臂自动定位到目标物位置，实施抓取。实验数据如右表所示，实 验表明，该系统可以获得较高的定位精度。
两个摄像头被安装在机械手小臂上，用来充当双目立体视觉
系统的双目。为实现机械手目标自动定位的功能，除了在现场工 作的该机器人本体之外，还需要一台不在现场的后台计算机进行 支持。两摄像头将摄取的目标物的图像传递到后台计算机，后台 计算机上的立体视觉子系统通过该两幅二维图像，计算出目标物 在摄像头坐标系中的三维坐标，将其转换为在机器人坐标系中的 三维坐标，并将其传给机器人本体上的嵌入式计算机，并由该嵌 入式计算机完成手臂的运动控制，控制手臂运动到目标物位置， 从而实现自动目标定位的功能。系统结构如图２所示。
断程序运行出错。采用这种环形结构的软件“看门狗”，具有良 Ｂｉｏｇｒａｐｈｙ：Ｗａｎｇ ｊｉｎｇ，ｆｅｍａｌｅ，１９７７－，Ｂｅｉｊｉｎｇ，ｔｈｅ Ｈａｎ ｎａｔｉｏｎａｌ一
好的抗干扰性能。 ３＿３．４软件滤波技术 干扰对单片机的输入会造成输入信号瞬间采样的误差或
ｉｔｙ，ｔｈｅ ｅｎｇｉｎｅｅｒ ｏｆ ｔｈｅ ｌａｂｏｒａｔｏｒｙ ｏｆ ｓｐａｃｅ ｅｎｖｉｒｏｎｍｅｎｔ ｅｘｐｌｏ一 ｒａｔｉｏｎ，Ｃｅｎｔｅｒ ｆｏｒ ｓｐａｃｅ ｓｃｉｅｎｃｅ ａｎｄ ａｐｐｌｉｅｄ ｒｅｓｅａｒｃｈ Ｃｈｉｎｅｓｅ ａ－ ｃａｄｅｍｙ ｏｆ ｓｃｉｅｎｃｅｓ，ｉｓ ｅｎｇａｇｅｄ ｉｎ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｔｈｅ ｓｐａｃｅ
机器人技术
文章编号：１００８—０５７０（２００７）０７—２－０２１０—０２
中文核心期刊《微计算机信息》（嵌入式与ＳＯＣ）２００７年第２３卷第７—２期
基于双目立体视觉的机械手精确定位系统
Ｔｈｅ ｔａｒｇｅｔ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ ｏｆ ａ ｍａｎｉｐｕｌａｔｏｒ ｂａｓｅｄ ｏｎ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ
最大和最小值，取剩余的Ｎ一２个Ａ／Ｄ转换值的平均值。此方法
ｒｏｎｍｅｎｔ ｅｘｐｌｏｒａｔｉｏｎ，Ｃｅｎｔｅｒ ｆｏｒ ｓｐａｃｅ ｓｃｉｅｎｃｅ ａｎｄ ａｐｐｌｉｅｄ ｒｅ一
可消除由于偶然出现的脉冲干扰引起的采样值偏差。
ｓｅａｒｃｈ Ｃｈｉｎｅｓｅ ａｃａｄｅｍｙ ｏｆ ｓｃｉｅｎｃｅｓ，１ｓ ｅｎｇａｇｅｄ ｉｎ ｔｈｅ ｓｔｕｄｉｅｓ
该双目立体视觉系统标定结果如图３所示。 ２．２深度计算 当进行了单摄像头标定和立体标定之后，该双目立体视觉 系统的模型被建立起来，两摄像头的二维图像坐标与空间三维
坐标之间有以下关系： ＼Ｃ球＝Ｈ雌０Ｉｌ啦、
ｌＲｘ（砀＋丁＝Ｈｍｍ（，ｗｍ）
若得到空间任一点分别在两摄像头成像中的图像坐标Ｉ。， Ｉ诎，则可以通过解上述方程得到该空间点在左摄像机坐标系中 的三维坐标ｃ。，同理，也可得到其在右摄像机坐标系中的三维
图３标定结果
２双目立体视觉子系统
双目立体视觉是指用两台性能相当、位置固定的ＣＣＤ摄像
机，获取同一景物的两幅图像，通过两个摄像头所获取的二维 图像，来计算出景物的三维信息。在原理上比较类似人类的双 目视觉。组建一个完整的双目立体视觉系统一般需要经过摄像 机标定，图像匹配，深度计算等步骤。
２．１摄像机标定 在摄像机成像过程中，物体成像在图像上的位置与空间中 该物体表面相应点的几何位置有关，这些位置的相互关系，由摄
Ｋｅｙ Ｗｏｒｄｓ：Ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ，Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ，Ｍｏｔｉｏｎ ｃｏｎｔｒｏｌ
机器人技术是涉及机械学、传感器技术、驱动技术、控制技 术、通信技术和计算机技术的一门综合性高新技术，既是光机
电一体 化的重要基础，又是光机电一体化技术的典型代表，它
是多学科科技革命的必然结果。近年来，随着机器人研究的不 断发展，机器人技术开始源源不断地向人类活动的各个领域渗 透，结合这些领域的应用特点，各种各样的具有不同功能的机 器人被研制出来，并且在不同的应用领域都得到了广泛的应 用。例如，美国Ｗｏｌｓｔｅｎｈｏｌｍｅ机器公司生产的ＭＲ５和ＭＲ７排爆 机器人，能用于户内及户外环境、适应各种地形活动，完成排爆 功能，已被美国军方广泛使用。排爆机器人是特种机器人的一 种，主要用于在事发现场排除处理爆炸物及其他危险物品。排 爆机器人的多功能机械手，作为排爆机器人的完成抓取任务的 主要执行器，应能完成包括抓取爆炸物在内的一系列任务，对 于排爆机器人来讲尤为重要。排爆是一个充满变化而复杂的 过程，在排爆机器人执行任务的过程中，最关键的一步就是控 制机器人的多功能机械手去抓取目标物，即控制机械手精确的 定位到目标物位置，完成抓取动作。目前世界上已投入使用的 排爆机器人，在工作方式上，都需要一个经验丰富的操作员，对 机械手进行远程手动控制，达到机械手精确定位的目的。这种 工作方式，一方面对操作员的要求非常高，另一方面，手动控制 也很难达到很高的精度。因此，若能通过计算机视觉技术实现 机械手的自动精确定位，而不需要去手动控制机械手的各个关 节，将会在很大程度上提高排爆机器人的性能。
ｂ．程序判断滤波法。根据经验确定出两次采样的最大偏差
ｏｆ ｓｐａｃｅ ｅｎｖｉｒｏｎｍｅｎｔ ｄｅｔｅｃｔｉｎｇ，
ａｎｄ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｍ ｔｈｅ
值么Ｙ。若两次采样信号相减数值大于么Ｙ，表明为干扰信号，应 ｓｐａｃｅ ｅｎｖｉｒｏｎｍｅｎｔ ｄｅｔｅｃｔｏｒ．
去除。用上次采样值与本次采样值比较，若小于或等于么Ｙ，表（１０００８０北京中国科学院空间科学与应用研究中心）王晶 明没有受到干扰。此时采样值有效，这种方法可滤去随机干扰和 孙越强
函数ＨⅫ与Ｈ曲则代表了左摄像机和右摄像机的成像模型。利
用张氏平面法可以方便的对ＨⅦ与Ｈ曲进行估计。 在分别对左右摄像头进行标定后，还需对该双目立体视觉
系统进行立体标定，目标是得到两摄像头之间的相对位置关
系，由旋转矩阵Ｒ和平移矩阵Ｔ来描述。
Ｇ。ｎ
ＲＴ
ｌ。Ｉ％ｌ＿－Ｉ
１１ Ｊ Ｌ０７ １ Ｊ“Ｅｌ Ｊ
wk.baidu.com
若得到多个空间点的ＣⅫ，ｃ触数据，则可以通过最小二乘 法得到旋转矩阵Ｒ和平移矩阵Ｔ的估计值。
１系统结构
该排爆机器人的主要功能部件为一辆能被远程操控的运动 小车和一个多关节多功能机械手。该机器人的装配示意图见图 １所示。
图１系统装配示意图
汪伟：硕士研究生 基金项目：广东省科技厅广东省科技攻关项目（Ｂ０１一 Ｄ７０４１０１０）；广东省科技厅广东省自然科学基金博士启动项目 （２００６０４∞２１７）
图２系统装配示意图 在排爆机器人执行任务的过程中，该小车将会被遥控到危
一２１０—３６０元，年邮局订阅号：８２—９４６
万方数据
鹰蠹函瓣甄溺灞丽匿硼
机器人技术
险物所在的环境中，使危险目标物处于机械手的工作空间中，机 械手便可以开始工作，完成抓取目标的任务。该机械手的设计 仿照人类手臂的构造，总共有六个自由度，包括腰旋转关节，肩 转动关节，肘转动关节，腕转动关节，手爪旋转关节与手爪开闭 关节。这种多自由度的设计使得机械手具有较大的灵活度，以 适应复杂的工作环境的要求。
便会根据该三维坐标对手臂各关节的运动进行规划，并实施底 层的电机位置控制。如图４所示。
该嵌入式控制系统硬件上采用了ＰＣＩ０４嵌入式计算机，软 件上采用Ｔｈｅ Ｍａｔｈｗｏｒｋｓ公司的ｘＰＣ内核。
４实验结果
目标坐标（ｅｍ）
偏差（ｅｍ）
Ｘ
ｌ
９０．９
Ｙ
Ｚ
Ｘ
ｙ
Ｚ
０．４
１９．５
Ｏ．６０
０．３５ ０．５０
２
９４．９
（华南理工大学）汪伟罗飞蒋梁中祁亨年
ＷＡＮＧ ＷＥＩ ＬＵＯ ＦＥＩ ＪＩＡＮＧ ＬＩＡＮＧＺＨＯＮＧ ＱＩ ＨＥＮＧＮＩＡＮ
摘要：在机械手执行任务的过程中，控制机械手定位到目标位置是一个非常关键的问题。本文提出了一种基于双目立体视觉 的机械手自动定位系统设计方法，由双目立体视觉系统根据目标物的二维图像计算出目标物的三雏坐标，然后根据此三维 坐标去控制机械手自动运动到目标位置。实验表明该系统能提高排爆机器人机械手的易操作性，大大提高了机械手的性能 关键词：双目立体视觉；标定；运动控制 中图分类号：ＴＰ２４２－３ 文献标识码：Ａ