图像反馈机器人视觉伺服系统理论与实验研究

"
’ % 2 !
（1 ）
基于图像的运动控制器可表示为：
!" !"
’#&!!&%
（3 ）
456&#"" 四 自 由 度 工 业 机 器 人 及 摄 像 机 的 相 关 参 数
如下：
(% ’"7!8， (! ’"7%$98， $ : )* ’%79; ， <+ ’"7"#$8， <, ’ "7"18
由此得到： " " ’"7#$;38 ， " % ’"7#38 ， " ! ’"7%;38 所以：
的线性变换。定义为：
( )’ $ ( ! %
.%/
图 ! 四自由度工业机器人 234)#""
( 是图像特征随时间 的 变 化 率0 $ ( 是手爪位姿变化 其中 !
率，图像雅克比矩阵 ’% 可表示为
!!% ! !$% " ’%) " " ( !! " " !$% #
… !!% … …
!$% %
$
（! ）
动，完成伺服任务。该方法无需估计目标在笛卡尔坐标系中 的位姿，减少了计算延时，并且可以克服摄像机标定误差及 关节位置传感器误差对定位精度的影响。为此本文中就采用 了基于图像的视觉伺服方式。但是，为了将图像特征参数的 变化同机器人位姿变化联系起来，该方法必需计算图像雅可 比矩阵 （+CAD5 FAG/@-A0 1A>H-I）及其图像雅可比矩阵。图像 雅可比矩阵是摄像机与目标之间距离的函数，而这个距离却 经常是随着时间的变化而变化的。此外图像雅可比矩阵的逆 矩阵的奇异点也可能导致系统的不稳定。 视觉伺服是用视觉 信 息 构 成 机 器 人 末 端 的 位 置 闭 环 控 制。视觉伺服涉及的研究领域众多，主要有计算机视觉、 图像处理、控制理论、机器 人 运 动 学 、 机 器 人 动 力 学 、 实 时计算等。因此，建立机器 人 视 觉 伺 服 控 制 系 统 ， 对 研 究 智能机器人具有重要的意义 。 由 于 视 觉 伺 服 机 器 人 对 周 围 环境有很强的自适应性，拓 宽 了 机 器 人 的 应 用 领 域 。 可 以 预见，视觉智能机器人将得 到 越 来 越 广 泛 的 应 用 。 但 是 由 于机器人系统本身的高度非 线 性 以 及 视 觉 信 息 处 理 的 复 杂 性，要建立视觉伺服控制系 统 是 有 相 当 难 度 的 。 本 文 建 立 了 基 于 图 像 反 馈 的 四 自 由 度 J*K?#"" 工 业 机 器 人 图 像 反 馈视觉伺服系统，在实验中 实 现 了 机 械 手 对 二 维 平 面 运 动 目标的跟踪。
’! &9 % ./)9 !/ <=;#!)9 % .9 ":4/ ;,7#!
雅可比矩阵的逆为：
%E
机电工程技术 !""# 年第 $$ 卷第 %! 期
制造业信息 化
!!&%’ % !!
!
" " ()
#$" ! " ! &#&" %-/0"! 2% " 2! "
$ *" " (%(" %+,-"!.
% 引言
机器视觉是随着 &" 年代末计算机与电子技术的快速发 展而出现的。 ’" 年代出现了把视觉信息用于机械手定位的 研究，在当时还有一些实用 性 的 视 觉 系 统 开 始 应 用 在 生 产 场合，譬如精密电子产品装配、饮料罐装场合等。到了 (" 年代，随着计算机技术、图像处理技术、控制理论的发展， 人们开始系统地研究机器人 视 觉 伺 服 控 制 系 统 ， 并 研 制 出 一些系统投入使 用 ， 如 美 国 斯 坦 福 大 学 和 )*+ 共 同 开 发 的
机坐标系下的齐次坐标， 4 、 / 为目标 点 16 在 AAB 摄 像 机 成像面内的坐标， " 为透镜焦距， #% 和 #! 分 别 为 机 器 人 一 轴和二轴的转角， 3%、 3! 为机器人的结构参数。 视觉运动控制系统 由 基 于 图 像 视 觉 运 动 控 制 器 和 速 度 闭环机器人组成。视觉运动 控 制 器 由 逆 图 像 雅 克 比 矩 阵 和 控制算法构成。 为 使 图 像 雅 克 比 矩 阵 简 单 明 了 ， 可 令 9 ") .3!:+5/ (" C
% ， ’% 为 "*% 矩阵。 % ( !!" % !$% &
0 (") 3%;,7#! (" )/: +0 (" $ ! )/: + 1 1 1 2 2 2 % " ’!& % " 3 3 3 !:+5 %<=;#! !:+5 4: (": 1 4: 1 (" 2 2 & # 12
其中 16& ’17
机电工程技术 !""# 年第 $$ 卷第 %! 期
制造业信息 化
图像反馈机器人视觉伺服系统理论与实验研究 L
钟金明 %，徐
（%M 深圳大学工程技术学院，广东深圳
刚 %，张海波 !
!%""%& ）
N%("&" ； !M 南京航空航天大学能源与动力工程学院，江苏南京
摘要：对机器人视觉伺服系统的研究是机器人领域中的重要内容之一，其研究成果可应用在机器人自动避障、轨线跟踪和运动目 标跟踪等问题中。本文分析了基于图像雅克比矩阵的机器人视觉伺服方法的基本原理，采用了基于图像的视觉伺服方法，直接利 用图像特征来控制机器人运动，构建了自由度 J*K?#"" 工业机器人图像反馈视觉伺服系统 。 采 用 该 系 统 进 行 了 机 器 人 跟 踪 两 维 平面运动目标的实验，结果验证了该方法的有效性。 关键词：图像雅可比矩阵； J*K?#"" 工业机器人；视觉伺服 中图分类号： O6!#!M&P! 文献标识码： 9 文章编号： %"":?:#:! =!""#B %!?""%N?"$
%N
制 造业信息化
机电工程技术 !""# 年第 $$ 卷第 %! 期
制系统中分离出来，在视觉控制中可作为线性环节处理，简 化了视觉控制器的设计过程。由于现在多数机器人系统中含 有能够接受以笛卡尔坐标表示 的 位 置 增 量 或 速 度 的 对 外 接 口，因此双环结构简单易行，被广泛采用。
方法以及学习方法等，公式 推 导 法 、 标 定 法 可 以 根 据 模 型 推导或标定得到，估计方法 可 以 通 过 动 态 估 算 得 到 图 像 雅 可比矩阵，学习方法主要利 用 神 经 网 络 方 法 训 练 出 雅 可 比 矩阵。
1
（> ）
8
1
2 %*
?
为固定的目标点 @ 在摄像
另外如果机器人的输 入 为 关 节 角 的 速 度 ， 那 么 可 以 定 义机器人关节角 向 量 + & ’+ %0+ !0(((0+ ,)%0+ ,* ， 关 节 角 空 间 为 - ， 那么可以得到 - 在 + 的切空间到 & 在 $ 的 切 空 间 的 线 性 变 换。定义为：
#"" 四自由度工业机器人的图像雅可比矩阵为：
!")%， !"*， # 为图象特征向量空间， +,- .#/ &"； $ 为机器手
相 对 于 基 坐 标 系 的 位 姿 $& ’$%0$!0(((0$%)%0$%* ， 定 义 任 务 空 间 为
&0+,- .&/ &% 。定义 ’% 为 & 在 $ 的切空间到 # 在 ! 的切空间
图像 处理
图%
基于图像的机器人视觉伺服系统结构图
对于这种基于图像的机器人视觉伺服系统控制结构， 关键的问题是如何得到反映图 像 特 征 与 机 器 手 位 姿 速 度 之 间关系的所谓的图像雅可比矩 阵 （如 果 机 器 人 的 输 入 为 机 器手位姿速度） ： 设 ! 为 表 征 目 标 物 体 的 图 像 特 征 向 量 ： ! & ’ !%， !!， ((( ，
456&#"" 四自由度工业机器人、单目 @ABC @D&%3$" EEF
摄 像 头 （ 分 辨 率 为 %"!#G%"!# ） 及 EH5IEH 图 像 采 集 系 统，构建了图像反馈视 觉 伺 服 系 统 的 实 验 平 台 ， 通 过 实 验
)*+ ,-.-/0 1/2345、荷兰 67-4-8. 公司研制的 696) 系统等。
到了 :" 年代，随着计算机功能的增强和价格的下降，以及 图像处理硬件和 ;;< 摄像机的快速发展，众多研究人员广 泛深入到机器人视觉系统研 究 领 域 ， 机 器 人 视 觉 控 制 无 论 在理论上还是在应用方面都取得了长足的进步。 机器人视觉伺服系统的种类繁多，存在多种分类方 法。从误差控制信号类型的 角 度 ， 机 器 人 视 觉 伺 服 可 分 为 基于位置 =8/.->-/0?@A.52B 和 基 于 图 像 =-CAD5?@A.52B 的 视 觉伺服控制。前者的视觉信 息 被 解 释 为 相 对 于 一 个 基 坐 标 系或世界坐标系的三维笛卡 尔 坐 标 ； 而 后 者 的 视 觉 信 息 则 是被定义为在二维的图像平面的图像特征。 目前，多数视觉伺服系统采用基于位置的控制方式， 因为直接在笛卡尔空间控制 机 械 手 的 运 动 ， 其 原 理 简 单 明 了，易于理解。但是，该方 式 的 控 制 精 度 在 很 大 程 度 上 依 赖于目标位姿的估计精度。位姿计算与手 E 眼系统参数标 定有关，许多手眼标定方法 需 要 辅 助 参 考 物 ， 在 工 业 环 境 中很难保证目标位姿估计的准确度。 基于图像的视觉伺服，其误差信号直接用图像特征来定 义，而不是任务空间坐标的 函 数 。 由 误 差 信 号 计 算 出 控 制 量，并将其变换到机器人运 动 空 间 ， 驱 动 机 械 手 向 目 标 运