基于神经网络的机器人视觉伺服控制

1)机器人末端执行器到达工件处; 2)使其抓起工件; 3)将其移动至别处。在本文中，将要讨论 第一个子任务。本文研究的视觉伺服系统属于眼在手上构型，即摄像机安装于机器人末端执
1
行器上的类型。光轴 C Z 是将末端执行器坐标系 {T} 的 T Z 轴平移一定量得到的，如图 1。
2．2 坐标系定义 本文中所涉及的坐标系主要有：末端执行器坐
化速度 ξ&之间的关系，则有：
ξ&= JI Jcqq&= Jq&
(8)
其中 Jcq 为机器人雅可比矩阵， JI 为图像雅可比矩阵， J = JI Jcq 称为复合雅可比矩阵。
2
4.
基于图像的视觉伺服系统 图 2 为本文的视觉伺服控制系统结构图。图
ξd
+
e kP
J+
∆q 机器人控 制器
- 视觉控制器
1. 引言 目前视觉伺服控制的研究在机器人研究领域是一个热点问题[1]。Shirai 和 Inouei[2]在
1973 年首次将视觉控制引入机器人操作当中。他们采用固定摄像机的方式，利用视觉来提 高机器人的定位精度，实现了抓取和放置的任务。1979 年 Hill 和 Park[3]提出了“视觉伺服 （Visual servo）look-and-move 方式”的概念。视觉首次被引入了闭环，以克服系统模型（包 括机器人、视觉系统、环境）存在的不确定性，提高机器人的操作精度。
本文提出了一种基于图像的视觉伺服控制方案，将视觉信息直接用于伺服过程。为达到 指令定位位置使用一个人工神经网络来确定所需的关节角度变化，对机器人末端操作手定 位，这种方法使得系统省略了计算视觉雅可比矩阵和机器人逆雅可比矩阵及手眼标定的过 程，简化了控制算法的计算。
2. 问题陈述
2．1 问题提出 在机器人应用中，最基本的任务是抓取和放置。通常，这项工作由以下的子任务组成：
0 β
⎤ ⎦⎥
⎡ ⎢⎣
xycc
⎤ ⎥⎦
(1)
其中 f 为焦距，α 、 β 为单位距离内像素的个数。对(1)式两边进行时间求导得到
⎡ ⎣⎢
xy&&II
⎤ ⎦⎥
=
f zc
⎡α ⎣⎢ 0
0 β
⎤ ⎦⎥
⎡1 ⎣⎢0
0 1
− −
xycc
/ /
zzcc
⎤ ⎦⎥
⎡ ⎢ ⎣
xyz&&&ccc
⎤ ⎥ ⎦
(2)
同时，假设此时摄像机相对于目标的线速度 v(t) 和角速度 ω(t) 分别为
与 ξ 均为列向量。由(8)式可知，图像特征变化率与机器人关节角速度之间的关系由复合雅可
比矩阵决定。视觉控制器为：
q&= kPJ+e
(10)
式中 q&是机器人关节角速度，kP 为正比例系数，J+ 是
复合雅可比矩阵的伪逆。
控制器的稳定性进行分析：取李雅普诺夫函数为
∆θ1 ∆θ2 ∆θ3 ∆θ4 ∆θ5 ∆θ 6
− zc 0 xc
yc − xc 0
⎤ ⎥ ⎥⎦
⎡⎣vx
,
vy
,
vz
,ω
x
,
ω
y
,
ω
z
⎤⎦T
(4)
将(4)式代入(2)式得到：
⎡ ⎣⎢
xy&&II ⎦⎤⎥
=
f zc
⎡α ⎣⎢ 0
0 β
⎤ ⎦⎥
⎡⎢−1 ⎢ ⎢0
0 −1
xc zc yc
⎢⎣
zc
xc yc − zc2 + xc2
zc2 z+c yc2
zc − xc yc
和机器人逆雅可比矩阵，计算量大，系统结构复杂。本文分析了基于图像的机器人视觉伺服的基本原理，
使用 BP 神经网络来确定达到指定位姿所需要的关节角度，将视觉信息直接融入伺服过程，在保证伺服精
度的情况下大大简化了控制算法。文中针对 Puma560 工业机器人的模型进行了仿真实验，结果验证了该方
法的有效性。
输出层 （6 个节点）
隐层 （48 个节点）
V = 1 eT e ，此函数是正定的。将上面的李雅普诺夫 2
函数对时间求导，则有
V&= eT e&= −eT (Jq&) = −eT JkPJ+e = −kPeT e
(11)
显然此时的 V&≤ 0 ,所以该控制率能够保证系统在李
雅普诺夫意义下的稳定。
输入层 （8 个节点）
标系 {T} ：定义在机器人手部末端的坐标系；摄像机
坐标系 {C} ：以摄像机中心为原点的坐标系，摄像机 B
光轴作为 z 轴；图像平面坐标系 {I} ：摄像机内的像 A 平面坐标系统，与 {C} 的 xy 平面平行，且两坐标系 C D
{I}
A′ B′ D′
C′
{O}
{C} {T}
{W}
的 x 轴和 y 轴重合；世界坐标系 {W} ：工作环境中
如图 1 所示，设 A 为目标在摄像机坐标系下的一个目标点，将其在摄像机坐标系 {C} 下的位
置定义为向量：( xc , yc , zc )T ,点 A 在图像平面的投影 A′ 为：( xI , yI )T 。目标 A 与其投影点 A′ 成
针孔模型关系：
⎡ ⎣⎢
xyII
⎤ ⎦⎥
=
f zc
⎡α ⎣⎢ 0
⎧⎪v(t ⎨
)
=
⎡⎣vx
⎪⎩ω(t) = ⎡⎣ωx
vy vz ⎤⎦T ω y ωz ⎤⎦T
(3)
则由运动学可以知道，目标在摄像机坐标系下的运动速度为：
⎡ x&c ⎤
⎢ ⎢⎣
yz&&cc ⎥⎥⎦
=
⎡⎣−I
sk
(
P
)⎤⎦
⎡ v(t) ⎤ ⎢⎣ω(t)⎥⎦
=
⎡−1 ⎢0 ⎢⎣ 0
0 −1
0
0
0 −1
0 zc − yc
图 1 坐标系定义
的基准坐标系，在机器人控制中一般以机器人的基
坐标系作为世界坐标系；目标坐标系 {O} ：级联于目标的坐标系。
3. 图像雅可比矩阵
基于图像的视觉伺服控制，要根据所选的图像特征构造图像雅可比矩阵。图像雅可比矩 阵是用来描述图像特征空间与机器人末端位姿空间的微分关系的，其推导过程：坐标系定义
⎤ ⎥ ⎥ ⎥ ⎥⎦
⎡ ⎢
vvxy
⎢⎢⎢⎣ωωωvzxzy
⎤ ⎥ ⎥ ⎥ ⎥ ⎦
=
JI
⎡ v(t) ⎤ ⎢⎣ω(t)⎥⎦
(5)
令 r 代表摄像机在机器人任务空间的位姿向量， ξ 代表图像特征向量，则 r&代表摄像机的速
度矢量，由(3)式可得 r&= ⎡⎣vT (t), ωT (t)⎤⎦T ， ξ&代表相应的图像特征变化率矢量： ξ&= [x&I , ]y&I T 。
于是根据(5)式可得：
ξ&= JIr&
(6)
JI
=
⎡⎢−α ⎢
f zc
⎢0
0 −β f
xI yzcI
xI yI βf β 2 f 2 + yI2
α 2 f 2 + xI2 αf
− xI yI
α yI β
− β xI
⎤ ⎥ ⎥ ⎥
(7)
⎢⎣
zc zc
βf
αf
α ⎥⎦
(7)式为图像雅可比矩阵的解析表达式。如果需要描述机器人关节速度 q&与对应的图像特征变
机器人 摄像机
-
中为基于图像的视觉伺服系统，其伺服误差定义 ξ
Leabharlann Baidu
在图像特征空间。误差信号是通过比较当前图像
目标
特征与期望图像特征而得到的。 图像特征误差为：
图像处理及特征提取 图像采集
e = ξd − ξ
(9) 图 2 基于图像的视觉伺服控制系统结构图
式中 ξd 是期望的图像特征，ξ 为实际经过图像采集与处理后得到的关于目标的图像特征。ξd
人工神经网络是生物神经网络的一种模拟和近似，它特别适用于不能用显性公式表示 的、具有复杂非线性关系的系统，并具有较强的适应和学习功能。近年来，机器人智能视觉 控制器的应用越来越引起关注。已有不少研究者讨论过将神经网络应用在机器人控制中的可 行性。这一主题所讨论的中心问题是使用神经网络学习机器人视觉系统的特征。Wells 分别 用 4 点特征、傅立叶描述子和几何矩作为神经网络的输入[4]，对六自由度机器人进行定位实 验。其特点是采用全局的图像特征，这样可扩大应用范围。但利用全局特征的定位精度较低。 Sun 采用两个神经网络[5]：用一个 Kohonen 网进行全局控制，视觉信号来自两个固定于工作 空间的摄像机；另一个采用 BP 网进行局部控制，视觉信号来自安装在末端上的两个摄像机。 Stanley 借助于神经网络进行特征抽取和求逆雅可比[6]。Hashimoto 使用 BP 网络来学习图像 特征变化和机器人关节角度变化之间的关系[7]，网络的输入是图像特征的变化，输出是期望 的关节角的变化。但是他只做了神经网络的设计工作，并没有给出设计的神经网络用在视觉 伺服系统中的伺服效果。
关键词： 视觉伺服； 图像雅可比矩阵； 逆雅可比矩阵； BP 神经网络； 视觉控制器
中图分类号： TP273+
文献标识码：A
Design of Robotic Visual Servo Controll Based on Neural Network
Xie Dongmei1,2 Qu Daokui1 Xu Fang1 1.Shenyang Institute of Automation, Chinese Academy of Sciences，Shenyang 110016
2.Graduate School of Chinese Academy of Sciences, Beijing 100039
Abstract: Visual servo system can be used in the control systems of robot original orientation guiding, obstacle avoiding, trajectory tracking and moving object tracking, etc. During working, the traditional visual servo system consists of two processes: determination of the workpiece position and inverse kinetic calculation. So real-time computation of visual Jacobian and inverse Jacobian of the robot have been needed. Both the computation and the structure of the system are complex. In this paper, the basic principle of robot visual servo system is analyzed. A BP neural network is proposed to determine the required joint angles for the set position and orientation. This method can integrate visual data directly into the servo process, so under the condition that the servo precision is ensured, the computation of the control arithmetic is greatly simplified. The simulation experiment for Puma560 robot is made and simulation results proved the effectiveness of the method. Keywords: Visual servo; Image jacobian matrix; Inverse jacobian matrix; BP neural nerwork; Visual controller
zc
zc
yc − xc
⎤ ⎥ ⎥ ⎥ ⎥⎦
⎡ ⎢
vvxy
⎢⎢⎣⎢ωωωvzxyz
⎤ ⎥ ⎥ ⎥ ⎥ ⎦
=
⎡⎢−α ⎢ ⎢0 ⎢⎣
f zc
0 −β f
zc
xc zc yI zc
xI yI βf β 2 f 2 + yI2 βf
− α 2 f 2 + xI2 αf
− xI yI αf
α yI β
− β xI α
基于神经网络的机器人视觉伺服控制
谢冬梅 1, 2 ， 曲道奎 1 ， 徐方 1 1.中科院沈阳自动化研究所， 辽宁 沈阳 110016 2.中国科学院研究生院， 北京 100039
摘 要：视觉伺服可以应用于机器人初始定位自动导引、自动避障、轨线跟踪和运动目标跟踪等控制系统中。
传统的视觉伺服系统在运行时包括工作空间定位和动力学逆运算两个过程，需要实时计算视觉雅可比矩阵
∆x1 ∆y1 ∆x2 ∆y2 ∆x3 ∆y3 ∆x4 ∆y4
图 3 BP 网络结构图
5. 人工神经网络视觉控制器