视觉伺服控制

有约束的无标定模型预测控制

在视觉伺服控制器的设计中，图像雅可比矩阵是建立运动学模型的关键。经典的IBVS采用比例控制律，它利用图像雅可比矩阵的逆(或伪逆)。然而，比

例控制器可能存在局部极小问题。也就是说，如果视觉特征数大于3，则图像雅可比矩阵不是满秩的，图像误差可能存在于图像雅可比矩阵的逆(或伪逆)的零空间中，从而导致局部收敛，使得最终的图像特征远离期望的图像特征。另外，系统约束处理困难，尤其是可见性约束。当相机的初始位置和所需位置之间的距离较大时，图像特征将不可见。在视觉伺服控制过程中，可能会违反关节的物理限制和机器人的工作空间。此外，比例控制器的主要缺点是需要知道摄像机内参数、摄像机外参数和特征点的深度参数，而这些特征点的精确值很难获得。

为了避免使用图像雅可比矩阵中元素的精确值，人们对图像雅可比矩阵的数值估计进行了广泛的研究，如神经网络、迭代学习、拟牛顿方法和模糊控

制。文献提出了许多基于深度无关交互(或图像雅可比)矩阵的自适应

控制器，以克服深度限制问题。文献首次针对摄像机参数未知且深度随时间

变化的固定摄像机构型，提出了与深度无关的交互矩阵。文献提出了眼在手

和固定眼构型的自适应视觉跟踪控制的统一设计方法。然而，这些方案没有明确考虑系统约束，而这些约束对于视觉伺服控制器的设计是至关重要的。

已经提出了许多方法来处理有约束的视觉伺服任务。例如路径规划、非线性反馈等，但大多需要给定摄像机的外部参数，并且假定摄像机的内部参数和深度信息是已知的。在IBVS中，通常采用模型预测控制(Model Predictive Control，MPC)来处理系统约束，且MPC控制器具有在未知影响和模型误差的情况下对

系统进行控制的能力。因此，MPC算法可以用来设计无标定环境下的视觉伺服控制器。本章主要提出了一种新的基于MPC的IBVS设计方法，该方法明确地考虑了系统的约束条件，能够有效地处理未知的摄像机参数和深度参数。通过模型预测控制获得控制输入，通过参数估计算法在线更新预测模型的未知参数，完成视觉伺服任务。

有约束和无标定视觉伺服的预测模型

模型预测控制被用来处理未标定环境中眼在手上和眼在手外摄像机构型的IBVS系统的控制约束。在无标定的环境中，摄像机的内外参数和特征的三维坐标是未知的。为了通过MPC获得最优控制输入，需要找到一个预测模型来描述系统的动态行为。介绍了基于深度无关交互矩阵的预测模型。在透视投影模型下，特征点的图像坐标可以描述为：

s m (t) c

其中s m (t) (u(t), v(t))T表示特征点在图像平面上的图像坐标。特征点的深度用

c

决于摄像机的内部参数和外部参数。H表示机器人正向运动学的齐次变换矩阵，

和p分别是H的旋转矩阵和平移矢量。在眼在手上摄像机构型中C BH ec，H ec 是摄像机外部参数矩阵，它表示末端执行器坐标系相对于摄像机坐标系的齐次矩阵。B是相机的内参数矩阵，由相机内部结构决定。H ( H eb )1，其中H eb为末端执行器坐标系相对于机器人基坐标系的齐次矩阵。b x是特征点在机器人基坐标

系的三维位置参数，b x是具有3个独立元素的常数向量。在眼在手外构型中，

C BH bc，其中H bc是相机外参数矩阵，它表示机器人基坐标系相对于相机坐标系的齐次矩阵的，H H eb，b x是特征点在末端执行器坐标系中的三维位置参数。

通过对式(4.1)微分，有视觉变化与关节速度的关系：

s m (t)

其中矩阵A(s m (t), q(t)) 2n是与深度无关的相互作用矩阵，形式为：

c2 v(t)c3 q(t)

其中q(t) n 1表示机器人的关节角度，n是自由度。

约束视觉伺服大多是采用传统的图像雅可比矩阵，但是传统的图像雅可比矩

阵依赖于特征点的二维图像坐标、摄像机内部参数和图像中未实际测量的深度参数。在以前的基于传统图像雅可比矩阵的预测模型中，深度呈现非线性。

这里，基于深度无关交互矩阵的预测模型中的深度可以由未知的摄像机参数

和特征点的三维笛卡尔坐标线性表示。深度c Z (t)可以由未知参数表示如下：

c

基于预测控制的控制律设计应采用离散时间模型，而不是连续时间模型(4.2)。

每个特征点的离散状态空间模型可写为：

x(k 1) Fx(k ) G(k )u c (k )

其中F是2 2常数矩阵，G(k )是时变变量和未知常数参数的函数：

G(k )

时变变量是特征点和机器人关节的二维图像坐标，且两者都可以测量。未知

常数参数包括摄像机内部参数、摄像机外部参数和特征点的三维位置参数。T e为

采样周期。基于离散化的深度无关交互矩阵的预测模型用于设计预测控制律。在

(4.5)中，s m可作为系统状态和输出，k为当前采样时间，u c (k ) n 1表示控制输入，即关节速度q(k )。

给定静态或动态的期望轨迹s d。当s d为静态时，视觉伺服定位任务是将特征

点从图像平面上的初始位置带到期望位置。当s d为随时间变化的动态轨迹时，视

觉伺服跟踪任务是使特征点在图像平面上跟踪期望的轨迹。

Z (t ) c 3T H s m (k ) x (k )

模型预测控制与在线参数估计

为了实现有约束和无标定环境下的视觉伺服控制任务，需要确定控制输入， 并在线更新预测模型的未知参数。此外，MPC 算法是在自适应控制的基础上发 展起来的，能够保持自适应控制利用过去的输入输出辨识系统模型的特点。根据 控制论中的分离原理，分别计算控制输入和模型参数，更新系统模型，使系统状 态更接近实际。在本节中，控制由 MPC 确定，并从模型参数的初始估计开始。 模型参数的估计值是在线更新的。视觉伺服系统主要由最优控制模块和参数估计 模块两部分组成。最优控制模块为机器人系统生成控制输入 u c ，其将当前图像特 征 s m 引导到期望的特征 s d 。在参数估计模块中，基于特征 s m 的二维图像坐标和

关节角度的测量值来更新模型参数 。机器人视觉系统的控制方案如图 4.1 所示。