基于增强现实的机器人遥操作系统

１２０福建电脑２０１０年第４期基于增强现实的机器人遥操作系统霍明霞．齐文炎（河南济源供电公司河南济源４５４６５０）【摘要】：在遥操作系统中，预测仿真中存在的误差和运动累计误差严重影响遥操作的安全性、精度和效率。

本文介绍了一种基于增强现实技术的机器人遥操作系统，该系统采用视频融合和物体定位技术，操作者可以方便地对比仿真规划结果和实际机器人执行结果之间的差异，并可以通过修正和更新仿真模型来补偿建模误差和运动累积误差。

【关键词】：增强现实；遥操作；虚拟现实。

引言机器人技术作为２０世纪人类最伟大的发明之一．自问世以来．经历４０多年的发展已取得长足的进步。

作为一种新型的生产工具．机器人在减轻劳动强度。

提高劳动生产率，把人从危险、恶劣的环境中解放出来等方面显示出了极大的优越性。

由于人工智能技术发展的限制．现在机器人的智能水平还很底，还不能独立的完成一些复杂的任务．仍然需要操作者给它发出控制指令。

但随着网络技术的发展．操作者利用远程控制实现对机器人的遥控成为现实．这将是机器人技术发展的一个里程碑。

虚拟现实技术是２０世纪末发展起来的．是集人工智能、传感技术、仿真技术、人机接口技术等为一体的综合集成技术。

近年来．虚拟现实技术与机器人技术的有机结合成为很有发展潜力和应用前景的研究方向之一。

基于虚拟现实技术的远程控制，操作者可以通过操作仿真环境中的虚拟机器人来实现对远端真实机器人的控制。

克服了大时延的影响，可以有效的帮助操作者完成任务。

但是这种技术会使撩作者缺乏沉浸感，而且预测仿真中存在的误差和运动累计误差严重影响遥操作的安全性、精度和效率．增强现实技术是传统的虚拟现实技术的拓展，是一种将真实场景同虚拟场景融合的技术。

它的目的就是通过计算机图形、图像处理技术实现实景与虚景的合成。

在这种情况下，将增强现实技术与遥操作机器人相结合．使虚拟环境与实际环境融为一体。

通过融合技术，会提高遥操作的精度。

１、系统总体架构图１机器人遥操作网络架构图本系统利用现有的广域网结构．在广域网上建立多个Ｊａｂ．ｂｅｒ服务器．让各个Ｊａｂｂｅｒ服务器保持邻居关系，然后操作者和机器人端可以通过广域网中的任何接入点登陆Ｊａｂｂｅｒ服务器。

在操作者和机器人端分别运行了一个Ｊａｂｂｅｒ客户端程序．在登陆服务器时．服务器按照用户登陆时的不同类型将客户分为操作者和机器人．并做出相应的标识存储在服务器的数据库中，而服务器本身还提供查询功能，操作者可以向服务器发出查询在线机器人的命令．服务器根据自己存储的机器人信息以及和邻居定时握手所得到的信息．可以把在线的机器人列表发送到操作者端，此时服务器也记录下了这些在线机器人的路由．然后操作者可以向机器人发出遥操作请求．如果机器人接受控制请求则向操作者发出可以连接答复．操作者收到肯定的答复后就可以建立起遥操作连接．从而开始机器人遥操作。

在操作的过程中，实时的现场数据会发送到操作端．通过增强现实技术使真实场景于虚拟场景达到融合．从而提高操作者的沉浸感和整个操作的精度。

操作者或机器人任一方可在遥操作进行任一时刻取消遥操作。

具体实现如图ｌ所示：２、系统的图形渲染机制ＯｐｅｎＧＬ作为一个性能优越的图形应用程序界面．具有广泛的可移植性．适用于广泛的计算机环境．用户可以完全不用理会具体的硬件系统、窗口和操作系统的结构和指令形式．只要按照０ｐｅｎＧＬ规定的格式书写应用程序．就可以在任何支持该语言的硬件平台上执行．创建出漂亮的三维图像。

ＯｐｅｎＧＬ中的所有几何图元（点、线、多边形）最终都是用顶点描述的，顶点数据除了包含顶点坐标之外。

还包含法向量、ＲＧＢＡ颜色值、纹理坐标和其它的数据．求值器将这些数据转换为顶点并对每一个顶点执行相应的顶点运算．随后光栅化为片元．并在执行完每个片元的操作后将光栅化后的数据送入帧缓存。

对于像素数据．是从内存中读出的像素数据经过像素操作后．将结果数据限制在一定的范围内，然后送人纹理内存中进行组装．供纹理映射使用，或者把这些结果数据光栅化为片元后，执行每个片元的操作．最后送入帧缓存。

而从帧缓存中读出的数据经过像素操作后被送入到处理器内存中。

虽然几何顶点数据和像素数据的处理方式不同．但它们最终都要经过光栅化并执行每个片元的操作．最后把光栅化后的数据写入帧缓存ｊＯｐｅｎＧＬ中的所有数据。

都可以存储在显示列表中或者被立即处理．合理使用显示列表可以大大提高程序的执行效率。

３、网络传输模块的设计网络传输模块是本系统中一个非常重要的模块．其功能包括用户的注册和登陆，在线用户的实时查找，文件的传输，操作者和在线机器人的控制连接．音视频的传输等。

在这个模块的实现中．本系统用到是ＸＭＰＰ协议。

ＸＭＰＰ的前身是Ｊａｂｂｅｒ．一个开源的、基于ＸＭＬ的数据模型和协议。

主要用于网络即时通信。

ＸＭＰＰ定义的三个关键顶级ＸＭＬ元素为＜ｍｅｓｓａｇｅ，＞、＜ｐｒｅｓｅｎｃｅ／＞＜ｉｑ／＞（ｉｎｆｏ／ｑｕｅｒｙ），每个元素都可以通过属性和名字空问包含大量数据．其属性和名字空闯都是ＸＭＰＰ的组成部分。

＜ｍｅｓｓａｇｅ／＞元素用来包含两个ＸＭＰＰ实体间互相发送的消息内容：＜ｐｒｅｓｅｎｃｅ／＞：：元素表示实体可用性信息，可用性信息有”可用”和”不可用”两种：＜ｉｑ／＞元素用来构建两个实体间的会话．并且允许实体问来回传送ＸＭＬ格式的请求和响应以便取得或设置公共的用户信息，如名字等。

即时通信中名字冲突问题使用ＸＭＬ的命名空间特性来解决。

ＸＭＬ命名空间定义了一种将ＸＭＬ中使用的元素和属性与统一资源定位符引用联系起来对元素和属性进行定义的方法。

ＸＭＰＰ中定义了三个角色：客户端、服务器、传输器。

通信能够在这三者的任意两个之间双向发生。

服务器同时承担了客户端信息记录，连接管理和信息的路由功能。

在以ＸＭＰＰ为基础的万方数据通讯系统中，当用户登陆Ｊａｂｂｅｒ服务器时，服务器按照用户登陆时的类型做出相应的记录。

在系统中规定，以操作者身份登陆的用户拥有操作其他在线机器人的权力。

以机器人身份登陆的用户没有操作其他机器人的权力．但是有拒绝其他操作者操作的权力。

当用户想要操作其他在线机器人的时候，需要向自己所注册的服务器发出查询请求．可以是精确查询，也可以是模糊查询。

服务器收到请求后。

根据请求的格式发出一份自己知道的机器人名单．当然服务器也知道这些机器人的完整的路由信息，然后操作者通过服务器转发控制请求。

如果机器人端同意被控制．那么他们之间就建立了一个安全的可信的通道。

操作者通过这个通道可以远程控制机器人。

而且这个通道是基于ＴＣＰ建立的．所以可以保证操作命令的准确传输。

在本系统中，首先操作者和机器人登陆到Ｊａｂｂｅｒ服务器，然后通过服务器建立控制连接．操作者就可以通过服务器发送遥操作命令。

机器人收到命令后进行相应的操作，现场的视频采集器将机器人实时工作画面通过网络传输到操作者端．然后使用视频融合技术．将机器人的仿真模型与机器人的视频图像在同一显示窗口中进行精确的叠加和融合．并利用融合结果实现对仿真模型和环境模型的在线修正．也可以对远程的机器人进行校正，从而提高遥操作的安全性、精度和效率。

４、视频融合模块的设计和实现增强现实最重要的一个特点是虚与实的有机融合．在视频融合的实现过程中．需要把真实场景的视频图像和虚拟的仿真图形在同一窗口中叠加显示。

视频融合从技术实现的角度可分为三部分：真实摄像机和虚拟摄像机的绑定、视频图像与仿真图形的叠加以及仿真环境的修正。

在增强现实系统中．要想把真实环境与虚拟环境实时的融合．系统需要实时地检测出摄像机相对于真实场景的位置和方向角．这样就能够根据这些信息实时确定所需要添加的虚拟三维模型在真实世界中的正确位置．然后将这些参数和虚拟摄像机的参数实时的绑定．就可以完成虚拟场景和现实场景的实时的融合。

双摄像头定位可以确定空间任意点相对给定坐标系的位置，而单摄像头只能确定已知形状物体间的关系。

从某种意义上说．单摄像头定位从属于双摄像头定位。

但是目前的很多遥操作任务物体的形状都是己知的．而且运用单摄像头定位的有效视野很开阔，它能确定视野内所有已知物体的位姿。

而双摄像头的有效视野局限在双摄像头的公共区域内．因而双摄像头定位对物体所在的空问位置有一定的限制。

本系统是采用单摄像头对真实场景进行定位的。

视频融合的目的是将视频图像和仿真图形在同一个二维平面中进行显示。

在计算机图形学中。

三维物体需要经过视点变换、模型变换、投影变换、视口变换等一系列的变换才能投影到二维的显示平面上．这个过程和实际摄像机的工作过程是一样的。

因此。

可以假设在虚拟仿真环境中也存在着一个”虚拟的”摄像机模型．我们只要保证虚拟摄像机的模型参数和真实摄像机的参数保持～致．就可以实现虚拟图形和视频图像在同一个二维空间中同时显示。

这就要求我们首先必须通过摄像机标定来确定真实摄像机的参数。

通常采用的三维图形透视变换是基于理想的小孔成像原理，因而在进行视频融合时．摄像机也可以按照理想的小孔成像模型进行标定。

而不考虑摄像机引起的图像畸变。

假设摄像机坐标系（ｏｘｙｚ）可以这样建立：ｚ轴沿光轴向外。

坐标系原点在光心。

世界坐标系（０ＸＹ西中任一点Ｐ（ｘ，ｙ，ｚ）依次经过摄像机坐标系、像坐标系、屏幕坐标系变换到像点（ｕ，ｖ）。

对应的变换过程为公式１所示：Ｈ降’．．１’，ｌ＝ｌ０【１¨ｏ０‰ｎ乞ｖｏ｜Ｉ‘。

０１抵婀Ｋ川Ｉ；公式（１）在公式１中．ｗ为齐次坐标的尺度缩放因子，矩阵Ｍ＝ＣＴ称为摄像机标定矩阵。

上式中矩阵Ｃ对应了从摄像机坐标系到屏幕坐标系的变换．其中ｕ０．ｖ０为像坐标系原点相对计算机图像坐标系的偏移量，ｋｌ－－爿＂＊Ｓｘ，ｋ２＝ｐＳｙ，ｆ为摄像机焦距，Ｓｘ，Ｓｙ为摄像机尺度因子，ｋ１．ｋ２．ｕ０。

ｖＯ为摄像机的内部参数，决定了摄像机坐标系到屏幕坐标系的变换矩阵：而矩阵Ｔ实际是从世界坐标系到摄像机坐标系的变换矩阵。

其中ｔ】【，ｔｙ，ｔｚ是平移分量。

旋转矩阵由三个欧拉角仅，Ｂ，１）决定，这６个参数似，Ｂ，１，ｔ）【，ｔｙ，∞是摄像机的外部参数．摄像机标定的目的就是要确定这四个内部参数和六个外部参数。

可以利用标准的线性最小二乘法来确定这些参数．这样只需要知道世界坐标系中ｎ（ｎ≥６）个空间点的坐标（ｘｉ，ｙｉ，ｚｉ）Ｘ与它们对应的像坐标ｆｕｉ．ｖｉｌ就可以计算出标定矩阵＾Ｉ，然后通过对矩阵Ｍ进行分解就可以确定摄像机的全部参数。

在本系统中．机器人的运动是通过自身的模型变换来实现的。

这样做的目的一方面是使编程简单化、统一化；另一方面是方便真实摄像饥和虚拟摄像机的绑定。

在场景初始化的日ｔ候．将真实摄像机的参数记录下来．并将虚拟摄像机的参数进行相应的设置．这样达到了初始化的绑定。

当然也可以初始化虚拟摄像机的默认参数．等到现场的视频信息到达虚拟场景中后．通过系统中对摄像机的拉伸、旋转、移动等功能．对摄像机的参数做出调整以达到和现场摄像机参数的吻合。