空间机器人双目视觉测量系统结构设计

合集下载

基于双目视觉的识别测距系统设计

基于双目视觉的识别测距系统设计

第12期2023年6月无线互联科技Wireless Internet TechnologyNo.12June,2023作者简介:张润豪(1997 ),男,浙江温州人,硕士研究生;研究方向:图像处理,控制工程㊂基于双目视觉的识别测距系统设计张润豪,杨㊀瑞,管㊀艳(西京学院计算机学院,陕西西安710123)摘要:双目视觉的识别测距主要通过双目视觉系统模拟人的 双眼 ,从而获得物体的形状和距离的远近㊂文章提出一种目标识别测距系统,构建卷积神经网络模型,利用图像处理技术识别目标以及三角相似原理计算目标距离,最后达到识别和检测的目的㊂实验结果表明,所设计的目标识别测距系统能够同时保证特定目标的检测和测距,具有一定的研究意义㊂关键词:双目视觉;识别测距;神经网络中图分类号:TP391.41㊀㊀文献标志码:A 0㊀引言㊀㊀随着农业自动化的发展,水果的自动化与智能化采摘技术研究已成为当今的研究热点㊂然而,水果的采摘方式与其他作物不同,需要进行准确的采摘㊂因此,依靠双目视觉实现对目标物的准确识别和定位十分重要㊂双目视觉对于危险生产场所的检测㊁非接触产品的质量检测以及位置随机移动物体的实时检测具有重要的研究意义和应用价值[1]㊂双目视觉技术还可应用于机械臂㊁智能家居㊁智能制造㊁工业等具有巨大潜力的领域[2]㊂其他测距方法测距误差较大,测量范围受限,而双目视觉技术可以在不接触目标物的情况下识别和定位目标物,还可以估计目标物的深度信息㊂因此,本文选择双目测距法㊂然而,同时具备目标物识别和测距的系统比较少,不能满足指定工作的需求[3-5]㊂针对上述存在的问题,结合双目视觉和机器学习等技术[6-9],本文提出了基于双目视觉的目标检测测距方法,设计了一个基于双目视觉的目标检测测距系统㊂该系统能够实现对目标物的识别和定位,使人们可以利用计算机技术模拟人眼,方便后期的操作㊂该系统利用卷积神经网络对物体进行识别,再根据双目相机测距原理,最后得到目标与摄像头之间的距离,从而最终实现定位㊂1㊀双目视觉系统㊀㊀双目系统主要由两款相同的摄像头组成,保持在同一个水平面上,并共享一个共同的观察区㊂距离测量是用三角数学方法进行的㊂测距的原理如图1所示㊂O 1和O 2分别为两个摄像头的光圈中心,它们之间的长度为B ㊂点P 为空间中的待测目标物,P 1(x 1,y 1)和P 2(x 2,y 2)为点P 在双目相机成像平面所成的点㊂当焦距为f 时,根据三角形原理可得:图1㊀测距原理B -x 1+x 2Z -f =B Z(1)Z =fB x 1-x 2(2)根据公式(1)和(2),设P 为空间中的一点,在空间坐标系和相机坐标系中的坐标点为(X ,Y ,Z ),(Xᶄ,Yᶄ,Zᶄ)㊂图像坐标系和像素坐标系表示为(x ,y )和(u ,v )㊂空间坐标系经变化到相机坐标系,有:XᶄY ᶄZ ᶄéëêêêùûúúú=R X Y Z éëêêêùûúúú+T (3)根据投影原理,把空间上的点投影到平面上,可得到相机坐标系到图像坐标系的转换关系,即:x y éëêêùûúú=f X ᶄZ ᶄf Y ᶄz ᶄéëêêêêùûúúúú(4)图像坐标系的起点是相机光轴和图像平面的交点,像素坐标系起点从像素阵列中的第一个点开始,图像坐标系转换到像素坐标系:u v éëêêùûúú=x dx +u 0y dy +v 0éëêêêêùûúúúú(5)由以上式可得:Z ᶄu v 1éëêêêùûúúú=1dx 0u 001dy v 0001éëêêêêêêùûúúúúúúf 0000f 000010éëêêêùûúúúR T 01éëêêùûúúX Y Z 1éëêêêêùûúúúú=f xu 000f y v 000010éëêêêùûúúúR T 01éëêêùûúúX Y Z 1éëêêêêùûúúúú(6)公式(6)中的矩阵代表着相机的内外参数,通过相机的标定获得具体参数㊂双目视觉测距是采用双目视觉技术来测量物体距离的原理,通过两台摄像机拍摄同一场景生成图像视差,并根据该视差建立物距测量模型,实现场景距㊀㊀离的实时计算㊂O l 和O r 为光圈中心,T ,f 为相机基线距离和焦距,P l 和P r 为图像坐标系的点,Z 为垂直距离㊂根据三角形相似:T -(X l -X r )T =Z -fZ(7)推出点P 与相机距离Z 的表达式为:Z =fT X l -X r =fTd(8)公式(8)式中,左右相机视差d =X l -X r双目测距系统的流程如图2所示,各个坐标系之间的转换关系如图3所示㊂图2㊀双目系统流程图3㊀各个坐标系转换2 双目相机标定2.1㊀相机标定㊀㊀双目相机中内部和外部参数和畸变参数的精度直接影响后续测量的精度㊂因此,文章选用了具有精度高㊁操作方便的张正友标定法㊂本文自制一个黑白棋盘,并将其固定在一个纸板上,如图4所示㊂首先,使用双目相机在不同的位置和角度拍摄大约30幅棋盘图像㊂其次,将图像分别导入MATLAB 进行检测校正㊂最后,经过计算和分析,利用棋盘校准板获得左右相机内部和外部参数及其位置的三维视图㊂标定结果如图5所示㊂2.2㊀立体校正㊀㊀把实际中非共面行对准的两幅图像,校正成共面行对准,提高匹配搜索的效率㊂将消除畸变后的两幅图像严格地对应,利用极线约束使得两幅图像的对极线恰好在同一水平线上,这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号,只需在该行进行一维搜索即可匹配到对应点㊂根据摄像头标定后获得的双目相对位置对左右视图进行消除畸变和行对准,如图6所示㊂图4㊀标定板角点图5㊀标定板平面位置和标定误差图6㊀校正后图像2.3㊀立体匹配㊀㊀立体匹配主要计算视差㊂基于双目测距原理的分析使得可以通过计算由左右摄像机拍摄的每个图像相应点的视差来获得关于图像深度的信息㊂双目立体视觉的三维重建过程中,需要通过立体匹配算法进行视差图的计算得到左右两幅图像的视差值,进而计算深度以恢复场景的三维信息㊂要计算左右视图中三维场景中目标点生成的视差,左右视图中的两个对应像点必须与该点匹配㊂然而,协调二维空间中的对应点需要很长时间才能缩小适当的搜索范围,需要进行双目相机的立体校正,将二维上的匹配搜索降低到一维㊂立体匹配后,得到的视差图如图7所示㊂图7㊀视差3 图像识别定位测距3.1㊀数据标注和图片训练㊀㊀数据标注是处理原始语音㊁图像㊁文本㊁视频和其他数据并将其转换为机器可读信息的过程㊂机器无法识别和研究未标记的原始数据㊂原始数据只有经过标注处理成为结构化数据后才能被算法训练所使用㊂整个数据标注的过程如下:首先,将要标注的物体制作成数据集,并且图片越多越好,如果样本过少,模型训练和预测都会受到影响,非常容易欠拟合;其次,通过Labelme 工具进行标注,如图8所示;最后,将数据集分为训练集㊁验证集和测试集㊂数据标注完成后,需要对标注的数据集图片进行训练,图片训练完成后,可以看到训练好的模型的权重和PR Curve 曲线㊁Confusion Matrix (混淆矩阵)等训练过程数据㊂然后可以用训练的模型进行测试,配合双目摄像头,可以实现对特定物体的实时识别,如图9所示㊂3.2㊀双目识别测距㊀㊀双目相机的工作方式与人眼相同㊂人眼感知物体距离的能力基于两只眼睛在同一物体上呈现的图像差异,也称为视差㊂把物体识别和双目测距结合在一起,融合了卷积神经网络,不仅能够对物体进行识别,还能够进行测距㊂本文通过深度学习技术与传统算法的结合,利用双目相机实现了物体的精准测距㊂通过网络框的置信度确定识别的准确度,计算表达式为:图8㊀标注图9㊀灰度图和识别信度Pr (object )ˑIOU truth pred(9)IOU truth pred=area (BB dt ɘBB gt )area (BB dt ɣBB gt )(10)Pr (object )为训练样本的概率;BB gt 为物体标签的可行度,BB dt 分为网络预测的可信度;area 为面积函数㊂测距效果如图10所示㊂图10㊀双目测距4 结语㊀㊀在目标识别的基础上,建立双目系统,开发并实㊀㊀施基于双目视觉和机器学习的识别和定位系统㊂该系统已被证明具有一定的精度和稳定性㊂通过对双目距离原理的研究,本文开发了一种基于双目视觉的目标测距和检测系统,通过收集图像㊁校准相机㊁处理图像并进行比较,最后进行目标测试㊂实验表明,目标测距和检测系统具有良好的精度和可行性㊂下一步,笔者将继续深入研究㊁分析和提高双目视觉,消除系统测量的准确性和可靠性,研究双目视觉在智能制造设备和相关智能场景中的应用㊂参考文献[1]任慧娟,金守峰,程云飞,等.面向分拣机器人的多目标视觉识别定位方法[J ].机械与电子,2019(12):64-68.[2]赵刚,郭晓康,刘德政,等.随机工件的点云场景CAD 模型的快速识别与定位[J ].激光与红外,2019(12):1490-1496.[3]柴钰,许继科.基于机器视觉的目标识别与定位系统[J ].计算机工程与设计,2019(12):3557-3562.[4]连黎明.基于多信息融合的移动机器人定位算法[J ].西南师范大学学报(自然科学版),2019(9):89-95.[5]蒋萌,王尧尧,陈柏.基于双目视觉的目标识别与定位研究[J ].机电工程,2018(4):414-419.[6]王德海,洪伟,程群哲.基于双目立体视觉的目标识别与定位[J ].吉林大学学报(信息科学版),2016(2):289-295.[7]高如新,王俊孟.基于双目视觉的目标识别与定位[J ].河南理工大学学报(自然科学版),2014(4):495-500.[8]袁小平,张毅,张侠,等.基于改进FAST 检测的ORB 特征匹配算法[J ].科学技术与工程,2019(21):233-238.[9]BOYKOV Y ,VEKSLER O ,ZABIH R.Fast approximate energy minimization via graph cuts [J ].IEEE Transactions on Pattern Analysis and Machine Intelligence ,2001(11):1222-1239.(编辑㊀王雪芬)Design of recognition and ranging system based on binocular visionZhang Runhao Yang Rui Guan YanSchool of Computer Science Xijing University Shaanxi 710123 ChinaAbstract The recognition and ranging of binocular vision mainly uses a binocular vision system to simulate the eyes of humans thereby obtaining the shape of objects and the distance between them.This paper proposes a target recognition and ranging system constructs a convolutional neural network model uses image processing technology to identify the target and calculates the target distance based on the triangular similarity principle finally achieving recognition and detection.Experimental results show that the designed target recognition and ranging system can simultaneously ensure the detection and ranging of specific targets which has certain research significance.Key words。

双目测量系统简介课件

双目测量系统简介课件

智能化发展
结合机器学习、深度学习等技术,实 现双目测量系统的智能化发展,提高 自动化和自适应性。
降低成本
通过技术创新和规模化生产,降低双 目测量系统的成本,使其更广泛地应 用于工业生产和日常生活中。
05
双目量系的用例
工业检测领域应用
工业零件尺寸检测
装配线定位与引导
双目测量系统通过立体视觉技术,能 够快速准确地获取工业零件的三维几 何尺寸,提高检测精度和效率。
03
三维重建
通过双目立体视觉技术,将获取的二维图像信息转换为三维空间中的点
云数据,进而进行三维重建,得到物体的三维模型。
应用领域
工业检测
双目测量系统可用于工业生产 中的产品质量检测,如零件尺
寸、表面缺陷等检测。
逆向工程
通过双目测量系统获取物体三 维数据,进行逆向工程设计, 实现产品复制或优化。
机器人视觉
数据处理量大
双目测量系统需要处理大量的 图像数据,对计算资源和数据 处理能力要求较高。
成本较高
双目测量系统的设备成本较高, 尤其是高精度型号,限制了其 广泛应用。
未来发展方向
提高测量精度和稳定性
进一步优化算法和硬件配置,提高双 目测量系统的精度和稳定性,降低环 境因素对测量的影响。
拓展应用领域
将双目测量系统应用于更多领域,如 生物医学、安全监控、虚拟现实等, 满足不同行业的测量需求。
目标识别与定位
双目测量系统可以快速准确地识别和定位目标物体,为机器人提供精确的目标位置和姿态 信息,实现机器人的自动化操作和控制。
场景重建与虚拟现实
双目测量系统可以获取场景的三维信息,用于场景重建和虚拟现实技术,为用户提供更加 真实和沉浸式的体验。

平行双目立体视觉的基本构成及测量原理

平行双目立体视觉的基本构成及测量原理

平行双目立体视觉是一种利用两个并行的摄像头来创建三维图像的技术。

它通过比较两个或更多摄像头捕获的图像来确定场景中的距离和形状。

这种技术通常用于计算机视觉和机器人视觉中,以实现物体识别、测量和导航。

基本构成:1. 摄像头:这是双目立体视觉系统的核心,它负责捕捉场景的图像。

通常,摄像头会安装在相同的距离和角度,以产生尽可能多的视差。

2. 图像处理:这部分包括对摄像头捕获的图像进行预处理,如去噪、对比度调整和色彩校正等。

这些处理步骤有助于提高后续图像分析的准确性。

3. 特征匹配:这一步骤涉及到将两个摄像头的图像进行匹配,以确定它们之间的视差。

通常使用特征检测算法,如SIFT(尺度不变特征变换)或SURF(加速稳健特征),来识别图像中的关键点。

4. 深度计算:基于匹配的特征点,系统会使用一种算法来估计它们在三维空间中的位置。

这通常涉及到三角测量,即通过两个摄像头的视差信息来计算深度。

5. 立体视觉系统:将两个摄像头的输出进行合并,形成一个立体视觉系统。

这个系统可以提供场景的三维视图,包括物体的距离、形状和纹理等信息。

测量原理:双目立体视觉的基本原理是基于视差,即两个不同角度观察到的图像之间的距离差异。

在双目立体视觉系统中,这种差异被用来创建深度信息。

具体来说:1. 双目立体视觉系统中的摄像头捕获同一场景的图像时,由于存在视角、距离和光线条件等因素的差异,导致图像中的特征点在两个摄像头中的位置略有不同。

2. 通过比较这两个图像的特征点,系统可以确定这些特征点在三维空间中的相对位置。

这个位置就是物体的距离和形状信息。

3. 基于这些信息,系统可以进一步推断出场景中其他物体的深度。

这是因为人类的视觉系统可以根据双眼接收到的视差信息来推断物体的距离和形状。

需要注意的是,双目立体视觉的准确性受到许多因素的影响,如光源条件、镜头畸变和噪声等。

因此,在实际应用中,通常会采用一些优化技术来提高系统的性能,如使用更先进的特征匹配算法、优化相机参数和采用稳健的深度计算方法等。

《双目立体视觉》课件

《双目立体视觉》课件

05
双目立体视觉的应用案例
机器人视觉导航
机器人视觉导航是双目立体视觉的重要应用之一。通过双目立体视觉技术,机器 人可以获取周围环境的深度信息,实现自主导航、避障和路径规划等功能。
双目立体视觉技术可以帮助机器人识别障碍物、行人和车辆等,提高机器人的安 全性和可靠性。
医学影像分析
在医学领域,双目立体视觉技术被广泛应用于医学影像分析 。通过双目立体视觉技术,医生可以获取患者的三维立体图 像,提高诊断的准确性和可靠性。
深度学习技术Байду номын сангаас
随着深度学习算法的不断发展, 双目立体视觉技术将更加智能化 ,能够自动识别和提取更多的三
维信息。
实时处理能力
随着计算能力的提升,双目立体 视觉技术将实现更快速、实时的 三维重建,满足实时应用的需求

多传感器融合
未来双目立体视觉技术将与其他 传感器技术(如激光雷达、毫米 波雷达等)融合,实现更全面的
运动模糊问题
总结词
运动模糊是由于摄像机或物体快速移动导致图像模糊的现象,对双目立体视觉的深度感知造成干扰。
详细描述
在动态环境中,摄像机或物体的快速移动可能导致图像模糊,从而影响双目立体视觉系统的深度感知 能力。为了解决这一问题,研究者们提出了基于运动补偿的算法,通过分析图像中的运动轨迹,对模 糊图像进行还原和补偿,以提高深度感知的准确性。
详细描述
在复杂的光照条件下,如明暗交替、阴影或高光,双目视觉 系统可能难以准确判断物体的深度和距离。这主要是因为阴 影或高光区域中的物体可能会与背景融为一体,导致立体匹 配算法失效。
遮挡和透明物体问题
总结词
遮挡和透明物体是双目立体视觉中的常见挑战,需要特殊算法来处理。

双目立体视觉系统的分析

双目立体视觉系统的分析

() 3 梯度大小和方 向的计算利用公式 (.) 出。 1 得 3 () 4 在第 四个步骤 , 边缘 的梯度方 向分为 4组 。例如 , 水

因为它体现 了机器人在非结构化环境 中移动过程的重要意 梯度方 向上前后两个像素的灰度值相比不是最大, 那么这个像
义。
素值置为 0 既不是边缘。 , 以视觉系统 为基础 的三 维外形轮廓 的非接触式 、高速测 ( ) 是 大 于 高 阈值 的一 定 是 边 缘 。 是 小 于低 阈值 的一 6凡 凡 量是一个重要 的研 究方 向,双 目立体视觉方法是其中一种最 定不是边缘 。 如果检测结果大于低阈值 又小于高 阈值 , 那就看 常 用 的方 法 。本 文 介 绍 了一 种 使 用 双 目立 体 视 觉 系 统 作 为 导 这个像素的邻接像素中有没有超过 高阈值的边缘像素 , 如果有 航 而 设 计 的在 未 知 环 境 中工 作 的拟 人 机 器 人 。主 要 讨 论 的 重 就 是 边 缘 , 则 就 不 是 边 缘 。 否 点在 于 探 测 和 接 近 具 有 直 角 边 的物 体 ,并 进 行 了系 统 的 分 析 22 . Ho 曲 变换 u 和方法介绍 。 在本文 中 Ho g u h变换用于提取 出的解析表达式 。 我们知 2机器视觉要素 道 , 条 直 线 的 参 数方 程 可 以 写 成 :c s 一 X o0+y i0 (.) s =L 21 n 本章介绍 了一些机器视觉 的基本要素 ,这些要素将在本 其中r 是坐标原点(, N直线 的长度 , 是交线和 x轴 Oo ) 而0 文 后 面 中运 用 到 。例 如 边 缘 检 测 , 征提 取 和 三 角 测 量 。 特 之 间的角度。 对于任何 点在一个特 定的线条,和e r 的值是常数。

双目视觉SLAM系统的设计与实现

双目视觉SLAM系统的设计与实现

双目视觉SLAM系统的设计与实现引言随着机器人技术的不断普及和发展,机器人具有了越来越多的实用价值。

其中,一种典型的机器人应用就是将机器人部署在深空、海洋等极端环境下进行探测任务。

而这些极端环境往往缺乏有效的人工干预手段,机器人必须依靠自己的感知、决策、规划和控制能力保证任务的顺利完成。

因此,如何让机器人具备自主感知和定位的能力,成为机器人科学研究的重要课题。

本文将主要介绍一种基于双目视觉SLAM(Simultaneous Localization And Mapping)技术的机器人自主感知与定位方案。

对于这种方案,我们首先需要了解SLAM技术的基本原理和应用场景。

同时,为了保证机器人感知和定位的精度,我们还需关注一些关键技术的细节和实现方法。

因此,本文将主要包括以下几个章节:1. 双目视觉SLAM技术的基本原理和应用场景2. 双目视觉系统的硬件设计与配置3. 立体匹配算法的原理和实现4. SLAM算法的原理和实现5. 结论与展望第一章双目视觉SLAM技术的基本原理和应用场景SLAM技术是指机器人同时通过感知和规划,实现在未知环境中实现自我定位和建立环境地图的过程。

而双目视觉SLAM技术是在SLAM基础上,利用双目视觉技术来实现云台机器人的感知和定位。

在双目视觉SLAM系统中,机器人必须同时采集两个相机的图像,并将这两个图像进行匹配,从而确定机器人在三维空间中的位置和方向。

这个过程中,机器人需要保持自身运动的平稳和稳定,否则匹配结果将产生误差。

在另一方面,为了提高SLAM的精度,机器人还需要感知它所处的环境,并生成精细的3D地图。

这样,机器人才能更加准确地进行自主定位和路径规划。

双目视觉SLAM系统的应用场景十分广泛,例如在探险、环境监测、工业生产等领域都有潜在的应用。

在搜寻失联者时,云台机器人可以使用双目视觉SLAM技术自主探索行动,感知障碍物,寻找失联者。

在无人车自主驾驶领域,双目视觉SLAM技术可以帮助车辆对自身所在的环境进行感知,实现更加精准和安全的行驶。

双目视觉测距系统软硬件设计研究

双目视觉测距系统软硬件设计研究
法是基于视差原理,由多幅图像获取物体三维几何
信息,然后通过视差原理恢复出物体三维几何信
息,从而重建周围景物的三维形状与位置信息。
4)结构光三维视觉测量。基于光学三角法测量原
理,利用光源和成像系统之间的三角几何信息进行
三维形面测量。
3
基于轴线平行结构的双目视觉测
距原理
双目立体视觉测量方法是研究如何利用二维
并经数模转换器将模拟信号转换为数字信号;然后
经过图像处理器对数字信息进行处理,并存储在存
储器中;最后,通过数字接口或视频接口输入。
6
结语
本文从机器视觉的应用与测量方法着手,详细
叙述了基于轴线平行结构和轴线汇聚结构的双目
视觉测距原理,在此理论基础上,建立了双目视觉
测距系统软件、硬件架构,并分别对软硬件架构功
图1
4
轴线平行结构双目视觉测量原理
基于轴线汇聚结构的双目视觉测
距原理
虽然轴线平行结构的双目视觉测距系统原理
简单,计算方便,但该结构是理想的结构形式,实际
应用中容易受到摄像机性能差异、安装工艺等各种
因素的影响。通常情况下,双目视觉测距系统倾向
于采用轴线汇聚结构[11~12]。
空间参考点 P 在已标定摄像机 C l 和 C r 上的
Research on Software and Hardware Design of Binocular Vision
Ranging System
GONG Wenchao1
(1. Navy Submarine Academy,Qingdao
Abstract
ZHU Fengbo 2
LIU Jie1
266000)
及其测量方法,然后,详细描述了基于轴线平行和轴线汇聚结构的双目视觉测距原理,最后,基于该原理,对双目视觉测距系

双目视觉方案

双目视觉方案

双目视觉方案双目视觉技术是一项基于人类双眼视觉原理开发的计算机视觉技术。

通过模拟人类双眼的视觉系统,双目视觉方案可以实现对三维场景的感知和重构,为机器人、无人驾驶、智能监控等领域提供强大的视觉支持。

一、双目视觉原理的介绍双目视觉方案的基础是人类双眼之间的视差效应。

由于双眼视线的稍微不同,左右眼所看到的图像会有细微的差异。

通过比较这两个图像间的视差,我们可以计算出物体的距离信息,从而实现对三维场景的感知。

二、双目视觉方案在机器人领域的应用1. 精准定位与导航:机器人在陌生环境中需要定位和导航,而双目视觉方案可以通过测量物体与机器人的距离,帮助机器人构建地图和规划路径,实现精准定位和导航能力。

2. 目标识别与跟踪:双目视觉方案可以提供精确的物体分割和识别能力,帮助机器人快速准确地识别出目标物体,并进行跟踪。

这对于智能监控、自动化仓储等领域具有重要的应用价值。

3. 人机交互:双目视觉方案可以实现对人体姿态和表情的识别,为机器人与人类之间的交互提供更加自然和智能化的方式。

例如,机器人可以通过识别人类的手势和表情,进行更加准确的语音指令检测和情感分析。

三、双目视觉方案在无人驾驶领域的应用1. 环境感知与障碍物检测:无人驾驶汽车需要实时感知道路环境并识别障碍物,而双目视觉方案可以提供高分辨率的深度图像信息,帮助车辆准确地感知和判别道路上的物体,并做出相应的驾驶决策。

2. 路面识别与车道保持:双目视觉方案可以识别道路的纹理和标线,辅助车辆准确定位和车道保持。

通过与车载传感器的数据融合,可以实现高精度和鲁棒性的自动驾驶功能。

3. 防碰撞与智能避障:基于双目视觉方案的深度信息,无人驾驶汽车可以实时监测和预测周围环境中的障碍物,并做出适时的避障决策。

这样可以提高车辆的安全性和驾驶效果。

四、双目视觉方案的发展和前景当前,双目视觉方案在各个领域已经得到广泛的应用,然而仍存在一些挑战,如计算复杂度高、对环境光照敏感等。

随着计算机硬件和算法的不断发展,双目视觉方案有望在未来取得更大的突破,并实现更广泛的应用。

双目视觉方案

双目视觉方案

双目视觉方案:打开未来的无限可能在现实生活中,我们常常会遇到一些需要使用立体视觉解决的问题。

比如,在机器人导航、视觉识别、立体成像等领域,被广泛应用。

那么,究竟是什么呢?它有什么特点和优势?本文将为大家详细介绍。

是一种通过模拟人眼双目视觉系统实现的图像处理技术。

与传统的单目视觉方案相比,具有更丰富的信息获取能力和更精准的深度感知能力。

它通过将两个摄像头分别布置在一定的距离上,模拟人眼的观察方式,实现了立体视觉效果。

首先,能够提供更丰富的信息。

通过两个摄像头同时获取不同的视野图像,它能够获得更多的角度和视角的信息。

这样,在机器人导航领域,可以帮助机器人更好地感知周围环境,并做出更精准的移动决策。

其次,能够实现更精准的深度感知。

由于模拟了人眼的观察方式,通过对两个摄像头图像的比较,可以计算出目标物体与摄像头的距离。

这对于立体成像、物体识别等任务至关重要。

在现实世界中,深度感知对于机器人导航、增强现实等应用起到了至关重要的作用。

不仅如此,还具有较高的稳定性和可靠性。

由于采用了两个独立的摄像头,即使其中一个摄像头出现故障,另一个摄像头仍然可以正常工作,确保系统的稳定性。

这在一些对可靠性要求较高的场景中尤为重要,比如自动驾驶领域。

随着计算机技术的不断进步,的应用范围也得到了极大的拓展。

例如,双目立体成像技术可以实现更加逼真的三维影像显示,给人们带来沉浸式的观影体验。

在医疗领域,还可以应用于手术导航、病例诊断等方面,提高医疗效率和准确性。

然而,在实际应用过程中还存在一些挑战和问题。

其中之一就是计算量大和实时性要求高。

因为双目视觉需要同时处理两个高分辨率的图像,在计算和处理上需要更强大的硬件支持。

同时,双目视觉还需要在不同的环境和光照条件下进行适应和优化,以提高视觉效果和准确性。

综上所述,是一种具有广泛应用前景的图像处理技术。

它通过模拟人眼双目视觉系统,提供了更丰富的信息和更精准的深度感知。

在机器人导航、图像识别、医疗等领域,正发挥着越来越重要的作用。

双目立体视觉测量系统的研究与实现

双目立体视觉测量系统的研究与实现
点 的 坐 标 测 量 是 双 目立 体 视 觉 的 最 基 本 内 容 . 维 空 间 点 成 像 模 型 如 图 1所 示 , 于 空 间 对
收 稿 臼期 :0 1 0 2 1 】一】 4
毒 t U 0


式 () , 1 中 是 比 例 系 数 ; 一 , f ; 阵 “ 一 矩
乎 失去 了物体 所 有 的深 度信 息 , 而 物 体 的j 维 然
图像 能 够 _ 加 全 面 、 实 地 反 映 客 观 物 体 , 供 更 史 真 提
加 丰 富而 准 确 的 信 息 , 以 有 必 要 从 二 维 图像 中 所
重 构 场 景 的 蔓维 空 间 , 获 取 其 三 维 信 息 . 的 视 以 人 觉 系 统 具 有 将 获 取 的 图 像 信 息 转 换 为 立 体 视 图 的 功 能 , 现对 客 观世 界 三维 场 景 的感 知 、 识 和 理 实 认 解 . 日立 体 视 觉 测 量 系 统 正 是 根 据 此 原 理 , 拟 双 模 人 类 视 觉 处 理 景 物 的 方 式 , 求 从 二 维 图 像 中 恢 探
12 O
武 汉 工 程 大 学 学 报
第 3 3卷
一l 22 r3 r1 " l } 1
} I ?
R L1r 2为 转 , { 平 矩 —j 2 3 旋 矩阵 t t 为 移 2 { r r 2 —I , j L j
。 。 。 。
阵; 厂为 摄像 机 焦 距 ; 和 d d 分 别 为 图 像 坐 标 系
中相邻 像 素在 X 轴 和 y轴方 向上 的距离 . 在 测 量系 统 中, 像 机 是 基 于 双 目平 行 的 空 摄 间关 系进行 配置 的. 求空 间点 P 的坐 标 , 要 先用 摄 像机定 标 的 方 法 分 别 求 出 双 目摄 像 机 的 投 影 矩

基于双目视觉的目标定位系统设计

基于双目视觉的目标定位系统设计
畸 变 系 数 , 由于 其 一 般 很 小 ,因 此 其 初 始 值 可 置为0 。优 化模 型 取 初 步 求 出 的 、 、 作 为 优
化 函数 的 初值 ,约束 等式 是所 有尺 应 满 足正 都 交 性 的6 等 式 ,采 用 的 优 化算 法 是 L v n e g 个 e e b r.
,=
『车『 差= 言]差 i『 . = ] 善 j ]芝 , , 差
45
图 1 双 目视 觉系统结构 示意图
2 双 目视觉系统关键技术
现代仪器 (,,, d r isr.r.n 、、 『mo e nn t o gc ) ^^I 、. s
由于 D 点在外极平 面上 ,因此外极平面在右侧图 ,
左摄像机的光心 ,D 是右摄像机的光心。P既位于 r 直线 D尸, ,又位 于直 线 D 上 ,因此 P是 0 上 ,
和 D 两 条直 线 的交 点 。运用 双 目视 觉原 理 进 行 目标定 位 的 目的就 是得 到 目标上 特征 点位 置 。首先
Zw

通过摄像机标定得到摄像机光心 D 和 D 坐标 ,然 , , 后通过特征提取和立体匹配得到 尸 和 P 坐标 ,利 , , 用两条空间直线的交点就可以得到 P点三维坐标 。
式 中,尸 、 为第i 、 幅图像 的内外参数 ,, , 表示
选 取 的 第 f 图像 中心 附 近 的 点 数 , 幅 c表 示 第
摄像机的投影中心在各 自图像中的投影。由于所有 外极 平 面都包含 D, D 点 ,因此外 极点 都位 于 由 和 2 f 图像 中第, 点 的非齐次 图像 坐标 向量, 是 两个投影中心定义 的直线 ( 幅 个 ¨ 基线 ) 上,这种约束条 相 对 应 的 世 界坐 标 向量 。 , P , 本 文 考 虑 的 件称 为外极 线约 束 。 , 为 P

基于双目视觉的机器人抓取系统

基于双目视觉的机器人抓取系统

总733期第三十五期2020年12月河南科技Journal of Henan Science and Technology信息技术基于双目视觉的机器人抓取系统周晏韩毅王旭彬郭圆辉(安阳工学院计算机科学与信息工程学院,河南安阳455000)摘要:基于机器视觉系统引导的机器人抓取技术是当前机器人技术研究的热点,如何对机器人与摄像机进行精准的手眼标定是实现机器人精准抓取的前提和基础。

本文通过双目摄像机和四轴机器人建立了基于双目视觉的机器人抓取系统,采用张正友标定法对双目摄像机的内外参数进行标定,对眼在手外的抓取系统进行手眼标定,并将抓取目标物体空间坐标信息转化为机器人控制信息,完成目标抓取。

关键词:双目视觉;机器人;手眼标定;物体抓取中图分类号:TP242文献标识码:A文章编号:1003-5168(2020)35-0004-04Robot Grasping System Based on Binocular VisionZHOU Yan HAN Yi WANG Xubin GUO Yuanhui(Department of Computer Science and Information Engineering,Anyang Institute of Technology,Anyang Henan455000)Abstract:Robot grasping technology guided by the machine vision system is a hot spot in the current robotics re⁃search,and how to perform accurate hand-eye calibration of robots and cameras is the prerequisite and basis for achieving accurate robot grasping.A robot grasping system based on binocular vision through binocular cameras and four-axis robots was established in this paper,which used Zhang Zhengyou calibration method to calibrate the inter⁃nal and external parameters of the binocular cameras,and performed hand-eye calibration on the grasping system with eye-to-hand,and the space coordinate information of the captured target object was transformed into robot con⁃trol information to complete the target capture.Keywords:binocular vision;robot;hand-eye calibration;object grasping《中国制造2025》的核心目标是装备生产的信息化与智能化,而智能机器人恰好是实现这一目标的重要执行者。

基于双目立体视觉技术的空间定位系统设计与实现

基于双目立体视觉技术的空间定位系统设计与实现

• 178•如今,三维重构技术广泛应用于工业检测、三维测量、虚拟现实等领域。

同时双目立体视觉也是计算机视觉的一个重要分支。

立体视觉是指从两个不同的角度去观察场景中的同一个物体,来获取不同视角下的二维图像,再运用成像几何原理来计算图像像素之间存在的位置偏差(视差),从而获取物体的三维信息。

本文通过设计一种用于目标空间三维距离、方位信息探测的立体视觉系统及实现方法,根据图像识别结果进而获得目标的三维信息。

一、立体视觉技术概述及应用1.立体视觉技术概述立体视觉技术是计算机视觉领域中一个非常活跃的研究热点,它结合了图像处理、计算机视觉、计算图形学以及生物生理学等诸多领域的理论和方法。

它通过对多张图像的分析处理来获取物体的三维几何信息,尽可能逼真地实现模仿人类的双目视觉的功能。

同时双目立体视觉也是计算机视觉的一个重要分支,即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景,并通过计算空间点在两幅图像中的视差,获得该点的三维坐标值。

2.本项目研究目的设计一种用于目标空间三维距离、方位信息探测的立体视觉系统及实现方法。

该系统根据双目视觉原理,利用预制三维标定物对图像获取系统的内、外参数进行标定,求出投影变换矩阵,根据图像识别结果运用灰度模板、连续性假设和对极几何约束进行识别目标的特征匹配,进而获得目标的三维信息。

3.该技术当前发展状况立体视觉技术在国内外科学研究上都有广泛应用。

在国外,华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统,使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航。

国内,维视图像公司采用双目ccd 相机,从工业相机内参标定、镜头畸变标定、立体匹配、特征点分割处理等方面给出了详细的数学模型和算法接口。

其双目标定软件ccas 可以实现机器人导航、微操作系统的参数检测、三维测量和虚拟现实等应用。

4.发展趋势1)探索新的适用于全面立体视觉的计算理论和匹配择有效的匹配准则和算法结构,以解决存在灰度失真,几何畸变(透视,旋转,缩放等),噪声干扰,及遮掩景物的匹配问题;2)算法向并行化发展,提高速度,减少运算量,增强系统的实用性。

双目视觉方案

双目视觉方案

双目视觉方案引言双目视觉是一种模拟人类双眼视觉的技术,通过两个摄像头模拟人眼的立体感知能力。

双目视觉方案被广泛应用于各种领域,包括计算机视觉、机器人导航、虚拟现实等。

本文将介绍双目视觉方案的原理、应用以及实现方法。

原理双目视觉方案基于立体视觉原理,利用两个摄像头分别记录目标物体在不同位置时的图像,并通过计算两个图像之间的视差来推断物体的距离。

视差是指在两个图像中同一点的像素位置之间的偏移量,视差越大代表物体距离摄像头越近,视差越小代表物体距离摄像头越远。

应用3D视觉重建双目视觉方案可用于实现高精度的三维物体重建。

通过采集目标物体在不同角度下的图像,可以利用双目视觉算法重建物体的三维模型。

这对于设计、制造和可视化等应用具有重要意义。

目标检测与跟踪双目视觉方案可以将两个摄像头放置在一定距离内,以获取不同角度的目标物体图像。

利用双目视觉算法可以从图像中提取物体的特征,并通过运动估计算法实现对目标物体的跟踪。

这对于自动驾驶、机器人导航等应用非常关键。

虚拟现实虚拟现实系统需要实时、准确地感知用户的头部位置和姿态信息,以提供逼真的虚拟体验。

双目视觉方案可以利用摄像头记录用户的眼睛位置和姿态,通过计算用户眼睛之间的视差,可以实时推断用户的头部位置和姿态,从而提供精确的头部跟踪。

实现方法目标标定在使用双目视觉方案之前,需要对双目系统进行标定,以获取相机的内部参数和外部参数。

标定过程一般包括摄像头的畸变校正、相机的内部参数计算、摄像头的外部位置和姿态计算等步骤。

视差计算双目视觉的核心算法是视差计算。

通过将两个图像进行匹配,可以计算出每个像素的视差值。

常用的视差计算算法包括基于区域的算法、基于特征点的算法等。

视差图可以通过将视差值映射到灰度图像上进行可视化。

三维重建根据视差图,可以通过三角测量的方法计算出物体的三维坐标。

三角测量可以使用相机的内外参数,将视差值转换为物体的实际距离。

目标检测与跟踪在双目视觉系统中,目标检测与跟踪是一个重要的应用。

双目立体视觉测量系统的设计与实现_王建华

双目立体视觉测量系统的设计与实现_王建华
该模块的主要任务是,在摄像机标定 的 基 础 上,利 用 三 维重构技术将来自两 摄 像 机 的 目 标 像 素 坐 标 进 行 融 合,求 取球心的空间三维坐标,利用空间几何关 系,计 算 两 球 心 连 线的空间位 置,进 而 计 算 被 测 物 体 轴 线 的 三 维 姿 态 (高 低 角、方位角)。其 原 理 框 图 如 图 2 所 示。 其 中,三 维 重 构 方 法 采 用 文 献 [11]提 出 的 异 面 直 线 公 垂 线 段 中 点 法 。
3.2 图 像 处 理 模 块 图像处理模块的主要任务是对左右摄像机采集的被测
物体图像进行同步实 时 处 理,以 对 球 形 目 标 在 立 体 图 像 中 的位置进行检测和定 位,为 交 会 测 量 提 供 精 确 的 目 标 像 素 坐标。
1)图 像 处 理 模 块 的 同 步 同步是指由于目 标 的 运 动,为 交 会 测 量 提 供 的 目 标 像 素坐标必须是处理同一时刻两摄像机获取的目标图像的结 果,这就要求图像处 理 模 块 处 理 的 图 像 必 须 是 同 一 时 刻 的 两幅图像。保证同步性的方法是在硬件上采用一块双图像 通道的采集卡,使 CCD 摄像机过来的 图 像 在 硬 件 处 理 上 具 有一致性;在软件上,从硬件捕获的图像合 成 一 副 图 像 进 行 处 理 ,保 证 所 有 软 件 处 理 的 一 致 性 。 2)目 标 检 测 与 定 位 目标检测与定位 即 对 球 形 目 标 进 行 检 测,对 两 球 心 进 行定位。第一步对待 处 理 的 图 像 进 行 降 噪 处 理,该 操 作 的 目的是降低图像噪 声,增 强 有 用 信 号,提 高 图 像 的 信 噪 比, 改善图像质量;降噪 后,进 行 图 像 分 割 处 理,其 目 的 是 把 目 标区域同背景区域分 离 开 来,采 用 的 方 法 是 第 三 章 提 出 的 改进模糊熵阈值分割 与 形 态 学 开 启 运 算 相 结 合 的 方 法,形 态学运算的目的是对 模 糊 熵 分 割 后 的 图 像 进 行 整 形,以 去 掉圆形区域边界处的 毛 刺 或 细 缝 等;连 通 区 域 标 记 把 分 割 后的众多图像区域用 不 同 的 灰 度 值 进 行 标 记;而 后 对 目 标 区域的检测,采用基于特征参数的四层判 别 策 略,即 对 每 个 图像区域分别计算 四 个 特 征 参 数,形 态 比、形 状 参 数、球 状 性以及圆形性,比较 各 区 域 的 特 征 参 数 值 以 实 现 对 目 标 的 识别;为了使 系 统 具 有 更 高 的 测 量 精 度 ,识 别 出 目 标 区 域 后,采用亚像素定 位 技 术 求 取 目 标 的 像 素 坐 标。 以 上 操 作

机器人视觉检测系统的设计与实现

机器人视觉检测系统的设计与实现

机器人视觉检测系统的设计与实现一、引言近年来,随着科技的不断进步,机器人技术越来越成熟。

机器人的应用范围越来越广泛,机器人视觉检测系统也迅速发展。

本文将阐述机器人视觉检测系统的设计与实现。

二、机器人视觉检测系统的基本原理机器人视觉检测系统是通过图像采集与传输系统、图像处理系统和指令输出三大模块的相互配合完成对目标物体的检测与定位。

1. 图像采集与传输系统图像采集与传输系统是机器人视觉检测系统的基础,它将目标物体的图像采集并传输给图像处理系统。

目前常见的图像采集方式有两种,一种是使用CCD相机采集图像,另一种则是使用3D激光扫描仪进行采集。

2. 图像处理系统图像处理系统将采集到的图像进行处理,提取出目标物体的轮廓、形状、颜色等特征信息,然后再对比与数据库中保存的目标物体信息,以确定目标物体的种类、位置和数量等信息。

3. 指令输出指令输出是机器人视觉检测系统的重要环节。

根据图像处理系统的判断结果,机器人需要执行不同的动作,例如对目标物体进行抓取、分拣或切割等操作。

三、机器人视觉检测系统的设计与实现机器人视觉检测系统的设计包括硬件和软件两大方面。

1. 硬件设计硬件设计主要包括图像采集与传输系统的设计和机械手臂的设计。

图像采集与传输系统的设计决定了图像采集的效果和传输速度。

为了提高效率,图像采集与传输系统需要选用高效的硬件设备和合理的设备布局。

此外,应该保证设备间的数据传输稳定可靠。

机械手臂的设计要考虑机械手臂的工作空间、载荷能力和精度等因素。

机械手臂的工作空间需要根据目标工件的大小和数量来决定。

载荷能力则需要根据目标工件的重量来确定,精度则应该满足机器人视觉检测系统的要求。

2. 软件设计机器人视觉检测系统的软件设计主要包括图像处理算法的设计和指令输出程序的编写。

图像处理算法包括图像预处理、特征提取和目标识别等功能。

在设计图像处理算法时需要考虑图像噪声、光照不均等问题,通过合理的预处理方法,使得图像处理效果更加准确。

机器人视觉系统组成及定位算法

机器人视觉系统组成及定位算法

机器⼈视觉系统组成及定位算法1.机器⼈视觉机器⼈研究的核⼼就是:导航定位、路径规划、避障、多传感器融合。

定位技术有⼏种,不关⼼,只关⼼视觉的。

视觉技术⽤到“眼睛”可以分为:单⽬,双⽬,多⽬、RGB-D,后三种可以使图像有深度,这些眼睛亦可称为VO(视觉⾥程计:单⽬or⽴体),维基百科给出的介绍:在机器⼈和计算机视觉问题中,视觉⾥程计就是⼀个通过分析处理相关图像序列来确定机器⼈的位置和姿态。

当今,由于数字图像处理和计算机视觉技术的迅速发展,越来越多的研究者采⽤摄像机作为全⾃主⽤移动机器⼈的感知传感器。

这主要是因为原来的超声或红外传感器感知信息量有限,鲁棒性差,⽽视觉系统则可以弥补这些缺点。

⽽现实世界是三维的,⽽投射于摄像镜头(CCD/CMOS)上的图像则是⼆维的,视觉处理的最终⽬的就是要从感知到的⼆维图像中提取有关的三维世界信息。

2.系统基本组成: CCD、PCI、PC及其外设等。

2.1 CCD/CMOS⼀⾏硅成像元素,在⼀个衬底上配置光敏元件和电荷转移器件,通过电荷的依次转移,将多个象素的视频信号分时、顺序地取出来,如⾯阵CCD传感器采集的图像的分辨率可以从32×32到1024×1024像素等。

2.2视频数字信号处理器图像信号⼀般是⼆维信号,⼀幅图像通常由512×512个像素组成(当然有时也有256×256,或者1024×1024个像素),每个像素有256级灰度,或者是3×8bit,红黄兰16M种颜⾊,⼀幅图像就有256KB或者768KB(对于彩⾊)个数据。

为了完成视觉处理的传感、预处理、分割、描述、识别和解释,上述前⼏项主要完成的数学运算可归纳为:(1)点处理常⽤于对⽐度增强、密度⾮线性较正、阈值处理、伪彩⾊处理等。

每个像素的输⼊数据经过⼀定关系映射成像素的输出数据,例如对数变换可实现暗区对⽐度扩张。

 (2)⼆维卷积的运算常⽤于图像平滑、尖锐化、轮廓增强、空间滤波、标准模板匹配计算等。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

空间机器人双目视觉测量系统结构设计
摘要:为确保空间机器人稳定工作,提出了一种空间机器人双目视觉测量系统结构设计方法。

采用D-H参数法对空间机器人机械臂建模仿真获取空间机器人基座固定工作空间;以此为测量范围约束,设计空间机器人双目视觉测量系统结构。

仿真实验证明了该设计方法的可行性、有效性。

关键词双目视觉、D-H参数、工作空间、结构设计
空间机器人是一种新型的多功能智能航天器,其携带的高精度视觉测量系统是其完成一切任务的根本保障[1]。

其视觉测量系统主要有双目视觉测量和结构光视觉测量两种。

由于结构光视觉具有结构复杂,不方便携带等特点,所以更多是采用双目视觉测量。

双目视觉测量系统的测量性能主要与摄像机的参数、两台摄像机之间位置摆放、被测点与测量系统的相对位置有关[2]。

在计算机视觉领域中,大部分双目视觉测量系统精度的研究[3-7],是通过建立双目视觉测量系统测量误差模型,进而展开分析和讨论。

文献[5]采用最优回归设计311-A方案设计实验,设计双目视觉测量系统结构参数,仅考虑3个参数作为变量用于设计,实际意义不大。

文献[6]通过建立双目视觉测量系统的位置误差模型,详细的分析了两个CCD光轴之间夹角、基线距离测量长度对误差的影响。

吴彰良[7]等人在研究双目视觉测量系统各结构参数综合分析的基础上,提出了双目视觉测量系统结构设计的优化准则和基本步骤。

本文提出了一种空间机器人双目视觉测量系统结构设计方法,并研究空间机器人机械臂建模方法,双目视觉测量系统结构设计方法,对空间机器人双目视觉测量系统结构设计与工程应用有一定的参考价值。

1 空间机器人基座固定工作空间研究
空间机器人的基座飞行器有三种控制模式,Z.Vafa[8]将这三种控制模式下的工作空间有如下定义:基座位置姿态固定模式下基座固定工作空间、位置不受控姿态受控模式下的受限工作空间、位置姿态均不受控模式下的自由工作空间。

由于我们在研究空间机器人基座双目测量系统结构中,仅需要考虑末端执行器与基座双目测量系统的相对位置,所以这里我们只需要分析空间机器人在固定基座模式下的工作空间。

1.1 D-H参数法建模
1) 设计空间机器人机械臂结构参数;
2) 使用D-H参数法对机械臂建模;
3) 将各关节变量均匀分布,利用这些均匀分布的变量不同组合,
得到末端手爪在基准坐标系的位置;
4) 画出所有末端点。

从而产生空间机器人工作空间的“云图”。

通过D-H参数法建模所得的工作空间后,将其作为双目视觉测量系统结构参数设计的依据。

2 双目视觉测量系统结构参数设计
根据空间机器人基座固定工作空间对双目视觉测量系统进行设计:首先给出了双目视觉测量系统的结构模型;通过分析双目视觉测量系统结构设计的一般准则;最后采用对称式结构设计双目视觉测量系统,并给出了设计步骤。

2.1 结构参数设计准则
从双目视觉测量系统结构模型可知,其结构参数主要包括:两摄像机光轴与基线的夹角、,有效焦距f1,f2;基线距B;及两摄像机分辨率和像元尺寸。

这些结构参数之间不是单独变化的而是存在一定的约束关系,所以在设计双目视觉测量系统结构时,需要对一些条件进行限定。

通过阅读文献[3-7]总结出,下面给出双目视觉测量系统结构参数的设计的一般准则:
1) 被测目标须确保在两摄像机公共视场之内,并且保证目标能清晰成像,为实施测量的首要条件。

2) 双目视觉测量系统采用对称结构时,测量精度更高;即两摄像机光轴与基线的夹角α1、α2相等。

3) 基线距对测量精度的影响是非线性的,其与目标的深度信息有重要关系。

4) 增大焦距可提高精度;但增大焦距会导致视场角减少,导致双摄像机的公共视场减小,因此根据具体的应用选择合适的焦距。

2.2 结构参数设计方案
通过前文分析,针对空间机器人双目视觉测量系统的实际情况,在获取空间机器人基座固定工作空间的基础上。

采用对称式双目视觉测量结构,则==,f1=f2=f,需要设计的参数仅包括:α、f、B;设计方案如下:
1) 分析问题:根据空间机器人基座卫星尺寸得到基线距范围,设定手爪为观测目标。

通过分析固定工作空间得到摄像机分别在Y 轴方向的最大视场角和测量范围。

2) 获得焦距的约束条件,通过对空间机器人基座工作空间的分析获得焦距的约束条件:
令摄像机参数像元尺寸为u,像素大小nn,可获得焦距和摄像机视场角之间的约束关系:
令观测目标最小成像尺寸(mm个像素),则成像高度h=um, h 与目标的实际高度S、物距R、焦距f的约束关系如下式:
3) 迭代设计:考虑到长焦距镜头的畸变较小;以焦距越长,公共视场越大为优的准则;选择最大焦距值初值,迭代设计基线距和光轴与基线夹角,最后给出观测方案。

3 设计实例
3.1 空间机器人运动学仿真
本文设计如下:空间机器人由基座卫星、机械臂、手爪、基座双目视觉测量系统组成。

基座卫星尺寸160 cm160 cm160 cm;机械臂为三自由度构型由3个相同的一体化双关节、四个连杆构成;将手爪设计为一个30 cm30 cm正方形,如图(2)。

设定0号连杆与基座卫星接点为坐标系原点O,其连杆具体参数如表(1)所示:
令连杆1固定,与基座卫星的接点即为基准坐标系的原点。

通过机械臂运动学仿真,当机械臂各关节角不受限制时,其工作空间为一个实心球形,如图(3)所示:
3.2 结构参数设计实例
下面针对仿真的空间机器人基座固定工作空间进行实例设计:
第一步,分析问题:通过设计的空间机器人基座卫星尺寸得到基线距范围B ≤160cm,考虑考虑摄像机本身的体积,基线距B最小值为15cm;设定手爪为观测目标则目标尺寸为30 cm30 cm正方形;通过仿真得到的基座固定空间,并将其转换到得到测量范围。

具体如表2。

视场角(rad)测量范围(cm)目标尺寸(cm2)基线距(cm)0.212198307303015<B ≤160第二步,获得约束条件:在考虑经济效益的同时,又为保证成像的清晰度,这里选择为2048×2048。

像元尺寸选择为3.5um×3.5um。

则由于视场角0.212,通过式(1)得到焦距:mm;
为保证成像清晰,设定目标手爪在测量系统中成像的最小尺寸一般不低于150×150;根据测量范围约束198307 cm,根据式子(2)得到:mm;
可得到焦距约束:mm。

第三步,以最大焦距值f=16.7mm为初值,对结构参数迭代设计;如图(7)所示,AB、OD可由空间机器人工作空间推导出,且;通过焦距f可推导出值,则根据几何关系可推导出:
根据式子(3),即可推导出与基线距B, 光轴与基线夹角之间的关系;两摄像机公共视场越大越好为准则,设计结构参数;并分析其是否能够满足空间机器人固定基座工作空间的范围,不满足则将焦距f =f-Δf,Δf=0.01mm。

直到满足的工作空间范围的结构为止。

右:76.5°在表3中给出了结构设计方案。

对其进行分析,设计的双目视觉测量系统满足198307 cm的测量范围,当cm,目标的成像尺寸为:715715个像素;当cm,目标的成像尺寸为:461461个像素。

目标在工作空间中都能在公共视场范围内,并有足够的成像尺寸,说明设计方案是可行有效的。

4 结论
本文给出了一种空间机器人双目视觉测量系统的设计方法:通过对空间机器人进行机械臂建模仿真,得到其基座固定工作空间;以其为视觉范围约束来设计双目视觉测量系统。

在设计过程,采用了对称式测量结构来简化设计流程,同时也提高设计的测量系统的精度。

通过仿真实例证明了该方法的可行性。

参考文献(References)
[1]. 蔡洪亮,卢昱,高永明. 空间机器人在未来空间作战中的应用[J]. 国防大学学报(军事装备研究). 2009. (243) .104-106.
[2]. 刘俸材,谢明红,颜国霖.双目立体视觉系统的精度分析.计算机工程[J].2011.37(19).280-284
[3]. 闫龙,赵正旭,周以齐.基于CCD的立体视觉测量系统精度分析与机构设计研究[J].仪器仪表学报. 2008.29(2).410-413。

[4]. 刘佳音,王忠立,贾云德.一种双目立体视觉系统的误差分析方法.光学技术.2003,29(3).354- 357
[5]. 王以忠,李孝猛,张大克,贾士儒.双目立体视觉传感器结构参数优化设计.天津科技大学学报.2010.25(3).58-60
[6]. 周学斌,杨学友,杨楠,叶声华.立体视觉传感器优化设计技术研究[J].计算机测量与控制. 2007. 15(6).831-833
[7]. 吴彰良,孙长库,杨中东.视觉测量传感器系统结构参数设计分析[J].光电工程.2009.36(12). 56-61
[8]. Z.Vafa, S.Dubowsky. The Kinematics and dynamics of Space manipulators: The vir- -tual manipulator approach [J].International Journal of Robotic Researeh,1990, 9(4):3-2。

相关文档
最新文档