一种基于图像坐标检测的目标定位方法
一种单目摄像机的位姿定位方法

一种单目摄像机的位姿定位方法随着人工智能和计算机视觉领域的不断发展,定位和导航技术在机器人、自动驾驶汽车和增强现实等领域中扮演着越来越重要的角色。
单目摄像机作为一种常见的传感器,其在定位和导航中的应用越来越广泛。
本文将介绍一种基于单目摄像机的位姿定位方法,通过该方法可以精确地获取目标物体的位置和姿态信息。
一、方法概述该位姿定位方法是基于特征点匹配和三维重建的技术。
在目标物体的周围设置多个特征点,然后使用单目摄像机拍摄目标物体,并提取图像中的特征点。
通过计算特征点的匹配关系,可以获得目标物体在图像中的姿态信息。
接下来,利用摄像机的内外参数和特征点的三维坐标,结合三维重建算法,可以得到目标物体的真实位置和姿态信息。
二、特征点提取与匹配在单目摄像机中,特征点是图像中具有显著特征的点,如角点、边缘点等。
在定位过程中,首先需要从目标物体的图像中提取特征点。
常用的特征点提取算法包括Harris角点检测、SIFT特征提取、FAST特征提取等。
这些算法能够在图像中准确地提取出特征点,并且具有较好的鲁棒性和稳定性。
提取到特征点之后,接下来需要进行特征点的匹配。
特征点匹配是指在两幅图像中找到相互对应的特征点,这一步是位姿估计的关键。
常用的特征点匹配算法包括基于描述符的匹配算法(如SIFT、SURF)和基于光流的匹配算法等。
这些算法能够有效地找到两幅图像中相互对应的特征点,为后续的位姿估计提供了可靠的数据基础。
三、姿态估计与优化在特征点匹配的基础上,可以进行目标物体的姿态估计。
姿态估计是指根据特征点匹配的结果,计算出目标物体在图像中的位置和姿态信息。
常用的姿态估计方法包括PnP(Perspective-n-Point)算法、EPnP算法、以及基于优化的姿态估计算法等。
这些算法能够根据特征点的匹配关系,精确地计算出目标物体的位置和姿态信息。
除了姿态估计,还可以利用摄像机的内外参数进行辅助估计。
摄像机的内外参数包括焦距、主点、畸变参数、旋转矩阵和平移向量等。
基于VisionPro的数字图像识别与定位

基于VisionPro的数字图像识别与定位【摘要】本文利用VisionPro视觉软件进行数字图像识别与定位研究。
首先利用该软件实现了图像采集和摄像机标定,然后基于VisionPro运用VB编写人机交互界面,利用采集得到的图像进行了目标识别定位。
同时利用视觉处理中常用的工具Opencv对采集的图像进行了相同的目标识别定位。
对两种方法得到的识别效果和定位数据进行了对比,结果表明,基于VisionPro的视觉系统得到的识别效果更好,定位数据更准确。
【关键词】机器视觉;VisionPro;识别定位;1.引言自20世纪80年代以来,机器视觉技术开始高速发展,已经从实验室走向了人们生产生活的各个方面。
机器视觉系统的特点是提高生产的柔性和自动化程度。
在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;同时在大批量工业生产过程中用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。
而且机器视觉易于实现信息集成,是实现计算机集成制造的基础技术。
现今,在机器视觉领域已经有了一些成熟的视觉开发软件,其封装了很多可靠、高效的算法和工具。
本文选用美国康耐视公司的VisionPro软件,这是一套基于PC架构的视觉系统软件开发包,主要应用于各种复杂的机器视觉领域。
它集成了用于定位、检测、识别和通讯等任务的工具库,可用C#、VB和VC等语言进行二次开发。
本文基于VisionPro利用语言进行视觉定位系统的软件开发[1]。
2.视觉定位系统2.1 硬件组成在图像处理前首先要得到清晰、有效的图像,这就需要有一套完整的硬件设备。
一般主要包括照明用的光源、调节图像清晰度的镜头、将图像转换为数字信号的摄像机和进行图像处理的计算机。
其中摄像机与计算机之间的接口也比很重要的,主要分为IEEE1394和采集卡,USB2.0或Gigabit Ethernet千兆网三种[2]。
本视觉系统采用的是日本FUJINON工业摄像头,德国BASLER工业像机ACA1600-20GM,GigE千兆网接口。
目标检测画框

目标检测画框目标检测是计算机视觉领域的一个重要任务,其目的是在图像或视频中自动识别和定位特定的物体或目标。
目标检测通常被应用于行人检测、车辆检测、物体识别等领域。
本文将介绍目标检测的原理和常用的方法,并展示如何在图像中画出检测到的目标框。
目标检测的原理是将图像划分为多个区域,并对每个区域进行分类和定位。
常用的方法包括传统的基于特征的方法和基于深度学习的方法。
基于特征的方法通常使用传统的机器学习算法,如支持向量机(SVM)和随机森林(Random Forest)等。
这些方法需要手工定义和提取图像的特征,如颜色、纹理和形状等。
然后使用这些特征训练分类器,利用分类器对每个区域进行分类和定位。
基于深度学习的方法的发展,主要得益于深度神经网络的强大表达能力。
这些方法通过将目标检测问题转化为回归问题或分类问题,并使用卷积神经网络(CNN)等深度学习模型进行训练。
这些模型可以自动从原始图像中学习到高级特征表示,从而实现更好的目标检测性能。
在实际应用中,目标检测常常使用的是基于深度学习的方法。
下面将介绍如何在图像中画出检测到的目标框。
首先,需要准备一个已经训练好的目标检测模型。
常用的模型有YOLO(You Only Look Once)、Faster R-CNN(Region-based Convolutional Neural Networks)等。
这些模型可以在GitHub上找到其开源实现。
其次,需要加载并预处理待检测的图像。
预处理通常包括图像归一化、大小调整等操作。
然后,将待检测的图像输入到目标检测模型中,得到目标的检测结果。
这些结果通常是目标的位置和类别信息。
位置信息通常由一组坐标表示,如矩形的左上角和右下角坐标,类别信息可以使用数字或字符串表示。
最后,使用图像处理库(如OpenCV)中的绘制函数,根据目标的位置信息在图像上画出检测到的目标框。
绘制函数通常需要传入图像、坐标和颜色等参数,可以根据需要设置不同的框的颜色。
ccd标定方法

ccd标定方法CCD标定方法是一种用于校准CCD(Charge-Coupled Device,电荷耦合器件)相机的几何参数的技术。
CCD相机是一种常见的图像采集设备,广泛应用于计算机视觉、机器人、测绘等领域。
在进行图像处理和计算机视觉算法时,准确的相机几何校准是非常重要的,它能够提高图像处理、目标检测和物体测量等算法的精度和可靠性。
CCD标定的目的是确定相机的内参和外参,内参包括相机的焦距、主点位置等;外参包括相机的旋转矩阵和平移向量,它们描述了相机相对于世界坐标系的姿态和位置。
标定过程主要分为以下几个步骤:1.采集标定图像:在标定过程中,需要采集一组特殊的标定图像。
这些图像包括具有已知尺寸的标定板,通常使用棋盘格,其具有明确的角点,能够提供足够的几何信息。
保持相机的固定位置和姿态,以不同的角度、位置和焦距拍摄这些图像。
2.检测角点:使用图像处理算法对标定板的每张图像进行角点检测。
这些角点是用于计算相机畸变和校准参数的关键特征点。
通过检测角点,可以得到图像中的角点像素坐标。
3.计算内参:使用相机畸变模型,可以通过角点像素坐标计算出相机的内参。
畸变模型通常是一个多项式函数,用于描述相机透镜的光学畸变。
根据畸变模型和角点的实际坐标,可以使用最小二乘法等方法求解相机的内参。
4.计算外参:通过对标定图像进行处理,可以推导出标定板每幅图像的相对姿态和位置变换关系。
根据这些关系,可以使用求解矩阵方程或非线性优化算法来计算相机的外参。
5.验证和优化:标定过程结束后,需要对标定结果进行验证和优化。
验证可以通过使用一组新的测试图像,并根据标定结果计算出物体的三维坐标来检查标定结果的准确性。
如果标定结果不准确,可以根据误差进行调整和优化。
除了上述步骤外,还有一些相关的技术应用于CCD标定中,如自动角点检测、镜头矫正、畸变模型选择等。
此外,随着技术的发展,还出现了其他标定方法,如基于投影仪的标定方法和基于纹理的标定方法。
三d定位方案

三d定位方案三D定位方案引言三维定位是指通过利用传感器和算法,将目标物体在三维空间中准确地定位的技术。
它在许多领域中被广泛应用,如机器人导航、增强现实、虚拟现实等。
本文将介绍几种常见的三维定位方案,包括基于视觉的方法、基于无线信号的方法以及基于惯性传感器的方法。
基于视觉的三维定位基于视觉的三维定位是最常见和直观的方法之一。
它通过利用摄像头或其他视觉传感器获取目标物体的图像或视频,并通过计算机视觉算法分析和处理数据,从而实现对目标物体在三维空间中的定位。
这种方法的优点是成本相对较低,设备易于获取,且精度高。
常用的计算机视觉算法包括特征点匹配、结构光扫描和立体视觉等。
特征点匹配特征点匹配是一种常见的三维定位方法,它通过在目标物体上检测并匹配出一些关键特征点,然后利用这些特征点在相机坐标系和目标坐标系之间建立映射关系,从而实现对目标物体的定位。
这种方法的优势在于对目标物体的要求比较低,不需要任何标记或特殊设备,但在复杂背景下,特征点识别和匹配的精度可能会受到影响。
结构光扫描结构光扫描是一种利用一台或多台摄像头和激光投影仪进行三维定位的方法。
它通过投射特殊的纹理或光线模式到目标物体上,再根据摄像头捕获的图像和激光投影仪发射的光线,计算出目标物体在空间中的位置。
结构光扫描具有高精度和稳定性的优点,但设备成本相对较高。
立体视觉立体视觉是利用两个或多个摄像头对目标物体进行观测和分析的方法。
通过获取多视角的图像或视频,并进行图像处理和计算几何学变换,可以得到目标物体在三维空间中的位置和姿态。
立体视觉在机器人导航和增强现实等领域中被广泛应用,但由于需要使用多个摄像头,设备成本和复杂度较高。
基于无线信号的三维定位基于无线信号的三维定位是利用无线信号的传播特性对目标物体进行定位的方法。
它通过测量接收到的无线信号的信号强度、到达时间或多径效应等参数,利用数学模型计算并推断目标物体在三维空间中的位置。
常见的基于无线信号的三维定位技术包括无线电频率辐射(RFID)、蓝牙定位和超宽带定位等。
基于SIFT图像特征匹配的多视角深度图配准算法

基于SIFT图像特征匹配的多视角深度图配准算法一、引言介绍多视角深度图配准算法的意义及研究现状,阐述SIFT图像特征匹配在图像配准中的重要性。
二、SIFT图像特征提取介绍SIFT算法的基本原理及其实现方式,包括尺度空间构建、关键点检测、局部特征描述等。
三、基于SIFT的多视角深度图配准介绍基于SIFT图像特征匹配的多视角深度图配准算法,包括图像对齐、深度图对齐、三维点云生成等步骤。
四、实验与结果分析通过实验证明算法的有效性和准确性,采用定量和定性分析的方式比较不同方法的优劣,并讨论其应用场景。
五、结论与展望总结全文工作,归纳出本文的贡献和不足,并展望未来相关研究方向及改进措施。
随着计算机视觉和深度学习技术的快速发展,多视角深度图配准成为了一个研究热点。
多视角深度图配准是指将来自不同视角的深度图或结构光扫描等信息融合在一起,生成三维模型或场景,以便进行三维重建、机器人导航、虚拟现实等应用。
在多视角深度图配准算法中,图像配准是其中一个非常重要的环节之一。
快速准确地对于多视角的深度图进行配准就可以产生高质量的三维场景。
目前,对于多视角深度图中的配准问题,已有许多相关研究和算法。
这些算法一般采用从应用程序中收集多个图像来进行拍摄的传统摄影的方法。
然而,在图像进行配准时存在许多困难,例如光照条件的变化、图像中存在重复的物体、不同视角的误差不同等。
因此,开发一种快速准确的图像配准算法仍然是一个具有挑战性的问题。
SIFT算法是一种基于图像特征的配准方法,常常被用来进行特征提取和匹配。
它通过对图像进行尺度空间分析,检测出关键点并生成其局部特征描述符,用于图像匹配和目标识别。
由于其对于尺度和旋转不变性以及对于干扰性和噪声的抵抗能力,SIFT算法被广泛应用于图像配准的领域。
其中,SIFT算法通过关键点的检测和局部描述符的生成,将图像从二维坐标空间转化到高维向量空间中,利用向量空间的距离度量法来计算两幅图像之间的相似度,从而获得图像的配准结果。
一种基于视觉测量的scara机器人标定方法

一种基于视觉测量的SCARA机器人标定方法
一、引言
SCARA机器人是一种特殊类型的装配机器人,广泛应用于各种制造行业。
为了确保SCARA机器人的准确性和可靠性,我们需要对其进行精确的标定。
本文提出了一种基于视觉测量的SCARA机器人标定方法,以提高其精度和可靠性。
二、标定方法
该标定方法主要包括以下步骤:
准备标定工具和设备:包括相机、标定板、参考坐标系等。
安装标定设备:将相机固定在SCARA机器人的工作区域上方,标定板安装在SCARA机器人的末端执行器上。
采集图像:通过相机拍摄标定板在不同姿态下的图像,并记录每个图像中标记点的位置。
图像处理:对采集的图像进行预处理,包括去噪、二值化、边缘检测等,以提取标记点的位置。
建立坐标系:根据采集的图像和已知的参考坐标系,建立相机的内部坐标系和世界坐标系。
计算参数:通过已知的点和对应的坐标系,计算相机的内部参数和外部参数,如焦距、主点坐标、畸变系数等。
验证标定结果:通过比较标定前后的机器人定位精度,验证该标定方法的有效性和精度。
三、实验结果
实验结果表明,使用该标定方法后,SCARA机器人的定位精度提高了约50%,大大提高了其工作性能和可靠性。
同时,该标定方法操作简单,精度较高,可广泛应用于各种SCARA机器人的标定工作中。
四、结论
本文提出了一种基于视觉测量的SCARA机器人标定方法,该方法可提高SCARA机器人的定位精度和工作性能。
实验结果表明,该方法具有操作简单、精度高等优点,可广泛应用于各种SCARA机器人的标定工作中。
hdl_localization 定位原理

hdl_localization 定位原理定位原理是指通过某种技术手段确定或估算出目标物体在空间中的位置坐标。
在现代科技发展的背景下,定位技术在各个领域的应用越来越广泛,如导航系统、物流管理、智能交通等。
其中,高动态范围成像和局部扩展技术(HDL)定位原理是一种基于摄像机视觉的室内定位技术。
它采用高动态范围成像技术,可以有效地处理光照不均匀、背景降低对目标物体检测的影响。
局部扩展技术则是根据目标物体在图像中的外观特征,通过特征提取和匹配算法,从而确定目标物体的位置。
在HDL定位原理中,首先需要进行图像的采集和预处理。
通过摄像机对环境进行实时采集,获取到图像数据。
由于室内环境的不均匀光照和背景噪音的存在,需要对图像进行预处理,提取出目标物体的特征信息。
接下来,采用高动态范围成像技术对图像进行处理。
该技术通过对不同亮度区域的图像进行融合,实现对高光和阴影的自动调节,从而提高图像的质量和视觉表现力。
通过高动态范围成像技术,可以解决光线不均匀和背景噪音对目标物体检测性能的影响。
在采用了高动态范围成像技术后,利用局部扩展技术进行目标物体的定位。
局部扩展技术可以根据目标物体在图像中的外观特征进行识别和匹配,实现对目标物体的定位。
该技术通过对图像中局部区域的提取和描述符匹配,从而确定目标物体在图像中的位置坐标。
为了提高定位的准确性和鲁棒性,还可以结合其他传感器的数据进行融合定位。
例如,可以利用惯性传感器、声纳传感器等辅助定位信息,进一步增强定位的精度和稳定性。
总的来说,HDL定位原理是一种基于摄像机视觉的室内定位技术。
通过采用高动态范围成像技术和局部扩展技术,能够有效地处理光照不均匀和背景噪音的影响,并实现目标物体的准确定位。
这种定位原理在室内导航、环境监测、安防监控等领域具有广泛的应用前景。
利用遥感影像进行测绘数据提取的方法

利用遥感影像进行测绘数据提取的方法近年来,随着遥感技术的不断发展,越来越多的测绘工作开始依赖遥感影像进行数据提取。
遥感影像具有高分辨率、广覆盖等优势,能够为测绘工作提供丰富的数据来源。
本文将介绍利用遥感影像进行测绘数据提取的一些常见方法,包括图像分类、目标检测和高程提取。
一、图像分类图像分类是利用计算机对遥感影像进行自动分类的方法。
通过对图像进行光谱分析和空间特征提取,可以将图像中的各类地物分割出来,并进行分类操作。
图像分类的步骤包括预处理、特征提取、分类器训练和分类结果验证等。
在图像分类中,特征提取是一个关键的环节。
常见的特征包括光谱特征、纹理特征和形状特征等。
光谱特征是指地物在不同波段上的反射率或亮度值,通过对光谱曲线进行分析,可以获得地物的光谱特征。
纹理特征是指地物的细节和纹理特点,通过对图像进行纹理分析,可以提取出地物的纹理特征。
形状特征是指地物的形状特点,通过对地物的边界进行分析,可以提取出地物的形状特征。
二、目标检测目标检测是利用遥感影像进行目标识别和定位的方法。
目标检测可以用于自然资源调查、城市规划和环境监测等领域。
目标检测的关键是找到目标在图像中的位置,并进行标注和分类。
常见的目标检测方法包括目标区域提取、特征描述和目标分类等。
在目标检测中,目标区域提取是一个重要的步骤。
目标区域提取可以通过阈值分割、边缘检测和区域生长等方法实现。
阈值分割是指利用像素的灰度值进行分割,将灰度值大于阈值的像素设置为目标像素,灰度值小于阈值的像素设置为背景像素。
边缘检测是指通过计算像素间的差值来检测目标的边缘。
区域生长是指从某个种子点开始,根据像素的灰度值相似性来扩展目标区域。
三、高程提取高程提取是利用遥感影像来获取地表的高程信息。
高程提取可以用于地形测量、地形分析和地貌研究等方面。
高程提取的方法主要包括影像匹配和立体视觉等。
影像匹配是利用影像对中的像点对进行配对,从而获取地点的三维坐标。
常见的影像匹配方法包括基于特征点的匹配和基于区域的匹配。
基于YOLO深度学习模型的图像目标检测算法研究

2、YOLOv3
YOLOv3在YOLOv2的基础上进一步增加了特征提取网络(Feature Pyramid Networks, FPN)和标签传播(Label Propagation)等技术。特征提取网络使 得模型可以更好地捕获不同尺度的目标特征,提高了小目标的检测精度。标签传 播技术则通过将相邻网格单元的标签信息传播到较远网格单元,提高了大目标的 检测精度。
研究方法:
本次演示采用YOLO第3版(YOLOv3)作为基础模型,对其进行改进和优化。 首先,我们采集了常见的图像目标检测数据集进行训练,包括COCO、VOC和 IMAGES等。对于每个数据集,我们采用不同的训练策略和超参数设置进行模型训 练。训练完成后,我们使用测试集对模型进行评估,包括mAP(mean Average Precision)和FPS(Frames Per Second)等指标。
基于YOLO深度学习模型的图像目标 检测算法研究
基本内容
摘要:
本次演示主要研究了基于YOLO(You Only Look Once)深度学习模型的图 像目标检测算法。通过在常见的图像目标检测数据集上进行实验,验证了该算法 的准确性和效率。与传统的目标检测算法相比,YOLO模型在速度和精度上具有显 著优势。本次演示的结论为图像目标检测提供了新的思路和方法,为实际应用提 供了参考。
四、YOLO系列目标检测算法的 应用
随着YOLO系列算法的不断改进和发展,其应用范围也越来越广泛。除了常见 的目标检测任务,如行人检测、车辆检测、人脸检测等,YOLO还可以应用于无人 机场景下的目标检测、机器人视觉、智能交通等领域。例如,利用YOLO算法可以 实现实时的人流量统计、交通拥堵监测、道路障碍物检测等功能。
结论:
本次演示研究了基于YOLO深度学习模型的图像目标检测算法,通过在常见的 图像目标检测数据集上进行实验,验证了该算法的准确性和效率。与传统的目标 检测算法相比,YOLO模型在速度和精度上具有显著优势。然而,该模型仍存在一 些不足之处,如对小目标检测效果不佳、易受复杂场景和光照条件影响等,需要 进一步研究和改进。
一种基于单目相机的三维目标定位方法及系统与流程

一种基于单目相机的三维目标定位方法及系统与流程现代计算机视觉技术的快速发展为实现三维目标定位提供了更多可能。
本文介绍了一种基于单目相机的三维目标定位方法及系统与流程,该方法可以精确测量物体的位置和姿态。
下面将详细介绍该方法的原理及工作流程。
首先,该系统使用一台单目相机作为输入设备。
单目相机是最常见和易获得的成像设备之一,其能够通过图像采集和处理获得场景的二维投影信息。
为了实现三维目标定位,需要进行相机标定。
相机标定是确定相机内外参数的过程,确保图像准确地映射到真实世界坐标。
标定过程会采用特殊的标定板进行,通过不同视角下的标定板图像可以计算出相机的内外参数,如焦距、畸变参数、旋转和平移矩阵等。
接下来,系统通过单目相机采集现实世界中的目标图像。
目标图像中的目标物体通过边缘检测、特征点提取等算法进行特征描述。
常用的算法包括SIFT、SURF 等。
这些特征描述子可以在不同的图像中进行匹配和跟踪。
然后,系统使用已标定的相机参数以及带有特征描述子的目标图像进行目标匹配。
通过将目标图像与实时摄像帧中的图像进行特征匹配,可以确定目标在图像中的位置和姿态。
最后,系统利用三维几何学原理将图像中的目标位置映射到真实世界坐标系中。
通过已知的相机参数以及匹配到的图像特征,可以计算出目标在真实世界坐标系中的位置和姿态。
综上所述,基于单目相机的三维目标定位方法及系统与流程主要包括相机标定、目标图像采集、特征匹配以及三维坐标映射。
这种方法可以在不需要复杂设备和成本的情况下实现对目标物体的精确定位,广泛应用于机器人导航、增强现实等领域。
视觉 坐标定位算法

视觉坐标定位算法
视觉坐标定位算法是一种利用摄像头或其他视觉传感器来确定
物体位置的算法。
它通常用于机器人导航、自动驾驶汽车、无人机、工业自动化等领域。
该算法的基本原理是通过对物体在图像中的特
征进行识别和分析,从而确定其在三维空间中的位置和姿态。
视觉坐标定位算法可以采用多种方法来实现。
其中之一是特征
匹配算法,它通过识别物体在图像中的特征点(如角点、边缘等)
来确定其位置。
另一种常见的方法是结合摄像头的内参和外参信息,利用三角测量或立体视觉原理计算物体的三维坐标。
除了基本的特征匹配和三角测量方法外,还有一些高级的视觉
定位算法,如基于深度学习的目标检测和姿态估计算法。
这些算法
利用神经网络对图像进行端到端的处理,能够实现更加精确和鲁棒
的目标定位。
视觉坐标定位算法的应用非常广泛。
在机器人领域,它可以帮
助机器人在复杂环境中进行定位和导航;在自动驾驶汽车中,可以
用于识别交通标志和其他车辆的位置;在工业自动化中,可以用于
机器人臂的精确定位和抓取操作;在军事领域和安防领域,也可以
用于目标跟踪和识别。
总的来说,视觉坐标定位算法是一种非常重要的技术,它为各种领域的自动化和智能系统提供了关键的定位和感知能力,对于推动人工智能和机器人技术的发展具有重要意义。
一种基于图像单应性矩阵的投影仪标定方法

一种基于图像单应性矩阵的投影仪标定方法李宝顺;顾春霞;包亚萍;李义丰【摘要】投影仪标定是计算机视觉的关键技术之一,针对实际应用中摄像机和投影仪相对位置关系,提出一种基于摄像机和投影仪图像单应性矩阵的投影仪标定方法.对捕获的图像进行背景差分、特征点提取等操作得到投影图像和摄像机图像之间的单应性矩阵,进而获得投影仪参数矩阵,完成投影仪标定.经实验论证,该方法操作简单.反投影像素误差在0.3到1个像素之间,证明了该方法的有效性.【期刊名称】《安徽大学学报(自然科学版)》【年(卷),期】2016(040)001【总页数】7页(P30-36)【关键词】投影仪标定;相对位置关系;特征点提取;单应性矩阵;反投影误差【作者】李宝顺;顾春霞;包亚萍;李义丰【作者单位】南京二业大学电子与信息工程学院,江苏南京211816;南京二业大学电子与信息工程学院,江苏南京211816;南京二业大学电子与信息工程学院,江苏南京211816;南京二业大学电子与信息工程学院,江苏南京211816【正文语种】中文【中图分类】TP391对投影仪进行标定获取投影仪内外参数是光栅投影研究领域关键技术之一[1-2].传统的投影仪标定方法将投影仪标定视为摄像机标定逆过程,该类方法先对摄像机进行标定,然后利用标定好的摄像机获取投影图像特征点的坐标对投影仪进行标定,该类方法操作简单,但需要利用标定好的摄像机获取投影图像特征点坐标,因而在投影仪标定过程中不可避免引入摄像机标定的误差[1],使其标定精度降低,难于应用于精度要求高的场合.近年来有学者采用投射一定规律的结构光[3-7]来标定投影仪,该类方法核心思想是投影一定规律的结构光到投影平面上,利用结构光的已知信息对投影仪进行标定,该方法精确度可较高,但其精度受图像特征点的提取影响,可使该类方法可靠性降低.针对上述问题,作者提出一种基于摄像机和投影仪图像单应性矩阵的投影仪标定方法,利用投影仪和摄像机之间的位置关系,得到摄像机图像与投影仪图像之间的确定关系,构建由伪随机编码构建的投影图像.该图像的特征点容易获取,有效地标定了投影仪,提高了投影仪标定的精度.摄像机和投影仪相互之间位置固定,投影仪图像与摄像机图像之间存在确定关系.摄像机投影仪系统如图1所示.1.1 投影仪单应性矩阵获取小孔成像原理为公认的摄像机成像模型,其光学模型为针孔模型.投影仪的功能与摄像机相反而光学结构相同,故摄像机和投影仪均采用针孔模型.摄像机投影仪系统模型如图2所示.图2中,世界坐标系为XWYWZW,投影仪坐标系为XPYPZP,摄像机坐标为XcYcZc,以摄像机为列描述成像模型,空间某点世界坐标为MW(X,Y,Z),齐次坐标表示为M~W=[X,Y,Z,1],它在摄像机图像平面上成像为点mc (u,v),记它的齐次坐标为m~c=[u,v,1],则空间点世界坐标到图像像素点坐标的齐次变换关系为记Hc=Ac[Rctc],sc为比例因子,Rc和tc分别为世界坐标系相对于摄像机坐标系的旋转矩阵和平移矢量,Ac为摄像机内部参数矩阵,可表示为投影仪和摄像机光学模型一致,则投影仪图像像素点坐标和空间点世界坐标之间有以下的齐次变换关系式其中:HP=AP[RPtP],sP为比例因子,AP为投影仪内部参数矩阵,RP和tP 分别为世界坐标系相对于投影仪坐标系的旋转矩阵和平移矢量,且αP=f/dx,βP=f/dy,f为投影仪焦距,dx为单位像素在水平的物理长度,dy为单位像素在垂直方向的物理长度,(x0,y0)为主点坐标,s2为水平单位像素和垂直单位像素的倾斜因子.HP是可逆的,由式(2)变换可得将式(3)代入式(1),则摄像机图像像素点坐标和投影仪图像像素点坐标之间的转换关系如下式所示将HcH-1P记为H,Hc和H-1P都为3×3的矩阵,由矩阵性质可知H也为3×3矩阵,式(5)可以转换为下式H矩阵即为投影仪图像和摄像机图像之间的单应性矩阵,则分解HP可得到投影仪的内参和外参.1.2 H矩阵求解式(6)的H矩阵即投影仪图像和摄像机图像之间的单应性矩阵,把H表示为,由式(6)可得m~c和Hm~P是共线的,则而故(8)式可转化为下式式(10)中有两个方程是线性相关的,取其中两行将式(10)化为若n对对应点,则可以得到n对类似(11)的方程,对其进行整理可得到以下方程组令h33=1,h的自由度为8,每对对应点可以得到2个方程,可将4个点的坐标对代入式(12)求得H.对投影仪进行标定,需得到投影图像特征点的坐标来确定投影仪和摄像机的单应性矩阵.投影由伪随机编码生成色块图案,该图像色块变化具有唯一性,容易识别,可以方便得到图像特征点坐标.2.1 伪随机编码投影图案投影图案采用伪随机编码[8-9]产生投影模板.伪随机编码是一个预先确定并可重复实现的序列,产生的序列可表示成伪随机阵列的形式.它有良好的窗口特性,用伪随机编码对投影仪图像进行编码,可保证窗口获得的每个色块区域都是唯一的,可以容易判断该色块区域在整个投影图像中的位置及识别特征点.伪随机编码采用离散方形编码[10],方形编码每个色块都有4个角点,较别的编码图像有更多的特征点,且每个色块都是独立的,方便特征点位置的确定.论文采用q=3,k1=3,k2=3的伪随机序列,该伪随机序列的周期为n=qm-1=19 682,本原多项式为x9+x7+x2+x+1,检测窗口大小为3×3,该序列足以产生投影仪标定图像所需的色块,选取其中一部分子阵列作为投影模板,记选取的阵列的3种基元分为0,1,ξ,指定0为绿色,1为红色,ξ为蓝色.每一个矩阵元素设置为20×20像素的正方形,每个正方形之间的间距设置为20像素.因为黑色容易和其他颜色区分,设置背景色为黑色,得到伪随机编码的投影图案如图3所示.2.2 图像背景差分和色块颜色判断摄像机捕获到的图像因为周围环境噪声、投影面可能存在纹路之类的影响,对色块中心坐标提取有一定干扰,需要在提取中心坐标前,对捕获的图像进行处理,减小不必要的干扰.在投影伪随机编码图案前,投影一副全黑的图像,作为背景差分的背景图案.将投影图像和背景图像分离开,可以降低外部因素对投影图像的影响.经过背景差分后的图像记为I′(u,v)(R,G,B),处理后的图像可由下式表示其中:I(u,v)(R,G,B)表示捕获到的图像,IB(u,v)(R,G,B)表示捕获的背景图像,(u,v)表示图像上点的坐标.由于实际捕获的图像会产生一定的颜色失真,会对色块颜色的判断产生影响.在实验时需设置每种颜色的阈值来判断色块颜色,减少颜色失真对色块坐标提取产生的影响.设置红、绿、蓝色3种颜色的阈值分别为(Rr,Grh,Brh),(Rgh,Gg,Bgh),(Rbh,Gbh,Bb),则提取到的色块颜色判断式为下式其中:I(x,y)r,I(x,y)b,I(x,y)g表示颜色块中的红、蓝、绿的颜色分量;IR(x,y),Ig(x,y),Ib(x,y)表示色块的颜色分别为红、绿、蓝.2.3 色块中心坐标提取实验采用色块中心作为图像的特征点,每一个色块的4个角点的横坐标和纵坐标的平均值即为色块的中心坐标.对色块的中心坐标进行提取前,需选择要利用的摄像机图像色块区域,再对采用的色块区域进行颜色解码得到编码序列.再利用伪随机编码的特性得到投影模板上变化一致的区域,该区域即为摄像机图案选择的同一色块区域.最后分别提取选择出来的投影图像区域和摄像机图像区域中每一个色块的中心坐标,经过计算得到投影图像和摄像机图像的映射关系.2.4 算法实现步骤步骤1 投影仪依次投射全黑图像I1和由伪随机编码的图像I2;步骤2 摄像机捕获分别捕获图像I′1和I′2,图像I′1为图像I′2的差分背景;步骤3 图像I′2经过背景差分后得到I=I′2-I′1;步骤4 选定I图像中需要用的色块区域S,并对S中的色块解码;步骤5 根据图像I中色块区域S解码得到的结果找寻到投影仪图像同一区域;步骤6 提取摄像机图像I和投影仪图像选定的色块区域的色块中心坐标;步骤7 根据图像I和投影图像提取的色块中心坐标完成单应性矩阵H求解;步骤8 最后利用摄像机图像和投影仪图像之间的单应性矩阵H和已知的摄像机参数矩阵HC,得到投影仪参数矩阵HP,完成投影仪标定.该实验由投影仪依次投射出全黑图和伪随机彩色编码图案,同时由摄像机捕获图像,将捕获的图像背景差分,色块区域选择,色块颜色判断与解码、投影图案色块阵列提取、投影图案和摄像机图案选择的区域中每个色块中心坐标提取,求取单应性矩阵等操作,利用传统的方法对摄像机进行标定得到参数矩阵,最后完成投影仪标定.3.1 实验系统实验系统如图4所示.使用的投影仪为NEC公司的NP-L51W+型投影仪,它的分辨率为1 280× 800;摄像机采用MVC5001F-S00型工业摄像机,图像分辨率为2 048×1 024,2.2μm×2.2μm;投影的色块19mm×19mm.3.2 实验结果实验时,投影仪依次投射全黑图像和投影模板图像,利用摄像机捕获每一幅投影图像.对捕获的投影图片进行背景差分和色块角点检测.每个色块有4个角点,将色块4个角点的纵横坐标的平均值作为色块的中心坐标,得到投影图像和摄像机图像之间的单应性矩阵为对摄像机采用经典的张正友平面模板法进行标定,获取摄像机的参数矩阵.最后利用式(7)的关系,得到投影仪参数矩阵如表1所示.为验证论文方法有效性,加入传统投影仪标定方法即将投影仪视为逆向的摄像机对投影仪进行标定,得到投影仪参数为表2所示.由表1、2可知,两种投影仪标定方法都有效标定出了投影仪的内外参数,主点坐标接近图像中心,α 和β在合理范围内,为评估两种方法的精度,采用常见的反投影误差衡量进行比较,即从投影图像提取到的特征点坐标和按照投影模型得到的坐标比较得到两者间的误差,误差公式为投影仪标定的误差如图5所示.实验结果表明,论文提出的方法误差在0.3和1个像素内,传统投影仪像素误差在0.5和1.2个像素内,较传统方法有较高的精度,验证了方法的有效性.基于投影仪和摄像机的相对位置关系,得到投影图案和摄像机图案的确定关系,进而获得投影仪的参数矩阵.相比传统方法,该方法无需利用摄像机来得到投影特征点的坐标,且图像特征点容易被捕获,有一定实用价值.[1] GABRIEL F,HURTOS N,MASSICH J.Plane-based calibration of a projector-camera system[J].VIBOT Master,2008,9(1):1-12.[2] MORENO D,TAUBIN G.Simple,accurate,and robust projector-camera calibration[C]//IEEE International Conference on 3DImaging Modeling Processing Visualization and Transmission,2012:464-471. [3] MARTYNOV I,KAMARAINEN J K,LENSU L.Projector calibrationby“inverse camera calibration”[M]. Berlin:Springer Berlin Heidelberg,2011:536-544.[4] YAMAZAKI S,MOCHIMARU M,KANADE T.Simultaneous self-calibration of a projector and a camera using structured light[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,2011:60-67.[5]韦争亮,钟约先,袁朝龙,等.单摄像机单投影仪三维测量系统标定技术[J].清华大学学报(自然科学版),2009 (2):202-205.[6] LIAO J,CAI L.A calibration method for uncoupling projector and camera of a structured light system[C]//IEEE International Conference on Advanced Intelligent Mechatronics,2008:770-774.[7]陈会,密保秀,高志强.基于畸变规律的三维结构光测量系统标定[J].光学学报,2013(12):162-170.[8]傅凌进,徐海松,邹文海.一种投影仪相机系统几何配准的鲁棒算法[J].中国图象图形学报,2010,15(11):1664-1669.[9] KAZANTSEV A,PETRIU E M.Robust pseudo-random coded colored structured light technique for 3D object model recovery[C]//IEEEInternational Workshop on Robotic and Sensors Environments,2008:150-155.[10]廖素引,吴先良,卫敏,等.视觉测量中基于彩色伪随机编码照明模板的设计[J].安徽大学学报(自然科学版),2011,35(1):69-73.。
基于GPS和计算机图像识别的无人机导航系统

第60卷 第4期吉林大学学报(理学版)V o l .60 N o .4 2022年7月J o u r n a l o f J i l i nU n i v e r s i t y (S c i e n c eE d i t i o n )J u l y2022研究简报d o i :10.13413/j .c n k i .jd x b l x b .2021359基于G P S 和计算机图像识别的无人机导航系统王晓光1,管港云2,徐嘉铭2,李俊呈3(1.吉林大学公共计算机教学与研究中心,长春130012;2.吉林大学电子科学与工程学院,长春130012;3.长春理工大学光电工程学院,长春130022)摘要:采用G P S 和图像识别双定位的方法,利用无人机的P I D 飞行姿态控制,使用开源计算机视觉库(O p e n C V )处理图像,结合应用级联分类器,解决了无人机目标精准检测的问题.综合多种技术设计的定位导航控制系统能快速完成信息的传输与处理,增强了系统功能.在G P S 粗略定位后对目标图形的图像捕获㊁预处理㊁拟合以及判别完成精准定位,保证了无人机导航控制系统实时高效准确.关键词:无人机;G P S 定位;图像处理;目标检测;计算机视觉技术中图分类号:T P 391 文献标志码:A 文章编号:1671-5489(2022)03-0955-07U A VN a v i g a t i o nS y s t e mB a s e d o nG P S a n d C o m p u t e r I m a g eR e c o gn i t i o n WA N G X i a o g u a n g 1,G U A N G a n g y u n 2,X UJ i a m i n g 2,L I J u n c h e n g3(1.P u b l i c C o m p u t e rE d u c a t i o na n dR e s e a r c hC e n t e r ,J i l i nU n i v e r s i t y ,C h a n gc h u n 130012,C h i n a ;2.C o l l e g e o f E l e c t r o n i cS c i e n c e a n dE n g i n e e r i n g ,J i l i nU n i v e r s i t y ,C h a n g c h u n 130012,C h i n a ;3.S c h o o l o f O P T O -E l e c t r o n i cE n g i n e e r i n g ,C h a n g c h u nU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y ,C h a n g c h u n 130022,C h i n a )A b s t r a c t :T h e s y s t e mad o p te d t h em e t h o dof d u a l p o s i t i o n i ng o fG P S a n d i m a g e r e c o g n i t i o n ,u s e d th e P I Df li g h t a t t i t u d e c o n t r o l o f u n m a n n e da e r i a l v e h i c l e (U A V ),a n dt h eo p e ns o u r c ec o m p u t e rv i s i o n l i b r a r y (O p e n C V )w a su s e dt o p r o c e s s t h e i m a g e s .T h ec a s c a d ec l a s s i f i e rw a sa p p l i e dt os o l v et h e p r o b l e m o ft a r g e ta c c u r a t ed e t e c t i o n .T h e p o s i t i o n i n g a n d n a v i g a t i o nc o n t r o ls y s t e m d e s i g n e d b y i n t e g r a t i n g v a r i o u s t e c h n o l o g i e s c a n q u i c k l y c o m p l e t e t h e t r a n s m i s s i o n a n d p r o c e s s i n g o f i n f o r m a t i o n ,a n d e n h a n c e t h es y s t e mf u n c t i o n .A f t e rG P Sr o u g h p o s i t i o n i n g ,t h e i m a g ec a p t u r e ,p r e p r o c e s s i n g ,f i t t i n g a n dd i s c r i m i n a t i o no ft h et a r g e t g r a p h i c sa r ea c c u r a t e l yp o s i t i o n e dt oe n s u r et h er e a l -t i m e ,e f f i c i e n t a n d a c c u r a t en a v i g a t i o n c o n t r o l s y s t e mo fU A V.K e yw o r d s :u n m a n n e da e r i a lv e h i c l e (U A V );G P S p o s i t i o n i n g ;i m a g e p r o c e s s i n g ;t a r g e td e t e c t i o n ;c o m p u t e r v i s i o n t e c h n o l o g y 收稿日期:2021-09-18.第一作者简介:王晓光(1975 ),男,汉族,硕士,副教授,从事仪器科学与技术的研究,E -m a i l :w a n g x i a o g @j l u .e d u .c n .基金项目:吉林省科技发展计划项目(批准号:20170204060G X ).近年来,随着传感器技术的发展和G P S 在控制系统中的广泛应用,微型无人机系统迅速发展,无人机作为微型机电系统的产物,非常适合在旷野城区等近地面环境中执行任务,具有广阔的应用前景.在人工智能技术中,利用航拍图像实现对特定目标进行跟踪与自动识别的技术受到广泛关注,其借助可编程的硬件突破了逻辑电路的固件性,算法灵活.基于G P S 和计算机图像识别的无人机导航系统利用计算机视觉技术,旨在设计无人机高精度定位导航系统.使用该系统的无人机需要有摄像头硬件匹配,当无人机利用G P S 定位到达目标地点附近却因G P S 定位精度较低不足以精准定位目标时,无人机立即开启摄像头进入图像识别定位模式,通过图传模块在计算机端完成目标检测与路径规划,并控制无人机相应运动,实现无人机自主完成高精度识别目标降落任务的功能.本文利用开源计算机视觉库(O p e n C V )为无人机设计基于计算机视觉的定位系统与控制系统[1],并采用G P S 定位与计算机视觉识别相结合的技术实现更高效㊁准确的定位导航系统.1 设计思路本文根据无人机自主飞行定位导航任务,采用S T M 32无人机核心主板,在G P S 定位与飞行模式控制的基础上,数传模块与图传模块通信传输,在计算机上完成视觉识别精准定位.任务需求由如图1 无人机导航系统组成F i g .1 C o m p o s i t i o no fU A Vn a v i g a t i o n s y s t e m 图1所示的4个分系统协调合作实现.首先图像捕获系统将视频流采集到P C 端[2],图像处理系统再将收集到的图像做预处理,进行图形拟合并计算出图形的几何中心坐标值;然后由路径规划系统计算目标图形几何中心与无人机的坐标差值;最后飞行控制系统传输相应的运动期望指令,使无人机到达预设的位置[3].在图像形状特征的提取上,对于相对简单的目标图像,可采用轮廓特征算法提取得到形状特征[4];而对于复杂目标图像的处理,则需先重新进行边缘检测,再使用轮廓特征算法完成图像形状特征的提取[5].在定位系统上,本文使用更精准的基于计算机视觉系统的定位方式.利用计算机视觉库完成基于计算机视觉的无人机定位系统与控制系统的程序设计,解决了无人机在空中快速飞行下的图像数据采集及预处理,其他图形或地面轮廓干扰下的标志识别,远距离无人机配合识别精确位置控制的问题.2 传感器数据处理2.1 G P S 定位解析本文设计了基于S T M 32单片机和G P S 模块两者之间的通信,G P S 模块在系统中作为通信的桥梁,通过接收卫星发射的无线电信号实现对定位信息的获取,并由G P S 模块对接收到的数据进行分析解读,转换为终端设备可识别的位置信息,然后使S T M 32单片机对无人机发出适当的指令,最后无人机图2 模块关系F i g .2 M o d u l e r e l a t i o n s h i p s 执行指令到达目的地.相应的模块关系如图2所示.G P S 定位解析可实现经纬度测定㊁海拔高度测定㊁速度计算与方向指示㊁路径存储和最短路径计算.2.2 模块通信2.2.1 串口通信设计S T M 32单片机对G P S 模块的控制通过通用异步收发传输器(U A R T )实现,当串口初始化结束后,U A R T 读取或写入存储器内的数据,当等待接收缓存区为空时,U S A R T 即可接收G P S 数据.系统的串口通信模块可分为串口初始化模块㊁串口读取模块和串口写入模块.2.2.2 G P S 数据接收程序设计G P S 模块用于从串口读取G P S 信号信息,判断是否检测定位到G P S 信号,进而获得G P S 的位置㊁速度㊁时间数据等信息,并进行相应的处理.G P S 信号接收过程如图3所示.图3 G P S 信号接收过程F i g .3G P S s i g n a l r e c e i v i n gp r o c e s s 659 吉林大学学报(理学版) 第60卷2.2.3 G P S 数据格式解析协议选用G P R M C 数据帧模式,其具有特定的信息存储形式,包含经纬度㊁速度㊁时间等所需内容.系统程序接收到处理标识后,根据G P R M C 格式,从中获取所有关键数据[6].以G P R M C 信号为例:首先创建一个G P S 数据结构体,然后解析G P R M C 数据,得到经纬度㊁日期时间㊁速度㊁航向,如果数据有效,则分析分离纬度㊁分离经度㊁速度等.2.3 姿态解算在无人机飞行控制系统中引入前置反馈,改善系统的实时性,进入微分环节,改善动态特性,提升飞行控制系统的整体性能,以便无人机适应飞行过程中的各种复杂状况.陀螺仪选取M P U 6050进行姿态角的探测,M P U 6050加速度陀螺仪传感器内有三轴加速度传感器㊁三轴陀螺仪和一个I 2C 接口,可连接外部地磁传感器,并利用自身带的D M P (数字运动处理器)硬件加速引擎,利用I 2C 接口将完整9轴融合演算的数据输出到应用端.软件设计选用S T M 32读取传感器信息,解算姿态角,将姿态角作为控制量与遥控参量融合,将输出的控制信号传送到动力系统中,实现无人机的飞行控制.3 路径规划3.1 算法设计蚁群算法(A C O )是一种模拟蚂蚁寻找食物过程中如何发现最短路径的算法.如果在栅格图[7]中要寻找从起点S 到终点D 的最优路径,则所有可能走的节点组成集合P o s s i b l e .P o s s i b l e 表示蚂蚁接下来可能会走的下一个节点的集合;α是体现搜索路径重要性的因子[8],α越大表示蚂蚁走的是其他蚂蚁走过路径的可能性越大;β为反应蚂蚁协作性强度的因子[9],β值越大,说明状态转移概率越接近贪心规则[10].因此,当求解一个问题时,通常能做出目前最优的选择.每通过一段路径,蚂蚁就需要去更新信息素的值.已知t 时间时,信息素值为τi j (t ),则信息素的值在t +n 时间可表示为τi j (t +n )=(1-ρ)τi j (t )+Δτi j (t ),(1)其中ρ为信息素挥发系数,定义域为(0,1).因为蚁群算法在使用A n t -C y c l e 模型时的性能更好,因此本文使用A n t -C y c l e 模型[11],表示为Δτk i j (t )=Q /d k ,第k 只蚂蚁本次循环中经过(i ,j ),0,其他{.(2) 蚁群算法使用分布式计算方法,进程和线程同时执行实现算法的性能;该算法易与其他算法相结合,且鲁棒性较好,不需做过多修改即可使用.但该算法用时较长,易陷入局部最优解.3.2 算法评价考虑到无人机自身的约束条件,如飞行高度㊁最大航迹长度等因素,设现有一条飞行路径R ,无人机在飞行过程中经过点(X 1,Y 1,Z 1),(X 2,Y 2,Z 2), ,(X N ,Y N ,Z N ),则适应度值函数F 为F =αðn i =1(X i +1-X i )2+(Y i +1-Y i )2+(Z i +1-Z i )2+βðn i =1Z i ,(3)其中α和β为系数,其值大小分别表示路径长度和无人机飞行高度在路径规划中的重要程度.选择X 方位为主方位,沿着X 轴方向从X S 到X D 划分成n =(X S -X D +1)个平面,分别命名为Π1,Π2, ,Πn ,无人机路径即分成(n -1)段.假设无人机飞行到第i 个平面Πi 中的点(X i ,Y i ,Z i ),则易知下一个到达的栅格即在Πi +1上,平面Πi +1上任意一栅格(X ,Y ,Z )成为下面要运行的栅格,其概率表示为P (X ,Y ,Z )=τ(X ,Y ,Z )H (X ,Y ,Z )ðn i =1τ(X ,Y ,Z )H (X ,Y ,Z ),(X ,Y ,Z )ɪA l l o w e d i ,0,其他ìîíïïïï,(4)其中:τ(X ,Y ,Z )为面Πi +1中点(X ,Y ,Z )的栅格信息素数值;H (X ,Y ,Z )为平面Πi +1中坐标为759 第4期 王晓光,等:基于G P S 和计算机图像识别的无人机导航系统(X ,Y ,Z )所对应栅格的启发函数,其计算公式为H (X ,Y ,Z )=D (X ,Y ,Z )ω1S (X ,Y ,Z )ω2Q (X ,Y ,Z )ω3,(5)D (X ,Y ,Z )为到(X ,Y ,Z )的路径长度,使蚂蚁尽可能选择距离目前点最近的点,D (X ,Y ,Z )=(X i -X )2+(Y i -Y )2+(Z i -Z )2,(6)S (X ,Y ,Z )为表示安全性的重要因素,使蚂蚁去选择安全点,S (X ,Y ,Z )=1,(X ,Y ,Z )是可到达的点,0,其他{,(7)Q (X ,Y ,Z )表示栅格(X ,Y ,Z )到终点栅格(X D ,Y D ,Z D )的距离,可使蚂蚁选择离终点栅格近的栅格,计算公式为Q (X ,Y ,Z )=(X i -X D )2+(Y i -Y D )2+(Z i -Z D )2,(8)式(5)中ω1,ω2,ω3为系数,其大小表示上述因素是否重要,该项越重要,对应的系数值越大,反之则表明不重要.在蚁群算法中,所有栅格都有一个信息素值,信息素有两部分:局部更新和全局更新.局部更新会在有蚂蚁经过该栅格时进行更新.全局信息素只改变最小适应度值的路径通过的所有栅格的信息素值,信息素更新的计算公式为τX ,Y ,Z =(1-ρ)τX ,Y ,Z +ρΔτX ,Y ,Z , ΔτX ,Y ,Z =K m i n {l e n g t h (m )},(9)其中l e n g t h (m )表示蚂蚁m 走过的路径长度,K 表示系数,ρ表示信息素的挥发系数[12].3.3 初始化参数设置3.3.1 起始点位置确定假设栅格地图的原点坐标是(X g r i d S ,Y g r i d S ,Z g r i d S ),无人机放置的位置为(S X ,S Y ,S H ),则与其所在栅格坐标位置(X S ,Y S ,Z S )的关系为X S t a r t =c e i l S X -X g r i d S X g æèçöø÷r i d X g r i d +X g r i d S ,(10)Y S t a r t =c e i l S Y -Y g r i d S Y g æèçöø÷r i d Y g r i d +Y g r i d S ,(11)Z S t a r t =c e i l S Z -Z g r i d S Z g æèçöø÷r i d Z g r i d +Z g r i d S ,(12)其中c e i l 表示在正无穷的方向上取整.3.3.2 主方向的选取选取经度和纬度方向中栅格变化数较多方向为无人机路径规划的主方向,则从Πi 到Πi +1坐标变化为A i +1=A i +A g r i d ,A S ɤA D ,A i -A g r i d ,其他{.(13)4 图像处理4.1 目标图形的设计无人机视觉定位系统通常选择生活中常见有辨识度的图形作为视觉定位目标,因为使用P C 端进行实验,所以目标图形需满足:1)现实生活中普遍存在且易计算中心值;2)易被识别的目标图形;3)目标图形的灰度值与其背景图像有明显区别,易辨识.常选用 H 图形.在地面标志识别算法和程序设计过程中,为提高无人机对目标图形的检测准确性,需要优化对于角点识别的相关算法.设计程序使无人机自动寻找目标物,绘制地面标志判断的流程图.最后进行地面标志识别跟踪定位实验,检验飞行性能.4.2 图像预处理图像预处理中首先使用灰度处理提高计算效率;其次利用高斯滤波处理降噪[13];然后采用形态学859 吉林大学学报(理学版) 第60卷梯度处理[14],使图像中的灰度级阶跃更明显,凸显边缘;最后使用C a n n y 边缘检测算法提取内部轮廓边缘[15],再进行H o u g h 圆检测过程,找到圆的区域半径以及其几何中心坐标,从而进行运算得到相对坐标.图像预处理流程如图4所示.图4 图像预处理流程F i g .4 I m a g e p r e p r o c e s s i n gpr o c e s s 4.3 训练级联分类器目标检测级联分类器包含训练和检测两个过程.其中训练分类器本文采用O p e n C Vt r a i n c a d e 程序.程序支持H a a r 和局部二值模式(L B P )两种特征,L B P 特征是整数特征,使训练和检测速度更快且不影响其精确性.对于分类器的选择,本文使用P y t h o n 中O pe n C V 的A d a b o o s t 分类器,将训练弱分类器进行迭代,每次迭代后对获得的局部最优分类器权重进行求和,得到强分类器.4.3.1 算法流程1)首先修改训练数据权重,保证其遵循均匀分布的规律;2)学习训练数据集合D m (m =1,2, ,M ),获得一个简单分类器,计算分类器在训练数据集合上的误差率,即错误样本数量;3)计算系数,即弱分类器权重,分类错误样本越少,弱分类器权重越大,分类器的性能越好;4)更新训练数据集的权重分布,可通过提高分类错误样本权重的方法,增强分类器的性能;5)弱分类器加权得到目标分类器.4.3.2 训练级联分类器的步骤训练级联分类器步骤如图5所示.训练过程概括为两步:1)创建样本,样本分为正㊁负两类,图5 训练级联分类器步骤F i g .5 T r a i n i n g c a s c a d e c l a s s i f i e r s t e ps 正样本是要检测的目标样本,负样本是任意无关的图片;2)对正㊁负样本分别建立描述文件,为正样本创建一个T X T 文件(po s .t x t ),将该文件与正样本存储在相同的路径中,负样本则为另一个T X T 文件(n e g .t x t ),与负样本图片存储在相同路径中.4.3.3 正样本建立选择正样本的要求:1)不严格规定图片尺寸大小,但必须与得到的正样本矢量文件比例相同,训练时可根据设置的比例自动缩放;2)正样本图像背景干扰尽可能少,避免背景特征干扰正样本特征值的计算结果;3)正样本来源应丰富,如果目标图像重合率相似率过大,局部特征明显一致,训练拟合程度过高,则会影响识别的准确度,不利于分类器的广泛使用.正样本建立步骤如下:1)获得正样本图像,首先要对正样本归一化处理,采集时可直接从原图按比例裁剪以便放缩;2)获取正样本路径列表,在文件夹中编写一个b a t 文件,内容为d i r p o s /b >p o s .t x t ,其中p o s 是文件夹名,运行b a t 文件,生成d a t 文件,删掉d a t 文件中所有不是图片的路径,T X T 中的位置信息是基于o b j e c t M a k e r 程序生成的;3)获取正样本矢量集v e c 文件,用O p e n C V 中的程序o p e n c v _c r e a t e s a m p l e s .e x e 获取后放在当前路径下,写入b a t 文件完成指令的输入,通过加-s h o w 显示正样本图像,根据需求更改n u m ,-w 和-h(数目㊁宽度㊁高度),运行b a t .po s 文件产生成正样本矢量集文件.4.3.4 负样本建立选择负样本的要求:图片中不允许有待检测物;负样本同样要求种类数目繁多,不能重复;不对负样本的尺寸大小严格规定,但负样本尺寸需大于正样本矢量集图像的高和宽,保存路径与正样本类似,内容为d i r n e g /b >n e g .t x t ,其中n e g 为负样本所在的图像文件夹名,n e g .t x t 中内容不含框和位置信息.经上述步骤,负样本建立完成.959 第4期 王晓光,等:基于G P S 和计算机图像识别的无人机导航系统4.3.5 训练级联分类器使用o p e n c v _t r a i n c a s c a d e 完成级联分类器的训练后,将其存储于c a s c a d e .x m l 文件中.路径中还存放许多中间量.若在训练级联分类器的过程中被其他高优先级程序中断,则只需再次加载即可读入,不用再次训练该分类器.训练完成后,不需保存这些中间文件.经验证,正负样本数目为1ʒ3训练效果较好,训练层数越多越好.训练成功后,如果能在文件夹下找到名为d t .x m l 的文件,则说明可进入测试阶段.若在某处停止很久,则大概率是因为负样本不足.此时应输入中断程序指令,通过提高负样本的数量和增加其丰富性,得到分辨能力强弱不同的多个级联分类器;或使用O p e n C V 的C V H a a r D e t e c t O b j e c t s 函数对其检验.5 无人机飞行控制系统设计无人机是双向对称结构,因此可将无人机的相对位置用俯仰㊁横转㊁偏航和升降4个输入量定义.以姿态角为被控量,应用P I D 算法,并通过S T M 32单片机控制无人机4个电机的转速分别控制无人机完成不同动作,从而达到控制实现无人机定向运动的目的.无人机飞行控制流程如图6所示.图6 无人机飞行控制流程F i g .6 F l o wc h a r t o fU A Vf l i gh t c o n t r o l 对于姿态角的计算,采用积分的算法可能会降低动态系统平衡性能,严重时会导致闭环系统稳定性较低,所以积分不能过大.若采用微分算法,则可能因为人为操作原因而导致误差过大,从而影响系统稳定性,甚至使系统振荡.因此引入微分实现P I D 值计算时,只针对姿态角进行微分而不对设定值进行微分操作,可提高系统动态性能并增强系统可靠性.6 系统调试利用数传模块将姿态角信息传到计算机,通过计算机运算观察图像与模拟姿态,得到拟定姿态角图7 系统数据传送流程F i g .7 F l o wc h a r t o f s ys t e md a t a t r a n s m i s s i o n 数据.系统数据传送过程如图7所示.对于无人机的P I D 算法,反复调节得到最优参数,最终达到预期平衡状态.使S T M 32单片机与G P S 模块连接,将模块的输入输出线和地线分别与S T M 32的输入输出线和地线相连.整体系统搭建完成后,可实现无人机的飞行只由用户端程序控制,将无人机的航点任务需求编入程序,可在计算机上实现无人机导航系统切换多种模式调试的目的[16].无人机搭载摄像头得到的数据信息不因环境而改变,且可以直接从捕获的图像获取感兴趣区域(R I O ),利用训练好的分类器进行目标比对与判定.综上所述,本文在全球定位系统G P S 的基础上,结合当前计算机视觉识别与级联分类器智能化目标检测对无人机视觉定位系统进行了研究与设计,其中摄像头捕获图像传回计算机一体化处理,获取一系列位置坐标和路径规划,自动调整位置,使无人机自主完成高精度识别目标降落的任务,实现无人机对于常用标识的跟踪.069 吉林大学学报(理学版) 第60卷参考文献[1] Z O G GJM.G P S 卫星导航基础[M ].北京:航空工业出版社,2011:1-157.(Z O G GJM.F u n d a m e n t a l s o fG P SS a t e l l i t eN a v i g a t i o n [M ].B e i j i n g :A v i a t i o n I n d u s t r y P r e s s ,2011:1-157.)[2] 董晶,傅丹,杨夏.无人机视频运动目标实时检测及跟踪[J ].应用光学,2013,34(2):255-259.(D O N GJ ,F U D ,Y A N G X.R e a l -T i m e M o v i n g O b j e c tD e t e c t i o na n d T r a c k i n g b y U s i n g U A V V i d e o s [J ].J o u r n a lo f A p p l i e dO p t i c s ,2013,34(2):255-259.)[3] 辛哲奎,方勇纯,张雪波.小型无人机地面目标跟踪系统机载云台自适应跟踪控制[J ].控制理论与应用,2010,27(8):1001-1006.(X I NZK ,F A N GYC ,Z HA N GXB .A d a p t i v eC o n t r o l f o r t h eO n -B o a r dP a n -T i l t C a m e r a i n a nU A V G r o u n d -T a r g e t -T r a c k i n g S y s t e m [J ].C o n t r o lT h e o r y a n dA p p l i c a t i o n s ,2010,27(8):1001-1006.)[4] 黄明明.图像局部特征提取及应用研究[D ].北京:北京科技大学,2016.(HU A N G M M.R e s e a r c ho n I m a ge L o c a l F e a t u r e a n d I t sA p p l i c a t i o n [D ].B e i j i n g :U n i v e r s i t y of S c i e n c e a n dT e c h n o l og y B e i j i n g ,2016.)[5] O L I V A R E S -M E N D E Z M A ,K A N N A NS ,V O O SH.S e t t i n g u p aT e s t b e d f o rU A V V i s i o nB a s e dC o n t r o lU s i n g V -R E P &R O S :A C a s eS t u d y o n A e r i a lV i s u a l I n s p e c t i o n [C ]//2014I n t e r n a t i o n a lC o n f e r e n c eo n U n m a n n e d A i r c r a f t S y s t e m s .P i s c a t a w a y ,N J :I E E E ,2014:447-458.[6] 刘贤敏.无人机飞控系统与实时航迹规划研究[D ].南昌:南昌航空大学,2011.(L I U X M.AD e s i gn f o rU A V F l i g h tC o n t r o l S y s t e ma n dR e s e a r c ho nR e a l -T i m eP a t hP l a n n i n g [D ].N a n c h a n g :N a n c h a n g A v i a t i o nU n i v e r s i t y ,2011.)[7] 黄耀.基于栅格法的汽车路径规划[D ].武汉:华中科技大学,2008.(HU A N GY.P a t hP l a n n i n g Ba s e d o nG r i d f o rA u t o m ob i l e [D ].W u h a n :H u a z h o n g U n i v e r s i t y o f Sc i e n c e a n dT e c h n o l o g y,2008.)[8] 张春玉,程春英.关于蚁群算法的探讨[J ].内蒙古民族大学学报(自然科学版),2011,26(6):656-658.(Z HA N GCY ,C H E N GCY.T h e S t u d y o fA n t C o l o n y A l g o r i t h m [J ].J o u r n a l o f I n n e rM o n g o l i aU n i v e r s i t y f o r N a t i o n a l i t i e s (N a t u r a l S c i e n c e s ),2011,26(6):656-658.)[9] 王文华.基于蚁群算法模糊聚类的图像分割[D ].重庆:重庆大学,2009.(WA N G W H.A n A n tC o l o n yA l g o r i t h mf o rF u z z y C l u s t e r i n g i n I m a g eS e g m e n t a t i o n [D ].C h o n g q i n g :C h o n g q i n g U n i v e r s i t y ,2009.)[10] 韩璐.基于广义费用的冷链物流配送优化研究[D ].大连:大连海事大学,2011.(HA N L .T h eO pt i m i z a t i o n R e s e a r c h o f C o l d -C h a i n L o g i s t i c sD i s t r i b u t i o n B a s e d o n G e n e r a l i z e d C o s t [D ].D a l i a n :D a l i a n M a r i t i m e U n i v e r s i t y ,2011.)[11] 郑勇.基于蚁群算法的移动机器人动态路径规划[D ].成都:电子科技大学,2008.(Z HE N G Y.D yn a m i cP a t h P l a n n i n g o fM o b i l eR o b o tB a s e do n A n tC o l o n y A l g o r i t h m [D ].C h e n g d u :U n i v e r s i t y ofE l e c t r o n i cS c i e n c ea n d T e c h n o l o g y o fC h i n a ,2008.)[12] 尹露.四旋翼飞行器的路径规划[D ].哈尔滨:哈尔滨工程大学,2016.(Y I N L .T h eT e c h n o l o g y S t u d y of F o u r -R o t o rU A V R o t o rP l a n n i ng [D ].H a r b i n :H a r b i nE n g i n e e r i n g U n i v e r s i t y ,2016.)[13] 戴丽.基于局部特征的图像三维去噪算法研究[D ].镇江:江苏科技大学,2014.(D A I L .R e s e a r ch o n I m a ge 3D D e n o i s i n g A l g o r i t h m B a s e do nL o c a lF e a t u r e s [D ].Z h e n j i a n g :J i a n g s u U n i v e r s i t y o fS c i e n c ea n d T e c h n o l o g y,2014.)[14] 乔闹生,叶玉堂,刘霖,等.基于均值去噪与图像增强的方差滤波器[J ].光电子㊃激光,2008,19(12):1666-1669.(Q I A O N S ,Y E Y T ,L I U L ,e ta l .A V a r i a n c e F i l t e rB a s e do n M e a n D e n o i s i n g a n dI m a g e E n h a n c e m e n t [J ].J o u r n a l o fO p t o e l e c t r o n i c s ㊃L a s e r ,2008,19(12):1666-1669.)[15] 申玉林.基于多重分形的图像自适应平滑滤波算法研究[D ].北京:北京信息科技大学,2015.(S H E N Y L .R e s e a r c ho n I m a g e A d a p t i v e S m o o t h i n g F i l t e r i n g A l g o r i t h m B a s e d o n M u l t i f r a c t a l [D ].B e i j i n g :B e i j i n gI n f o r m a t i o nS c i e n c e&T e c h n o l o g y U n i v e r s i t y ,2015.)[16] 韩炜.四旋翼飞行器视觉定位系统设计[D ].呼和浩特:内蒙古工业大学,2018.(HA N W.D e s i g n o f t h eQ u a d -R o t o rP o s i t i o n i n g S y s t e m B a s e do nV i s i o n [D ].H o h h o t :I n n e rM o n g o l i aU n i v e r s i t y o fT e c h n o l o g y ,2018.)(责任编辑:韩 啸)169 第4期 王晓光,等:基于G P S 和计算机图像识别的无人机导航系统。
三维定位原理

三维定位原理
三维定位原理是一种利用相机或传感器技术实现对物体或场景在三维空间中准确定位的方法。
其主要通过对物体的视觉特征、深度信息或其他传感器数据的处理和分析,确定物体在三维坐标系中的位置和姿态。
在传统的三维定位方法中,常使用相机进行图像采集,并通过对图像进行处理来获取物体的位置信息。
这种方法需要明确标定相机的内外参数,并利用特定的标识物或纹理来提取特征点,从而实现对物体的定位。
然而,这种方法的局限性在于对相机参数的要求较高,且对场景的要求较为严格,容易受到光照、遮挡等因素的影响。
近年来,随着传感器技术的不断进步,越来越多的三维定位方法不依赖于相机,而是使用激光雷达、超声波传感器等其他传感器来获取物体的三维信息。
这些传感器可以测量物体与传感器之间的距离,从而实现对物体位置的估计。
同时,利用多传感器融合的方法,可以将多个传感器的数据进行融合,提高定位的精度和鲁棒性。
另外,基于计算机视觉的三维定位方法也在不断发展。
例如,利用深度学习技术,可以通过对物体的图像进行语义分割和目标检测,从而提取出物体的边界和特征,进一步实现对物体在三维空间中的定位。
总之,三维定位原理是基于相机或其他传感器技术,通过对图像特征或传感器数据的处理和分析,实现对物体在三维空间中
的准确定位。
这种方法在机器人导航、增强现实、虚拟现实等领域有着广泛的应用前景。
3d相机视觉引导定位计算公式

3d相机视觉引导定位计算公式3D相机视觉引导定位计算公式引言:随着科技的不断发展,3D相机的应用越来越广泛。
3D相机拥有三维坐标信息,可以对物体进行精确的测量和定位。
本文将介绍3D相机视觉引导定位计算公式的原理和应用。
一、3D相机视觉引导定位的原理3D相机通过捕捉目标物体的图像,利用计算机视觉技术,提取图像中的特征点和特征线,进而计算出物体的三维坐标。
3D相机视觉引导定位的原理可以概括为以下几个步骤:1. 图像采集:3D相机通过摄像头采集目标物体的图像。
2. 特征提取:利用图像处理算法,提取图像中的特征点和特征线。
特征点可以是物体的角点、边缘点等,特征线可以是物体的轮廓线、边缘线等。
3. 特征匹配:将采集到的图像特征与模板特征进行匹配,找出匹配度最高的特征点和特征线。
4. 三维坐标计算:根据相机的内参矩阵和外参矩阵,以及特征点和特征线的像素坐标,计算出物体在相机坐标系下的三维坐标。
二、3D相机视觉引导定位的应用3D相机视觉引导定位广泛应用于机器人导航、工业自动化、虚拟现实等领域。
下面以机器人导航为例,介绍其应用。
1. 机器人导航:在机器人导航中,3D相机可以用来定位机器人的位置,并且可以获得机器人周围环境的三维信息。
通过实时采集图像,并计算出机器人在三维空间中的坐标,可以实现机器人的自主导航。
2. 环境建模:3D相机可以通过扫描物体的表面,获取物体的三维模型。
机器人可以利用这些三维模型来识别物体,并实现对物体的抓取、操作等任务。
3. 障碍物检测:利用3D相机可以获得环境中物体的三维坐标,机器人可以通过识别和分析这些物体,进行障碍物检测和避障。
三、3D相机视觉引导定位的优势和挑战3D相机视觉引导定位相比传统的定位方法具有以下优势:1. 高精度:3D相机可以提供物体的精确三维坐标,相比于传统的二维相机定位更加精确。
2. 实时性:3D相机可以实时采集图像,并通过计算得到物体的三维坐标,适用于需要实时定位的场景。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
后 ,由于不 能保 证每 一次 到达 工位 的位 置是 完 全 固 算 出电路板 旋转 的一 个角 度 。
收稿 日期 :2015年 9月 4日,修 回 日期 :2015年 1O月 23 Et 作者简 介 :梅鸿翔 ,男 ,硕士研究生 ,研究 方向 :图像处理 ,模式识别 。
采用数 字 图像处 理技 术来 进 行 目标 的定 位 ,是 候 不能 错位 ,故 可 以通 过定 位 电路 板上 几 个 目标 点
通过 图像 检测 算 法 检 测 出 目标 点 在 图像 中 的像 素 的位置 来定 位 电路板 的位 置 ,然 后 通 过机 械手 臂 移
坐标 ,再通 过摄 像机 标定 建立 的摄 像 机成 像 几何 模 动到相 应 的位 置 之 后将 工 位 上 的连 接 器 与 其 压 合
型将 像素 坐标 换算 成三 维空 间 坐标 ,以实现 目标 的 对接 ,来 完成液 晶 屏信号 驱动 的功 能 。
定位 。这样 ,在 一 条 自动化 的 生产 线 上 ,通 过 摄像
对位 装置 如 图 1所 示 ,载 台和工 位 上都 有 块 带
机拍 照 ,然后 通过 一套算 法 得到 目标 的三 维空 间坐 FPC连 接器 的 电路板 ,工位 上有 三 台电机 充 当着 机
V o1.44 N o.3 438
计算机 与数字工程 Computer& Digital Engineering
总第 317期 2016年第 3期
一 种 基 于 图像 坐 标 检 测 的 目标 定 位 方 法
梅鸿 翔
(南 京理工大学计算机科学与工程学 院 南京 210O94)
摘 要 精确的 目标定位是实现工业生产流水线 自动化 的关键技术 ,论 文提 出了一 种 目标定 位的方法 ,通过 检测 目标 在图像 中的坐标再经摄像机标定换算到空 间坐标来进行 目标 的定位 。该 方法采用 亚像素定位 从低分辨 率的 图像 中实现 图 像 坐标检测 的高精度 ,在一定 程度上有效地降低了生产成本 ,同时使 用先 粗定位后精定位的方法降低 图像坐标检测 的时 间。 实验表 明,该方 法检测出来的空间坐标能满足 目标定位 的精度要求 。
标 ,这样 就 可 以知 道 目标 在什 么 位 置 ,就 可 以根 据 械 手臂 的作 用 ,分 别 控 制水 平 、垂 直 方 向上 的 位 移
不 同的需求 完成 不 同的动 作 。
以及角 度 旋 转 。 电路 板 如 图 2所 示 ,有 五 个 目标
论 文实 验是 建 立 在 一 条 液 晶屏 缺 陷检 测 的生 点 ,根据 中间那 一 个 点 的 空 间 坐 标 进行 水 平 、垂 直
2016年第 3期
计 算 机 与 数 字 工 程
理技术 。常见的亚像素定位算法主要有拟合法、插 值 法和矩 法 等 。 5.2 亚像 素定位 在本 文 中的 使用
Key W ords target location,camera calibration,sub-pixel positioning Class Num ber TP39】.4】
1 引 言
定 的 ,而且两 个 连 接 液 晶屏 到 驱 动 电路 的 FPC连 接 器引 脚 的宽 度 只 有 0.3mm~ lmm,且 连 接 的时
(School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing 210094)
Abstract Accurate target location is the key technology to realize the autom ation of industrial production line. In this paper,a method of target location is proposed,which by detecting the coordinates of the target in the image and then conver— ted to the space coordinates by cam era calibration.H igh accuracy of positioning accuracy of the positioning of the low resolu— tion image with sub-pixel positioning in this m ethod,it can reduce the production cost effectively in some extent. At the same tim e,the time of the im age location is reduced by using the method of the first coarse positioning and then precise positio ning. Experim ents show that the spatial coordinates detected by this method can meet the accuracy requirements of the target location ̄
关键词 目标定位 ;摄像机标定 ;亚像素定位 中 图分 类 号 TP391.41 DOI:10.3969/j.issn.1672—9722.2016.03.013
Target Location M ethod Based on Im age Coordinate D etection
M EI Hongxiang