基于OpenCV的视觉定位四旋翼无人机
基于计算机视觉的无人机物体识别追踪
基于计算机视觉的无人机物体识别追踪作者：李杰刘子龙来源：《软件导刊》2020年第01期摘要：提出一种将ROS系统的AR.Drone飞行器作为载体，基于飞行器实现物体识别追踪的具体优化方案。
在计算机视觉方面，结合物体识别OpenCV模块中的Haar级联分类器与卡尔曼滤波，实现无人机的目标识别以及对错误目标的过滤功能，使飞行器在搭载摄像头模块后，可结合现有视觉模型完成目标识别要求，算法融合后的系统性能具有良好的鲁棒性;在飞行器控制方面，结合飞行器自身的反馈控制模块与基于相对位置控制的PD位置控制器，优化飞行器自身姿态及目标追踪过程中的动态参数调节优化功能，使飞行器在目标追踪过程中具有良好的自适应性。
基于以上两点优化方案建立实验模型，取得了较好的实验效果。
具体相对位置估计均方根误差实验结果为：在x方向上为0.124 Sm，在v方向上为0.243 7m，在z方向上为0.176 8m，证明了该优化方案的实用性。
关键词：计算机视觉;无人机;目标识别;目标追踪;ROS系统;OpenCVDOI： 10. 11907/rjdk.191475开放科学（资源服务）标识码（OSID）：中图分类号：TP301文献标识码：A文章编号：1672-7800（2020）001-0021-040 引言在计算机视觉领域，物体识别算法框架的发展已趋于稳定，目前的计算机视觉已能够应用于大部分场景[1-6]。
无人驾驶飞行器[7-8]（ Unmanned Aerial Vehicle，UAV）是一种兼具飞行、垂直起降等功能，具有较好机动性的小型机器人，在融合计算机视觉技术后，广泛应用于无人机导航、定位着陆、飞行避障、视觉同步定位与建图（ Simultaneous Lo-calization and Mapping，SLAM）等方面。
无人机物体识别追踪技术利用无人机作为载体，结合计算机视觉技术，在飞行过程中结合飞行高度与视角，提取目标物体图像特征并对特征信息进行处理，同时结合相对位置控制算法，实现追踪功能。
基于视觉的室内四旋翼无人机目标追踪系统设计
如图3所示系统硬件设计包括控制集成电路板的设计， 此系统将飞行控制模块、图像处理模块、光流传感器模 块、超声波模块、模式切换模块以及距离报警模块集成在 一起。
3 飞行器控制系统设计
3.1 控制系统流程 如图4所示，本系统利用探测跟踪系统解析摄像头采集
的图像，得出坐标并将其传给飞行器导航系统。飞行器导 航经过计算后发出PWM波传给飞行控制系统。飞行控制系 统接收PWM波进行姿态的调整。
摘 要：针对无人机在室内飞行无法依靠 GPS定位飞行，还有一些人员无法到达的地点进行关键信息的搜寻工作问 题，设计了一种基于视觉的室内四旋翼无人机目标追踪系统，实现室内定位自主飞行与物体自主识别跟踪功能。
关键词：四旋翼飞行器；目标追踪；室内自主控制；单目视觉同步定位
中图分类号：TP391
文献标志码：A
2.School of Computing, North China University of Technology, Beijing, 100144, China)
Absrtact：For the UAV can not rely on GPS positioning flight in the indoor flight, there are some people can not reach the location of the key information search work problem, designed a vision based four-rotor UAV target tracking system, indoor positioning autonomous flight and object recognition tracking function.
基于视觉的微小型四旋翼飞行器位姿估计研究与实现
基于视觉的微小型四旋翼飞行器位姿估计研究与实现近年来，随着无人机技术的飞速发展，微小型四旋翼飞行器（Micro Aerial Vehicles，MAV）在军事、民用以及科学研究领域得到广泛应用。
然而，由于微小型四旋翼飞行器具有体积小、负载轻的特点，机载传感器受限，同时在复杂环境下的准确位姿估计仍然是一个挑战。
位姿估计是微小型四旋翼飞行器实现自主飞行和导航的重要环节。
传统的位姿估计方法主要依靠惯性测量单元（Inertial Measurement Unit，IMU）和全球定位系统（Global Positioning System，GPS）等传感器的测量数据。
然而，这些传感器仅能提供有限的信息，并且容易受到环境干扰，从而导致位姿估计的不准确性。
因此，基于视觉的位姿估计方法成为研究的热点和难点。
基于视觉的位姿估计方法利用了飞行器上搭载相机的图像信息，通过对图像进行分析和处理，获得飞行器相对于地面的准确位置和姿态。
在实现过程中，首先需要对图像进行特征提取和特征匹配，通过寻找图像中的角点或者特定的纹理特征，计算出特征点的位置和方向。
接着，通过特征点的匹配，建立相机坐标系与世界坐标系之间的映射关系，从而得到相机相对于世界坐标系的位姿信息。
然而，基于视觉的位姿估计方法仍然面临一些挑战。
首先，由于微小型四旋翼飞行器的体积小，相机像素尺寸有限，导致捕获的图像分辨率较低，特征提取的精度和鲁棒性受到限制。
其次，微小型四旋翼飞行器飞行速度较快，快速的姿态变化会导致特征点在相邻帧之间的跟踪失败，进而影响位姿估计的准确性。
此外，光照变化和遮挡等环境因素也会对视觉位姿估计方法的性能产生影响。
为了解决以上问题，研究人员提出了一系列基于视觉的位姿估计方法和算法。
例如，利用非线性优化方法，通过最小化图像特征点在不同帧之间的重投影误差，从而得到最优的位姿估计结果。
另外，基于视觉惯导融合的方法也被广泛应用。
该方法将视觉信息与惯性测量单元的测量结果进行融合，通过互补滤波器或者扩展卡尔曼滤波器等算法，最终得到更准确的位姿估计结果。
基于OPENCV视觉处理的旋翼无人机识别规划的设计
Electronic Technology •电子技术Electronic Technology & Software Engineering 电子技术与软件工程• 63【关键词】Opencv 无人机 跟踪控制随着科学技术发展，无人机硬件设备向高集成、高性能方向发展，特别是旋翼型无人机具有灵活性高、稳定性好、可以垂直起降场地适应性较强的优点，广泛应用于无人机测绘、无人机植保、无人机侦查识别等领域。
硬件中集成了CMOS 传感器和处理器可以进行跟踪和识别，这类无人机在各种领域都有较强的自主控制能力，适应不同的工作环境。
然而旋翼无人机随着姿态控制的同时避免不了出现震动和干扰，图像容易模糊；识别过程中，被跟踪物体颜色如果和背景颜色相近容易出现识别失败导致跟踪失败现象；当被跟踪物体被遮挡后没有相应的算法去解决等。
本文根据以上问题，提出一种基于Opencv 视觉处理的旋翼无人机识别规划方案，能够实现自主跟踪控制。
1 多旋翼无人机飞行平台多旋翼无人机飞行平台采用飞越TAROT公司680pro 碳纤维机架（TL68P00），轴距695mm ，可安装无刷电机数量为六个；无刷电机采用3510电机，kv 值为350；电子调速器采用3~6S/40A ，供电电压从11.1V~25.2V ，最大持续电流40A ；螺旋桨尺寸为13寸碳纤维螺旋桨；动力电池采用格瑞普公司的格氏16000mAh/15C 电池。
该平台无负载重量约为4.2公斤，悬停时间约为32分钟。
本设计中采用的六旋翼无人机飞行平台具有高机动性，具备空间三轴六自由度的飞行能力，对场地要求较小，适合执行图像处理并跟踪任务。
2 图像处理及跟踪原理首先通过六旋翼无人机飞行平台搭载的视觉采集设备对图像进行采集，将每秒24帧的视频 通过串行通信传送给图像处理器的高速存储器，先进行图像预处理，如降低图像噪点、图像曝光纠正等等，然后送入以图像处理基于OPENCV 视觉处理的旋翼无人机识别规划的设计文/赵旭器为核心的控制板运行移植的Opencv 代码对视频图像进行处理。
基于视觉的小型四旋翼无人机自主飞行控制
（ Ｐ Ｉ Ｄ） ｃ ｏ ｎ ｒ ｔ ｏ ｌ ｌ ｅ ｒ ｕ ｓ ｅ ｄ ｔ ｈ ｅ ｓ ｅ ｌ ｆ － ｍｏ ｔ ｉ ｏ ｎ ｅ ｓ ｔ ｉ ｍａ ｔ ｉ ｏ ｎ ａ ｓ ｆ ｅ ｅ ｄ ｂ ａ ｃ ｋ ｓ ｉ ｇ ｎ ａ １ ． Ｕｎ ｌ ｉ ｋ ｅ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｈ ｏ ｓ ｔ － ｂ ａ ｓ ｅ ｄ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｓ ｙ ｓ ｔ ｅ ｍ ｒｃ ａ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ ． ｈｅ ｔ
验平 台，该飞行系统 中采用 了一个 嵌入式控制架构 的试验平 台。该平 台依靠机 载嵌入计算机进行光流计算 、运动状态 估计 ， 并采用机载飞行控制器执行控制 算法 。 这种嵌入式控制架构工程 实现难 度高 ， 但更利于 实现 四旋 翼无 人机的全 自主飞行控制 。
试验结果表 明，提 出的设计 方法取得 了较好全 自主 飞行控制 效果 。 关键词 ： 四旋翼无人机 ；视觉 ；运动状态估 计； 自主控制
２ ． Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｒ ｏ ｂ ｏ ｔ ｉ ｃ ｓ ａ ｎ ｄ Ａｕ ｔ ｏ ｎ ｏ ｍｏ ｕ ｓ Ｓ ｙ ｓ ｔ ｅ ｍ， Ｔ ｉ ａ ｎ ｊ ｉ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｔ ｉ ａ ｎ ｊ ｉ ｎ ３ ０ ０ ０ ７ ２ ；
摘要 ：提 出为实现 小型四旋翼无人机 自主飞行控制 ，设计 一种基 于视觉的飞行控制方法 ，并搭 建嵌入式控制 架构飞行试验平 台。在 控制过程中 ，光流信息与姿态角信 息进行 融合用于估计无人机水平位置信息 ，利用 获取 到的水平位置信息作为 内外环
结构 的比例微分积分（ Ｐ ｒ ｏ ｐ ｏ ｒ ｔ ｉ ｏ ｎ ｉ ｎ ｔ ｅ ｇ ｒ ａ ｔ ｉ ｏ ｎ ｄ ｉ ｆ ｅ ｒ ｅ ｎ ｔ ｉ ａ ｔ ｉ ｏ ｎ ， Ｐ Ｉ Ｄ） 控制器外环反馈信 息。不同于传统的基于地面站 的控制架 构试
基于深度学习的四旋翼无人机控制算法优化研究
基于深度学习的四旋翼无人机控制算法优化研究随着人工智能的发展和深度学习的应用，四旋翼无人机的控制算法也得到了重大的提升。
基于深度学习的无人机控制算法在提高飞行精度和性能方面表现出了显著的优势。
本文将介绍基于深度学习的四旋翼无人机控制算法的优化研究。
一、深度学习在无人机控制中的应用深度学习是一种人工智能的方法，它模仿人脑的神经网络结构，可以让机器自己学习和识别数据特征，从而实现对数据的自动分析和处理。
在无人机控制中，深度学习可以帮助无人机识别环境、避开障碍物、自动控制飞行方向和速度等。
二、深度学习在四旋翼无人机控制中的优势四旋翼无人机控制是一项高难度的工程技术，需要大量的运动控制、电路控制和传感器控制等方面的知识。
传统的无人机控制算法效果受到传感器精度和算法模型的限制，难以精确控制无人机。
而基于深度学习的无人机控制算法可以自学习和自适应，使得控制算法变得更加灵活。
三、基于深度学习的四旋翼无人机控制算法基于深度学习的四旋翼无人机控制算法包括视觉感知、环境感知和运动控制三个主要部分。
其中视觉感知主要通过相机和图像处理技术获取无人机周围的图像信息，环境感知主要通过传感器获取无人机周围的环境信息，运动控制主要通过无线通信技术传递控制信号，实现对无人机的精确控制。
四、算法优化研究基于深度学习的四旋翼无人机控制算法虽然精度和性能较好，但也存在一些问题。
例如，算法自学习的过程需要大量数据的支持，对数据质量和纯度要求较高，数据规模也需要大。
此外，算法的可控性也存在一定的问题，例如难以实现实时控制，需要大量的计算资源等。
针对上述问题，需要进行算法优化研究。
优化研究可以从以下方面进行：1. 数据静态引入：提高数据质量和准确性，减少数据量，提高数据利用率。
2. 算法实时控制：提高算法的实时性和控制性能，使得无人机控制更加精确和稳定。
3. 降低计算资源：优化算法模型，降低算法计算复杂度和计算量，提高算法效率。
五、结论深度学习技术的应用使得四旋翼无人机控制算法得到了大幅度的提升，算法的精度和性能也得到了显著提高。
基于OpenMV的四旋翼无人机目标跟踪系统设计与实现
基于OpenMV的四旋翼无人机目标跟踪系统设计与实现
马晓琳;周弘斌;黄福龙
【期刊名称】《电子测试》
【年(卷),期】2022()2
【摘要】基于四旋翼无人机小巧便捷可控的特点,设计并实现了一种可识别并自动跟踪物体的四旋翼无人机系统,该系统采用STM32F407为主控芯片,综合光流模块、数传模块、OpenMV4模块和电机、螺旋桨等外围设备,采用姿态估算、色块跟踪
解耦合、色块识别、滤波、坐标系转换、PID调节、前馈调节等算法实现四旋翼的识别与自动跟踪,使其可以在平稳飞行的同时,按照程序指令搜寻目标,并触发跟踪状态,完成自动跟踪。
该四旋翼无人机系统灵巧便携,操作简单,通用性强,应用前景广阔。
【总页数】3页(P20-21)
【作者】马晓琳;周弘斌;黄福龙
【作者单位】陆军工程大学石家庄校区
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于视觉的四旋翼无人机目标跟踪系统设计
2.基于视觉的四旋翼无人机目标跟踪研究
3.四旋翼无人机飞控系统设计与实现
4.四旋翼无人机飞控系统设计与实现
5.
基于四旋翼无人机的运动目标跟踪控制研究
因版权原因，仅展示原文概要，查看原文内容请购买。
基于视觉的微小型四旋翼飞行器位姿估计研究与实现
基于视觉的微小型四旋翼飞行器位姿估计研究与实现基于视觉的微小型四旋翼飞行器位姿估计研究与实现一、引言随着四旋翼飞行器技术的进步和广泛应用，人们对于提高四旋翼飞行器的自主定位与导航能力的需求也越来越迫切。
而四旋翼飞行器的位姿估计是实现自主定位与导航的关键环节之一。
近年来，随着计算机视觉技术的不断发展和成熟，基于视觉的位姿估计技术成为研究的热点。
本文将对基于视觉的微小型四旋翼飞行器位姿估计进行深入研究。
二、基于视觉的位姿估计技术综述1. 视觉传感器与视觉定位视觉传感器是指通过摄像头获取图像信息的传感器。
视觉定位是指通过分析图像获取目标位置信息的过程。
常用的视觉定位方法包括特征点匹配、光流法、直接法等。
2. 特征点匹配特征点匹配是一种常用的目标检测与跟踪方法。
通过寻找图像中的特征点，并将其与模板图像中的特征点进行匹配，从而实现目标的定位与跟踪。
常用的特征点匹配方法包括SIFT和SURF等。
3. 光流法光流法通过分析图像中像素点的位置变化来推断目标的移动方向与速度。
光流法常用于动态环境下的目标跟踪与定位。
4. 直接法直接法是一种通过分析图像灰度值的变化来推断目标位姿的方法。
通过计算目标在图像上的亮度变化，可以估计目标相对于相机的位姿。
三、基于视觉的微小型四旋翼飞行器位姿估计方法研究1. 目标检测与跟踪对于四旋翼飞行器的位姿估计，首先需要进行目标的检测与跟踪。
通过视觉传感器获取的图像数据，采用特征点匹配、光流法等方法，可以对四旋翼飞行器进行目标检测与跟踪，并获取目标在图像中的位置信息。
2. 位姿估计算法基于目标检测与跟踪得到的位置信息，可以采用成熟的位姿估计算法对四旋翼飞行器的位姿进行估计。
常用的位姿估计算法包括Kalman滤波器、扩展Kalman滤波器、无迹卡尔曼滤波器等。
3. 实验与验证为了验证基于视觉的微小型四旋翼飞行器位姿估计方法的有效性，本文进行了一系列实验。
实验采用了市面上常见的微小型四旋翼飞行器，并在室内和室外进行了不同场景下的飞行实验。
基于视觉的四旋翼室内悬停与定位控制
基于视觉的四旋翼室内悬停与定位控制作者：傅君刘子龙来源：《软件导刊》2018年第10期摘要：为使四旋翼飞行器具有更好的室内定点悬停效果及定位精度，提出一种基于视觉辅助与四旋翼飞行器惯性传感器数据融合的控制算法。
利用机体下视摄像机获得光流航速信息，与惯性传感器姿态信息数据融合实现良好的室内悬停效果。
机体前视摄像机通过ORB算法将当前帧与关键帧进行特征点匹配，以提高四旋翼飞行器的室内定位精度。
将PARROT公司的ARDrone 2.0四旋翼飞行器作为实验平台，采用OpenCV软件对图像进行处理，对控制算法进行验证，结果表明：基于光流和惯性传感器姿态数据的融合确保了四旋翼飞行器控制的安全性，提高了飞行器悬停效果和定位精度。
关键词：视觉；四旋翼飞行器；室内悬停与定位；光流；ORB特征提取；OpenCVDOIDOI：10.11907/rjdk.181731中图分类号：TP319文献标识码：A 文章编号：1672-7800（2018）010-0144-04英文摘要Abstract：In order to achieve a better indoor fixed-point hover effect and positioning accuracy for quadrotorcrafts，a control algorithm based on visual aided data fusion with quadrotorcraft inertial sensors was proposed.We utilize the body down camera to obtain the optical flow speed information，and the inertial sensor pose information data fusion achieves a good indoor hover effect.The ORB algorithm is employed so that the body front looking camera can match the current frame with the key frame to achieve the feature point matching of the four-rotor aircraft and indoor positioning accuracy.In this paper，the ARDrone 2.0 quadrotor from PARROT was used as the experimental platform.The above control algorithm was verified by using OpenCV to process the acquired images.The results show that the data fusion based on optical flow and inertial sensor attitude data ensures the control safety of of the quadrotor and improves the aircraft′s hover effect and positioning accuracy.英文关键词Key Words：vision；quadrotor crafts；indoor hover and position；optical flow；ORB；OpenCV0 引言四旋翼无人机飞行器具有可垂直起降、机动性能好的优点，定位是其发展的关键因素。
基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究共3篇
基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究共3篇基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究1近年来，随着无人机技术的发展，四旋翼飞行机器人已经成为了无人机领域不可或缺的重要组成部分。
而要想让四旋翼飞行机器人发挥更好的作用，就需要对其位姿估计与导航进行研究。
基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究，是一项目前正在快速发展的研究领域。
这种研究方法利用计算机视觉技术，使用摄像头采集四旋翼飞行机器人周围的环境信息，并对其进行处理分析，以实现对机器人位置和方向的估计。
而且相较于其他传感器，视觉传感器具有无需额外硬件、成本低廉、信息量丰富等优势，因而备受关注。
目前，视觉位姿估计的方法主要有两种：基于单目3D重建和基于双目视觉方法。
前者是通过将单个摄像头从不同角度获取的图像进行三维建模，从而推算出机器人的位姿；后者则是将两个摄像头的图像信息结合起来，以实现更加准确的位姿估计。
在基于单目3D重建的位姿估计中，研究人员已经成功实现了对四旋翼飞行机器人的位置和方向估计。
例如，将机器人周围的环境模型化，并使用模型匹配算法进行位姿估计的方法已被广泛运用。
同时，也有学者尝试运用追踪与定位技术，对飞机实时进行位姿估计。
在基于双目视觉的位姿估计中，研究人员主要采用了立体匹配算法，将两个摄像头采集的图像信息进行匹配，得出机器人位姿。
由于两个摄像头的相对位置固定，因此通过双目视觉可以更快地获得更加准确的位姿信息。
除了位姿估计外，基于视觉的微小型四旋翼飞行机器人导航研究也十分重要。
导航系统是无人机实现自主控制的关键组成部分，有效的导航系统可以保证无人机的稳定飞行和精确定位。
而基于视觉的导航系统具有高度的灵活性和可靠性，可以通过自主学习和深度神经网络的方法，实现对不同环境的适应性调整。
总的来说，基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究在未来将会变得越来越重要。
利用视觉传感器的信息，可以大大提高无人机系统的导航和控制能力，促进无人机系统的发展综上所述，基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究是当前研究的热点之一。
基于计算机视觉的四旋翼无人机自主悬停方法研究
速度很难受到外界的影响 ，并且采集到的角速度 变化灵敏 ，可 以 数据融合 ，以实现对 油门的控制 ，实现悬停 。
更加准确的反映 出飞行器姿态 。
３ 结 论
ＰＩＤ控制算法采用增量式数字 ＰＩＤ控制 ，相对位置式数字
本文通过摄像头采集图像信息 ，通过机载芯片即时处理图
ＰＩＤ控制方式 ，微处理器在进行增量式 ＰＩＤ控制时每次只需输 像 ，很好地利用了计算机视觉技术 ，实现 了四旋翼无人机 自主循
出控制增量 ，即对应执行机构位置 的变化量 ，飞行器不会因为控 迹 飞行 ，并实现 了自主悬停 。
制量陡增或突减二发生严 重事故 。
参 考 文献 ：
△Ｕ（ｋ）＝Ｕ（ｋ）一Ｕ（ｋ一１）
【１】辛 哲奎 ，方 勇纯 ．无人 机 地 面 目标 跟 踪 系统 的 建 模 与控 制
＝ ＫｐＥ（ｋ）＋ＫｉＥ（ｋ）＋Ｋｄ［ＡＥ（ｋ）一ＡＥ（Ｋ一１）］
术Ｉ ２ｊ，实现旋翼无人 机完成 目标视觉捕捉 ，并解决 其在复杂环境 量 ，从而控制调 整四旋翼 的姿态。
下的准确悬停 。
控制器 外环（角度环 ）为控制 系统的核心 ，角度的输 入为摄
视觉伺服控制与传统传感器控制 的旋翼无人机相 比，具有 像 头采集到 的飞行器 的三个欧拉角 ，分别 为翻滚角 ，俯仰 角 ，偏
科技风 ２０１６年 ６月上
信 息 科 学
ＤＯＩ：１０．１９３９２５．ｃｎｋｉ．１６７１—７３４１．２０１６１１１２４
基于计算机视 觉 的四旋 翼无人机 自主 悬停 方法研究
邵 帅 廖仙华 代南明
中国民航大学电子信息与 自动化学院 天津 ３００３００
摘 要 ：为实现 四旋翼 自主 飞行 并最终定点 悬停 ，设计 一种基于计算机视 觉的 自主 飞行控制 方法 ，充分考虑 了视 觉 系统的特 点 ，选用小巧 ，便携 ，合理 的实验硬件 ，应 用摄像 头采 集地 面信 息 ，并初步处理 ，通过 图像 检测算法和飞行控制算法结合 ，识别地面明 显的黑线循迹标志 ，使 四旋翼不断循着标志物来找到悬停 点，并 实现 定点悬停 ＿１Ｉ。考虑到飞行 高度的控制 ，实验 中还加入 了超声波定 高模块。 实验结果表 明 ，系统较为可靠 ，在 室内环境下 ，实现 了四旋翼 自主悬停。
基于机器视觉的四旋翼无人机目标检测与定位
摘要现今，在战争与城市建设，越来越需要更快速收集和处理更可能多的环境信息。
在复杂环境中，人类难以活动的区域，派遣无人机去搜寻目标是一种相当便捷的方法。
不管是在军事上还是民用中，在无人机搜索过程中，对待搜索目标的检测与定位算法的研究都极为关键，这也需要我们不断提高四旋翼无人机对目标检测及定位目标的能力要求。
而与其他方法相比,基于机器视觉的目标检测在完成结果上更加突出，并且可以展现较为复杂的函数关系。
经过训练的神经网络,在没有人工输入的情况下也可以自主完成对于新获取图像的学习与检测，并且能够获得更为精确的结果。
因此四旋翼无人机与机器视觉的结合也越发受到人们的追捧。
所以对基于机器视觉的四旋翼无人机目标检测与定位的研究具有现实要求和实际意义。
本文设计一种基于机器视觉的四旋翼无人机目标检测与定位方法。
本文首先对课题的背景和研究意义进行说明，然后分析了四旋翼无人机目标定位与机器视觉的国内外研究现状，介绍了本文的研究内容。
然后为了实现对于无人机飞行器的系统控制，分析无人机飞行原理和运动方程，剖析了无人机数学模型，对四旋翼无人机目标检测定位方法进行框架设计。
本文为完成对于基于四旋翼无人机的目标检测算法的研究，对复杂的数字图像进行图像预处理操作，减少图像处理的工作量。
在常用目标检测的算法的基础上，进行了对于特征值筛选工作，增加了目标检测的可信率。
并在此基础上对目标检测算法进行改进，通过改进后的算法与改进前进行对比，证明本文设计目标检测算法的实用性和准确性。
随后本文进行了四旋翼无人机目标定位系统的算法研究。
对四旋翼无人机模型以及相机模型进行分析，建立对应坐标系，并给出转化算法。
利用惯性导航系统与超声波模块进行无人机姿态解算与定位，选用卡尔曼滤波对惯性导航系统进行滤波，给出了无人机目标定位算法，并在matlab上进行仿真试验，证明了目标定位的实用性。
最后根据目标检测定位框架，对具体无人机系统的硬件结构进行设计并对软件的环境进行开发，包括对无人机控制装置的设计以及对无人机本身的设计，无人机设计中又包含无人机自身的硬件结构以及机器视觉的硬件平台和软件环境，随后对无人机控制系统进行调试，并进行试飞试验，对基于四旋翼飞行器的目标定位与检测进行实验，实验结果表明本文所设计无人机目标检测与定位方法可行。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第35卷 第4期 福 建 电 脑 Vol. 35 No.4
2019年4月
Journal of Fujian Computer
Apr. 2019
———————————————
本文得到浙江省大学生科技创新活动计划项目(No.0618026)资助。
刘新泽，男，1998年生，主要研究领域为电子信息方向。
E-mail: 1145655900@ 。
刘靖宇，男，1993年生，主要研究领域为电子信息方向。
E-mail: 346875661@ 。
钮杨洁，女，1998年生，主要研究领域为电气工程及其自动化。
E-mail: 1403390414@ 。
杜智文，男，1995年生，主要研究领域为计算机方向。
E-mail: 1009963012@ 。
丁建鑫，男，1996年生，主要研究领域为电子信息方向。
E-mail: 1194173858@ 。
基于OpenCV 的视觉定位四旋翼无人机
刘新泽 刘靖宇 杜智文 钮杨洁 丁建鑫
(同济大学浙江学院电子与信息工程系 浙江 嘉兴 314051)
摘 要 本论文所制作的无人机由以下两个核心部分组成，其一是以TM4C123G 单片机为飞控的核心部分，其二是以安装有OpenCV 库的树莓派为视觉识别的核心部分。
系统通过树莓派（图像处理器）检测周围环境，获得当前飞行器的位置以及偏离目标位置，将位置数据传回飞控芯片，再经过飞控的核心参数计算处理，矫正自身的姿态，或者偏移角度以达到指定目标位置。
关键词 单片机；树莓派；OpenCV ；视觉定位；设计制作 中图法分类号 TP302.1 DOI:10.16707/ki.fjpc.2019.04.034
OpenCV-based Visual Positioning Four-Rotor UA V
LIU Xinze, LIU Jinyu, DU Zhiwen, NIU Yangjie, DING Jiangxin
(Department of Electronic and Information Engineering, Tongji Zhejiang College, Jiaxing, China, 314051)
1 引言
多旋翼无人机已经有一百多年的历史，四旋翼作为小型多旋翼无人机的一种，也已经存在超过二十五年。
因其易用性、开放性和安全性，具有广泛的民用和军用价值。
OpenCV 是一个基于BSD 许可（开源）发行的跨平台计算机视觉库，拥有超过400个免费的图像处理函数，涉及面广泛，而且其中的算法易理解且能达到很好的效果。
从图像处理到模式识别、从静态图像到运动视频、从二维平面到相机的三维标定以及三维的重建都可以利用四旋翼无人机。
目前市面上大部分无人机均是通过接收GPS 信号进行定位，而这种定位方式虽有很多好处，但也存在着很大的弊端。
如果在室内或者偏远地区等，GPS 信号弱甚至没有信号的时候，无人机就不能进行准确定位，容易失控，进而发生安全事故。
本文所设计的基于OpenCV 的视觉定位四旋翼无人机在于若无人机能自主进行视觉定位，则可有效避免此情况的发生。
2 系统方案设计
该四旋翼的设计框架如图1所示，包括主控芯片TM4C123G 和树莓派（含OpenCV 数据库）、mpu6050
、超声波模块、摄像头。
通过硬件设备之间的相互连接，将飞行姿态、高度、水平位置汇总至主控芯片实现矫正自身的姿态，或者偏移角度以达到指定目标位置。
图1 系统设计框架
98 福建电脑2019年
2.1飞控核心部分
根据设计方案，综合对比了目前比较常用的芯片，结合性能与成本等多重考虑，决定选取高性能的TM4C123G作为飞控核心的主控芯片，MPU6050作为调整四旋翼姿态的MEMS传感器，超声波作为其高度传感器。
开展了大量的软硬件调试与验证，设计和制作了飞控电路板，作为飞控核心部分的基础。
并以此编写了飞行控制算法。
利用PID控制进行姿态调整，PID 控制具有结构和原理简单、易于实现、实用性强、鲁棒性较好等优点，是使用最广泛的一种控制率[1]。
在飞控核心部分中，综合了各传感器的优缺点，对其数据进行数字滤波处理后，利用卡尔曼滤波算法对无人机进行姿态的最优估算，实时为飞控提供无人机的姿态信息。
并在MATLAB中进行仿真行，验证算法。
然后将程序移植到飞控板中进行调试与相应的飞行验证。
既可以降低因程序问题导致的不必要损失，又可以得出一套精准的飞行控制系统。
2.2视觉核心部分
OpenCV是一个开源视觉库，功能强大的同时，运算量也是巨大的。
考虑到市面上大部分主流的微控制器运行困难，所以使用基于ARM的微型计算机（树莓派）用以搭载并运行OpenCV视觉库。
配合使用500万像素的摄像头，用于实时采集无人机所处坏境的图像。
图像的二值化在图像处理中占有极其重要的作用，用来获取某些图像中需要的信息[2]。
在处理彩色图像时先对图像进行灰度化减小图像的复杂度，减少图像后续处理的计算量[3]。
对于标记物体的识别，先进行高斯滤波，再进行均值滤波，然后进行边缘检测也就是canny，最后进行霍夫变换。
当摄像头采集图像后，对其获取的图像进行均值滤波算法处理，目的是抑制电气元件或者环境因素引起的噪声，平滑图像。
均值滤波算法，也叫邻域平均算法。
其基本原理是将某一指定大小窗口内的像素进行排序，然后将获取到排好序序列的中值替换给窗口的中间像素[4]。
领域平均法的优点是处理方法简单且计算速度快，适合于实时传输的使用。
对于标记物体的识别，本系统采用Canny边缘检测，先找出所有可能的边缘信息，再运用OpenCV 提供的find Contours函数将边缘信息转化为轮廓信息，最后再对其轮廓信息进行分析处理，找出标记物体。
与该目标物体的识别还有一种方法是采用阈值算法分割出特定灰度值范围内的物体，但该算法受光照影响较大，而边缘检测受光照影响较少，因此Canny采用边缘检测算法[5]。
通过超声波模块回传高度的信息，最终确定无人机的所在方位，并将信息反馈给飞控系统，调整相应的飞行姿态。
3总结
本文所设计的四旋翼无人机系统总体框架如下图2所示。
图2 系统总体框架
在GPS定位的基础上，增添了基于OpenCV的视觉定位，极大地提高了四旋翼无人机的稳定性、安全性以及易用性。
并在实验楼的测试场地内，测试成功，实现了在没有GPS信号情况下对目标的精准定位，并飞行平稳。
不过目前使用局限性很大，仅适用于一定范围的空间内，有待于进一步的研究。
参考文献
[1] 李炜.无人机飞行PID控制及智能PID控制技术研究[硕士学位论文].
南京理工大学,南京, 2004
[2] 郭佳, 刘晓玉, 吴冰, 付晓薇. 一种光照不均匀图像的二值化方法.
计算机应用与软件,2014,31(03):183-186,202
[3] 徐以美,郭宝龙,陈龙.基于RGB颜色空间的减背景运动目标检测.计
算机仿真,2008(03):214-217
[4] 黄宝贵, 卢振泰, 马春梅, 等.改进的自适应中值滤波算法. 计算机
应用, 2011, 31(7):1835-1837
[5] OpenCV单目视觉定位(测量)系统.CSDN博客,
https:///chenmohousuiyue/article/details/56300915,2017。