基于视觉的小型四旋翼无人机自主飞行控制
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
受昆虫视觉系统启发，基于光流的小型四旋翼 无人机控制方法逐渐受到研究人员的关注。研究表 明，飞行昆虫可以利用光流在复杂的自然环境中敏 捷地运动，例如躲避障碍物，沿走廊飞行，巡航， 着陆[6]。光流是一种非常适用于小型四旋翼无人机 全自主飞行控制的视觉方法。它相较于传统的基于 特征点匹配[7]方法，不需要人工特征标示，适用于 已知环境和未知环境；相较于 VICON 系统[8]，不需 要外界运动捕捉系统；相较于视觉同步定位和建图 方法(Simultaneous localization and mapping, SLAM)[9]， 其计算量较小，更易于满足闭环控制系统实时性的 要求。
本文所搭建试验平台包括四旋翼无人机本体、 地面站、遥控器等。其中四旋翼无人机如图 1 所示， 搭载如下单元：① Logitech QuickCam Pro 4000 机 载摄像头，分辨率为 640 像素×480 像素；② 飞行 控制器，在该控制器上集成了惯性导航单元(IMU) 和气压计；③ Intel Atom 嵌入式计算机，主频为 1.6 GHz，2 GB 内存；④ 无线数据传输模块，用于 与地面站通信。整个四旋翼无人机为本研究组在航
Abstract：An autonomous control strategy is proposed and an embedded control system architecture platform is developed for a quadrotor unmanned aerial vehicle based on optical flow vision system. The self-motion estimation is obtained by fusing the optical flow data and data from the on-board inertial measurement unit, and then an inner-outer-loop proportion integration differentiation (PID) controller used the self-motion estimation as feedback signal. Unlike the traditional host-based control system architecture, the motion states are estimated through an onboard embedded computer and the control algorithm is operated through an onboard flight control board. Difficulty as the embedded control system architecture platform is, it is very useful for autonomous control flight. Experiment results are included to demonstrate the good performance of the proposed design. Key words：quadrotor unmanned aerial vehicle；vision；self-motion estimation；autonomous control
60
机械工程学报
第 51 卷第 9 期期
模机架基础上自行组装。该四旋翼无人机起飞质量 为 1.4 kg，有效负载为 5 N。
图 1 四旋翼无人机飞行试验平台
本试验平台采用嵌入式控制系统架构，如图 2 所示。安装在无人机底部的摄像头用于采集图像信 息，集成惯性导航单元和气压计用于采集姿态角和 高度信息，这两部分信息通过 RS232 串口传输到机 载 Atom 嵌入式计算机。Atom 嵌入式计算机运行 Linux 系统，利用编写的无人机定位导航软件程序 根据图像、姿态角和高度信息对无人机飞行运动状 态进行实时估计。此估计的结果作为外环反馈量传 输到飞行控制器。飞行控制器的输出量传输到电子 调速器对四个旋翼的无刷电动机进行控制。
1 嵌入式控制架构飞行试验平台
本文搭建了一个嵌入式控制架构试验平台，该 平台优化了闭环控制系统的实现，可以实现无地面 站参与时全自主飞行控制。
光流的计算量相对于其他非视觉算法较大，因 而大多数研究组采用地面站计算机参与光流计算， 而本文使用机载嵌入式计算机进行计算，可脱离地 面站。由于四旋翼无人机体积小、载重轻，因此对 嵌入式计算机的尺寸、功耗、质量等提出了更为苛 刻的要求，工程软件设计难度较高，硬件实现更为 复杂。
第 51 卷第 9 期 2015 年 5 月
机械工程学报
JOURNAL OF MECHANICAL ENGINEERING
Vo l . 5 1 N o . 9
May
2015
DOI：10.3901/JME.2015.09.058
基于视觉的小型四旋翼无人机自主飞行控制*
鲜 斌 1, 2, 3 刘 洋 1, 2, 3 张 旭 1, 2, 3 曹美会 1, 2, 3
视觉方法是一种较为适用于小型四旋翼无人 机的定位方法。视觉传感器质量可小至约 0.01 kg， 极大地减轻了小型四旋翼无人机负载重量。其次， 视觉方法可以应用于多种环境之中，在无 GPS 信号 的室内环境和室外环境均可应用，并且其测量范围 大大优于激光雷达(小型四旋翼无人机最多可负载 30 m 激光雷达)。
(1. School of Electrical Engineering and Automation, Tianjin University, Tianjin 300072; 2. Institute of Robotics and Autonomous System, Tianjin University, Tianjin 300072; 3. Tianjin Key Laboratory of Process Measurement and Control, Tianjin 300072)
图 2 嵌入式控制系统架构示意图
关键词：四旋翼无人机；视觉；运动状态估计；自主控制
中图分类号：V279
Autonomous Control of a Micro Quadrotor Unmanned Aerial Vehicle Using Optical Flow
XIAN Bin1, 2, 3 LIU Yang1, 2, 3 ZHANG Xu1, 2, 3 CAO Meihui1, 2, 3
0 前言
近年来，随着小型传感器技术、计算机技术、 自动控制理论以及通信技术的发展，针对小型四旋 翼无人机的研究逐渐成为无人机研究领域中的一个 热点[1]。四旋翼无人机具有成本低、安全性强、质 量轻、体积小、灵活机动等特点，因此其在军事和 民用领域已得到广泛的应用[2]。
稳定飞行控制的必要条件是获取无人机的实
与国内现有研究方法相比，本论文的主要创新 点在于如下三方面：其一，采用机载嵌入控制器， 避免地面参与解算，实现全自主飞行控制；其二， 使用摄像头、结合光流算法进行运动状态估计，相 较于其他使用第一类光流传感器的控制方法[10-11]， 具有适用于多种飞行环境，算法扩展性强的优点； 其三，通过利用摄像头获取图像信息并结合机载小 型惯性导航单元进行处理，实现了无 GPS 信号环境 下的自主飞行控制。本文中提出的飞行运动状态估 计和控制试验平台设计，经试验验证，取得了良好 的控制效果，悬停试验结果显示无人机飞行轨迹 91.25%的点落在半径为 0.35 m 的圆形区域内，实现 了对四旋翼无人机进行精确的飞行控制。
采用基于地面站的控制架构试验平台，虽然取 得了较好的试验结果，但是其在闭环控制结构中引 入了将图像信息传输到地面站进行处理的过程，易 受到数据链路传输的干扰与延迟，限制了四旋翼无
人机的飞行范围。采用 FPGA 嵌入式平台，由于 FPGA 开发板尺寸过大，并不适宜装载在四旋翼无 人机上。
本文针对这些不足，采用了嵌入式控制系统架 构，将光流计算、运动估计、控制器等全部在机载 系统 Atom 计算机上完成，避免了对数据传输链路 的依赖，更好地实现了小型四旋翼无人机的自主飞 行控制。首先利用摄像头获取实时图像信息用于计 算光流数据，然后将光流数据通过机载计算机做进 一步处理，以去除噪声干扰和无人机本体姿态变化 等因素对水平光流的影响，继而设计内外环 PID 控 制器，实现了无人机的全自主飞行控制。
(1. 天津大学电气与自动化工程学院 天津 300072； 2. 天津大学机器人与自主系统研究所 天津 300072； 3. 天津市过程检测与控制重点实验室 天津 300072)
摘要：提出为实现小型四旋翼无人机自主飞行控制，设计一种基于视觉的飞行控制方法，并搭建嵌入式控制架构飞行试验平 台。在控制过程中，光流信息与姿态角信息进行融合用于估计无人机水平位置信息，利用获取到的水平位置信息作为内外环 结构的比例微分积分(Proportion integration differentiation, PID)控制器外环反馈信息。不同于传统的基于地面站的控制架构试 验平台，该飞行系统中采用了一个嵌入式控制架构的试验平台。该平台依靠机载嵌入计算机进行光流计算、运动状态估计， 并采用机载飞行控制器执行控制算法。这种嵌入式控制架构工程实现难度高，但更利于实现四旋翼无人机的全自主飞行控制。 试验结果表明，提出的设计方法取得了较好全自主飞行控制效果。
因此，近年来，许多国内外高校和研究机构都 开展了基于光流的小型四旋翼无人机飞行控制研 究，并取得了一些初步成果。这些研究大体上可以 分为两类：利用光流传感器获取光流信息进行控 制[10-11]和利用摄像头获取图像计算光流信息进行控 制[12-13]。在第二类方法中，比较著名的包括日本千 叶 大 学 KENDOU 等 [12] 和 澳 大 利 亚 国 立 大 学 HERISSE 等[13]。KENDOU 等基于光流实现了小型 无人机的自主起飞、悬停、路径跟踪和降落，并在 室内和室外分别进行了试验验证。其机载传感器包 括一个低分辨率摄像头(320 像素×240 像素)和一个 低功耗惯性测量单元，光流计算工作由地面计算机 完成。HERISSE 等基于光流实现了小型无人机的地 形跟踪(包括避障)、垂直起落和对移动平台的跟踪。 光流计算工作同样由地面计算机完成。其他学校， 例如东京大学 WATMAN 等[14]使用现场可编程门阵 列(Field-programmable gate array, FPGA)开发板实 现了光流计算。
月 2015 年 5 月
鲜 斌ຫໍສະໝຸດ Baidu：基于视觉的小型四旋翼无人机自主飞行控制
59
具备测量精度高、抗干扰能力强等优势，但其相对 小型四旋翼无人机负载而言传感器设备较重(例如， Hokuyo URG-04 重约 0.16 kg，典型小型四旋翼无人 机有效负载约为 5 N)，并且测量距离受限，仅适用 于室内环境。
* 天津市应用基础与前沿技术研究计划重点资助项目(14JCZDJC31900)。 20140621 收到初稿，20150107 收到修改稿
时运动状态信息，但是小型四旋翼无人机作为一种 空中机器人，其体积小、载重轻、飞行控制设计复 杂等特点在一定程度上限制了许多传统地面机器人 运动状态信息获取方法的使用。现有研究成果中， 全球定位系统(Global position system, GPS) 是一种 普遍应用于小型四旋翼无人机的定位方法[3-4]，它通 过无人机机载 GPS 接收机接收卫星发射信号，以获 得实时定位信息。然而，GPS 信号受电磁干扰影响， 在近地复杂环境、特别是室内环境中不可获取，因 此该方法主要应用于室外开阔环境中四旋翼无人机 的定位问题。激光雷达是一种较多应用于四旋翼无 人机室内定位导航的传感器设备[5]。激光雷达虽然
本文所搭建试验平台包括四旋翼无人机本体、 地面站、遥控器等。其中四旋翼无人机如图 1 所示， 搭载如下单元：① Logitech QuickCam Pro 4000 机 载摄像头，分辨率为 640 像素×480 像素；② 飞行 控制器，在该控制器上集成了惯性导航单元(IMU) 和气压计；③ Intel Atom 嵌入式计算机，主频为 1.6 GHz，2 GB 内存；④ 无线数据传输模块，用于 与地面站通信。整个四旋翼无人机为本研究组在航
Abstract：An autonomous control strategy is proposed and an embedded control system architecture platform is developed for a quadrotor unmanned aerial vehicle based on optical flow vision system. The self-motion estimation is obtained by fusing the optical flow data and data from the on-board inertial measurement unit, and then an inner-outer-loop proportion integration differentiation (PID) controller used the self-motion estimation as feedback signal. Unlike the traditional host-based control system architecture, the motion states are estimated through an onboard embedded computer and the control algorithm is operated through an onboard flight control board. Difficulty as the embedded control system architecture platform is, it is very useful for autonomous control flight. Experiment results are included to demonstrate the good performance of the proposed design. Key words：quadrotor unmanned aerial vehicle；vision；self-motion estimation；autonomous control
60
机械工程学报
第 51 卷第 9 期期
模机架基础上自行组装。该四旋翼无人机起飞质量 为 1.4 kg，有效负载为 5 N。
图 1 四旋翼无人机飞行试验平台
本试验平台采用嵌入式控制系统架构，如图 2 所示。安装在无人机底部的摄像头用于采集图像信 息，集成惯性导航单元和气压计用于采集姿态角和 高度信息，这两部分信息通过 RS232 串口传输到机 载 Atom 嵌入式计算机。Atom 嵌入式计算机运行 Linux 系统，利用编写的无人机定位导航软件程序 根据图像、姿态角和高度信息对无人机飞行运动状 态进行实时估计。此估计的结果作为外环反馈量传 输到飞行控制器。飞行控制器的输出量传输到电子 调速器对四个旋翼的无刷电动机进行控制。
1 嵌入式控制架构飞行试验平台
本文搭建了一个嵌入式控制架构试验平台，该 平台优化了闭环控制系统的实现，可以实现无地面 站参与时全自主飞行控制。
光流的计算量相对于其他非视觉算法较大，因 而大多数研究组采用地面站计算机参与光流计算， 而本文使用机载嵌入式计算机进行计算，可脱离地 面站。由于四旋翼无人机体积小、载重轻，因此对 嵌入式计算机的尺寸、功耗、质量等提出了更为苛 刻的要求，工程软件设计难度较高，硬件实现更为 复杂。
第 51 卷第 9 期 2015 年 5 月
机械工程学报
JOURNAL OF MECHANICAL ENGINEERING
Vo l . 5 1 N o . 9
May
2015
DOI：10.3901/JME.2015.09.058
基于视觉的小型四旋翼无人机自主飞行控制*
鲜 斌 1, 2, 3 刘 洋 1, 2, 3 张 旭 1, 2, 3 曹美会 1, 2, 3
视觉方法是一种较为适用于小型四旋翼无人 机的定位方法。视觉传感器质量可小至约 0.01 kg， 极大地减轻了小型四旋翼无人机负载重量。其次， 视觉方法可以应用于多种环境之中，在无 GPS 信号 的室内环境和室外环境均可应用，并且其测量范围 大大优于激光雷达(小型四旋翼无人机最多可负载 30 m 激光雷达)。
(1. School of Electrical Engineering and Automation, Tianjin University, Tianjin 300072; 2. Institute of Robotics and Autonomous System, Tianjin University, Tianjin 300072; 3. Tianjin Key Laboratory of Process Measurement and Control, Tianjin 300072)
图 2 嵌入式控制系统架构示意图
关键词：四旋翼无人机；视觉；运动状态估计；自主控制
中图分类号：V279
Autonomous Control of a Micro Quadrotor Unmanned Aerial Vehicle Using Optical Flow
XIAN Bin1, 2, 3 LIU Yang1, 2, 3 ZHANG Xu1, 2, 3 CAO Meihui1, 2, 3
0 前言
近年来，随着小型传感器技术、计算机技术、 自动控制理论以及通信技术的发展，针对小型四旋 翼无人机的研究逐渐成为无人机研究领域中的一个 热点[1]。四旋翼无人机具有成本低、安全性强、质 量轻、体积小、灵活机动等特点，因此其在军事和 民用领域已得到广泛的应用[2]。
稳定飞行控制的必要条件是获取无人机的实
与国内现有研究方法相比，本论文的主要创新 点在于如下三方面：其一，采用机载嵌入控制器， 避免地面参与解算，实现全自主飞行控制；其二， 使用摄像头、结合光流算法进行运动状态估计，相 较于其他使用第一类光流传感器的控制方法[10-11]， 具有适用于多种飞行环境，算法扩展性强的优点； 其三，通过利用摄像头获取图像信息并结合机载小 型惯性导航单元进行处理，实现了无 GPS 信号环境 下的自主飞行控制。本文中提出的飞行运动状态估 计和控制试验平台设计，经试验验证，取得了良好 的控制效果，悬停试验结果显示无人机飞行轨迹 91.25%的点落在半径为 0.35 m 的圆形区域内，实现 了对四旋翼无人机进行精确的飞行控制。
采用基于地面站的控制架构试验平台，虽然取 得了较好的试验结果，但是其在闭环控制结构中引 入了将图像信息传输到地面站进行处理的过程，易 受到数据链路传输的干扰与延迟，限制了四旋翼无
人机的飞行范围。采用 FPGA 嵌入式平台，由于 FPGA 开发板尺寸过大，并不适宜装载在四旋翼无 人机上。
本文针对这些不足，采用了嵌入式控制系统架 构，将光流计算、运动估计、控制器等全部在机载 系统 Atom 计算机上完成，避免了对数据传输链路 的依赖，更好地实现了小型四旋翼无人机的自主飞 行控制。首先利用摄像头获取实时图像信息用于计 算光流数据，然后将光流数据通过机载计算机做进 一步处理，以去除噪声干扰和无人机本体姿态变化 等因素对水平光流的影响，继而设计内外环 PID 控 制器，实现了无人机的全自主飞行控制。
(1. 天津大学电气与自动化工程学院 天津 300072； 2. 天津大学机器人与自主系统研究所 天津 300072； 3. 天津市过程检测与控制重点实验室 天津 300072)
摘要：提出为实现小型四旋翼无人机自主飞行控制，设计一种基于视觉的飞行控制方法，并搭建嵌入式控制架构飞行试验平 台。在控制过程中，光流信息与姿态角信息进行融合用于估计无人机水平位置信息，利用获取到的水平位置信息作为内外环 结构的比例微分积分(Proportion integration differentiation, PID)控制器外环反馈信息。不同于传统的基于地面站的控制架构试 验平台，该飞行系统中采用了一个嵌入式控制架构的试验平台。该平台依靠机载嵌入计算机进行光流计算、运动状态估计， 并采用机载飞行控制器执行控制算法。这种嵌入式控制架构工程实现难度高，但更利于实现四旋翼无人机的全自主飞行控制。 试验结果表明，提出的设计方法取得了较好全自主飞行控制效果。
因此，近年来，许多国内外高校和研究机构都 开展了基于光流的小型四旋翼无人机飞行控制研 究，并取得了一些初步成果。这些研究大体上可以 分为两类：利用光流传感器获取光流信息进行控 制[10-11]和利用摄像头获取图像计算光流信息进行控 制[12-13]。在第二类方法中，比较著名的包括日本千 叶 大 学 KENDOU 等 [12] 和 澳 大 利 亚 国 立 大 学 HERISSE 等[13]。KENDOU 等基于光流实现了小型 无人机的自主起飞、悬停、路径跟踪和降落，并在 室内和室外分别进行了试验验证。其机载传感器包 括一个低分辨率摄像头(320 像素×240 像素)和一个 低功耗惯性测量单元，光流计算工作由地面计算机 完成。HERISSE 等基于光流实现了小型无人机的地 形跟踪(包括避障)、垂直起落和对移动平台的跟踪。 光流计算工作同样由地面计算机完成。其他学校， 例如东京大学 WATMAN 等[14]使用现场可编程门阵 列(Field-programmable gate array, FPGA)开发板实 现了光流计算。
月 2015 年 5 月
鲜 斌ຫໍສະໝຸດ Baidu：基于视觉的小型四旋翼无人机自主飞行控制
59
具备测量精度高、抗干扰能力强等优势，但其相对 小型四旋翼无人机负载而言传感器设备较重(例如， Hokuyo URG-04 重约 0.16 kg，典型小型四旋翼无人 机有效负载约为 5 N)，并且测量距离受限，仅适用 于室内环境。
* 天津市应用基础与前沿技术研究计划重点资助项目(14JCZDJC31900)。 20140621 收到初稿，20150107 收到修改稿
时运动状态信息，但是小型四旋翼无人机作为一种 空中机器人，其体积小、载重轻、飞行控制设计复 杂等特点在一定程度上限制了许多传统地面机器人 运动状态信息获取方法的使用。现有研究成果中， 全球定位系统(Global position system, GPS) 是一种 普遍应用于小型四旋翼无人机的定位方法[3-4]，它通 过无人机机载 GPS 接收机接收卫星发射信号，以获 得实时定位信息。然而，GPS 信号受电磁干扰影响， 在近地复杂环境、特别是室内环境中不可获取，因 此该方法主要应用于室外开阔环境中四旋翼无人机 的定位问题。激光雷达是一种较多应用于四旋翼无 人机室内定位导航的传感器设备[5]。激光雷达虽然