四旋翼无人机强化学习非线性姿态控制方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011125416.8(22)申请日 2020.10.20
(71)申请人 天津大学
地址 300072 天津市南开区卫津路92号(72)发明人 鲜斌　张诗婧　
(74)专利代理机构 天津市北洋有限责任专利代
理事务所 12201
代理人 程毓英(51)Int.Cl.
G05D 1/08(2006.01)
(54)发明名称
四旋翼无人机强化学习非线性姿态控制方法
(57)摘要
本发明涉及一种四旋翼无人机强化学习非线性姿态控制方法，针对四旋翼无人机动力学模型具有未建模部分的四旋翼无人机姿态控制问题，设计基于执行‑评价神经网络的强化学习控
制器用于估计模型未建模部分，
同时设计基于多变量super ‑twisting的非线性鲁棒控制器，实现
四旋翼无人机的姿态稳定控制。

权利要求书4页 说明书10页 附图2页
CN 112363519 A 2021.02.12
C N 112363519
A
1.一种四旋翼无人机强化学习非线性姿态控制方法，针对四旋翼无人机动力学模型具有未建模部分的四旋翼无人机姿态控制问题，设计基于执行-评价神经网络的强化学习控制器用于估计模型未建模部分，同时设计基于多变量super-twisting的非线性鲁棒控制器，实现四旋翼无人机的姿态稳定控制，包括如下设计步骤：
步骤1)建立四旋翼无人机动力学模型；
采用牛顿-欧拉法建立四旋翼无人机动力学模型，表达式如下式：
式(1)中各变量定义如下：M(η)代表惯性矩阵，代表科里奥利力和离心力矩阵，
代表转动阻尼系数矩阵，其中K1、K2和K3均为未知常数；Δ(η)表示四旋翼无人机动力学模型中未建模动态；
表示无人机的姿态角，其中φ(t)为横滚角，θ(t)为俯仰角，
ψ(t)为偏航角；代表控制输入力矩，其中τφ(t)代表横滚角通道控制输入力矩，τθ(t)代表俯仰角通道控制输入力矩，τψ(t)代表偏航角通道控制输入力矩；式(1)中由惯性坐标系到机体坐标系的角速度转移矩阵R r(t)的定义如下：
式(1)中的动力学模型存在参数不确定部分，用下式表示：
式(3)中，M0、C0为M(η)和的最佳估计值，M△和C△为参数不确定部分；
式(1)改写为如下形式：
其中：
为实现无人机的姿态角控制，定义四旋翼无人机姿态跟踪误差向量
及滑模面如下：
其中为可调正实数增益，为期望的姿态轨
迹；对σ(t)求一阶时间导数并代入式(4)得：
为方便后续计算，定义函数为四旋翼无人机动力学模型的未建模部分，其形式如下：
因此，四旋翼无人机动力学模型改写为：
然后，针对式(9)的四旋翼无人机动力学模型进行基于强化学习和多变量super-twisting控制算法的非线性控制器的设计；
步骤2)设计强化学习控制器部分；
强化学习控制器采用执行-评价(Actor-Critic)神经网络方法进行设计，此部分包括两个神经网络——执行神经网络和评价神经网络的设计，在进行两个神经网络设计之前，需要设计一个性能指标函数，用以评价结果，其形式如下：
其中，且均为正定对称常数矩阵；
式(10)的极小值形式为Bellman方程,其形式为:
其中根据式(11)，Hamiltonian函数定义为如下形式：
定义最优控制策略τ*对应的最优状态值函数为：
则Σ*满足如下Hamiltonian方程：
令将式(9)代入式(14)得到HJB(Hamilton-Jacobi-bellman)方程，其形式如下：
minH＝r+(▽Σ*)T(γ+Gτ*)＝0. (15)
求解HJB方程，得到最优控制量τ*如下：
设四旋翼无人机动力学模型中未建模部分给四旋翼无人机带来的影响用B表
示；控制目标为在有限时间内令故四旋翼无人机动力学模型中未建模部分
的最优补偿值为：
四旋翼无人机系统为非线性系统，而对于非线性系统而言，使用执行-评价神经网络的方法来估计B*，其中评价神经网的输出值用于逼近最优状态值函数Σ*(σ)，其具体形式表示如下：
其中，W c为理想的评价神经网络权重，μc(σ)为评价神经网络激励函数，为评价神经网络的逼近误差；
令为W c的最优估计值，则有：
定义权重估计误差为代入式(11)可得：
其中设计的更新率为：
其中，βc为评价神经网络的学习率，βc>0，为方便后续分析，定义
由此可得：
执行神经网络用于补偿四旋翼无人机动力学模型中未建模部分给四旋翼无人
机带来的影响B(x)，其中表示状态变量；使用执行神经网络表示B(x)的形式如下：
其中W a为执行神经网络的理想权重矩阵，μα(x)为执行神经网络激励函数，为执行神经网络的逼近误差；设计执行神经网络为：
将式(19)代入式(17)可得：
将式(25)代入式(24)定义误差为：
根据梯度下降算法，设计执行神经网络权重的更新率为：
其中βa>0为执行神经网路的学习率；定义执行神经网络的权重误差并将其代入式(27)得到的更新率为：
其中
步骤3)控制率设计；
根据执行-评价神经网络设计，执行神经网络补偿四旋翼无人机动力学模型中未建模部分带来的影响，将式(23)带入式(9)可以得到：
控制量τ设计为：
其中为虚拟控制量；用多变量super-twisting算法进行设计：
其中k1,k2,k3,k4为正控制增益；
将式(31)代入式(29)得到:
其中，
当增益k1、k2、k3和k4满足式(33)时，四旋翼无人机的姿态跟踪误差能够在有限时间内收敛到零；
式(33)中和具体形式如下：
式(34)中
四旋翼无人机强化学习非线性姿态控制方法
技术领域
[0001]本发明涉及四旋翼无人机的姿态精确控制。

针对四旋翼无人机系统动力学模型中未建模部分对系统控制性能的影响，以及基于系统动力学模型的控制方法对精确模型的依赖，提出一种基于强化学习和二阶滑模控制算法的非线性姿态控制器,实现了无人机姿态控制误差有限时间收敛的结果。

具体涉及四旋翼无人机有限时间收敛姿态控制方法。

背景技术
[0002]传统线性控制算法，如PID算法、LQR算法等已经在四旋翼无人机上有较广泛的应用。

但是，线性控制算法只保证系统在平衡点附近的状态有较好的控制效果，在处理非线性多变量控制系统、保证系统抗干扰能力等方面都难以取得满意的效果，这也限制了系统动态性能和稳态性能的提高(期刊：飞行力学；著者：李一波，李振，张晓东；出版年月：2011年4月；文章题目：无人机飞行控制方法研究现状与发展；页码：1-5)。

为此，许多非线性控制算法被用于四旋翼无人机控制。

如采用自适应滑模控制方法实现对四旋翼无人机的控制，实验结果显示自适应滑模控制方法在处理传感器噪声和模型不确定性方面有较好的性能(期刊：International Journal of Control,Automation and Systems；著者：Daewon Lee，H Jin Kim，Shankar Sastry；出版年月：2009年5月；文章题目：Feedback linearization vs.adaptive sliding mode control for a quadrotor helicopter；页码：419–428)。

但是，传统一阶滑模控制算法存在抖振问题，不利于系统长期稳定运行。

于是，一些研究人员开始利用super-twisting鲁棒控制设计方法。

理论上，这种算法可以消除抖振，被不少研究人员用于四旋翼无人机控制(期刊：Journal ofthe Franklin Institute；著者：Laloui Derafa，Abdelaziz Benallegue，LFridman；出版年月：2012年3月；文章题目：Super twisting control algorithm for the attitude tracking ofa four rotors uav；页码：685–699)。

还有的研究人员考虑到四旋翼无人机的多变量特性，提出了一种多变量的类super-twisting算法，并将其用于四旋翼无人机姿态控制(期刊：IEEE Transactions on Industrial Electronics；著者：Bailing Tian，Lihong Liu，Hanchen Lu，等；出版年月：2017年8月；文章题目：Multivariable finite time attitude control for quadrotor uav:Theory and experimentation；页码：2567–2577)。

[0003]随着机器学习研究工作的快速发展，强化学习等学习算法也被用于四旋翼无人机控制设计。

考虑到安全飞行等问题，有研究人员首先利用实际的飞行数据进行模型辨识，得到离线学习的状态转移模型或者随机马尔科夫模型，然后采用增强学习算法离线迭代出最优控制策略，最后将最优控制策略用于无人机控制(会议：IEEE RSJ International Conference on Intelligent Robots and Systems；著者：Waslander，Gabriel M Hoffmann，Jung Soon Jang，等；出版年月：2005年；文章题目：Multi-agent quadrotor testbed control design:Integral sliding mode vs.reinforcement learning；页码：3712–3717)。

还有的学者在四旋翼无人机仿真环境下，利用强化学习训练神经网络，并将训练好的神经网络应用于无人机控制中，实现了无人机抛飞悬停的飞行任务(期刊：IEEE
Transactions on Industrial Electronics；著者：Jemin Hwangbo，Inkyu Sa，Roland Siegwa rt，等；出版年月：2017年6月；文章题目：Control ofa quad rotor with reinforcement learning；页码：2096–2103)。

离线学习的方法虽然取得了良好的无人机控制效果，但是此类研究较少提供稳定性证明，且离线学习耗时长，计算量大。

另一方面，部分离线学习方法在仿真环境下进行，无法完全模拟真实环境中的各种扰动，因此学习出来的控制算法泛化能力不足。

如Hwangbo等人的实验虽然在悬停任务上取得了良好的效果，但其轨迹跟踪的效果不如非线性控制器取得的效果。

为此，在线学习的增强学习算法也被用于四旋翼无人机控制。

如Sugimoto等在无人机底部安装摄像头，用于识别地面上的标志信息，之后在地面站上利用强化学习算法控制无人机保持地面标志始终在摄像头视野中央，由此实现四旋翼无人机的悬停实验(会议：20163rd International Conference on Information Science and Control Engineering(ICISCE)；著者：Takuya Sugimoto，Manabu Gouko；出版年月：2016年；文章题目：Acquisition ofhovering by actual uav using reinforcement learning；页码：148–152)。

[0004]考虑到上述增强学习算法用于无人机控制时存在计算时间长，计算量大等问题，有学者基于误差符号函数积分的鲁棒(Robust Integral ofthe Signum oferror，RISE)控制算法和增强学习算法设计控制器，并将其用于无人直升机姿态控制，取得了良好的控制效果(期刊：控制理论与应用；著者：安航，鲜斌；出版年月：2019年4月；文章题目：无人直升机的姿态增强学习控制设计与验证；页码：516–524)。

不过，这种方法在四旋翼无人机上应用较少。

[0005]关于四旋翼无人机控制的研究，目前研究人员已经取得了一定成就，但也存在一些局限：1)已有的控制设计通常忽略四旋翼无人机动力学模型中未建模部分，但基于sixuanyiwure耐基动力学模型的控制方法对精确模型存在较高依赖。

因此在进行四旋翼无人机姿态精确控制时，应该考虑四旋翼无人机未建模部分的影响。

2)一些基于强化学习的控制方法，通常利用飞行数据进行离线训练，由此得到的控制器泛化能力不足，难以保证四旋翼无人机在特殊环境下的飞行效果。

发明内容
[0006]为克服现有技术的不足，本发明旨在提出针对四旋翼无人机的一种基于增强学习的非线性姿态控制器。

本发明考虑了四旋翼无人机动力学模型中的未建模部分，并应用强化学习方法和多变量super-twisting算法对四旋翼无人机进行在线训练解决控制器泛化能力不足的问题。

为此，本发明采取的技术方案是，四旋翼无人机有限时间收敛姿态控制方法，步骤如下：
[0007]1)建立四旋翼无人机动力学模型
[0008]本发明中无人机为X字形四旋翼无人机，并采用牛顿-欧拉法建立四旋翼无人机动力学模型，表达式如下式：
[0009]本发明采用牛顿-欧拉法建立四旋翼无人机动力学模型，表达式如下式：
[0010]
[0011]式(1)中各变量定义如下：M(η)代表惯性矩阵，代表科里奥利力和离心力
矩阵，代表转动阻尼系数矩阵，其中K1、K2和K3均为未知常数。

Δ(η)表示四旋翼无人机动力学模型中未建模动态，且满足||Δ(η)||≤ρ(| |η||)||η||，其中ρ为正实数，这里所涉及范数均为2范数。

表示无人机的姿态角，其中φ(t)为横滚角，θ(t)为俯仰角，ψ(t)为偏航角。

代表控制输入力矩，其中τφ(t)代表横滚角通道控制输入力矩，τθ(t)代表俯仰角通道控制输入力矩，τψ(t)代表偏航角通道控制输入力矩。

式(1)中由惯性坐标系到机体坐标系的角速度转移矩阵R r(t)的定义如下：
[0012]
[0013]式(1)中的动力学模型存在参数不确定部分，可用下式表示：
[0014]
[0015]式(3)中，M0、C0为M(η)和的最佳估计值，M△和C△为参数不确定部分。

[0016]式(1)可以改写为如下形式：
[0017]
[0018]其中：
[0019]
[0020]为实现无人机的姿态角控制，定义四旋翼无人机姿态跟踪误差向量
及滑模面如下：
[0021]
[0022]其中为可调正实数增益，为期望的姿态轨迹。

对σ(t)求一阶时间导数并代入式(4)得：
[0023]
[0024]为方便后续计算，定义函数为四旋翼无人机动力学模型的未建模部分，其形式如下：
[0025]
[0026]因此，四旋翼无人机动力学模型可以改写为为：
[0027]
[0028]然后，针对式(9)的四旋翼无人机动力学模型进行基于强化学习和多变量super-twisting控制算法的非线性控制器的设计。

[0029]2)强化学习控制器部分设计
[0030]强化学习控制器采用执行-评价(Actor-Critic)神经网络方法进行设计，因此此部分包括两个神经网络——执行神经网络和评价神经网络的设计。

在进行两个神经网络设计之前，需要设计一个性能指标函数，用以评价结果。

其形式如下：
[0031]
[0032]其中，且均为正定对称常数矩阵。

[0033]式(10)的极小值形式为Bellman方程,其形式为:
[0034]
[0035]其中根据式(11)，Hamiltonian函数定义为如下形式：
[0036]
[0037]定义最优控制策略τ*对应的最优状态值函数为：
[0038]
[0039]则Σ*满足如下Hamiltonian方程：
[0040]
[0041]令将式(9)代入式(14)可以得到HJB(Hamilton-Jacobi-bellman)方程，其形式如下：
[0042]
[0043]求解HJB方程，得到最优控制量τ*如下：
[0044]
[0045]设四旋翼无人机动力学模型中未建模部分给四旋翼无人机带来的影响用B
表示。

根据式(6)-(9)可以看出，本文的控制目标为在有限时间内令故四旋翼无人机动力学模型中未建模部分的最优补偿值为：
[0046]
[0047]四旋翼无人机系统为非线性系统，而对于非线性系统而言，HJB方程是非线性偏微分方程，较难得到解析解。

因此本说明书使用执行-评价神经网络的方法来估计B*。

其中评价神经网的输出值用于逼近最优状态值函数Σ*(σ)，其具体形式表示如下：
[0048]
[0049]其中，W c为理想的评价神经网络权重，μc(σ)为评价神经网络激励函数，
为评价神经网络的逼近误差。

[0050]令为W c的最优估计值，则有：
[0051]
[0052]定义权重估计误差为代入式(11)可得：
[0053]
[0054]其中设计的更新率为：
[0055]
[0056]其中，βc为评价神经网络的学习率，为方便后续分析，定义
由此可得：
[0057]
[0058]根据前文叙述，执行神经网络用于补偿四旋翼无人机动力学模型中未建模部分
给四旋翼无人机带来的影响B(x)，其中表示状态变量。

使用执行神经网络表示B(x)的形式如下：
[0059]
[0060]其中W a为执行神经网络的理想权重矩阵，μa(x)为执行神经网络激励函数，为执行神经网络的逼近误差。

设计执行神经网络为：
[0061]
[0062]将式(19)代入式(17)可得：
[0063]
[0064]将式(25)代入式(24)定义误差为：
[0065]
[0066]根据梯度下降算法，设计执行神经网络权重的更新率为：
[0067]
[0068]其中βa>0为执行神经网路的学习率。

定义执行神经网络的权重误差并将其代入式(27)得到的更新率为：
[0069]
[0070]其中
[0071]3)非线性控制器部分设计
[0072]根据前文的执行-评价神经网络设计，执行神经网络可以补偿四旋翼无人机动力学模型中未建模部分带来的影响。

将式(23)带入式(9)可以得到：
[0073]
[0074]控制量τ设计为：
[0075]
[0076]其中为虚拟控制量。

用多变量super-twisting算法进行设计：
[0077]
[0078]其中k1,k2,k3,k4为正控制增益。

[0079]本发明的特点及有益效果是：
[0080]本发明针对四旋翼无人机建立了含有未建模部分的动力学模型，设计了一种基于强化学习和多变量super-twisting控制算法的强化学习非线性姿态控制器，实现了无人机姿态误差的有限时间收敛控制，提高了四旋翼无人机系统的鲁棒性，实现了对四旋翼无人机姿态的精准控制。

附图说明：
[0081]图1是本发明采用的四旋翼无人机系统示意图；
[0082]图2是采用控制方案后四旋翼无人机飞行过程中三个姿态角的曲线图；
[0083]图3是采用控制方案后在受到外部干扰时四旋翼无人机飞行过程中三个姿态角的曲线图。

具体实施方式
[0084]本发明采用的技术方案是：建立一种包含系统未建模部分的四旋翼无人机动力学模型，并设计相应的强化学习非线性姿态控制器，包括如下步骤：
[0085]首先，需要建立四旋翼无人机动力学模型。

图1为本文采用的四旋翼无人机系统示意图。

本发明中无人机为X字形四旋翼无人机，并采用牛顿-欧拉法建立四旋翼无人机动力学模型，表达式如下式：
[0086]
[0087]式(1)中各变量定义如下：M(η)代表惯性矩阵，代表科里奥利力和离心力
矩阵，代表转动阻尼系数矩阵，其中K1、K2和K3均为未知常数。

Δ(η)表示四旋翼无人机动力学模型中未建模动态，且满足||Δ(η)||≤ρ(| |η||)||η||，其中ρ为正实数，在本权利要求书中所涉及范数均为2范数。

表示无人机的姿态角，其中φ(t)为横滚角，θ(t)为俯仰角，
ψ(t)为偏航角。

代表控制输入力矩，其中τφ(t)代表横滚角通道控制输入力矩，τθ(t)代表俯仰角通道控制输入力矩，τψ(t)代表偏航角通道控制输入力矩。

式(1)中由惯性坐标系到机体坐标系的角速度转移矩阵R r(t)的定义如下：
[0088]
[0089]式(1)中的动力学模型存在参数不确定部分，可用下式表示：
[0090]
[0091]式(3)中，M0、C0为M(η)和的最佳估计值，M△和C△为参数不确定部分。

[0092]式(1)可以改写为如下形式：
[0093]
[0094]其中：
[0095]
[0096]为实现无人机的姿态角控制，定义四旋翼无人机姿态跟踪误差向量
及滑模面如下：
[0097]
[0098]其中为可调正实数增益，为期望的姿态轨迹。

对σ(t)求一阶时间导数并代入式(4)得：
[0099]
[0100]为方便后续计算，定义函数为四旋翼无人机动力学模型的未建模部分，其形式如下：
[0101]
[0102]因此，四旋翼无人机动力学模型可以改写为为：
[0103]
[0104]然后，针对式(9)的四旋翼无人机动力学模型进行基于强化学习和多变量super-twisting控制算法的非线性控制器的设计。

[0105]强化学习控制器采用执行-评价(Actor-Critic)神经网络方法进行设计，因此此部分包括两个神经网络——执行神经网络和评价神经网络的设计。

在进行两个神经网络设计之前，需要设计一个性能指标函数，用以评价结果。

其形式如下：
[0106]
[0107]其中，且均为正定对称常数矩阵。

[0108]式(10)的极小值形式为Bellman方程,其形式为:
[0109]
[0110]其中根据式(11)，Hamiltonian函数定义为如下形式：
[0111]
[0112]定义最优控制策略τ*对应的最优状态值函数为：
[0113]
[0114]则Σ*满足如下Hamiltonian方程：
[0115]
[0116]令将式(9)代入式(14)可以得到HJB(Hamilton-Jacobi-bellman)方程，其形式如下：
[0117]
[0118]求解HJB方程，得到最优控制量τ*如下：
[0119]
[0120]设四旋翼无人机动力学模型中未建模部分给四旋翼无人机带来的影响用B
表示。

根据式(6)-(9)可以看出，本文的控制目标为在有限时间内令故四旋翼无人机动力学模型中未建模部分的最优补偿值为：
[0121]
[0122]四旋翼无人机系统为非线性系统，而对于非线性系统而言，HJB方程是非线性偏微分方程，较难得到解析解。

因此本说明书使用执行-评价神经网络的方法来估计B*。

其中评价神经网的输出值用于逼近最优状态值函数Σ*(σ)，其具体形式表示如下：
[0123]
[0124]其中，W c为理想的评价神经网络权重，μc(σ)为评价神经网络激励函数，
为评价神经网络的逼近误差。

[0125]令为W c的最优估计值，则有：
[0126]
[0127]定义权重估计误差为代入式(11)可得：
[0128]
[0129]其中设计的更新率为：
[0130]
[0131]其中，βc为评价神经网络的学习率，为方便后续分析，定义
由此可得：
[0132]
[0133]根据前文叙述，执行神经网络用于补偿四旋翼无人机动力学模型中未建模部分
给四旋翼无人机带来的影响B(x)，其中表示状态变量。

使用执行神经网络表示B(x)的形式如下：
[0134]
[0135]其中W a为执行神经网络的理想权重矩阵，μa(x)为执行神经网络激励函数，
为执行神经网络的逼近误差。

设计执行神经网络为：
[0136]
[0137]将式(19)代入式(17)可得：
[0138]
[0139]将式(25)代入式(24)定义误差为：
[0140]
[0141]根据梯度下降算法，设计执行神经网络权重的更新率为：
[0142]
[0143]其中βa>0为执行神经网路的学习率。

定义执行神经网络的权重误差并将其代入式(27)得到的更新率为：
[0144]
[0145]其中
[0146]根据前文的执行-评价神经网络设计，执行神经网络可以补偿四旋翼无人机动力学模型中未建模部分带来的影响。

将式(23)带入式(9)可以得到：
[0147]
[0148]控制量τ设计为：
[0149]
[0150]其中为虚拟控制量。

用多变量super-twisting算法进行设计：
[0151]
[0152]其中k1,k2,k3,k4为正控制增益。

[0153]将式(31)代入式(29)得到:
[0154]
[0155]其中，
[0156]可以证明，当增益k1、k2、k3和k4满足式(33)时，四旋翼无人机的姿态跟踪误差能够在有限时间内收敛到零。

[0157]
[0158]式(33)中和具体形式如下：
[0159]
[0160]式(34)中
[0161]下面给出具体实施实例：
[0162]一、实验平台介绍
[0163]实验平台采用真实的四旋翼无人机为被控对象，并在无人机上加载了真实的姿态
传感器，由此可以得到真实且直观的无人机姿态控制效果，也使结果更贴近实际飞行情况。

同时该平台利用网络建立了上位机、目标机及监测计算机之间的通信，方便数据交互及控制。

[0164]二、飞行实验结果
[0165]为验证本发明所提出的非线性姿态控制器的有效性及可实施性，本研究在上述实验平台上进行了四旋翼无人机姿态镇定实验。

其控制目标为无人机三个姿态角在有限时间内趋近于零，即：
[0166]
[0167]且受到外部干扰时，依旧可以恢复到稳定状态。

[0168]本实验平台涉及到的参数值为转动惯量J＝diag[1.34,1.31,2.54]T×10-2kg·m2，半轴距l＝0.225m，升力-转矩系数c＝0.25，质量m＝1.5kg。

[0169]从图2可以看出，使用强化学习非线性姿态控制器，可以将误差控制在±1°内。

从图3可以看出，当外部干扰达到40°时，依旧可以回到稳定状态。

因此，本发明设计的四旋翼无人机强化学习非线性姿态控制器拥有良好的鲁棒性，且可以对姿态角进行精确控制。

图1
图2
图3。