无模型自适应动态规划及其在多智能体协同控制中的应用

无模型自适应动态规划及其在多智能体协同控制中的应用

智能控制系统通过模拟人类获取知识的学习过程,可以有效弥补传统控制理论的不足,并且为克服复杂工业过程的技术难题提供新思路。自适应动态规划方法融合了神经网络、强化学习、自适应评价设计等思想,在应用于求解复杂系统的最优控制问题时可以避免动态规划算法中“维数灾难”问题。本文在自适应动态规划理论的基础研究上,对学习算法的收敛性和闭环系统的稳定性进行了深入探讨,并将

自适应动态规划应用于分布式多智能体协同控制。本文的主要工作如下:(1)借鉴优化问题的迭代寻优算法,将连续时间动态系统的最优控制问题描述为三个子问题,在此基础上提出了基于汉密尔顿泛函的理论框架。该理论框架从几何角度给出了最优控制问题迭代求解算法收敛的充要条件。最后利用李雅普诺夫理论证明了在该理论框架下闭环系统的稳定性。(2)针对离散时间动态系统的鲁棒控制问题,首先将该问题转化为辅助标称系统的最优控制问题,并从理论上给出了这种问题转化等价性的充分条件。然后仅利用系统在线运行数据,提出了一种基于数据的无模型自适应动态规划算法,解决了最优控制问题的求解依赖系统模型这一约束。同时也给出了无模型自适应动态规划算法收敛性和闭环系统稳定性证明。(3)针对领航者带有未知控制输入的异构多智能体系统输出同步控制问题,提出了无模型自适应动态规划,解决了目前已有方法对系统模型的依赖,设计了分布式输出同步控制律。此外,已有的多智能体输出同步控制律设计仅考虑了输出同步误差的渐近稳定性,本文提出的无模型自适应动态规划方法考虑了输出

同步误差的暂态性能,因而保证了该分布式输出同步控制律的最优性。

(4)针对具有多个领航者的异构多智能体系统的包含控制问题,利用

无模型自适应动态规划,设计了完全分布式的最优包含控制律。目前

已有的分布式控制律设计大多依赖于多智能体系统的全局拉普拉斯

矩阵特征值信息,而本文提出的分布式最优包含控制律设计解决了这

一问题,从而实现了真正意义上的完全分布式。最终给出了该算法的

收敛性和稳定性分析。