最优控制问题求解方法综述

1) 最小值原理是对经典变分法的发展，最小值原理放宽了对控制函数的要求。
2) 最小值原理没有提出哈密顿函数 H 对控制函数可微的要求，因此其应用条件
进一步扩宽了，并且最小值原理所求得的最优控制使哈密顿函数 H 达到全局、
绝对最大值。
3) 最小值原理是最优控制问题的必要条件，并非充分条件。
4) 利用最小值原理和经典变分法求解最优控制问题时，除了控制方程的形式不
问题才是行之有效的。在许多实际控制问题中，控制函数的取值常常受到封闭性
的边界限制，如方向舵只能在两个极限值范围内转动，电动机的力矩只能在正负
的最大值范围内产生等。因此，古典变分法对于解决许多重要的实际最优控制问 题，是无能为力的。 2.2 极小值原理
利用前面介绍的变分法求解最优控制问题时 u(t) 在一给定的开集上，而不受
cope with problems represented by
cope with more general problems
differential equation
图 1、三种最优控制方法关系图
4、总结
最优控制理论的实现，离不开一系列的最优化方法，变分法、极小值原理、 动态规划作为最优控制解决方法的基础，已经有广泛的应用，最小时间问题，最 小能量问题，跟踪问题等都凸显了最优控制理论的重要性。相信随着对这些问题 的研究和探索的不断深入，最优控制技术将越来越成熟和实用。
N 1
N 1
J
N
VN
[ x(0)]
min {
{u (k )} k 0
L[ x(k ),
u (k ),
k ]}
min {L[x(0),
u (0)u ( N 1)
u(0),0]
L[x(k), u(k), k]}
k 1
在连续系统的动态规划中，其求解方法如下： 给出被控系统状态方程
•
x(t) f [x(t),u(t),t], x Rn ,u Rm ,t [t0,t f ] u(t) U Rm ,t [t0 ,t f ] x(t0 ) x0 ,t f 给定，x(t f )可变
The calculus of variations The minimum principle Dynamic programming
Applicable to subset constraint to control
Applicable to subset constraint to control
对于没有对泛函的极值函数附加任何条件的求解方法，即无约束条件下的求 解方法，我们可以利用欧拉方程求解，在一般性情况下，我们可以利用一下步骤 求解：
求以下泛函极值问题： J
tf
L[
x(t
),
•
x(tHale Waihona Puke Baidu
),
t
]dt,
x
R
，其中
x(t
)
是二阶连续可
t0
微函数，满足固定边界条件， x(t0 ) x0 , x(t f ) x f 。
对于动态系统，当控制无约束时，采用经典微分法或经典变分法；当控制有 约束是，采用极值原理或者动态规划；如果是线性的，性能指标是二次型形式的， 则可采用线性二次型最优控制问题求解。
2、最优控制的求解方法
2.1 变分法 变分法是求解泛函极值的一种经典方法，也是解决最优控制问题的本质方
法，是研究最优控制问题的一种重要工具。掌握变分法的基本原理，还有助于理 解以最小值原理和动态规划等最优控制理论的思想和内容。
V [ x(t ), t ]
V [ x(t ), t ]
min{L[x(t),u(t),t]
f [x(t),u(t),t]}
t
u (t )
xT
由该方程便可求得连续动态系统的动态规划最优解。
3、三种方法之间的相互关系
动态规划法、极小值原理和变分法，都是求解最优控制问题的重要方法。由 动态规划的哈密顿-雅克比方程，可以推得变分法中的欧拉方程和横截条件：也 可以推得极小值原理的必要条件。 变分法对解决开集约束的最优控制问题十分有效，但对于处理闭集性约束就无能
最优控制问题求解方法综述
学院：信息科学与工程学院 专业班级： 学号： 姓名: 指导老师：
2013年4月27日
最优控制问题求解方法综述
摘要：最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学 科。本文阐述了最优控制问题的基本概念，解决最优控制问题的主要方法有古典 变分法、极小值原理和动态规划法。本文着重讲解各种方法的特点，适用范围， 可求解问题的种类以及各方法之间的联系等。 关键字：最优控制；变分法；极小值原理；动态规划
•
H
通过求解协态方程（costate equation）：
x
H 0 极值条件（extremal condition）： x
边界条件（boundary condition）： x(t0 ) x0, x(t f ),t f 0
(t f ) 横截条件
T , x(t f ) x(t f ) t f
同外，其余条件都是相同的。
5) 又最小值原理所得到的最优控制和最优控制轨线是一致的，只是协态变量是
互为异号的。
2.3 动态规划
动态规划是解决多阶段决策过程最优化问题的一种方法，是由贝尔曼提出的
一种非线性规划方法，它将多阶段决策问题转化成一系列简单的最优化问题。动
态规划首先将复杂的问题分解成相互联系的若干阶段，每一阶段都是一个最优化
其求解的欧拉方程为， L d L 0 ，
x
dt
•
x
也可以扩展为如下欧拉方程： L L L • L • • 0 ，由欧拉方程则可求
xi
t xi
xi xi
xi xi
得最优控制曲线。
而对于有约束条件的泛函极值求解方法，可以通过 Hamilton 方程，将有约
束的泛函极值求解转化为无约束的泛函极值求解，从而解决最优控制问题。其一
1、最优控制问题基本介绍
最优控制理论是现代控制理论的核心，控制理论的发展来源于控制对象的要 求。 随着社会科技的不断进步,最优控制理论的应用领域十分广泛，如时间最短、 能耗最小、线性二次型指标最优、跟踪问题、调节问题和伺服机构问题等。
所谓最优控制，就是寻找一个最优控制方案或最优控制律，使所研究的对象 （或系统）能最优地达到预期的目标。最优控制研究的主要问题就是根据建立的 被控对象的数学模型，选择一个容许的控制律，使得被控对象按预定要求运行， 并使给定的某一性能指标达到极小值（或极大值）。在现实动态系统中，动态最 优问题的目标函数是一个泛函，求解动态最优问题常用的方法有经典变分法，极 小值原理，动态规划和线性二次型最优控制法等。
子问题，然后逐阶段进行决策（确定与下段的关系），当所有阶段决策丢确定了，
整个问题的决策也就确定了。
动态规划法原理简明，适用于计算机求解，在许多理论问题的研究中，都应 用到动态规划的思路。
在离散系统的动态规划中，其一般求解方法如下： 设有离散动态系统，x(k 1) f [x(k), u(k), k], x, f R,u Rn , k 0,1,, N 1
边界条件与横截条件、极小值条件方程来求解。其中极小值条件方程与变分法中
H x*,u*, min H x*,u,
的极小值条件不同，为
u
。在极小值原理中还有一个
条件就是沿最有轨线哈密顿函数变化率 H x*(t f *),u*(t f *), *(t f *) 0 。
关于最小值原理的条件，有以下几点说面：
为力了。变分法与极小值原理都可以解微分方程所描述的变分问题作为目标，结 果得出了一组常微分方程所表示的必要条件。这三种方法要求的条件不同，其中 属动态规划要求最高。在所要求的条件都满足的情况下，使用这三种方法所得结 论相同。
Without bounded closed subset constraint to control
T
t f
H
(t
f
)
0 （这是
t
f
自由，末端
约束的情况下得出的横截条件，不同情况下横截条件会不相同）来求解最优控制
问题。
通过上面一般性情况可以求解简单的泛函极值问题，但是，变分法作为一种
古典的求解最优控制的方法，只有当控制向量 u（t）不受任何约束，其容许控
制集合充满整个 m 维控制空间，用古典变分法来处理等式约束条件下的最优控制
般性情况下求解方法如下：
•
设系统的状态方程为 x f [x(t),u(t),t] ， t [t0 ,t f ] ，体统的始端和终端满
tf
足 x(t0 ) x0 , x(t f ) 是可变的，系统的性能指标 J L[x(t),u(t),t]dt 。
t0
Hamilton Function： H L T f 。
N 1
x(0) x0 , x(N ) xN ，性能指标 J N L[x(k), u(k), k], J , L R k 0
N 1
N 1
VN j [x( j)]
J N j
min { L[x(k), u(k), k]} {u (k )} k j
L[x(k) , u(k) , k]
kJ
其他约束。而在许多最优控制问题中，控制函数 u(t) 却会受到某些限制。例如控
制量 u(t) 的各个分量不大于某些给定的值，即 | ui (t) | ai ,i 1,2,, m 。当控制量
受到上述不等式约束并且最优控制取值于闭集性约束的边界时，则可以利用极小
值原理进行求解。
利用极小值原理求解最优控制问题时，也是通过列出状态方程、协态方程、
目标函数为： J
[x(t f ),t f ]
tf t0
L[x(t),u(t),t]，定义V[x(t),t]为状态 x(t) ,时
间 t 时刻 J 的最优解。
V[x(t),t] J[x(t),t]
min{
uU
[x(t
f
),t
f
]
tf t0
L[x(t),u(t),t]}
可得哈密顿-雅戈比-贝尔曼方程为：