最优控制的计算方法

J (U K1 ) J (U K )
J (U K )
ε是指定小量，若满足则停止计算，否则，令 止计算的标准是
K K 1
gK
（7-4） ,转步骤2。另一停
（7-5）
例7-1 考虑下面的一阶非线性状态方程
x x 2 u x(0) 10
用梯度法寻找最优控制使下面的指标最小
J 1
1
(
x
通常把最优控制的计算方法分成两类：直接法和间接法。
直接法。
它的特点是，在每一步迭代中， 不一定要满足 U取(极t)小的必要条件，而
是逐步改善它，在迭代终了使它满足这个必要条件，而且，积分状态方程是
H 从 到 ，积分协态方程是从 到 ，这样就避免了去寻找缺少的协态初
值 的困难。常用的直接法有梯度法，二阶梯度法，共轭梯度法。
。
gK 0
5、
修正控制向量
U K 1 U K K g K
（7-3）
是K一个步长因子，它是待定的数。选择 使指标达到极小。这是一K维寻优
问题，有很多现成的优化方法可用。如分数法，0.618法，抛物线法，立方近似 法等。(7-3)表明迭代是沿着梯度 的负方向进行的。
gK
6、 计算是否满足下列指标
可以看到第一次迭代
就几
乎收敛到最优值， 与最优值
还有差异，而且一般说来愈接近
最优值收敛愈慢
0
x(t)
x
u1 (t)
10
最优值
u1 (t )
u 0 (t)
图7-1用梯度法寻找最优控制 1 t
x 0 (t)
x ' (t)和最优值
图7-2 最优状态的求解
t
梯度法应用得比较多，它的优点是： （1）简单，编制程序容易； （2）计算稳定可靠。
dx dt x2
1 t c
x t 0, ，确定x(积0分) 常数10
c 1 10
代入（7-12）式即可得
x(t) x0 (t) 10 10t 1
（7-11） （7-12）
（7-13）
3．将 x代0 (入t )协态方程（7-9），且由边界条件
向积分可得
0 (1) 0
从t=1倒
0 (t) 1 [1 (110t)2 /121]
，从 到
顺向积分状态方程， X (t0 )
X K (t)
3．
用 U、K (t)和X横截K (条t)件求得的终端值
程，求出协态向量 。
t f t0
K (t)
，从 到 反向 积(t分f )协态方
4．
计算哈密顿函数 对 的H梯度向量U
gK
gK
(
H
U
)K
H
( U表) K示在 、 、U K处取X值K。当这K些量非最优值时，
i 1, 2,m （7-15）
uˆ 首先，对于任何控制 ，定义约束算子
Cu
ai ui (t) Cuuˆi (t) uˆi (t)
bi
uˆi (t) ai ai uˆi (t) bi
uˆi (t) bi
（7-16）
显然 ui (t) , i 1 ,满2足约束，m即
u Cuuˆ
（7-17）
本章主要内容
➢ 7.1 直接法 ➢ 7.2 间接法 ➢ 7.3 小结
返回主目录
在前面讨论变分法、极小值原理和动态规划时，我们列举了一些例子。为 了易于说明问题，这些例子都是非常简单的，可以用手算来解决问题。但是在 实际工作中所遇到的最优控制问题，一般都是很复杂的，必须用计算机求解。
因此，最优控制的计算方法就变得十分重要了。这方面的内容十分丰富， 由于篇幅所限，我们只介绍几种典型的算法。
2
u 2 )dt
20
（7-6） （7-7）
解
哈密顿函数为
H 1 (x2 u 2 ) x2 u
2
协态方程为
H x 2x
x
因 x(自1)由，由横截条件得
0 (1) 0
（7-8） （7-9）
１、选初始估计
u 0。(t) 0
２、将 u 0 (代t)入状态0方程（7-6）可得
积分上式可得 代入初始条件：
u u u 满足约束，其中
，
பைடு நூலகம்
再由 用无约束的梯度法求解，在每一次1 迭代中得m出
T，uˆ然后用[uˆ1
代替uˆ，m再]进T
uˆ 行下一次迭代。
uˆ
u Cuuˆ
惩罚函数法可处理如下形式的约束：
gi (X ,u,t) 0
hi ( X (t f ), t f ) 0
缺点是： （1）在接近最优解时，迭代收敛很慢，为改善 收敛性可用共轭梯度法和二阶变分法等； （2）不能区分局部极小和全局极小； （3）对控制变量受约束，终端状态受约束的情 况不能直接处理。对于这种有约束的情况 可用约束梯度法或惩罚函数法加以处理。
约束梯度法可处理如下的不等式约束：
ai ui (t) bi
由极小值原理可知，最优控制问题的解必须满足以下几个条件
（i）正则方程
X H
H
X
（ii）哈密顿函数 取极小的H必要条件
H 0 U
( U无约束)
（7-1）
或
min H (X *,*,U,t) H (X *,*,U *,t) ( U有约束) （7-2）
U
（iii）边界条件（包括横截条件）
最优控制的计算方法一般是先求出满足上面三个条件中某两个的解，然后 用合适的迭代计算形式逐次改变这个解，以达到满足剩下的另一个条件的解 （即最优解）。
的方向来改善 ，使它最后满足必要条件。 U (t)
H
H
U (t)
计算步骤如下：
1．
的决先定猜要测凭工程中[经t的0验,一，t f个猜]控得制合向理量，计算收敛得，就快是。迭U代K步(数t) ， 初U始0 (时t) K。
K 0 U0
2．
在第 步K，以估计值
求出状态向量 。
t0 t f
和给定的初U始K条件
2
4．由 H u
u
(H )0 0 (t)
u
0 (1) 0
5． u1(t) u 0 (t) (H。)0 1 [1 (1 10t)2 /121] 这里选步长因子 。如u此继续下去2，直至指标函数随迭代变化很小为止。
K 1
u
图 7-1 和 图 7-2 表 示 了 控 制 和
状态的初始值和第一次迭代值，
t0 t f
t f t0
(t0 )
间接法。
它的特点是，在每一步迭代中都要满足
H 取极小的必要条件，而且
要同时积分状态方程和协态方程，两种方程的积分都从 到 或从 到 。常
用的间接法有边界迭代法和拟线性化法。
t0 t f
t f t0
7.1 直接法
（一）梯度法 。
这是一种直接方法，应用比较广泛。它的特点是：先猜测任意一个控制函 数 ，它可能并不满足 取极小的必要条件，然后用迭代算法根据 梯度减小