第五章用变分法求解最优控制问题
合集下载
极小值原理及其应用
假设同定理5-1。
若 u* (t) 和 t f * 是使性能指标取最小值的最优解，x* (t)
为相应的最优轨线，则必存在n 维向量函数
，
使得 (t )
x*(t)和, u*(t), t f满* 足如(下t)必要条件：
① x(t) 及 (t)满足下述正则方程：
x(t) H
(t) H
x
式中哈密顿函数
③ 哈密顿函数相对最优控制取绝对极小值
H[x* (t), (t), u* (t), t]
min
u (t )
H[x* (t
x(t f
)
（5-4）
③ 哈密顿函数相对最优控制为极小值
H (x*, u*, ) min H (x*, u, ) （5-5） u (t )
④ 哈密顿函数沿最优轨线保持为常数
当 t f 固定时
H[x* (t), u* (t), (t)]
（5-6）
H[x* (t f ), u* (t f ), (t f )] const
x为* (为t) 为相应的最优轨线，则必存在非零常向量 及 n 维向量函数 (t) ，使得 x*(t), u*(t), t f * 和 (t) 满足如下必要条件：
① x(t) 及 (t)满足下述正则方程：
x(t) H
式中哈密顿函数
(t) H
x
H (x, ,u) T (t) f (x,u)
H (x, ,u) L(x,u) T (t) f (x,u)
② x(t) 及 (t)满足边界条件：
x(t0 ) x0
(t f ) 0
③ 哈密顿函数相对最优控制取绝对极小值
H[x*(t), (t), u*(t)] min H[x*(t), (t), u(t)] u (t )
最优控制5
tf
J [u(t )] [ x(t f ), t f ] L[ x(t ), u(t ), t ]dt
t0
(5 13)
第5章
x
J [u(t )] [ x(t f ), t f ] L[ x(t ), u(t ), t ]dt
t0
tf
(5 13)
(5 14)
xt f x1 x0
u (0)
根据状态方程
x(1) 2 x(0) u(0)
3 J *[ x(0)] min{x 2 (0) u 2 (0) 3[2 x(0) u (0)] 2 } u * (0) x(0) u (0) 2
最后，从前往后推，可得出最优控制序列u*(0),u*(1),u*(2) 关于动态规划本质的讨论： 一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如 何，如把现在的状态看作后续状态的初态，则其后诸决策仍必须构成一 最优策略。
J *[ x(t ), t ] J * J * * H ( x, , t ) min{H ( x, , u, t )} uU t x x
哈密尔顿——雅可比——贝尔曼方程 定义：
(5 22)
(5 24)
第5章
J *[ x(t ), t ] J * J * * H ( x, , t ) min{H ( x, , u, t )} uU t x x
解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个
可能的行车线路共有：2*2*2=8 （每阶段有两种可能）
缺点：计算量大，容易出错。
第5章
解法二：动态规划法，从终点开始，按时间最短为目标，逐段向前逆推， 依次计算出各站至终点站的时间最优值，据此决策出每一站的最 优路线。
J [u(t )] [ x(t f ), t f ] L[ x(t ), u(t ), t ]dt
t0
(5 13)
第5章
x
J [u(t )] [ x(t f ), t f ] L[ x(t ), u(t ), t ]dt
t0
tf
(5 13)
(5 14)
xt f x1 x0
u (0)
根据状态方程
x(1) 2 x(0) u(0)
3 J *[ x(0)] min{x 2 (0) u 2 (0) 3[2 x(0) u (0)] 2 } u * (0) x(0) u (0) 2
最后，从前往后推，可得出最优控制序列u*(0),u*(1),u*(2) 关于动态规划本质的讨论： 一个最优控制策略具有这样的性质，不论过去的状态及过去的决策如 何，如把现在的状态看作后续状态的初态，则其后诸决策仍必须构成一 最优策略。
J *[ x(t ), t ] J * J * * H ( x, , t ) min{H ( x, , u, t )} uU t x x
哈密尔顿——雅可比——贝尔曼方程 定义：
(5 22)
(5 24)
第5章
J *[ x(t ), t ] J * J * * H ( x, , t ) min{H ( x, , u, t )} uU t x x
解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个
可能的行车线路共有：2*2*2=8 （每阶段有两种可能）
缺点：计算量大，容易出错。
第5章
解法二：动态规划法，从终点开始，按时间最短为目标，逐段向前逆推， 依次计算出各站至终点站的时间最优值，据此决策出每一站的最 优路线。
第五章用变分法求解最优控制问题
x 容易验证 x ( t ) 0 时， J 0 对应局部极小； ( t ) 2 t 时， J 4 27 ，对应局部极大。 3
5.3 有约束条件的泛函极值 ——动态系统的最优控制问题
前面讨论泛函极值问题时，对极值轨迹 X ( t ) 没有附 加任何约束条件。但在动态系统最优控制问题中， 极值轨迹必须满足系统的状态方程，也就是要受到 状态方程的约束。考虑下列系统
（5-3）
上式称为欧拉——拉格朗日方程。
（5-2）式中第二项为零的条件要分两种情况来讨论：
1、 固定端点的情况
这时 以 x (t
F x
tf
x ( t 0 ) x 0 , x ( t f ) x f ，它们不发生变化，所
0
) x (t f ) 0
。而（5-2）中第二项可写成
0
f
(
F x
) t t f x (t f ) 0
（5-5） （5-6）
(
F x
) t t0 x (t 0 ) 0
因为这里讨论 x (t ) 是标量函数的情况，x ( t ) 和 x ( t f ) 也是标量，且是任意的，故（5-5）、（5-6）可化 为
X X
*
定理： ( X ) 在 J
J ( X , X ) 0
*
为了判别是极大还是极小，要计算二阶变 分 J 。但在实际问题中根据问题的性质容易 判别是极大还是极小，故一般不计算 J 。
2
2
5.2 无约束条件的泛函极值问题 5.2.1 泛函的自变量函数为标量函数的情况
为简单起见，先讨论自变量函数为标量函数 * x (t ) x (t ) （一维）的情况。我们要寻求极值曲线 ， 使下面的性能泛函取极值
5.3 有约束条件的泛函极值 ——动态系统的最优控制问题
前面讨论泛函极值问题时，对极值轨迹 X ( t ) 没有附 加任何约束条件。但在动态系统最优控制问题中， 极值轨迹必须满足系统的状态方程，也就是要受到 状态方程的约束。考虑下列系统
（5-3）
上式称为欧拉——拉格朗日方程。
（5-2）式中第二项为零的条件要分两种情况来讨论：
1、 固定端点的情况
这时 以 x (t
F x
tf
x ( t 0 ) x 0 , x ( t f ) x f ，它们不发生变化，所
0
) x (t f ) 0
。而（5-2）中第二项可写成
0
f
(
F x
) t t f x (t f ) 0
（5-5） （5-6）
(
F x
) t t0 x (t 0 ) 0
因为这里讨论 x (t ) 是标量函数的情况，x ( t ) 和 x ( t f ) 也是标量，且是任意的，故（5-5）、（5-6）可化 为
X X
*
定理： ( X ) 在 J
J ( X , X ) 0
*
为了判别是极大还是极小，要计算二阶变 分 J 。但在实际问题中根据问题的性质容易 判别是极大还是极小，故一般不计算 J 。
2
2
5.2 无约束条件的泛函极值问题 5.2.1 泛函的自变量函数为标量函数的情况
为简单起见，先讨论自变量函数为标量函数 * x (t ) x (t ) （一维）的情况。我们要寻求极值曲线 ， 使下面的性能泛函取极值
5 最优控制-极小值原理
* j
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0
最优控制问题求解方法综述(中英双语)
最优控制问题求解方法综述Summary of approaches of optimal control problem摘要：最优控制问题就是依据各种不同的研究对象以及人们预期达到的目的，寻找一个最优控制规律或设计出一个最优控制方案或最优控制系统。
解决最优问题的主要方法有变分法、极小值原理和动态规划法，本文重点阐述了各种方法的特点、适应范围、可求解问题的种类和各种方法之间的互相联系。
Abstract：Optimal control problems are to find an optimal control law or design a optimal control program or system according to various kinds of different research objects and the aim people want. The approaches to solve optimal control problems generally contain variational method, the pontryagin minimum principle and dynamic programming. This paper mainly states characteristics, range of application, kinds of the solvable problems of each approach and the association between these three methods.关键词：最优控制、变分法、极小值、动态规划Keywords: optimal control , classical variational method , the pontryagin minimum principle , dynamic programming正文：最优控制理论是现代控制理论的一个主要分支，着重于研究使控制系统的性能指标实现最优化的基本条件和综合方法。
最优控制第五章用变分法求解连续最优控制问题—有约束条件的泛函极值
xT
H x
uT
H u
d
t
xT
tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
因此得
H 0
x H x
H 0 u
tf 0 t0
(5-9) (5-10) (5-11) (5-12)
(5-5)
或 J tf H x, x,u, ,td t t0
(5-6)
式中
Hx, x,u,,t Lxt,ut,t T tf xt,ut,t xt
(5-7)
对式(5-5)右边第二项作分部积分，得
t f T x d t t f T x d t T x t f
为此，构造增广泛函
J Φxt f ,t f T Nxt f ,t f
t f
t0
Lxt,ut,t T
t f
xt , ut , t
xt d t
(5-21)
写出哈密顿函数
Hxt,ut,t,t Lxt,ut,t T t f xt,ut,t
(5-25)
ut u*t ut
(5-26)
tf
t
* f
t f
(5-27)
x(t) δx (t* f)
x*(t)
x(t) x(t0)
x
t
f
t f
δx(tf)
0 t0
t*f t*f+ δtf
t
图4 可变终端各变分间的关系
从图4可知在端点处变分之间存在下列近似关系
考虑到式(5-24)右边第一项和第二项的一次
王孝武主编《现代控制理论基础》(第3版)(2)省公开课一等奖全国示范课微课金奖PPT课件
16/88
3） 哈密顿函数沿最优轨线随时间改变率
dH dt
H x
T
x
H u
T
u
H λ
T
λ
H t
在最优控制 u* 、最优轨线
x*
下，有
H u
0
和
H T x
x
H λ
T
λ
H T x
H λ
H λ
T
H x
0
（23）
（10）式哈密顿函数对
导，结果为 f ( x,u,t)
λ求x 偏
n (t)
将性能指标（8）式改写为其等价形式
（9）
由（6）式可知 f ( x,u,t) x
为零
J [ x(t f )] t f {L( x, u,t) λT (t)[ f ( x, u,t) x ]}d t t0
定义哈密顿函数 H ( x, u, λ,t) L( x, u,t) λT (t) f ( x, u,t)
T
tf
x(t
f
)
L x
T
t0
x(t0 ) 0
注意：满足欧拉方程是必要条件，不是充分条件。
10/88
6.2 用变分法求解最优控制问题
6.2.1 末值时刻固定、末值状态自由情况下最优控制
非线性时变系统状态方程为
x f ( x,u,t)
（6）
初始状态
x(t) tt0 x(t0 )
（7）
其中，x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数。
T
δ
J
x
(t
f
)
δ x(t f ) λT (t f ) δ x(t f )
最优控制变分法
tf
F (t ) (t )dt 0
(1· 2—1)
t0
则在区间 [t 0 , t f ]上
F (t ) 0
下面我们来证明这个定理。 由于函数 (t )，是任意选定的，因此，可以取 (t ) W (t ) F (t ) (1.2—2) 其中 W (t ) 的是任一满足条件
0 , t t0和t t f W (t ) 2 c , t0 t t f
二、固定端点时间、无约束条件的变分问题 这一节，我们讨论一类最简单的变分问题，即无约束条件、 端点时间固定，只有一个自变量函数的拉格郎问题。通过这个问 题来引出欧拉方程和横截条件。 求解变分问题，就是要把使泛函达到极值的那个自变量函数 找出来，这就需要利用欧拉方程和横截条件。因此，欧拉方程和 横截条件是求解变分问题的基础。 在推导欧拉方程和横截条件时要使用一个定理，这个定理叫 作变分法的基本颈备定理。 本节首先介绍基本预备定理，接着推导欧拉方程，然后讨论 横截条件，最后讨论泛函取极值的充分条件。
2. 欧拉方程 现在，我们来推导欧拉方程和相应的横截条件。首先讨论固定 端点问题，然后讨论未定端点问题。 考虑最简单的泛函
(1· 2—3) L 的极值。其中x(t ) 是 t 二次可微函数； [ x(t ), x(t ), t ]，是变量 x, x和 t 连函函数，并且有连续二阶偏导数，端点时间 t 0 和 t f 固定。 首先研究容许函数（或曲线）端点固定的情况，即规定 x(t 0 ) x0 和 x(t f ) x f 。图1—4示出了一族容许函数。现在的 的问题是要从这一族容许函数(或曲线)中找出使泛函J取极值的函数(或 曲线)，即极值函数或极值曲线。
tf
(2)马耶耳问题 马耶尔问题的泛函表示为 J 1[ x(t f ),t f ] 2 [ x(t 0 ),t 0 ] 绪论中基于性能指标（0—9）的最短时间控制问题和基于性能指标 （0—15）的最优推力方向角选择问题就是马耶耳问题的一个特例。 t (3)波尔扎问题 波尔扎问题的性能泛函是 J 1 [ x(t f ), t f ] 2 [ x(t 0 ), t 0 ] L[ x(t ), u (t ), t ]dt
F (t ) (t )dt 0
(1· 2—1)
t0
则在区间 [t 0 , t f ]上
F (t ) 0
下面我们来证明这个定理。 由于函数 (t )，是任意选定的，因此，可以取 (t ) W (t ) F (t ) (1.2—2) 其中 W (t ) 的是任一满足条件
0 , t t0和t t f W (t ) 2 c , t0 t t f
二、固定端点时间、无约束条件的变分问题 这一节，我们讨论一类最简单的变分问题，即无约束条件、 端点时间固定，只有一个自变量函数的拉格郎问题。通过这个问 题来引出欧拉方程和横截条件。 求解变分问题，就是要把使泛函达到极值的那个自变量函数 找出来，这就需要利用欧拉方程和横截条件。因此，欧拉方程和 横截条件是求解变分问题的基础。 在推导欧拉方程和横截条件时要使用一个定理，这个定理叫 作变分法的基本颈备定理。 本节首先介绍基本预备定理，接着推导欧拉方程，然后讨论 横截条件，最后讨论泛函取极值的充分条件。
2. 欧拉方程 现在，我们来推导欧拉方程和相应的横截条件。首先讨论固定 端点问题，然后讨论未定端点问题。 考虑最简单的泛函
(1· 2—3) L 的极值。其中x(t ) 是 t 二次可微函数； [ x(t ), x(t ), t ]，是变量 x, x和 t 连函函数，并且有连续二阶偏导数，端点时间 t 0 和 t f 固定。 首先研究容许函数（或曲线）端点固定的情况，即规定 x(t 0 ) x0 和 x(t f ) x f 。图1—4示出了一族容许函数。现在的 的问题是要从这一族容许函数(或曲线)中找出使泛函J取极值的函数(或 曲线)，即极值函数或极值曲线。
tf
(2)马耶耳问题 马耶尔问题的泛函表示为 J 1[ x(t f ),t f ] 2 [ x(t 0 ),t 0 ] 绪论中基于性能指标（0—9）的最短时间控制问题和基于性能指标 （0—15）的最优推力方向角选择问题就是马耶耳问题的一个特例。 t (3)波尔扎问题 波尔扎问题的性能泛函是 J 1 [ x(t f ), t f ] 2 [ x(t 0 ), t 0 ] L[ x(t ), u (t ), t ]dt
变分法求解最优控制
控制的最优化性能指标：
J (u(t )) (t f , x(t f )) F (t, x(t ), u(t ))dt
t0 tf
性能指标J(u(t))在数学上称为泛函，在控 制系统中称为损失函数。
变分法基本概念
1.泛函
设S 为一函数集合，若对于每一个函数 x(t)∈S有一个实数J 与之对应，则称J 是 定义在S 上的泛函，记作J (x(t))。S 称为 J 的容许函数集。
t0
tf
再令 J 1 0 ，由 便得：
dt f ,x(t f ),x,u, 的任意性，
(i) x * , * 必满足正则方程： 1.状态方程
x H f (t, x, u)
2.协态方程
H x
* *
(ii)哈密顿函数 H (t, x , u, ) 作为u的函数，也 必须满足
定义一个标量函数：
H (t, x, u, ) F (t, x, u) T (t ) f (t, x, u)
称为哈密顿函数。所以新的性 能指标为
J 1 ( x, u, ) (t f , x(t f )) [ H (t, x, u, ) T x]dt
t0 tf
t0 tf
d (dt fy) [t f fF xt ,yxdx , t ) t t f F'( ) y ) ( (, ) , u dy a (
T
b( y )
] [x(t f )] x (t f )
T
T tf
[(x) H x (u) H u ( ) H ( ) x]dt (t f )x t t f (x)T dt t0 f y ( x, y)dx f [b( y), y)]b' ( y) f [a( y), y)]at'0( y)
J (u(t )) (t f , x(t f )) F (t, x(t ), u(t ))dt
t0 tf
性能指标J(u(t))在数学上称为泛函，在控 制系统中称为损失函数。
变分法基本概念
1.泛函
设S 为一函数集合，若对于每一个函数 x(t)∈S有一个实数J 与之对应，则称J 是 定义在S 上的泛函，记作J (x(t))。S 称为 J 的容许函数集。
t0
tf
再令 J 1 0 ，由 便得：
dt f ,x(t f ),x,u, 的任意性，
(i) x * , * 必满足正则方程： 1.状态方程
x H f (t, x, u)
2.协态方程
H x
* *
(ii)哈密顿函数 H (t, x , u, ) 作为u的函数，也 必须满足
定义一个标量函数：
H (t, x, u, ) F (t, x, u) T (t ) f (t, x, u)
称为哈密顿函数。所以新的性 能指标为
J 1 ( x, u, ) (t f , x(t f )) [ H (t, x, u, ) T x]dt
t0 tf
t0 tf
d (dt fy) [t f fF xt ,yxdx , t ) t t f F'( ) y ) ( (, ) , u dy a (
T
b( y )
] [x(t f )] x (t f )
T
T tf
[(x) H x (u) H u ( ) H ( ) x]dt (t f )x t t f (x)T dt t0 f y ( x, y)dx f [b( y), y)]b' ( y) f [a( y), y)]at'0( y)
最优控制变分法
AB
x2 x1
1 y ' 2 dx
通过A，B两点的函数若为 y f (x) ，则不同的函数有不同的 弧长，即弧长是 y 的函数，记为 J ( y ) ，即
x2 1 y 2 dx J ( y ) AB x1
因此，求弧长的定积分是一种变换，它把x1与x2之间各点相应 的y变换为标量（弧长）。由此例可以看出定积分为泛函。 以下是各章经常要用到下列形式的目标函数
以下计算第二个积分，实际上是估计余项。 按泛函求极值的
ˆ 与 y 的一级距离应落入ε邻区内（由于本节的泛函 定义， y
只对 y 与 y’提出要求，故只用到一级距离），即令
ˆ y| d 0 max | y
x [ x 0 , x1 ]
ˆ ' y ' | d 1 max | y
x [ x 0 , x1 ]
第一章
变分法
1.1 泛函 1.2变分的推演 1.3Euler方程 1.4向量情形 1.5有约束的情形 1.6端点可变情形 1.7变分的另一种定义
1.1 泛函
（1）定义（泛函）
泛函是一映射L : J K , J Y , Y为一向量空间， K 一般为实数 域R或复数域C。 这说明泛函是一种变换，它把向量空间Y中某一子集J 映射为 K的某个子集。 例：曲线的弧长 在xy平面上过A（x1 ,y1）,B(x2,y2)两点之间的曲线弧长公式为
| [ ( Fy Fy ) ' (F y ' Fy ' )]dx | | |dx
x0 x0
x1
x1
[| (Fy Fy ) | | ' ( F y ' Fy ' ) |]dx
变分法与最优控制
t
一阶相近
当函数x(t)与 x0(t)之差的绝对值以及它们的一 阶导数 x(t ) 和 x0 (t ) 之差的绝对值，即
x(t ) x0 (t ) 和 x(t ) x0 (t )
x x(t) x0(t)
t1 t t2
都很小，称函数x(t)与函数x0(t)是一阶相近的。
求解综合型（波尔扎）问题
2.2 无约束最优化问题
1、无约束固定端点泛函极值必要条件
问题 2-1 无约束固定终端泛函极值问题为:
其中, L[ x(t ), x(t ), t ] 及x(t)在[t0,tf]上连续可微， t0及tf 固定，x(t0)= x0，x(tf)= xf， x(t ) R n
求满足上式的极值轨线x*(t)。
边界条件
定理2－5 若给定曲线x(t)的始端x(t0)= x0和终端x(tf)= xf， 则泛函
J [ x(t )] L[ x(t ), x(t ), t ]dt
t0 tf
达到极值的必要条件是，曲线x(t)满足欧拉方程
欧拉(Euler)方程
d Lx L x 0 或 dt
泛函的变分 当宗量x(t)有变分时，泛函的增量可以表示为
J [ x(t )] J [ x(t ) x(t )] J [ x(t )] L[ x(t ),x(t )] r[ x(t ),x(t )]
线性 主部
其中，L[x(t)，x(t)]是关于x(t)的线性连续泛函；
虑各种阻力的影响，问应取怎样 的路径，才能使所经历的时间最 短？
结论:最速降线是一条圆滚线。
在A、B两点所在的竖直 平面内选择一坐标系， 如上图所示。 A 点为坐 标原点，水平线为 x 轴， 铅垂线为y轴。
《现代控制理论》课程教学大纲
《现代控制理论》课程教学大纲课程名称：现代控制理论课程类别：任意选修课适用专业：电子信息工程考核方式：考查总学时、学分：24学时1.5学分一、课程性质、教学目标《现代控制理论》是在“古典控制理论”的基础上，基于“线性代数”理论发展起来的一种自动控制系统性能分析与设计的新方法。
它由“古典控制理论”中的对单输入单输出系统的描述过渡到对多输入多输出系统的描述、由“古典控制理论”中对系统的外部性能分析过渡到内部性能分析、由“古典控制理论”中便于手工求解的数学模型过渡到便于计算机求解的数学模型。
为学生后续深造的课程《线性系统理论及应用》、《智能控制系统及应用》的学习打下必要的理论知识和实践基础。
其具体的课程教学目标为：课程教学目标1：掌握控制系统数学模型含义，系统数学模型的类型及相互关系，并能够建立常用线性系统的数学模型。
课程教学目标2：掌握线性控制系统状态方程的求解方法。
课程教学目标3：掌握控制系统的能控性和能观测性判据，并利用判据判断系统的能控性和能观测性。
通过本课程的学习,使学生掌握有关运用状态空间分析法定量和定性分析及综合控制系统的基本理论、基本方法,为学习后续课程打下基础。
三、先修课程高等数学、大学物理、电路分析、模拟电路、数字电路、高频电路、信号与系统、线性代数、自动控制原理。
四、课程教学重、难点教学重点：控制系统数学模型的建立，线性控制系统的运动能控性与能观测性和稳定性分析，线性定常系统的综合；教学难点：线性定常系统的综合。
五、课程教学方法与教学手段教学方法：讲授式教学方法、讨论式教学方法、导学式教学方法；教学手段：多媒体辅助教学。
六、课程教学内容绪论（1学时）1．教学内容(1) 自动控制与控制理论；(2) 控制理论发展简况；(3) 现代控制理论的基本内容；(4) 本课程的基本任务。
2．重、难点提示(1) 重点是控制理论的基本内容、本课程的基本任务；(2) 难点是控制理论的基本内容。
第一章控制系统的数学模型（5学时）1．教学内容(1) 状态空间表达式；(2) 由微分方程求状态空间表达式；(3) 传递函数矩阵；(4) 离散系统的数学描述；(5) 线性变换；(6) 组合系统的数学描述；(7) 利用MATLAB进行模型的转换。
最优控制问题求解方法综述
最优控制问题求解方法综述作者：王忠晶来源：《中国科技博览》2014年第36期[摘要]最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科，解决最优控制问题的主要方法有古典变分法、极小值原理和动态规划。
最优控制理论已被应用于综合和设计最速控制系统、最省燃料控制系统、最小能耗控制系统、线性调节器等。
同时，这篇综述也阐释了几种常见方法之间的关系。
中图分类号：C935 文献标识码：A 文章编号：1009-914X（2014）36-0043-011、最优控制问题基本介绍最优控制是使控制系统的性能指标实现最优化的基本条件和综合方法，是现代控制理论的核心之一，是从大量实际问题中提炼出来的。
它所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标最优。
最优控制是最优化方法的一个应用。
从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。
从经济意义上说，是在一定的人力、物力和财力资源条件下，是经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。
控制理论发展到今天，经历了古典控制理论和现代控制理论两个重要发展阶段，现已进入了以大系统理论和智能控制理论为核心的第三个阶段。
对于确定性系统的最优控制理论，实际是从20世纪50年代才开始真正发展起来的，它以1956年原苏联数学家庞特里亚金（Pontryagin）提出的极大值原理和1957年贝尔曼提出的动态规划法为标志。
时至今日，随着数字技术和电子计算机的快速发展，最优控制的应用已不仅仅局限于高端的航空航天领域，而更加渗入到生产过程、军事行动、经济活动以及人类的其他有目的的活动中，对于国民经济和国防事业起着非常重要的作用。
对于静态优化的方法，解决的主要是如何求解函数的极值问题；变分法则被用来求解泛函的极值问题；极小值原理的方法，适用于类似最短时间控制、最少燃料控制的问题。
系统最优化及控制
t0 tf
2：最小燃料消耗控制 粗略地说，控制量u(t)与燃料消耗量成正比，最小燃料消耗问题的性能指标为：
J | u(t ) | dt
t0
tf
3：最小能量控制 设标量控制函数u2(t)与所消耗的功率成正比，则最小能量控制问题的性能指标为：
J u 2 (t )dt
t0
tf
4：线性调节器 给定一个线性系统，其平衡状态X(0)=0，设计的目的是保持系统处于平衡状态，即 这个系统应能从任何初始状态返回平衡状态。这种系统称为线性调节器。 线性调节器的性能指标为： J t
t0
tf
为最小
综上所述，所谓最优防天拦截问题，即选择满足约束条件的控制F(t),驱使系统从初始 状态出发的解，在某个时刻满足终端条件，且使性能指标为极值（极小值）。
1-3最优控制问题的提法
在叙述最优控制问题的提法之前，先讨论一些基本概念。
1：受控系统的数学模型 一个集中参数的受控系统总可以用一组一阶微分方程来描述，即状态方程，其一 般形式为：
J [ X (t f ),t f ] F[ X (t ),u(t ),t ]dt
t0
tf
这样的最优控制问题为波尔扎问题。 通过适当变换，拉格朗日问题和迈耶尔问题可以相互转换。
按控制系统的用途不同，所选择的性能指标不同，常见的有： 1：最小时间控制
J t f t 0 1 dt
约束条件 0 u (t )
性能指标是使燃料消耗为最小，即
J m(t f )
达到最大值
我们的任务是寻求发动机推力的最优控制规律u(t),它应满足约束条件，使飞船由 初始状态转移到终端状态，并且使性能指标为极值(极大值)。
例1—2拦截问题 在某一惯性坐标系内，设拦截器质心的位置矢量和速度矢量为： 目标质心的位置矢量和速度矢量为： F(t)为拦截器的推力
2：最小燃料消耗控制 粗略地说，控制量u(t)与燃料消耗量成正比，最小燃料消耗问题的性能指标为：
J | u(t ) | dt
t0
tf
3：最小能量控制 设标量控制函数u2(t)与所消耗的功率成正比，则最小能量控制问题的性能指标为：
J u 2 (t )dt
t0
tf
4：线性调节器 给定一个线性系统，其平衡状态X(0)=0，设计的目的是保持系统处于平衡状态，即 这个系统应能从任何初始状态返回平衡状态。这种系统称为线性调节器。 线性调节器的性能指标为： J t
t0
tf
为最小
综上所述，所谓最优防天拦截问题，即选择满足约束条件的控制F(t),驱使系统从初始 状态出发的解，在某个时刻满足终端条件，且使性能指标为极值（极小值）。
1-3最优控制问题的提法
在叙述最优控制问题的提法之前，先讨论一些基本概念。
1：受控系统的数学模型 一个集中参数的受控系统总可以用一组一阶微分方程来描述，即状态方程，其一 般形式为：
J [ X (t f ),t f ] F[ X (t ),u(t ),t ]dt
t0
tf
这样的最优控制问题为波尔扎问题。 通过适当变换，拉格朗日问题和迈耶尔问题可以相互转换。
按控制系统的用途不同，所选择的性能指标不同，常见的有： 1：最小时间控制
J t f t 0 1 dt
约束条件 0 u (t )
性能指标是使燃料消耗为最小，即
J m(t f )
达到最大值
我们的任务是寻求发动机推力的最优控制规律u(t),它应满足约束条件，使飞船由 初始状态转移到终端状态，并且使性能指标为极值(极大值)。
例1—2拦截问题 在某一惯性坐标系内，设拦截器质心的位置矢量和速度矢量为： 目标质心的位置矢量和速度矢量为： F(t)为拦截器的推力
4 最优控制-变分法
I D (t )
≤ I D max
tf 0
（5） ） （6） ）
性能指标
J =∫
dt = tf
最优控制问题为：在状态方程的约束下， 最优控制问题为：在状态方程的约束下，寻求最优控制 I D (t )≤ I D max ，将 x (t f ) 转移到 x (0) ，使J 为极小。 为极小。
最优控制问题的基本组成
泛函与变分法
一、泛函与变分 1、泛函的基本定义： 、泛函的基本定义： 变量J 如果对于某个函数集合{x(t )}中的每一个函数 x(t )，变量 都有一个 值与之对应，则称变量J 的泛函， 值与之对应，则称变量 为依赖于函数 x(t ) 的泛函，记作 J [x(t )] 可见，泛函为标量，可以理解为“函数的函数” 可见，泛函为标量，可以理解为“函数的函数” 例如： 例如：
0 0 & x1 0 1 x1 K 系统方程为 1 x = 0 0 x + m I D + TF J 2 J D &2 D x ( 0) 0 x1 (t f ) θ 初始状态 1 = x (0) 0 末值状态 = 2 x2 (t f ) 0
系统数学模型
& 系统状态方程为 x(t ) = f [ x(t ), u (t ), t ], t ∈ [t0 , t f ]
边界条件与目标集 容许控制 变化范围受限制的控制- 闭集 控制域 Ω 闭集- 控制域， 变化范围受限制的控制 -闭集 -控制域， ; 容许控制 u (t ) ∈ Ω 变化范围不受限制的控制- 开集 变化范围不受限制的控制 -开集 性能指标 性能泛函、 性能泛函、目标函数或代价函数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
t
f
t0
t t0
f
vdu
J
d F F ( x dt x
F ) xdt x x
tf
（5-2）
t0
J取极值的必要条件是 J 等于零。因 x 是 任意的，要使（5-2）中第一项（积分项）为 零，必有
F x d dt ( F x ) 0
6、泛函的极值：若存在 0 ，对满足的 X X 一切X，J ( X ) J ( X ) 具有同一符号，则 称 J ( X ) 在 X X 处有极值。
*
*
*
处有极值的必要条件是对 于所有容许的增量函数 X （自变量的变分）， 泛函 J ( X ) 在 X *处的变分为零
ˆ X (t ) X (t )
0 ，存在 0
时，就有
ˆ J (X ) J (X )
则称 J ( X ) 在
ˆ X
处是连续的。
3、线性泛函： 满足下面条件的泛函称为线性泛函
J X J X
J ( X Y ) J ( X ) J (Y )
（5-3）
上式称为欧拉——拉格朗日方程。
（5-2）式中第二项为零的条件要分两种情况来讨论：
1、 固定端点的情况
这时 以 x (t
F x
tf
x ( t 0 ) x 0 , x ( t f ) x f ，它们不发生变化，所
0
) x (t f ) 0
。而（5-2）中第二项可写成
J
t t0
f
F x ( t ), x ( t ), t dt
（5-1）
* * x x (t )、(t ) 在极值曲线 x ( t )、 ( t ) 附 x 为此，让自变量函数
近发生微小变分 x、 x ，即
x (t ) x (t ) x (t )
*
* x (t ) x (t ) x (t )
tf t0
T
( t ) f ( X , U , t ) X dt
（5-17）
于是有约束条件的泛函 J 的极值问题化为无约 束条件的增广泛函 J a 的极值问题。 再引入一个标量函数
H ( X , U , , t ) F ( X , U , t ) f ( X , U , t ) （5-18）
J X ( t f ), t f
tf t0
F X ( t ), U ( t ), t dt
（5-14）
*
这是综合指标。我们要求出最优控制 U ( t )和满足状 态方程的极值轨迹 X
*
( t )，使性能指标取极值。
在下面的讨论中，假定初始时刻 t 0和初始状态 X ( t ) X 是给定的，终端则可能有几种情况。我们 将就几种常见的情况来讨论，即 t f 给定， ( t f ) 自 X 由和 t f 自由, X ( t f ) 属于一个约束集。
0 0
5.3.1 终端时刻 t f 给定，终端状态 X ( t )自由
f
将状态方程（5-13）写成等式约束方程的形式
f ( X , U , t ) X (t ) 0
（5-15）
与有约束条件的函数极值情况类似，引入待定的n 维拉格朗日乘子向量函数
( t ) 1 ( t ), 2 ( t ), , n ( t )
时）
例5-1
求通过点（0，0）及（1，1）且使
J
1
(x
0
2
2 x ) dt
取极值的轨迹
x ( t )。
*
解 这是固定端点问题，相应的欧拉——拉格朗日方 程为 d
2x (2 x) 0 dt
即
x 0 x
它的通解形式为
x ( t ) Acht Bsht
式中：
F x 1 F F x 2 X F x n
(5-11)
横截条件为（自由端点情况）
F 0 X
（当 t t 0 和 t
tf
T
（5-16）
与以前不同的是，在动态问题中拉格朗日乘子 向量 (t ) 是时间函数。 在最优控制中经常将 (t ) 称为伴随变量，协态（协状 态向量）或共轭状态。引入 (t ) 后可作出下面的增 广泛函
J a X ( t f ), t f
F X , U , t
x 容易验证 x ( t ) 0 时， J 0 对应局部极小； ( t ) 2 t 时， J 4 27 ，对应局部极大。 3
5.3 有约束条件的泛函极值 ——动态系统的最优控制问题
前面讨论泛函极值问题时，对极值轨迹 X ( t ) 没有附 加任何约束条件。但在动态系统最优控制问题中， 极值轨迹必须满足系统的状态方程，也就是要受到 状态方程的约束。考虑下列系统
0
f
(
F x
) t t f x (t f ) 0
（5-5） （5-6）
(
F x
) t t0 x (t 0 ) 0
因为这里讨论 x (t ) 是标量函数的情况，x ( t ) 和 x ( t f ) 也是标量，且是任意的，故（5-5）、（5-6）可化 为
于是泛函J 的增量 J 可计算如下（以下将*号省去）
J
t t0
f
F x
x , x x , t F x , x , t dt
tf t0
F F 2 2 x x o ( x ) , ( x ) d t x x
*
1 0
2 3 ( x x ) dt
x (0) 0
*
取极值的轨迹 没有限制。
x ( t ) ，并要求
，但对
x (1)
*
解 这是终端自由的情况。欧拉—拉格朗日方程为
d dt (2 x 3 x ) 0
2
即
2x 3x
2
常数
于是 x 是常数，x 则是时间的线性函数，令
第五章 用变分法解最优控制 —泛函极值问题
本章主要内容
变分法基础 5.2 无约束条件的泛函极值问题 5.3 有约束条件的泛函极值——动态系 统的最优控 t f 制问题 5.4 小结
5.1
在动态系统最优控制问题中，性能指标是一个 泛函，性能指标最优即泛函达到极值。解决泛函极 值问题的有力工具是变分法。所以下面就来列出变 分法中的一些主要结果，大部分不加证明，但读者 可对照微分学中的结果来理解。
5.1 变分法基础
先来给出下面的一些定义。 1、泛函： 如果对某一类函数X (t )中的每一个函 数 X (t )，有一个实数值J 与之相对应，则称J 为依赖于 函数 X (t )的泛函，记为
J J X (t )
粗略来说，泛函是以函数为自变量的函数。
2、泛函的连续性： 若对任给的 当
T
它称为哈密顿（Hamilton）函数，在最优控制中 起着重要的作用
于是 J a 可写成
J a X ( t f ), t f
H ( X , U , , t )
tf t0
T
X 这里 是实数， 和
Y
是函数空间中的函数。
4、自变量函数的变分： 自变量函数 X (t ) 的变分 X X 是指同属于函数类 X (t ) 中两个函数X ( t ) 、 ( t ) 之差
1
2
X X 1 (t ) X 2 (t )
这里, t 看作为参数。当 X (t ) 为一维函数时，X 可用图5-1来表示。
J
tf t0
F ( X , X , t ) dt
(5-9)
式中
x1 (t ) x 2 (t ) X x n (t )
x1 (t ) x 2 (t ) X n (t ) x
X X
*
定理： ( X ) 在 J
J ( X , X ) 0
*
为了判别是极大还是极小，要计算二阶变 分 J 。但在实际问题中根据问题的性质容易 判别是极大还是极小，故一般不计算 J 。
2
2
5.2 无约束条件的泛函极值问题 5.2.1 泛函的自变量函数为标量函数的情况
为简单起见，先讨论自变量函数为标量函数 * x (t ) x (t ) （一维）的情况。我们要寻求极值曲线 ， 使下面的性能泛函取极值
cht e e
t t
sht e
t t
2
2
由初始条件 x ( 0 ) 0 ，可得A=0。 再由终端条 件
x (1) 1
，可得 B
1 sh 1，
因而极值轨迹为
x ( t ) sht sh 1
*
例5-2 求使指标
J
*
X f X ( t ), U ( t ), t
（5-13）
U 式中，X (t ) 为 n 维状态向量， (t ) 为m 维控制向量（这 里假定U ( t )不受限制.
否则不能用变分法求解，而要用极小值原理或动态 规划法求解, f X ( t ), U ( t ), t 是n维连续可微的向量 函数。性能指标如下：
上式中 o [( x )
2
, ( x ) ]是高阶项。
2
（泰勒级数展开）
根据定义，泛函的变分 J 是 J 的线性