极小值原理及其应用
合集下载
离散系统的极小值原理
u * (k ) = 0.2
x* (k ) = 1 − 0.2k
k = 0,1, 2,3, 4,
总结 应用离散欧拉方程求解等式约束和不等式约束 的离散极值问题比较麻烦，而用离散极小值原理处 理这种约束问题却很方便。特别是，当控制序列受 约束时，离散变分法不再适用，只能用离散极小值 原理或离散动态规划来求解离散极小值问题。
2 离散极小值原理
庞特里亚金发表极小值原理时，只讨论了连续系 统的情况。为了获得离散系统的极小值原理，有 人曾经从离散系统与连续系统比较接近这一事实 出发，设想把连续极小值原理直接推广到离散系 统中去，但除了采样周期足够小的情况外，结果 是失败的。 离散极小值原理的普遍论述比较复杂，证明过程 也十分冗长。为了简单起见，下面介绍控制向量 序列不受约束情况下的离散极小值原理，然后不 加证明地推广到控制向量序列受约束的情况。
因为： ∂Lk = λ (k + 1)
∂x(k )
∂Lk = u (k ) + λ (k + 1) ∂u (k )
∂Lk −1 = −λ ( k ) ∂x(k )
所以由离散欧拉方程（3-6）可得：
λ ( k + 1) = λ ( k ) = c
u ( k ) = −λ ( k + 1) = −c
其中 c为待定的常数。 将 u (k ) = −c 代入状态差分方程，有
离散极小值原理可以叙述如下： 定理3 [定理3-7] （关于离散系统末端状态受约束） [定理3-8] （关于离散系统末端状态自由） 定理3
[定理3-7] 定理3 7]（关于离散系统末端状态受约束） 设离散系统状态方程
x(k + 1) = f [ x(k ), u (k ), k ]
极小值原理及其应用
假设同定理5-1。
若 u* (t) 和 t f * 是使性能指标取最小值的最优解，x* (t)
为相应的最优轨线，则必存在n 维向量函数
，
使得 (t )
x*(t)和, u*(t), t f满* 足如(下t)必要条件：
① x(t) 及 (t)满足下述正则方程：
x(t) H
(t) H
x
式中哈密顿函数
③ 哈密顿函数相对最优控制取绝对极小值
H[x* (t), (t), u* (t), t]
min
u (t )
H[x* (t
x(t f
)
（5-4）
③ 哈密顿函数相对最优控制为极小值
H (x*, u*, ) min H (x*, u, ) （5-5） u (t )
④ 哈密顿函数沿最优轨线保持为常数
当 t f 固定时
H[x* (t), u* (t), (t)]
（5-6）
H[x* (t f ), u* (t f ), (t f )] const
x为* (为t) 为相应的最优轨线，则必存在非零常向量 及 n 维向量函数 (t) ，使得 x*(t), u*(t), t f * 和 (t) 满足如下必要条件：
① x(t) 及 (t)满足下述正则方程：
x(t) H
式中哈密顿函数
(t) H
x
H (x, ,u) T (t) f (x,u)
H (x, ,u) L(x,u) T (t) f (x,u)
② x(t) 及 (t)满足边界条件：
x(t0 ) x0
(t f ) 0
③ 哈密顿函数相对最优控制取绝对极小值
H[x*(t), (t), u*(t)] min H[x*(t), (t), u(t)] u (t )
最优控制课件第3章
第三章 极小值原理及应用
经典变分法局限性： 1、应用前提： a ）控制量 u(t)的取值无约束。 b ） f、L、Φ等函数对其自变量二次连续可微，要求哈密 尔顿函数关于控制变量的偏导数存在 。 2、实际控制要求：
a ）控制量u受不等式约束，如：M i (u ) 0 ，i=1,2,3……
b ）性能指标有时关于u并不可微，要求哈密尔顿函数 关于控制变量的偏导数不存在 。
一般:对于实际系统根据物理意义有最优解 极小值原理 有唯一解－－ 最优解
－－－－－－－－
－－－－－－－－
但是，对于线性系统可以证明极小值原理既是泛函取最小 值的必要条件，也是充分条件。
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Date: File:
05.04.2015 OC_CH3.6
Optimal Control Theory & its Application
②在最优轨线上，与最优控制u*相对应的H函数取绝对极小 值，即 或 沿最优轨线
③H函数在最优轨线终点满足
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Optimal Control Theory & its Application
取哈密尔顿函数为
则实现最优控制的必要条件是，最优控制u*、最优轨线x* 和最优协态矢量λ*满足下列关系式： ①沿最优轨线满足正则方程
当g中不含x时
Optimal Control Theory
Dong Jie 2014. All rights reserved.
经典变分法局限性： 1、应用前提： a ）控制量 u(t)的取值无约束。 b ） f、L、Φ等函数对其自变量二次连续可微，要求哈密 尔顿函数关于控制变量的偏导数存在 。 2、实际控制要求：
a ）控制量u受不等式约束，如：M i (u ) 0 ，i=1,2,3……
b ）性能指标有时关于u并不可微，要求哈密尔顿函数 关于控制变量的偏导数不存在 。
一般:对于实际系统根据物理意义有最优解 极小值原理 有唯一解－－ 最优解
－－－－－－－－
－－－－－－－－
但是，对于线性系统可以证明极小值原理既是泛函取最小 值的必要条件，也是充分条件。
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Date: File:
05.04.2015 OC_CH3.6
Optimal Control Theory & its Application
②在最优轨线上，与最优控制u*相对应的H函数取绝对极小 值，即 或 沿最优轨线
③H函数在最优轨线终点满足
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Optimal Control Theory & its Application
取哈密尔顿函数为
则实现最优控制的必要条件是，最优控制u*、最优轨线x* 和最优协态矢量λ*满足下列关系式： ①沿最优轨线满足正则方程
当g中不含x时
Optimal Control Theory
Dong Jie 2014. All rights reserved.
第7章 极小值原理
−1≤ u ≤1
求最优控制和最优轨迹，使如下性能指标取得极小值。
T H = L(x,u,t) +λ f (x,u, t) 解：哈密尔顿函数为 − x1 +u = [λ λ2] 1 1 = λ (−x1 +u) +λ2x1 x1 & λ* = λ* −λ* 2 1 1 & = − ∂H −(∂g )T γ 协状态方程： λ & ∂x ∂x λ* = 0 2
m H[x*， *， ， ] = H[x*， *， *， ] in λ u t λ u t
u∈ U
∂H ∂g = −( )T γ ∂u ∂u
§7－1 极小值原理
3) H 函数在最优轨线终点处的值决定于
∂Φ T ∂N +µ =0 H + ∂t f ∂t f t =t f
J = x1(1 )
§7－1 极小值原理
* * 运用极小值原理： H[x*,u*, λ ] = m H[x*, u, λ ] in u≤ 1 * * * * = m {λ (u − x1 ) +λ2x1} in 1 u≤ 1 * * * * = −λ x1 +λ2x* + m {λ u} in 1 1 1 u≤ 1
求满足如下不等式约束条件
u ≤1
t ∈[0, t f ]
x0 = [x10 x20]T
tf
的控制 u(t) ，使系统自某一初始状态
转移到状态空间原点的时间最短。即使如下性能指标取极小值：
J = ∫ dt
0
§7－2 时间最优控制问题
哈密尔顿函数为：
H[x(t)， (t)， (t)] =1+λ (t)x2(t) +λ2(t)u(t) u λ 1
现代控制理论 6 最优控制
（11）
对（11）式中的第三项进行分部积分，得
T J [ x ( t )] H ( x , u , λ , t ) d t λ ( t ) x λ ( t ) x d t f t T t f t 0
0
t f
t f
t 0
（12）
当泛函J 取极值时，其一次变分等于零。 即
T
将上式改写成
T T t H H f δ J λ ( t ) δ x ( t ) λ δ x δ u d t 0 f f t x ( t ) x u 0 f （13）
0
tf
( x ,x , t ) 及 x ( t ) 在 [ t 0 , t f ] 上连续可微， t 0 和 t f 给定， 其中， L
(t0) x x (tf ) xf ，x(t)Rn ，则极值轨线 x * ( t ) 满足如下欧 已知 x 0， 拉方程
L d L 0 x dt x
J [ x ( t t ( x , u , t ) d t f), f] L
t f t 0
(x ,u ,t) 是 x 、u 和t 的连续函数 最优。其中 L
最优控制问题就是求解一类带有约束条件的条件泛函极值问题。
补充：泛函与变分法
一、泛函与变分
1、泛函的基本定义： 如果对于某个函数集合 x(t)中的每一个函数 x (t )，变量J 都有一个 值与之对应，则称变量J 为依赖于函数 x (t ) 的泛函，记作 Jx ( t) 可见，泛函为标量，可以理解为“函数的函数” 例如：
由于 δ u 是任意的变分，根据变分法中的辅助引理，由（16）式得 （17） （14）式称为伴随方程， λ (t )为伴随变量，（17）式为控制方程。
西工大最优控制课程 第五章 极小值原理及其应用-2
解得：
x1(t) 1 Rsin(t ) x2(t) Rcos(t )
消去t，得 ( x1 1)2 x22 R2
当 u(t) 1时， x1 x1 1
解得： x1(t) 1 Rsin(t ) x2(t) Rcos(t )
消去t，得 ( x1 1)2 x22 R2
两种情况下的相轨迹如图所示：
使系统从已知初始状态 x(t0 ) x0 转移到目标集中某
一终态x(tf)时，目标泛函取最小值，其中tf未知。
min J
u j (t ) 1
tf t0
dt
tf
t0,
j
1,2,, m
Hamilton函数
H[ x(t), u(t), (t), t] 1 T { f [ x(t), t] B[ x(t), t]u(t)}
U=-1
U=+1
• 最优轨线最后一段必为下列两条开关线之一
0 ( x1, x2 ) ( x1 1)2 x22 1, x2 0 0 ( x1, x2 ) ( x1 1)2 x22 1, x2 0
• 由于控制作用的切换时间为π，倒数第二段的开关线为
1 ( x1, x2 ) ( x1 3)2 x22 1, x2 0 1 ( x1, x2 ) ( x1 3)2 x22 1, x2 0
奇异最短时间控制系统
设在区间
t0
,
t
f
中，至少对一个分量，存在一个（或多
个）子区间 t1, t2
的 t t1 , t2 ，有
且t1
,
t2
j
t0
,
t
f
，使得对所有
n
qj (t ) bij [ x (t ), t]i (t ) 0
x1(t) 1 Rsin(t ) x2(t) Rcos(t )
消去t，得 ( x1 1)2 x22 R2
当 u(t) 1时， x1 x1 1
解得： x1(t) 1 Rsin(t ) x2(t) Rcos(t )
消去t，得 ( x1 1)2 x22 R2
两种情况下的相轨迹如图所示：
使系统从已知初始状态 x(t0 ) x0 转移到目标集中某
一终态x(tf)时，目标泛函取最小值，其中tf未知。
min J
u j (t ) 1
tf t0
dt
tf
t0,
j
1,2,, m
Hamilton函数
H[ x(t), u(t), (t), t] 1 T { f [ x(t), t] B[ x(t), t]u(t)}
U=-1
U=+1
• 最优轨线最后一段必为下列两条开关线之一
0 ( x1, x2 ) ( x1 1)2 x22 1, x2 0 0 ( x1, x2 ) ( x1 1)2 x22 1, x2 0
• 由于控制作用的切换时间为π，倒数第二段的开关线为
1 ( x1, x2 ) ( x1 3)2 x22 1, x2 0 1 ( x1, x2 ) ( x1 3)2 x22 1, x2 0
奇异最短时间控制系统
设在区间
t0
,
t
f
中，至少对一个分量，存在一个（或多
个）子区间 t1, t2
的 t t1 , t2 ，有
且t1
,
t2
j
t0
,
t
f
，使得对所有
n
qj (t ) bij [ x (t ), t]i (t ) 0
现代控制理论课件-第六章 极小值原理
⑴ 满足正则方程
x*
k
1
H
x*
k
，u* k ，* k 1
k
1，k
f x* k ，u* k ，k
*
k
H
x*
k
，u* k ，* xk
k
1，k
⑵ 相对于最优控制，哈密尔顿函数达极小值，即
H x* k ，u* k ，* k 1，k H x* k ，uk ，* k 1，k
⑶ 及满足以下边界条件及横截条件
x*
0
x0，*
N
x* N ，N x N
同理，对不同的边界情况，只需选取相应的边界条 件及横截条件，条件1、2不变。当控制变量不受限 制时，则条件2与控制方程
等效。
H
x*
k ，u* k ，* uk
k
1，kபைடு நூலகம்
0
§ 6.3 极小值原理解最短时间控制问题
一般情况下，非线性受控系统的最短时间控制问题的 解析解是很困难的，本节只讨论线性定常受控系统的 最短时间控制问题。
比较上述极小值原理与变分法所得的结果，可以发现 两者的差别仅在⑵。 极小值原理的严格证明很复杂，下面的证明将重于物 理概念的阐述，尽量避免烦琐的数学推导。 设系统动态方程为：
xt f xt，ut，t
边界条件为：xt0 x0 ，为简单起见，假设终端时刻 t f
及终端状态 x t f 均为自由。控制变量 ut 受有界闭集 约束，即 utU
性能指标为：
J x
tf
，t f
tf t0
F
xt，ut，t dt
则使性能指标 J 达到极小的最优控制 u* t 及最优状态 轨线 x* t 必须满足以下条件：
5 最优控制-极小值原理
* j
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0
第七章极小值原理与典型最优控_...
N[ x(t f ), t f ] 0
N T H (t f ) ( )v, t t f t f t f
N T (t f ) ( )v, t t f x x
13
极小值原理与变分学
区别在于极值条件不同 极小值原理的极值条件是 Hamilton 函数
x - n 维向量, f - n 维向量函数
u – m 维控制向量函数
容许控制
u Rm
- 是一给定的有界集合
假定终端时间 t f 满足 N[ x(t f ), t f ] 0
4
假设 f 对于 x , u 具有连续的偏导数
这种光滑性假定，对于任何分段连续的函数 u 保证了存在唯一的属于式（1）的容许轨线 x 可定义容许控制函数集合是这类分段连续的函数 并假定对于一个容许的 u 和给定的初始条件 ， x(t 0 ) 在所考虑的控制区域内，式（ 1）确定了一个唯一 的容许解
T
8
特性指标为
J [ x(t ), t ] t t
tf
t t f
0
(t )}dt {H [ x(t ),u(t ), (t ), t ] (t ) x
T t0
9
积分可得
J { [ x(t ), t ] (t ) x(t )
T
t t f t t0
H 0 u(t ) R 1 (t ) BT (t ) (t ) u
A(t ) x B(t )u x
x(t 0 ) x 0
(t f ) Sx(t f )
27
确定闭环控制
假设 则得
N T H (t f ) ( )v, t t f t f t f
N T (t f ) ( )v, t t f x x
13
极小值原理与变分学
区别在于极值条件不同 极小值原理的极值条件是 Hamilton 函数
x - n 维向量, f - n 维向量函数
u – m 维控制向量函数
容许控制
u Rm
- 是一给定的有界集合
假定终端时间 t f 满足 N[ x(t f ), t f ] 0
4
假设 f 对于 x , u 具有连续的偏导数
这种光滑性假定，对于任何分段连续的函数 u 保证了存在唯一的属于式（1）的容许轨线 x 可定义容许控制函数集合是这类分段连续的函数 并假定对于一个容许的 u 和给定的初始条件 ， x(t 0 ) 在所考虑的控制区域内，式（ 1）确定了一个唯一 的容许解
T
8
特性指标为
J [ x(t ), t ] t t
tf
t t f
0
(t )}dt {H [ x(t ),u(t ), (t ), t ] (t ) x
T t0
9
积分可得
J { [ x(t ), t ] (t ) x(t )
T
t t f t t0
H 0 u(t ) R 1 (t ) BT (t ) (t ) u
A(t ) x B(t )u x
x(t 0 ) x 0
(t f ) Sx(t f )
27
确定闭环控制
假设 则得
第04章：极小值原理及其应用
H
H U
存在，且
H 0 U
得出的
H 0 U
绝对极小，如图4-1（a）所示时， 即为条件（4-21）式。所以极小值原理可以解决变 分法所能解决的问题，还能解决变分法不能解决的 问题。如何应用条件（4-21）式，这是一个关键， 我们将用具体例子来说明。
4.3 最短时间控制问题
节省时间意味着提高生产率或先发制人取得军事 行动的胜利。所以人们很早就开始了对最短时间控 制的研究，这方面的研究结果很多，这里先就简单 的重积分系统的最短时间控制展开讨论。 在前面的绪论中列举了火车快速行驶问题。设火车质 量m=1，把运动方程写成状态方程形式，令 x1 x, x2 x 可化为下面的最短时间控制问题。
T H f |U U ( ) |U U X X
（4-10）
（4பைடு நூலகம்11）
T G (t f ) X (t f ) X (t f )
（4-12）
显然，方程（4-9）和（4-11）为共轭方程，立即 求得积分
1
t
当 U U U 时，
X (t ) X (t1 )
t
t1
f ( X ,U U , t )dt
两式相减可得这一段的 X (t )
X (t ) [ f ( X ,U U , t ) f ( X ,U , t )]dt （4-6） t
这时又有系统的状态方程为而状态变量的变分满足方程49引入变量及哈密顿函数410411412显然方程49和411为共轭方程立即求得积分即最终求得了由于的有限改变而引起的最优轨线的变化特别是末值状态的变化下面研究由引起的最优性能指标的改变由于故有414综合48412413和414等式可以建立与有限改变量之间的关已知中的任意时刻并以表示或用哈密顿函数的表达式410表示可得415于是定常系统末值型性能指标固定末端受约束情况下极小值原理得以证明
H U
存在，且
H 0 U
得出的
H 0 U
绝对极小，如图4-1（a）所示时， 即为条件（4-21）式。所以极小值原理可以解决变 分法所能解决的问题，还能解决变分法不能解决的 问题。如何应用条件（4-21）式，这是一个关键， 我们将用具体例子来说明。
4.3 最短时间控制问题
节省时间意味着提高生产率或先发制人取得军事 行动的胜利。所以人们很早就开始了对最短时间控 制的研究，这方面的研究结果很多，这里先就简单 的重积分系统的最短时间控制展开讨论。 在前面的绪论中列举了火车快速行驶问题。设火车质 量m=1，把运动方程写成状态方程形式，令 x1 x, x2 x 可化为下面的最短时间控制问题。
T H f |U U ( ) |U U X X
（4-10）
（4பைடு நூலகம்11）
T G (t f ) X (t f ) X (t f )
（4-12）
显然，方程（4-9）和（4-11）为共轭方程，立即 求得积分
1
t
当 U U U 时，
X (t ) X (t1 )
t
t1
f ( X ,U U , t )dt
两式相减可得这一段的 X (t )
X (t ) [ f ( X ,U U , t ) f ( X ,U , t )]dt （4-6） t
这时又有系统的状态方程为而状态变量的变分满足方程49引入变量及哈密顿函数410411412显然方程49和411为共轭方程立即求得积分即最终求得了由于的有限改变而引起的最优轨线的变化特别是末值状态的变化下面研究由引起的最优性能指标的改变由于故有414综合48412413和414等式可以建立与有限改变量之间的关已知中的任意时刻并以表示或用哈密顿函数的表达式410表示可得415于是定常系统末值型性能指标固定末端受约束情况下极小值原理得以证明
教材第3章极小值原理
（3—13） （3—14）
∫ δ J t f
=∂ ∂tf
⎢⎣⎡Φ + μ T N +
tf tf
+δ
tf
Ψdt
⎤ ⎥⎦
t=t f
δ
tf
=
⎡ ⎢ ⎢⎣
∂Φ ∂t f
+ ∂N T ∂t f
⎤ μ + Ψ⎥ δ t f
⎥⎦ t =t f
（3—15）
[ ] ∫ δ
Jx
=d
xT (t f
)∂ ∂x
Φ + μT N
dt
∫ δ
Jw
=
δ
wT
(t
f
)
∂Ψ ∂ w
t=t f
−
tf t0
δ
wT
d dt
∂Ψ ∂ w
dt
∫ δ
Jz
=δ
zT
(t f
)
∂Ψ ∂ z
t=t f
−
tf t0
δ
zT
d dt
∂Ψ ∂ z
dt
把式（3—15）～式（3—19）代入式（3—11）整理可得
（3—17） （3—18） （3—19）
δ J '=δ Jt f +δ Jx +δ Jw +δ Jz
x = f [x(t) , u(t) , t]
x(t) ∈ Rn
（3—44）
始端条件为
x(t0 ) = x0
终端约束为
（3—45）
N [x(t f ) , t f ] = 0 N ∈ Rm m ≤ n
控制约束为
，t f 待定
（3—46）
g[x(t) , u(t) , t] ≥ 0 u(t) ∈ Rr g ∈ Rl l ≤ r ≤ n
第十章 动态系统的最优控制方法
其中 x Rn , u R p ，求 u* J min max
构造Harmilton函数：
H x, u,,t L x, u,t T t f x, u,t
式中： Rn ——拉格朗日乘子分量
Modern Control Theory
Page: 20
变分法求解最优控制问题
求 最 优 解 的 必要条 件
Page: 21
变末分法端求固解定最终优端控制自问由题
现
代
控
一、末端时刻 t f 固定, x t f 任意(终端自由)
制 理
定理:对于最优控制问题
论
min J x
tf
tf L x, u,t dt
t0
s.t. xt f x,u,t, xt0 x0
最优解的必要条件:
1. xt t 满足正则方程
t0 x
x
Modern Control Theory
Page: 8
最优控制中的变分法
现
代
控
制 理 论
[例] J tf x2 (t)dt J ? t0
解: J[x] 1 x2 (t)dt 0
J
1
[
F
x]dt
0 x
1
[2x x]dx
0
Modern Control Theory
Page: 9
记作J x t
(2)函数的变分
泛函J x t 的变量x t 变分 x : x x t x0 t , 它表示x t 与x0 t 之间的差
Modern Control Theory
Page: 5
线性泛函
现
代 (3)泛函的连续性： 控
制 理
对 于 任 意 给 定 的 0, 存 在 0， 当 x x0 时 ，
第八章 极小值原理
均自由。经过同变分法中的类似推导，最后得
Ja
x t x
f ，t tf
f
tf
T x
tf
x
tf t f
，t
f
H
x
tf
，u
tf
，
tf
，t f t f
tf t0
H
x，u，λ，t
x
&T
x
H
x，u，λ，t
u
T
u
H
x，u，λ，t λ
*T tbiu*i t *T tbiui t
由此可得最优控制规律为
L.S.Pontryagin
第一节 连续系统的极小值原理
设连续系统动态方程为：
x&t f xt，ut，t
(8-1)
边界条件可以固定、自由或受轨线约束，控制变量 ut 属于m维 有界闭集U，即
性能指标为：
utU Rm
(8-2)
J x
tf
，t f
tf t0
F
xt，ut，t dt
(8-3)
J x
tf
，t f
tf t0
F
xt，ut，t dt
为极小。
(8-9)
设对应于最优情况的性能指标为 J u* ，仅考虑由于 u* t 偏离 ut
时的性能指标为 J u ，则按最优的定义，下式必然成立
J u J u* J 0
设 u* t 偏离 ut 足够小 ut u* t ut
(8-10)
H x* t，u* t ，λ* t ，t c
t t0，t f
(8-31)
如果终端时刻 t f 自由，则
H x* t，u* t ，λ* t ，t 0
Ja
x t x
f ，t tf
f
tf
T x
tf
x
tf t f
，t
f
H
x
tf
，u
tf
，
tf
，t f t f
tf t0
H
x，u，λ，t
x
&T
x
H
x，u，λ，t
u
T
u
H
x，u，λ，t λ
*T tbiu*i t *T tbiui t
由此可得最优控制规律为
L.S.Pontryagin
第一节 连续系统的极小值原理
设连续系统动态方程为：
x&t f xt，ut，t
(8-1)
边界条件可以固定、自由或受轨线约束，控制变量 ut 属于m维 有界闭集U，即
性能指标为：
utU Rm
(8-2)
J x
tf
，t f
tf t0
F
xt，ut，t dt
(8-3)
J x
tf
，t f
tf t0
F
xt，ut，t dt
为极小。
(8-9)
设对应于最优情况的性能指标为 J u* ，仅考虑由于 u* t 偏离 ut
时的性能指标为 J u ，则按最优的定义，下式必然成立
J u J u* J 0
设 u* t 偏离 ut 足够小 ut u* t ut
(8-10)
H x* t，u* t ，λ* t ，t c
t t0，t f
(8-31)
如果终端时刻 t f 自由，则
H x* t，u* t ，λ* t ，t 0
极小值原理——精选推荐
§ 7. 3 极小值原理极小值原理是前苏联数学家庞特里亚金首提. 是变分法的延伸和推广,亦称极大值原理是解决控制和状态受约束最优控制问题的有力工具. 极小值原理的一种表述及其应用(不证) 1. 极小值原理 定理7.3 设==00()[(),(),],()xt f x t u t t x t x ， 指标=+⎰0[(),(),]d [()]Tt J F x t u t t t S x T ，约束∈()()u t U 容许控制集，Hamilton 函数=+(,,,)[,,][,,]TH x u λt F x u t λf x u t ，则*()u t 是最优控制的必要条件是:*()u t 和相应的*()x t , *()λt 满足系统方程，∂=∂H x λ； (7.16)伴随方程，∂=-∂H λx； (7.17) 极值条件，******≤∈[,,,][,,,],,H x u λt H x u λt u u U ；(7.18)边界条件，∂=∂()()x T SλT x 。
(7.19)对(7.12)~(7.15’)，改变的只是极值条件和边界条件。
说明：1) 只有*()u t 才能使Hamilton 函数为全局最小(故名)若无控制约束, 则有∂∂=/0H u .2)边值条件自然含=00()x t x →确定状态和伴随向量. 3)非充要条件。
对线性系统，条件是充要的。
4)解题步骤类似§2中用变分法<1> 作Hamilton 函数→极值条件→待定u (t )； <2> 若伴随方程中无x ，则求出λ；<3>若待定最优控制中不含x →即已求得()u t ；(否则就要解规范方程组)，<4>求出,x J **(若要计算)。
2. 自由终端状态的最优控制举例例 7.5 求状态方程为==,(0)1xu x ， 指标为=⎰1min ()d J x t t ，控制约束为()[1,1]u t ∈-，的最优控制。
最优控制第六章极小值原理
以 w u，w * u*代入上式，便得
H x*, *,u,t H x*, *,u*,t
(35)
上式表明，如果哈密尔顿函数H看成 utU 的
函数，那么最优轨迹上与最优控制u*(t)相对应的
H将取绝对极小值(即最小值)。这是极小值原理的
一个重要结论。
定理 设系统状态方程为
xt0 x0
Nxt f ,t f 0
(48)
这就是著名的极小值原理。
下面对定理作些说明： 1) 定理的第一、第二个条件，即式(41)～式
(44)，普遍适用于求解各种类型的最优控制问题， 且与边界条件形式或终端时刻自由与否无关。其
中，第二个条件：min H x*, *,u,t H x*, *,u*,t uU
(45)
u u
3) H函数在最优轨迹终点处的值决定于
H
Φ
T
N
0
(46)
t f
t f tt f
4) 协态终值满足横截条件
t f
Φ
x
t
f
N T
x t f
tt f
(47)
5) 满足边界条件
J1
Ψ
x T
Ψ x
Φ t f
N T t f
tt f
t f
d xT
tf
Φ
x
N T x
Ψ x
t t
f
wT
Ψ w tt f
zT
Ψ z
tt f
最优控制第2章 极小值原理
2015-03-24
20
u
*
(t
)
=
⎧ −1, ⎪⎨−0.5λ2
(t
λ2 (t ), | λ2
)> (t)
2 |≤
2
(∗)
⎪⎩ 1, λ2 (t) < −2
由伴随方程 λ& = −∂H / ∂x 得到：
求解得到：
λ&1(t) = 0, λ&2 (t) = −λ1(t)
λ1(t) = c1, λ2 (t) = −c1t + c2 本例tf自由，因此H函数在最优终端时刻 t*f满足横截条件:
2015-03-24
17
分分析析::
要使 H[x*, u, λ*, t] 达到极小，就要 (1 − λ*)u达到极小 。由控 制约束 0.5 ≤ u ≤ 1 可得，最优控制为：
u *(t)
=
⎧ 1, ⎨⎩0.5,
λ >1 λ <1
由 λ (t) = e1−t − 1易知，当ts=0.307时，λ * (ts ) = 1 ，故最优 控制为：
2015-03-24
3
定理１（极小值原理）对于上述最优控制问题，选取哈密 顿函数为：
H = L( x,u,t) + λT (t) f [x(t), u(t), t]
则实现最优控制的必要条件：
(1) 最优状态x*和最优协态 λ* 满足正则方程:
x&(t) =
∂H ∂λ
=
f [ x(t), u(t), t]
则伴随方程 λ& = −∂H / ∂x为：
λ& = − ∂H = −1 − λ ∂x
15
2015-03-24
离散系统的极小值原理
k =0 N −1
（3-4）
当不考虑式（3-1）所示的等式约束时，为了求得上 述离散拉格朗日问题的极值解，对式（3-4）取离散 一次变分：
T T ∂L T ∂Lk ∂Lk k δ J = ∑ δ x( k ) + δ u (k ) + δ x(k + 1) k = 0 ∂x ( k ) ∂u (k ) ∂x(k + 1) N −1
2 离散极小值原理
庞特里亚金发表极小值原理时，只讨论了连续系 统的情况。为了获得离散系统的极小值原理，有 人曾经从离散系统与连续系统比较接近这一事实 出发，设想把连续极小值原理直接推广到离散系 统中去，但除了采样周期足够小的情况外，结果 是失败的。 离散极小值原理的普遍论述比较复杂，证明过程 也十分冗长。为了简单起见，下面介绍控制向量 序列不受约束情况下的离散极小值原理，然后不 加证明地推广到控制向量序列受约束的情况。
当控制序列不受约束时，可以采用离散变分法求 解离散系统的最优控制问题，得到离散极值的必 要条件——离散欧拉方程。 设描述离散系统的状态差分方程为：
x(k + 1) = f [ x(k ), u (k ), k ]
（3-1）
式中 x(k ) 是离散时刻 tk 的 n 维状态；u (k ) 是 tk 的 m f 维控制向量； (•)是 n 维向量函数序列，对于等间 N 隔采样， = kT ， 为采样周期； 为数据窗口长度。 T k
目录
离散欧拉公式 离散极小值原理
随着数字计算机日益普及，计算机控制系统日 益增多，因此，离散系统最优控制问题的研究 显的十分重要，其原因是，一方面许多实际问 题本身就是离散的，另一方面，即时实际系统 是连续的，但为了对连续系统采用计算机控制， 需要把时间整量化，从而得到一离散化系统。
（3-4）
当不考虑式（3-1）所示的等式约束时，为了求得上 述离散拉格朗日问题的极值解，对式（3-4）取离散 一次变分：
T T ∂L T ∂Lk ∂Lk k δ J = ∑ δ x( k ) + δ u (k ) + δ x(k + 1) k = 0 ∂x ( k ) ∂u (k ) ∂x(k + 1) N −1
2 离散极小值原理
庞特里亚金发表极小值原理时，只讨论了连续系 统的情况。为了获得离散系统的极小值原理，有 人曾经从离散系统与连续系统比较接近这一事实 出发，设想把连续极小值原理直接推广到离散系 统中去，但除了采样周期足够小的情况外，结果 是失败的。 离散极小值原理的普遍论述比较复杂，证明过程 也十分冗长。为了简单起见，下面介绍控制向量 序列不受约束情况下的离散极小值原理，然后不 加证明地推广到控制向量序列受约束的情况。
当控制序列不受约束时，可以采用离散变分法求 解离散系统的最优控制问题，得到离散极值的必 要条件——离散欧拉方程。 设描述离散系统的状态差分方程为：
x(k + 1) = f [ x(k ), u (k ), k ]
（3-1）
式中 x(k ) 是离散时刻 tk 的 n 维状态；u (k ) 是 tk 的 m f 维控制向量； (•)是 n 维向量函数序列，对于等间 N 隔采样， = kT ， 为采样周期； 为数据窗口长度。 T k
目录
离散欧拉公式 离散极小值原理
随着数字计算机日益普及，计算机控制系统日 益增多，因此，离散系统最优控制问题的研究 显的十分重要，其原因是，一方面许多实际问 题本身就是离散的，另一方面，即时实际系统 是连续的，但为了对连续系统采用计算机控制， 需要把时间整量化，从而得到一离散化系统。
极小值原理
解：为简单计，取 2。问题是要确定最优控 u * (0), u * (1); N 制 最优轨迹x* (1)，x* (2)及最优性能泛函 * 2 [ x(0)],先考虑最后一 J 步，即由状态 (1)，转移到x(2)这一步。如果采用控制 (1),则有 x u 1 2 1 2 1 2 1 x(2) x(1) u (1), J1[ x(1)] u (1) Cx (2) u (1) c[ x(1) u (1)]2 2 2 2 2 最优控制u (1)应使由状态x(1)出发时J1[ x(1)]为最小，故有 J1[ x(1)] u (1) c[ x(1) u (1)] 0 u (1) cx(1) * c x(1) * x(1) 因此得u * (1) , J 1[ x(1)] , x (2) 1 c 2 1 c 1 c 实际上，它们都是这一 段初始状态x(1)的函数。
综上可得： c 最优控制为u (0) x ( 0) 1 2c c c * u (1) x(1) x(0) 1 c 1 2c 最优轨迹为x* (0) x0
*ห้องสมุดไป่ตู้
1 c x (1) x(0) 1 2c 1 1 x* (2) x(1) x(0) 1 c 1 2c
2）求 (t )以确定u的切换点 H 由协态方程 (1 )得＋＝－ ，其解为＝－ ＋Ce t 1 1 x 当t f 1时 (t f ) (1) 0, C e, 故切换点：令 1, 得t 1 ln 2 0.307
二、补充说明
1、式H [ x* (t ), u * (t ), * (t ), t ] H [ x* (t ), u (t ), * (t ), t ] 说明当u (t )和u (t )都从容许的有界集中取 值时，
综上可得： c 最优控制为u (0) x ( 0) 1 2c c c * u (1) x(1) x(0) 1 c 1 2c 最优轨迹为x* (0) x0
*ห้องสมุดไป่ตู้
1 c x (1) x(0) 1 2c 1 1 x* (2) x(1) x(0) 1 c 1 2c
2）求 (t )以确定u的切换点 H 由协态方程 (1 )得＋＝－ ，其解为＝－ ＋Ce t 1 1 x 当t f 1时 (t f ) (1) 0, C e, 故切换点：令 1, 得t 1 ln 2 0.307
二、补充说明
1、式H [ x* (t ), u * (t ), * (t ), t ] H [ x* (t ), u (t ), * (t ), t ] 说明当u (t )和u (t )都从容许的有界集中取 值时，
现代控制理论 第6章 最优控制(录像)2(极小值 [1]加了二次型
![现代控制理论 第6章 最优控制(录像)2(极小值 [1]加了二次型](https://img.taocdn.com/s3/m/d65dd491fc4ffe473368abc0.png)
由min H x , ,u,t H x , ,u ,t uU
min H
uU
min uT BT
u( t ) SGN( BT )
得：
ui( t )sgn ( BT ) i ,i1,2, ,r
1 a 0
其中函数sgn a
0
a0
1 a 0
a为向量时用SGN表示。
总目录 返回 上一页 下一页
6.8 极小值原理
经典变分法
x Hx,u, ,t , Hx,u, ,t , Hx,u, ,t 0
x
u
状态方程
伴随方程
控制方程
应用范围：
u无约束, 且H对u连续可微 难满足
一般 ui Mi ( i 1,2 m ) 更一般控制u(t)受不等式约束：
gxt ,u(t),t 0
总目录 返回 上一页 下一页
t
u 切换时刻
总目录 返回 上一页 下一页
6.10.2 状态轨线及开关曲线
x* t 12.3
1
0 0.307
1
0.5
t 0 0.307
6.44
5
1 t 0 0.307 1 t
总目录 返回 上一页 下一页
例6.8.2 已知系统 x1t x1t ut x10 1
x2 t x1t
x2 0 0
其中 ut 1 ，若x t f 自由，求u* t 使
J x2 1 min
由正则方程组： x Ax Bu
H AT
x
(
t
)
e
AT t
(
0
)
e
AT t 0
u( t ) SGN( BT ) SGN( BT e ATt0 )
1.时间控制是Bang-Bang控制,即开关控制；
min H
uU
min uT BT
u( t ) SGN( BT )
得：
ui( t )sgn ( BT ) i ,i1,2, ,r
1 a 0
其中函数sgn a
0
a0
1 a 0
a为向量时用SGN表示。
总目录 返回 上一页 下一页
6.8 极小值原理
经典变分法
x Hx,u, ,t , Hx,u, ,t , Hx,u, ,t 0
x
u
状态方程
伴随方程
控制方程
应用范围：
u无约束, 且H对u连续可微 难满足
一般 ui Mi ( i 1,2 m ) 更一般控制u(t)受不等式约束：
gxt ,u(t),t 0
总目录 返回 上一页 下一页
t
u 切换时刻
总目录 返回 上一页 下一页
6.10.2 状态轨线及开关曲线
x* t 12.3
1
0 0.307
1
0.5
t 0 0.307
6.44
5
1 t 0 0.307 1 t
总目录 返回 上一页 下一页
例6.8.2 已知系统 x1t x1t ut x10 1
x2 t x1t
x2 0 0
其中 ut 1 ，若x t f 自由，求u* t 使
J x2 1 min
由正则方程组： x Ax Bu
H AT
x
(
t
)
e
AT t
(
0
)
e
AT t 0
u( t ) SGN( BT ) SGN( BT e ATt0 )
1.时间控制是Bang-Bang控制,即开关控制；
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四章 极小值原理及其应用
4.1 经典变分法的局限性 4.2 连续系统的极小值原理 4.3 最短时间控制问题 4.4 最少燃料控制问题 4.5 离散系统的极小值原理 4.6 小结
4.1 经典变分法的局限性
上面我们用经典变分法解最优控制问题时，得出了 最优性的必要条件
H 0 U
在得出这个条件时，作了下面的假定：
写成 U(t，) 为闭集。更一般的情况可用下面 的不等式约束来表示。
gU (t), t 0
当 U(t) 属于有界闭集，U(t) 在边界上取值时，U
就不是任意的了，因为无法向边界外取值，这时
H 0 就不一定是最优解的必要条件。考察由
U
图4-1所表示的几种情况，图中横轴上每一点都表
庞特里亚金极大值原理却将最优控制与控制域内所 有可能的值进行比较，因而得出结论，在整个控制 域内最优控制使哈密顿函数 H 成为绝对极小值。 正是这个性质使得庞特里亚金极大值原理成为寻找 最优控制的有力工具。但是这样，U (t) 的改变量U 必须看成有限量，而不再是微量。如果让改变的时 间很短，则由此引起的最优轨线的改变 X 仍是微 量，性能指标的增量 J 也是微量，因而对各关系式 的数学处理仍是比较容易的。
1 U 是任意的，即不受限制，它遍及整个向量空间，
是一个开集； 2 H 是存在的。
U
在实际工程问题中，控制作用常常是有界的。 如飞机舵面的偏角有限制，火箭的推力有限制，生 产过程中的生产能力有限制等等。一般，我们可用 下面的不等式来表示
ui (t) M i
i 1,2,,m
这时 U(t) u1(t),u2(t),,um(t)T 属于一个有界的闭集，
t1
当 U U U 时，
X (t) X (t1 )
t t1
f (X ,U U,t)dt
两式相减可得这一段的 X (t)
t
X (t)
[ f (X ,U U,t) f (X ,U ,t)]dt
（4-6）
t1
可以对 X (t) 的大小作估计
X (t)
max t1 tt1
f (X ,U U,t)
4.2 连续系统的极小值原理
由于可以利用扩充变量的方法将各类最优 控制问题化为定常系统，末值型性能指标情况 下的标准形式。我们这里只就定常系统、末值 型性能指标、t f 固定、末端受约束情况下给出 极小值原理的简单证明。
设系统的状态方程为
X f ( X ,U ,t)
初始条件为
X (t) Rn （4-1）
设U (t) 为最优控制，任选一时刻 t1 [t0,t f ] 及一微 量 0 ，在时间间隔中[t1 ,t1] 给 U (t) 一有限大 小的改变量 U ，且(t) 的变化。分为三段考虑：
1
0 t t1
示一个标量控制函数 u ，其容许取值范围为 。
H
H
H
u*
u u* u0
u u*
u
(a)
(b)
(c)
图4-1有界闭集内函数的几种形状
对于图4-1（a） H / u 0 仍对应最优解 u 。对于
图4-1(b) H /u 0 所对应的解 u 0不是最优解，最优 解 u 在边界上。对于图4-1（c）H /U 常数，由这个
（4-4） （4-5）
在本节中，假设函数fi ( X ,U , t)
，
fi X
， X (t f ),t f ，
X (t f )
存在且连续，并假定容许控制 U (t) 是在控
制域内取值的任何分段连续函数。这时如果选定了某
一容许控制 U(t) ，则容易证明在任意的初始条件
X (t0) X0 下，方程（4-1）唯一的确定了系统状态的 变化规律 X (t) ，且 X (t) 是连续的和分段可微的。在 这些条件下，我们就定常系统、末值型性能指标、t f 固定、末端受约束情况下给出极小值原理的简单证明。
证明：
采用扰动法，即给最优控制一个变分 U ，它将引起
最优轨线的变分 X，并使性能指标有一增量 J ，
当 J 为极小时，必有 J 0 ，由此即可导出最优 控制所应满足的必要条件。在变分法中，U 是微
量，即将最优控制和邻近的容许控制相比较，因而最
多只能建立哈密顿函数 H 的相对极小值性质。
t0
t0
这时 H ( X ,U , ,t) F ( X ,U ,t) T f ( X ,U ,t) 对U的一
阶偏导数不连续。
经典变分法无法处理上面的情况，必须另辟新 的途径。极小值原理就是解决这类问题的有力工具。 用极小值原理求解控制无约束的最优控制问题和古 典变分法是完全一样的。1956年前苏联学者庞特里 雅金提出这个原理时，把它称为极大值原理，目前 较多地采用极小值原理这个名字。下面给出这个原 理及其证明，并举例说明其应用。
方程解不出最优控制 u 来（这种情况称为奇异情
况），最优解 u在边界上。另外，H /U 也不一定是 存在的。例如状态方程的右端 f (X ,U,t) 对U的一阶偏
导数可能不连续，或由于有些指标函数，如燃料最优
控制问题中，具有下面的形式
J t f F( X ,U , t)dt t f U dt
在这一段中，U 0 ，因而 X (t) 0 。
2 t1 t t1
系统的状态方程（4-1）可在初始条件 X (t1 ) X (t1 ) 下直接积分。
当 U U 时，
X (t) X (t1 )
t f (X ,U ,t)dt
X (t0 ) X 0
（4-2）
控制向量 U (t) Rm，并受下面的约束
U
（4-3）
末值状态必须满足的约束条件为
G X (t f ),t f 0
性能指标函数为
J X (t f ),t f TG X (t f ),t f
其中 Rn 为待定列向量。
4.1 经典变分法的局限性 4.2 连续系统的极小值原理 4.3 最短时间控制问题 4.4 最少燃料控制问题 4.5 离散系统的极小值原理 4.6 小结
4.1 经典变分法的局限性
上面我们用经典变分法解最优控制问题时，得出了 最优性的必要条件
H 0 U
在得出这个条件时，作了下面的假定：
写成 U(t，) 为闭集。更一般的情况可用下面 的不等式约束来表示。
gU (t), t 0
当 U(t) 属于有界闭集，U(t) 在边界上取值时，U
就不是任意的了，因为无法向边界外取值，这时
H 0 就不一定是最优解的必要条件。考察由
U
图4-1所表示的几种情况，图中横轴上每一点都表
庞特里亚金极大值原理却将最优控制与控制域内所 有可能的值进行比较，因而得出结论，在整个控制 域内最优控制使哈密顿函数 H 成为绝对极小值。 正是这个性质使得庞特里亚金极大值原理成为寻找 最优控制的有力工具。但是这样，U (t) 的改变量U 必须看成有限量，而不再是微量。如果让改变的时 间很短，则由此引起的最优轨线的改变 X 仍是微 量，性能指标的增量 J 也是微量，因而对各关系式 的数学处理仍是比较容易的。
1 U 是任意的，即不受限制，它遍及整个向量空间，
是一个开集； 2 H 是存在的。
U
在实际工程问题中，控制作用常常是有界的。 如飞机舵面的偏角有限制，火箭的推力有限制，生 产过程中的生产能力有限制等等。一般，我们可用 下面的不等式来表示
ui (t) M i
i 1,2,,m
这时 U(t) u1(t),u2(t),,um(t)T 属于一个有界的闭集，
t1
当 U U U 时，
X (t) X (t1 )
t t1
f (X ,U U,t)dt
两式相减可得这一段的 X (t)
t
X (t)
[ f (X ,U U,t) f (X ,U ,t)]dt
（4-6）
t1
可以对 X (t) 的大小作估计
X (t)
max t1 tt1
f (X ,U U,t)
4.2 连续系统的极小值原理
由于可以利用扩充变量的方法将各类最优 控制问题化为定常系统，末值型性能指标情况 下的标准形式。我们这里只就定常系统、末值 型性能指标、t f 固定、末端受约束情况下给出 极小值原理的简单证明。
设系统的状态方程为
X f ( X ,U ,t)
初始条件为
X (t) Rn （4-1）
设U (t) 为最优控制，任选一时刻 t1 [t0,t f ] 及一微 量 0 ，在时间间隔中[t1 ,t1] 给 U (t) 一有限大 小的改变量 U ，且(t) 的变化。分为三段考虑：
1
0 t t1
示一个标量控制函数 u ，其容许取值范围为 。
H
H
H
u*
u u* u0
u u*
u
(a)
(b)
(c)
图4-1有界闭集内函数的几种形状
对于图4-1（a） H / u 0 仍对应最优解 u 。对于
图4-1(b) H /u 0 所对应的解 u 0不是最优解，最优 解 u 在边界上。对于图4-1（c）H /U 常数，由这个
（4-4） （4-5）
在本节中，假设函数fi ( X ,U , t)
，
fi X
， X (t f ),t f ，
X (t f )
存在且连续，并假定容许控制 U (t) 是在控
制域内取值的任何分段连续函数。这时如果选定了某
一容许控制 U(t) ，则容易证明在任意的初始条件
X (t0) X0 下，方程（4-1）唯一的确定了系统状态的 变化规律 X (t) ，且 X (t) 是连续的和分段可微的。在 这些条件下，我们就定常系统、末值型性能指标、t f 固定、末端受约束情况下给出极小值原理的简单证明。
证明：
采用扰动法，即给最优控制一个变分 U ，它将引起
最优轨线的变分 X，并使性能指标有一增量 J ，
当 J 为极小时，必有 J 0 ，由此即可导出最优 控制所应满足的必要条件。在变分法中，U 是微
量，即将最优控制和邻近的容许控制相比较，因而最
多只能建立哈密顿函数 H 的相对极小值性质。
t0
t0
这时 H ( X ,U , ,t) F ( X ,U ,t) T f ( X ,U ,t) 对U的一
阶偏导数不连续。
经典变分法无法处理上面的情况，必须另辟新 的途径。极小值原理就是解决这类问题的有力工具。 用极小值原理求解控制无约束的最优控制问题和古 典变分法是完全一样的。1956年前苏联学者庞特里 雅金提出这个原理时，把它称为极大值原理，目前 较多地采用极小值原理这个名字。下面给出这个原 理及其证明，并举例说明其应用。
方程解不出最优控制 u 来（这种情况称为奇异情
况），最优解 u在边界上。另外，H /U 也不一定是 存在的。例如状态方程的右端 f (X ,U,t) 对U的一阶偏
导数可能不连续，或由于有些指标函数，如燃料最优
控制问题中，具有下面的形式
J t f F( X ,U , t)dt t f U dt
在这一段中，U 0 ，因而 X (t) 0 。
2 t1 t t1
系统的状态方程（4-1）可在初始条件 X (t1 ) X (t1 ) 下直接积分。
当 U U 时，
X (t) X (t1 )
t f (X ,U ,t)dt
X (t0 ) X 0
（4-2）
控制向量 U (t) Rm，并受下面的约束
U
（4-3）
末值状态必须满足的约束条件为
G X (t f ),t f 0
性能指标函数为
J X (t f ),t f TG X (t f ),t f
其中 Rn 为待定列向量。