最优控制--极大值原理

3)
X (t0 ) = X0
:
∂φ Htf + =0 ∂t f
t0 , t f 已知， (t0 ) = X0给定,末端受约束 g[ X (t f ), t f ] = 0 X
边界条件为:
∂φ ∂gT λ(t f ) = µt f tf + ∂X ∂X g[ X (t f ), t f ] = 0 ∂φ ∂gT + µ =0 若 t f 自由:外加: H |t f + ∂t f ∂t f
_
H[ X (t), λ(t),U (t)] = m H[ X * (t), λ(t), u(t)] ax
* * u(t )
_
_
∴所以有的文献中也称为“极大值原理”。 3、H对u没有可微要求，因此应用拓宽。 4、 极小值原来是求取最优控制的必要条件，非充分条件。 即：满足极小值原理不一定J取极小值,需进一步判断。 一般:对于实际系统
1、问题提出（时变系统） 问题提出 时变系统）
ɺ 已知受控系统 X = f ( X (t), t) + B( X (t), t)u(t), X (0) = X0 并设 f 和 B对X(t)和t 连续可微。 和 连续可微。
X：n×1 ： × u： r×1 ： × f ：n×1 × B：n×r ： × 状态向量 控制向量 函数向量 函数值矩阵
* 解得: x (t) = 0.1e
2t
+ 9.9e−
2t
2t
λ(t) = −0.1( 2 +1)e
b) |u| ≤ 0.3
+ 9.9( 2 −1)e−
2t
由极小值原理: U * = −sgn{λ} 当t=1时
λ =0
在[0,1]区间
λ(t) > 0
* 所以 U (t) = −0.3
五、极小值原理中哈密顿函数H的性质讨论
四、例题分析 :设一阶系统状态方程：
x(t) = x(t) −u(t)
控制约束:
•
x(0)=5
0.5 ≤ u ≤ 1
1
试求使性能指标: J = ∫0 [x(t) + u(t)]dt
* 为极小值的最优控制 U (t)及最优性能指标 J *
解:定常系统, f 固定,末端自由问题
t
H = x + u + λ(x − u) = x(1+ λ) + u(1− λ)
X (t0 ) = X0 转移到末端 X (t f )，X (t f ) 满足约束： g[ X (t f ), t f ] = 0，
•
t f 未定， 并使性能指标达
到极小值。 U (t)和t 设
*
J = φ[ X (t f ), t f ] + ∫ L[ X (t),U(t), t]dt
t0
tf
* 是如上J为最小的最优解， * (t)为最优状态轨 X f
uj ≤ 1
r
r
u j ≤ j= 1 1
= ∑mn q j (t)u j (t) i
则有： 则有：
in ∑m≤1qj (t)u j (t) = − qj (t) u
j= 1
j
r
1 1 j= u j ≤
=1， j =1，2…r
(t)是使 为极小， 最优控制u*(t)是使 q j (t)u j (t)为极小，则： ＋１
tf
tf J = φ[ X (t f )] + ∫ L( X ,U)dt t0 t f L( X ,U)dt ∫0 t
沿最优控制轨线： * (t) = H* (t f * ) = 0（与末端状态无关） H
* 因为 H (t) 中不显函t所以 H* (t) = H* (t * ) ≡ 常数 f ∂φ ∂φ 又因为 t f 自由, H*(t* ) + = 0; = 0;∴H*(t* ) = 0 f f ∂t f ∂t f
0
tf
J[U] H
u0 ≤ u ≤ u2
U 0 U1 U0 U1
∂U
U2
u
若采用经典变分： ∂H = 0,U* = U1;实际应为U* = U0。极小值原理。
J[U] H
u0 ≤ u ≤ u1
U0
U1
u
∂H = 0 不再适用，求不出解来 若采用经典变分法： ∂U
实际应为 U * = U0
J[U] H
∂H = 0 且即使U不受限制， 变分法：在整个控制域，对U没有约束 ∂u ∂H = 0 计算不易。 有时 ∂u
1 、容许控制条件放宽
极小值原理：H在U的约束闭集中取极小值。 变分法仅为极小值原理的一个特例。
* 2、最优控制 U 使哈密顿函数H取极小值，极小值原理由此得名。
这一原理是苏联学者 “庞特里亚金”等人首先提出，而后加以证明得 在证明过程中： λ 与H得符号与这里所定义的相反。 H = −H
* *
tf
t0
∂H dτ 证明：见胡寿松P91页 ∂τ
tf t0
2)、t f 自由:
H* (t * ) + f
J = φ[ X (t f ), t f ] + ∫ L( X ,U, t)dt ，末端 g[ X (t f , t f )] = 0
∂φ ∂g + µT =0 ∂t f ∂t f
若末端自由: H* (t * ) = − f
∂φ ∂t f
第四节最小值原理在实际中的应用
几个典型例子： 1.时间最优控制问题 2.最小燃料消耗问题 3.最小能量控制问题 3. 4.线性调节问题 介绍重点： 时间最优控制问题（其他求解思想与此类似）
一、时间最优控制问题
所谓时间最优控制，就是把系统从初始 状态转移到目标状态的时间作为性能指标 ，即使转移时间为最短。 这也是发展得最早的最优控制问题之一 。
1−ts
λ(ts ) = e
所以
−1 =1, ts = 0.307
1 0.5
U* (t) =
0 ≤t < 0.307
0.307 ≤t ≤1
x(t) −1
x(t) =
•
0 ≤t < 0.307
x(t) − 0.5 0.307 ≤t ≤1
c1et +1
0 ≤t < 0.307
x(t) =
c2et + 0.5 0.307 ≤t ≤1
线，则必存在不 为0的n维向量 λ(t) ，满足: 1、规范方程：
X = f ( X,U, t) ∂H λ =− ∂X
• •
2、边界条件：
X (t0 ) = X0
λ(t f ) =
∂φ[ X (t f ), t f ] ∂X (t f )
∂gT [ X (t f , t f )] ]µ +[ ∂X (t f )
* * * 在 H[ X (t),U (t), λ (t), t] 中。把H仅看作U的函数，若J为最小，必要条
件为 U* (t) 使得 H[ X * (t),U* (t), λ* (t), t] 仅看作U的函数时也取最小值。 极小值原理的证明：应用数学基础较多，有些书中用很大篇幅进行 证明，省略。
二、极小值原理的意义：
t X X 1） 0 , t f已知，(t0 ) = X0 , X (t f ) = X f 边界条件为： (t0 ) = X0 , X (t f ) = X f
X t 2) t0 , X (t0 ) = X0 给定， (t f )自由， f 未给定，
∂φ |t f 确定t f 边界条件： X (t0 ) = X0 , λ(t f ) = ∂X
极小值原理
U0 U* U1
u u ≤u ≤u 0 1
若在容许控制范围内，J或H有极值且唯一，用极小值 原理与经典变分法，所得 结论一致。
一、<定理>极小值原理：[时变系统] 时变受控系统 X = f ( X,U, t)，其中控制向量 u(t) ∈ Rr Ω 为容许控制 ， 域， U(t)是在 Ω内取值的任何分段连续函数，为使状态向量由初始
将 X * ,U* 代入J可得:
J = ∫ [ X *(t) +U*(t)]dt = 8.64
* 0
1
例2: m J (u) = in
1 1 2 2 ∫0 (x +u )dt 2
x = −x + u x(0) =10
求
•
0
u*a)对U没
约
b) |u| ≤ 0.3 解:a) λ(1) = 0
1 2 1 2 H = x + u + λ(−x + u) 2 2 ∂H =0 ∂u U* = −λ ∂H • = −x + λ λ =− x(0) =10 ∂x • λ(1) = 0 x = −x + u = −x − λ
根据极小值原理,使H绝对极小相当于使J为极小
1
所以 U* (t)
λ >1 λ <1
•
0.5
由协状态方程: λ(t) = − ∂H = −[1+ λ(t)]; λ(t) = ce−t −1 ∂X
由横截条件: 显然:当
λ(1) = ce−1 −1 = 0; c = e; λ(t) = e1−t −1
λ(ts ) = 1时， * (t) 产生切换 U
2、对于时变系统：X = f ( X ,U, t)
•
Φ[ X (t f ), t f ] 1)、t f 固定: t f J = ∫ L( X ,U, t)dt t 0 Φ[ X (t ), t ] + t f L( X ,U, t)dt f f ∫t0
H (t) = H (t f ) − ∫
由x(0)=5代入,得 c1 所以
*
=4
t
x (t) = 4e +1
0 ≤t < 0.307
令t=0.307可得0.307≤t≤1时x(t)的初始条件:
x(0.307) = 4e0.307 +1 = 6.44 解得 c2 = 4.34
所以 X * (t) =
4et +1
0 ≤t < 0.307
4.34et + 0.5 0.307 ≤t ≤1
控制向量约束条件: 控制向量约束条件 u j (t ) ≤1 j =1,2......r 末端状态： 末端状态：g x(t f ) = 0 目标函数： 目标函数： = J
[
]
g：p ×1维函数向量
t f : 自由
∫t
tf
0
dt = t f −t0
问题：寻求最优控制 问题：寻求最优控制u*(t)，使系统由初态到终态， ，使系统由初态到终态， 目标函数J 为最小 目标函数J
根 物 意 据 理 义
－ － － － → － － － －
有最优解
－ － － － → － － － －
极 值 理 小 原
有唯一解 －－→最优解
三、几种边界条件得讨论：
上面所讨论的是
t t0和 X (t0 ) 已知。X (t f )受约束， f 自由的最一般
情况。若 t f 和末端状态不同，只需改变极小值原理的边界条件即可。
用途：对于所求解的最优控制的验证，或帮助求解最优控制及 1、线性定常系统：X = f ( X,U)
•
tf
*
J = φ[ X (t f )] 1)、t f 固定，J = φ[ X (t f )] + ∫t0 L( X ,U)dt 包括 tf J = ∫0 L( X,U)dt t dH ∂H * * 则: H (t) = H (t f ) =常数 。 ∵ H中不显函t} = { (与末端状态无关) dt ∂t 2)、t f 自由， φ[X (t f )]
第三章
经典变分法缺陷：
极小值原理及应用
1、应用前提：a 、控制量 u(t)的取值不受任何限制，没有任何 不等式约束。
φ b 、 f、L、 等函数对其自变量有充分可微性。
2、实际控制要求： a 、控制量u受不等式约束，如： Mi (u) ≤ 0 ，i=1,2,3…… b 、性能指标有时并不完全可微
如：燃料最优控制： J = ∫ u(t) dt t
∂φ ∂gT H tf + +( )µ = 0 ∂t f ∂t f
3、与 U* (t) 对应的哈密顿函数H取极小值。
H[ X *(t),U*(t), λ*(t), t] = m H[ X *(t),U(t), λ*(t), t] in
u(t )
即:设 X * (t), λ* பைடு நூலகம்t) 为满足状态方程和协状态方程的最优解。
T H x *(t), u *(t), λ (t), t = m [λ *(t)] B[x *(t), t]u(t) in T uj ≤ 1
[
]
令 q*(t) = BT [x*(t), t] λ *(t) n× 1 r×n [注：A⋅ B]T = BT AT ] [
q:r ×1维向量函数
∴q*T (t)u *(t) = m q*T (t)u(t) = m ∑q j (t)u j (t) in in
应用最小值原理进行问题的求解 步骤：
⑴列写哈密顿函数 H[x(t), u(t), λ(t), t]
T T
=1+ λ (t){ f [x(t), t] + B[x(t), t]u(t)}
[x(t), t] + λT (t)B[x(t), t]u(t) =1+ λ (t) f
⑵由控制方程求u*(t)
∵u有约束， ∴H在u*上取得极小值，即：