用变分法求解最优控制问题

∂ε
ε =0
∫=
tf
⎢⎡⎜⎛
∂H
+
λ& ⎟⎞T δ
x
+
⎜⎛
∂H
⎟⎞T δ
⎤ u⎥
dt
t0 ⎢⎣⎝ ∂x
⎠
⎝ ∂u ⎠ ⎥⎦
=0
(4)
选择λ(t)满足λ&(t)＝− ∂H
∂x 则(4)式变为
∫t f ⎜⎛ ∂H ⎟⎞T δ u dt = 0
t0 ⎝ ∂u ⎠
当受控系统完全能控时 ，仍有
∂H ＝0 ∂u
的泛函
[ ] { } ∫ J′ = φ
x(t f ) ＋
tf t0
L[x(t ), u(t ), t]+ λT (t )[ f ( x, u, t ) − x& ] dt
定义
H ( x, u, λ , t ) = L[x(t ), u(t ), t ]+ λT (t ) f ( x, u, t )
H ( x, u, λ , t )为一标量函数，常称为 哈密顿（ Hamilton ）函数。
(2)
[ ] δJ′
=
∂
∂ε
J′
x*(t ) + εδ
x(t ),
u*(t ) + εδ
u(t ),
x*(t f
) + εδ
x(t f
)
ε =0
∫ =
⎢⎡⎜⎛
∂φ
−
λ
⎟⎞T δ
⎤ x⎥
+
tf
⎢⎡⎜⎛
∂H
+
λ& ⎟⎞T δ
x
+
⎜⎛
∂H
⎟⎞T δ
⎤ u⎥
dt
⎢⎣⎝ ∂x
⎠
⎥⎦ t =t f
t0 ⎢⎣⎝ ∂x
问题3.5.2 已知受控系统
x& =
f ( x, u, t )，x(t0 ) =
x0, x(t f ) =
x
，
f
∫ 求u(t), 使性能指标 J = t f L[x(t), u(t), t] dt取最小值，其中x(t) t0
为n维状态向量, u(t)为m维控制向量，m ≤ n，t f 固定。
引入拉格朗日乘子函数 λ(t)＝[λ1(t) λ2(t ) L λn (t )]T ,
tf t0
H ( x, u, λ , t ) + λ&T (t )x(t )
dt
哈密顿（Hamilton）函数
H ( x, u, λ , t) = L[x(t), u(t), t]+ λT (t) f ( x, u, t)
12
[ ] δJ ′ = ∂ J ′ x*(t) + εδ x(t), u*(t) + εδ u(t)
3.5 用变分法求解最优控制 问题
回顾最优控制问题的提 法：
求容许控制函数 u(t ) ∈V ,V ⊂ Rm使系统 x& (t ) = f [x(t ), u(t ), t ]
由给定的初始状态 x(t0 ) = x0出发，在末端时刻 t f > t0转移到 目标集
M = { x(t f ) : x(t f ) ∈ Rn , g1( x(t f ),t f ) = 0，g2 ( x(t f ),t f ) ≤ 0,
g1 ∈ Rl , g2 ∈ Rq , l ≤ n}
[ ] ∫ 并使性能指标
J
=φ
x(t f
), t f
＋
tf t0
L[x(t), u(t ), t] dt为最小
或最大。
1
古典变分法只能解决控 制变量不受约束或受开 集性约束 的最优控制问题，而对 控制变量受闭集性约束 的最优控制问 题无能为力。
假设： 1. 控制域V为开集或为全空间Rm，容许控制函数u(t)是连续或 分段连续函数。
3
[ ] { } ∫ 则
J′ =φ
x(t f ) ＋
tf t0
H ( x, u, λ , t) − λT (t)x&(t)
dt
(1)
对(1)式右边最后一项进行分 部积分，得
[ ] J ′ = φ x(t f ) ＋λT (t0 )x(t0 ) − λT (t f )x(t f )
∫ { } + t f H ( x, u, λ , t) + λ&T (t)x(t) dt t0
f ( x, u, t) =
∂H
∂λ
λ&(t)＝− ∂H
∂x
其中H ( x, u, λ , t) = L[x(t), u(t), t]+ λT (t) f ( x, u, t)
2）边界条件
x(t0 ) = x0
λ(t
f
)
=
∂φ( x(t
∂x(t f
f )) )
3）极值条件
∂H ＝0 ∂u
9
例3.5.1 已知受控系统 x& = u，x(t0 ) = x0 , 求最优控制
当哈密顿函数不显含 t时，则有
[ ] H (t ) = 常数， t ∈ t0 , t f
即当哈密顿函数不显含 t时，哈密顿函数沿最优 轨线 为一常数。
8
定理3.5.1 对于问题 3.5.1，必存在函数λ(t)，使得最优控制
u*(t )、最优轨线x*(t)和λ(t )满足如下必要条件：
1）正则方程
x&(t) =
构造泛函
∫ { } J
′
=
φ
(
x(t
f
))＋γ
T
g(
x(t
f
))＋
tf t0
L[x(t),u(t),t]+ λT (t)[ f (x,u,t) − x&] dt
∫ { } = θ (x(t f )) +
tf t0
H (x,u, λ,t)－λT (t)x&(t)
dt
哈密顿（Hamilton）函数
H (x,u, λ,t) = L[x(t),u(t),t]+ λT (t) f (x,u,t)
2）边界条件
x(t0 ) = x0 x(t f ) = x f 3）极值条件
∂H ＝0 ∂u
14
二、末端时刻t f固定，末端状态x(t f )受约束时的情况
问题3.5.3 已知受控系统 x& = f (x,u,t)，x(t0 ) = x0 , g(x(t f )) = 0，
∫ 求u (t ), 使性能指标
[ ] ∫ 使性能指标
J
=φ
x(t f ) ＋
tf t0
L[x(t ), u(t ), t ] dt取最小值，
其中 x(t )为n维状态向量 , u(t )为m维控制向量， m ≤ n，t f 固定。
引入拉格朗日乘子函数 λ (t )＝[λ1(t ) λ2 (t ) L λn (t )]T ,
将等式约束 f ( x, u, t ) − x& = 0 和原来的泛函 J结合成一个新
⎠
⎝ ∂u ⎠ ⎥⎦
=0
(5)
选择 λ (t )满足如下条件：
λ&(t )＝ − ∂H
∂x
λ(t
f
)
=
∂θ ( x(t
∂x(t f
f )) )
=
∂φ ( x(t f ))
∂x(t f )
+
∂gT ( x(t f ∂x(t f )
)) γ
则(5)式变为
∫ t f ⎜⎛ ∂H ⎟⎞T δu dt = 0
x(t0 ) = x0
⎫
λ(t
f
)
=
∂φ( x(t
∂x(t f
f )) )
（横截条件）⎪⎪⎬边界条件 ⎭
∂H ＝0 ∂u
极值条件
6
用变分法求解最优控制问题最终归结为 求解微分方程的两点边值问题。
7
哈密顿函数的重要性质 ： 沿最优轨线哈密顿函数 对时间 t的全导数等于对 t
的偏导数，即 dH = ∂H dt ∂t
将等式约束 f ( x, u, t) − x& = 0 和原来的泛函J结合成一个新 的泛函
{ } ∫ J ′ = t f L[x(t), u(t), t]+ λT (t)[ f ( x, u, t) − x& ] dt t0
∫ { } = λT (t0 )x(t0 ) − λT (t f )x(t f ) +
t0
其中x(t)为n维状态向量, u(t)为m维控制向量，m ≤ n，t f 未定。
引入拉格朗日乘子函数 λ(t)＝[λ1(t) λ2(t) L λn (t)]T ,
将等式约束 f ( x, u, t) − x& = 0 和原来的泛函J结合成一个新
的泛函
[ ] { } ∫ J′ = φ x(t f ), t f
+
tf t0
L[x(t), u(t), t]+ λT (t)[ f ( x, u, t) − x& ] dt
[ ] { } ∫ = φ x(t f ), t f
+
tf t0
H ( x, u, λ , t) − λT (t)x&(t)
dt
哈密顿（Hamilton）函数
H ( x, u, λ , t) = L[x(t), u(t), t]+ λT (t) f ( x, u, t)
t0 ⎝ ∂u ⎠
由δu取值的任意性，有
∂H ＝0 ∂u
16
定理 3.5.3 对于问题 3.5.3，必存在函数 λ (t )，使得最优