最优控制---汉密尔顿函数

式(5-28)描述了在可变终端情况下，x在这两个时刻 上变分的近似关系，近似式中忽略了高阶无穷小量。
考虑到式(5-24)右边第一项和第二项的一次
变分各有两项：
x
T
Φxt , t t t x t t
Φ xt f , t f
f f f f f
f
x t f
受到 ut U 的约束，δu变分不能任意取值，
H 那么，关系式 0 不成立，这种情况留待极 u
小值原理中讨论。
式(5-12)称为横截条件。常用于补充边界条件。
例如，若始端固定，终态自由时，由于δx(t0)=0，
δx(tf)任意，则有
xt 0 x0
(5-13) (5-14)
T
由欧拉方程，得
H d H 0 0 1 1 0 1 0 2 x d t x 2 0 1 1 2
1 H d H u 0 1 0 u d t u 2
u 2
0 H d H 0 1 0 x u x 0 0 d t 1
1 x 2 x 2 u x
5个未知数x1, x2, λ1, λ2, u，由5个方程联立求得通解
1 C1 2 C1t C 2
xt x t xt
*
(5-25) (5-26)
ut u t ut
*
t f t t f
* f
(5-27)
x (t) δx (t f) x ( t) x(t ) x( t0) 0
* * * *
t x f t f

δx (tf)
称H[x,u,λ,t]为哈密尔顿函数。则
T dt J H x, u, , t x tf t0
(5-4)


(5-5) (5-6)
或 式中
, u , , t d t J H x, x
tf t0
, u, , t Lxt , ut , t T t f xt , ut , t x t H x, x
(5-7)
对式(5-5)右边第二项作分部积分，得

tf
t0
dt x
T
tf
t0
T T tf xdt x
t0
将上式代入式(5-5)，得
J H x, u, , t x d t x
tf T T t0


tf t0
(5-8)
设u(t)和x(t)相对于最优控制u*(t)及最优轨线 u*(t)的变分为δu和δx，计算由δu和δx引起的 J´的变分为：
T T




tf t0
H xt , u t , t , t T t xt d t
tf t0


(5-24)
这是一个可变端点变分问题。考虑x(t)，u(t)，
tf相对于它们最优值x*(t)，u*(t)，t*f的变分，并计
算由此引起J´的一次变分δJ´。设
(5-9)
(5-10)
(5-11)
t 0
0
tf
(5-12)
式(5-9)称为动态系统的伴随方程或协态方程， λ又称为伴随矢量或协态矢量。 式(5-10)即系统的状态方程。
式(5-9)与式(5-10)联立称为哈密尔顿正则方程。
式(5-11)称为控制方程，
这个方程是在假设δu为任意，控制u(t)取值 不受约束条件下得到的。如果u(t)为容许控制，
边界条件改成 t 0 时 x1 0 1, x2 0 1 ，t 2 时
x1 2 0, 2 2 0 ，代入例1的通解中可确定积分
常数：
9 18 C1 , C 2 , C3 1, C 4 1 8 8
于是得
u * t 6t 12 3 3 9 2 * x1 t t t t 1 16 8 9 2 9 * x 2 t t t 1 16 4
(5-22)
于是
J Φ xt f , t f T N xt f , t f
tf





t d t H xt , u t , t , t t x
T t0

(5-23)
对上式中最后一次作分部积分，得
J Φ xt f , t f N xt f , t f t xt
J
tf
t0
tf T H T H T x x u u d t x t0
使J´取极小的必要条件是，对任意的δu和δx， 都有δJ´=0成立。
因此得
H 0 x H x H 0 u
t f 0
若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以
xt 0 x0
xt f x f
作为两个边界条件。
(5-15) (5-16)
实际上，上述泛函极值的必要条件，亦可 由式(5-6)写出欧拉方程直接导出。
即
H d H 0 H 0 x d t x x H d H 0 H x d t H d H 0 H 0 u d t u u tf tf 0 H 0 t0 t0 x
0 1 0 x x u 0 0 1 1 0 x0 , x2 1 0
由式(5-7)，得
1 0 1 2 T 0 u H L f x x u x 2 0 0 1
t f xt , ut , t x
r 式中 xt R n ； ut R ；
(5-1)
f xt , ut , t ——n维连续可微的矢量函数。
设给定 t t 0 , t f ，初始状态为x(t0)=x0，
终端状态x(tf)自由。性能泛函为
的终端时间。 最优控制问题是寻求控制矢量u*(t)，将系统从
初态x(t0)转移到目标集N[x(tf), tf]=0上，并使J取极小。
在这类极值问题中，要处理两种类型的等式约 束。一是微分方程约束，一是终端边界约束。根据
拉格朗日乘子法，要引入两面两个乘子矢量，一个
是n维λ(t)，另一个是q维μ，将等式约束条件泛函 极值化成无约束条件泛函极值问题来求解。
t0
tf
t f+ δ tf
t
图4 可变终端各变分间的关系
从图4可知在端点处变分之间存在下列近似关系
* xt f x t xt f t f * f
百度文库

(5-28)
式中δx(t*f)——x在t*f时的一次变分；
δx(t*f+ δtf)——x在tf =t*f+ δtf时的一次变分。
u*(t)和x*(t)的图像见图3。
x( t) u(t ) 2 1 0 -2 -4 -6 -8 -10 u*( t) x1 *(t ) t
0.5
1 x2*( t)
1.5
2
比较上述结果可见，即使是同一个问题， 如果终端条件不同，其最优解也不同。
二、波尔札问题
设系统状态方程
t f xt , ut , t x
(5-17)
应用上述条件求解最优控制的步骤如下：
1) 由控制方程
H 0 u
~ x, 解出 u * u


2) 将u*代入正则方程解两边边值问题，求x*、λ*。
~ x * , * 为所求。 3) 再将x*、λ*代入得 u * u


例1：有系统如图1所示。欲使系统在2s内从状态
u C1t C 2 1 1 3 2 x1 C1t C 2 t C 3 t C 4 6 2 1 x 2 C1t 2 C 2 t C 3 2
4个积分常数C1, C2, C3, C4由4个边界条件
x1 0 1, x2 0 1, x1 2 0, x2 2 0
为此，构造增广泛函
J Φ xt f , t f T N xt f , t f
tf t0





t d t (5-21) Lxt , u t , t t f xt , u t , t x
T

写出哈密顿函数
H xt , ut , t , t Lxt , ut , t T t f xt , ut , t
第五章 用变分法求解连续 最优控制问题 —有约束条件的泛函极值
上节讨论没有约束条件的泛函极值问题。但在 最优控制问题中，泛函J所依赖的函数总要受到受控
系统状态方程的约束。解决这类问题的思路是应用
拉格朗日乘子法，将这种有约束条件的泛函极值问 题转化为无约束条件的泛函极值问题。
一、拉格朗日问题
考虑系统
T
N T xt f , t f xt f


N xt , t t
T f f
t f
f
因此，有
Φ xt f , t f N xt f , t f J t f H xt f , u t f , t f , t f t f t f


J Lxt , u t , t d t
tf t0
(5-2)
寻求最优控制u(t)，将系统从初始状态x(t0)=x0
转移到终端状态x(tf)，并使性能泛函J取极值。
将状态方程式(5-1)写成约束方程形式
t 0 f xt , ut , t x
应用拉格朗日乘子法，构造增广泛函
(5-3)
t d t J Lxt , u t , t T t f xt , u t , t x
tf t0


式中λ(t)——待定的n维拉格朗日乘子矢量。
定义纯量函数
H x, u, , t Lx, u, t T f x, u, t
初始状态x(t0)= x0，终始状态x(tf)满足
(5-18)
N xt f , t f 0
式中N——q维向量函数，n≥q。


(5-19)
性能泛函
J Φ xt f , t f Lxt , u t , t d t
tf t0


(5-20)
其中Φ、L都是连续可微的数量函数，tf是待求
0 1 0 1 转移到 2 0 ，使性能泛函 2 0
1 2 2 J u t d t min ，试求u(t)。 2 0
u( t)
1s
ω( t) x1
1s
θ( t) x2
解：系统状态方程及边界条件为
x( t) u(t ) 2 1 0 -1 -2 u (t ) -3
*
(2,2,5) x1 (t )
*
0.5
1
7/6 1.5
2
t
x2*( t)
例2：设问题同例1。但将终端状态改为θ(2)=0，
ω(2)自由，即终端条件改成部分约束、部分自
由。重求u*(t)、x*(t)。
解 正则方程及控制方程与例1完全相同，只是
解得
7 C1 3, C 2 , C3 1, C 4 1 2
因此，最优解为
7 u t 3t 2 1 3 7 2 * x1 t t t t 1 2 4 3 2 7 * x 2 t t t 1 2 2
*
最优控制u*(t)及最优轨线x*(t)如图2所示。