最优控制--汉密尔顿函数 ppt课件

ppt课件
47
解 这是个终端时间tf给定，但终端状态受约束 的拉格朗日问题。
哈密顿函数
H
L T
f
1 u2 2
1x2
2u
ppt课件
48
由性能泛函取极值的必要条件，得
H u
u 2
0
H x1
1
0
H x2
1
2
H
1
x1
x2
H
2
x2
u
ppt课件
49
它们的通解为
u 2
1 C
2 C1t C2
t
(5-23)
ppt课件
34
对上式中最后一次作分部积分，得
J Φ x t f
,t f
T N x tf
,t f
T txt t f t0
t f
t0
H
xt
,
ut
,
t
,
t
T
t
xt
d
t
(5-24)
ppt课件
35
这是一个可变端点变分问题。考虑x(t)，u(t)，
tf相对于它们最优值x*(t)，u*(t)，t*f的变分，并计 算由此引起J´的一次变分δJ´。设
dH dt
H t
H u
T
u
H x
T
f
(5-33)
ppt课件
44
如果u为最优控制，必满足
H 0 u
及
H 0
x
因此，有 d H H d t t
(5-34)
上式表明，哈密顿函数H沿最优轨线对时间的
全导数等于它对时间的偏导数。
ppt课件
45
当H不显含t时，恒有
dH 0 dt
即
H t 常数
17
由式(5-7)，得
H
L T f
x
1 u2 2
T
0 0
1 0
x
10u
x
ppt课件
18
由欧拉方程，得
H x
d dt
H x
0 1
01 02
12
0
2101
ppt课件
19
H d H u 0
u d t u
112
0
u 2
H
d dt
H
0 0
1 0
x
0 1u
x
0
x1 x2 x2 u
ppt课件
(5-7)
6
对式(5-5)右边第二项作分部积分，得
t f T xd t t f T x d t T x t f
t0
t0
t0
将上式代入式(5-5)，得
J t f Hx,u, ,t T x d t T x t f (5-8)
t0
t0
ppt课件
7
设u(t)和x(t)相对于最优控制u*(t)及最优轨线
ppt课件
(5-18) (5-19)
30
性能泛函
J Φ x t f
,t f
tf Lxt,ut,td t
t0
(5-20)
其中Φ、L都是连续可微的数量函数，tf是待求
的终端时间。
最优控制问题是寻求控制矢量u*(t)，将系统从
初态x(t0)转移到目标集N[x(tf), tf]=0上，并使J取极小。
解得
C1
3, C2
7 2 ,C3
1,C4
1
ppt课件
22
因此，最优解为
u* t 3t 7
2
x1* t
1 2
t3
7 4
t
2
t
1
x
* 2
t
3 2
t2
7 2
t
1
ppt课件
23
最优控制u*(t)及最优轨线x*(t)如图2所示。
x(t) u(t) 2 1
x1*(t)
(2,2,5)
0
t
0.5
1 7/6 1.5
x t0
x
H
H u
0
0
0
0
HxH
H
Βιβλιοθήκη Baidu
u
tf t0
0
x 0 0
(5-17)
ppt课件
14
应用上述条件求解最优控制的步骤如下：
1) 由控制方程
H 0 u
解出 u* u~x,
2) 将u*代入正则方程解两边边值问题，求x*、λ*。
3) 再将x*、λ*代入得 u* u~ x*, * 为所求。
变分各有两项：
xT t f
Φ x t f , t f x t f
Φ x t f , t f t f
t f
xT t f
N T x t f , t f x t f
N T
x tf
,t f
t f
t f
ppt课件
39
因此，有
J
t
f
H
2
一、拉格朗日问题
考虑系统
xt f xt,ut,t
(5-1)
式中 xt Rn；ut Rr ；
f xt,ut,t ——n维连续可微的矢量函数。
ppt课件
3
设给定 t t0 ,t f ，初始状态为x(t0)=x0，
终端状态x(tf)自由。性能泛函为
J
t f
t0
Lxt,ut,td t
(5-2)
x tf
,u tf
, tf
,t f
Φ x t f ,t f t f
N T
x tf
,t f
t f
*
xt
f
T
Φxt f
x t f
, t
f
N
T x t f
x t f
,
t
f
t
f
*
t
* f
t0
xT
H x
uT
H u
d
t
(5-29)
ppt课件
40
注意到δtf、δx、δu任意性，及泛函极值存在 的必要条件δJ´=0式(5-29)可得极值必要条件如下：
H
x H x
H 0 u
(5-30)
ppt课件
41
边界条件x(t0)= x0
t
f
Φxt f
x t f
, t
f
N
T x t f
x t f
, t
f
(5-31)
终端时刻由下式计算
H
xt
f
, ut
f
,
t
f
, t
f
Φxt
t
f f
, t
f
N
T
xt
t f
f
, t
f
0
(5-32)
式中H[x(tf), u(tf), λ(tf), tf]函数H最优轨线终端处的值。
x1
1 6
C1t
3
1 2
C
2
t
2
C3t
C4
x2
1 2
C1t
2
C2t
C3
ppt课件
50
由边界条件确定积分常数
x10 0, x2 0 0
11
N x1
2 1
N x2
ppt课件
51
代入解得
C1 ,C2 2,C3 0,C4 0
由终端约束方程 x1(1)+x2(1)=1 可解出μ=-3/7。
ppt课件
5
定义纯量函数
Hx,u,,t Lx,u,t T f x,u,t (5-4)
称H[x,u,λ,t]为哈密尔顿函数。则
J tf Hx,u,,t T xd t t0
(5-5)
或 J tf H x, x,u, ,td t t0
(5-6)
式中
Hx, x,u,,t Lxt,ut,t T tf xt,ut,t xt
x t f
x
t
* f
xt f
t
* f
(5-28)
式中δx(t*f)——x在t*f时的一次变分； δx(t*f+ δtf)——x在tf =t*f+ δtf时的一次变分。
式(5-28)描述了在可变终端情况下，x在这两个时刻
上变分的近似关系，近似式中忽略了高阶无穷小量。
ppt课件
38
考虑到式(5-24)右边第一项和第二项的一次
常数：
9
18
C1 8 ,C2 8 ,C3 1,C4 1
ppt课件
26
于是得
u* t 6t 12
x1* t
3 16
t3
9 8
t2
t
1
x2* t
9 16
t2
9 4
t
1
ppt课件
27
u*(t)和x*(t)的图像见图3。
x(t) u(t) 2
x1 *(t )
1
0
0.5
1
1.5
-2
x2*(t)
-4
2
-1
-2
x2*(t)
u*(t)
-3
ppt课件
24
例2：设问题同例1。但将终端状态改为θ(2)=0， ω(2)自由，即终端条件改成部分约束、部分自 由。重求u*(t)、x*(t)。
ppt课件
25
解 正则方程及控制方程与例1完全相同，只是
边界条件改成 t 0时 x10 1, x2 0 1，t 2 时 x12 0,2 2 0 ，代入例1的通解中可确定积分
ppt课件
42
终端时刻由下式计算
H
xt
f
, ut
f
,
t
f
, t
f
Φxt
t
f f
, t
f
N
T
xt
t f
f
, t
f
0
(5-32)
式中H[x(tf), u(tf), λ(tf), tf]函数H最优轨线终端处 的值。上述总共个2n+r+q+1方程，可联解出
2n+r+q+1个变量。
ppt课件
43
最后，分析哈密尔顿函数沿最优轨线随时间 的变化规律。哈密顿函数H对时间的全导数为
9
式(5-9)称为动态系统的伴随方程或协态方程， λ又称为伴随矢量或协态矢量。
式(5-10)即系统的状态方程。
式(5-9)与式(5-10)联立称为哈密尔顿正则方程。
式(5-11)称为控制方程，
ppt课件
10
这个方程是在假设δu为任意，控制u(t)取值
不受约束条件下得到的。如果u(t)为容许控制，
ppt课件
31
在这类极值问题中，要处理两种类型的等式约 束。一是微分方程约束，一是终端边界约束。根据 拉格朗日乘子法，要引入两面两个乘子矢量，一个 是n维λ(t)，另一个是q维μ，将等式约束条件泛函 极值化成无约束条件泛函极值问题来求解。
ppt课件
32
为此，构造增广泛函
J Φxt f ,t f T Nxt f ,t f
t f
t0
Lxt,ut,t T
t f
xt , ut , t
xt d t
(5-21)
写出哈密顿函数
Hxt,ut,t,t Lxt,ut,t T t f xt,ut,t
ppt课件
(5-22)
33
于是
J Φxt f ,t f T Nxt f ,t f
t f
t0
H
xt
,
ut
,
t
,
t
T
t
xt
d
寻求最优控制u(t)，将系统从初始状态x(t0)=x0 转移到终端状态x(tf)，并使性能泛函J取极值。
ppt课件
4
将状态方程式(5-1)写成约束方程形式
f xt,ut,t xt 0
(5-3)
应用拉格朗日乘子法，构造增广泛函
J
t f
t0
Lxt
,
ut
,
t
T
t
f
xt
,
ut
,
t
xt
d
t
式中λ(t)——待定的n维拉格朗日乘子矢量。
u*(t)的变分为δu和δx，计算由δu和δx引起的
J´的变分为：
J
tf t0
xT
H x
uT
H u
d
t
xT
tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
ppt课件
8
因此得
H 0
x H x
H 0 u
tf 0 t0 ppt课件
(5-9) (5-10) (5-11) (5-12)
受到 utU 的约束，δu变分不能任意取值，
那么，关系式 H 0不成立，这种情况留待极 u
小值原理中讨论。
ppt课件
11
式(5-12)称为横截条件。常用于补充边界条件。
例如，若始端固定，终态自由时，由于δx(t0)=0， δx(tf)任意，则有
xt0 x0
(5-13)
t f 0
(5-14)
第五章 用变分法求解连续 最优控制问题
—有约束条件的泛函极值
ppt课件
1
上节讨论没有约束条件的泛函极值问题。但在 最优控制问题中，泛函J所依赖的函数总要受到受控 系统状态方程的约束。解决这类问题的思路是应用 拉格朗日乘子法，将这种有约束条件的泛函极值问 题转化为无约束条件的泛函极值问题。
ppt课件
ppt课件
15
例1：有系统如图1所示。欲使系统在2s内从状态
0 0
1 1
转移到
2 2
0 0
，使性能泛函
J
1 2
2 u 2 td t
0
min
，试求u(t)。
u(t)
ω(t)
θ(t)
1s
1s
x1
x2
ppt课件
16
解：系统状态方程及边界条件为
x
0 0
1 0 0x 1u
x0
1 1,
x2
0 0
ppt课件
ppt课件
20
5个未知数x1, x2, λ1, λ2, u，由5个方程联立求得通解
1 C1
2 C1t C2
u C1t C2
x1
1 6
C1t
3
1 2
C
2t
2
C3t
C4
x2
1 2
C1t
2
C2t C3
ppt课件
21
4个积分常数C1, C2, C3, C4由4个边界条件
x10 1, x2 0 1, x12 0, x2 2 0
t t0 ,t f
(5-35)
这就是说，对定常系统，沿最优轨线H恒为常值。
ppt课件
46
例4：给定系统状态方程为
x
0 0
1 0
x
10u
设初始状态x(0)= 0，终端状态约束曲线
x1(1)+x2(1)-1=0求使性能泛函
J 1 1u 2 td t
20
取极小时的最优控制u*(t)及最优轨线x*(t)。
ppt课件
12
若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以
xt0 x0
(5-15)
x t f x f
(5-16)
作为两个边界条件。
ppt课件
13
实际上，上述泛函极值的必要条件，亦可
由式(5-6)写出欧拉方程直接导出。
即 H d H
x H
H
u
dt
d dt
d dt
H t f
-6
u*(t) -8
-10
ppt课件
t 2
28
比较上述结果可见，即使是同一个问题， 如果终端条件不同，其最优解也不同。
ppt课件
29
二、波尔札问题
设系统状态方程
xt f xt,ut,t
初始状态x(t0)= x0，终始状态x(tf)满足
Nxt f ,t f 0
式中N——q维向量函数，n≥q。
xt x*t xt
(5-25)
ut u*t ut
(5-26)
tf
t
* f
t f
(5-27)
ppt课件
36
x(t) δx (t* f)
x*(t)
x(t) x(t0)
x
t
f
t f
δx(tf)
0 t0
t*f t*f+ δtf
t
图4 可变终端各变分间的关系
ppt课件
37
从图4可知在端点处变分之间存在下列近似关系