(完整版)最优控制---汉密尔顿函数
合集下载
最优控制02
第四章 最优控制
概述（问题提出、抽象、分类、求解） 变分法（控制 u(t) 不受限制） 极小值原理（u(t) 受限制）
动态规划法（多级决策、最优性原理）
二次型性能指标的线性系统最优控制 （控制的实现）
极小值原理求解最优控制问题
•古典变分法求解最优控制问题：假定控制变量u(t)不受任何限制，即容 许控制集合可以看成整个m维控制空间开集，这时控制变分du可以任取。 同时还严格要求哈密尔顿函数H对u连续可微。在这种情况下，应用变分 法求解最优控制问题是行之有效的．
*T b u 某一 时间 段持 续为 0 ，则 （ 3） i i 为不确定值。
极小值原理求解最优控制问题
1、乒乓（bang-bang）原理 上面的系统如果属于平凡情况，则其最短时间控制为
u* (t ) Msign( BT * (t ))
该原理也适用于非线性系统 x A( x，t ) B( x，t )u(t ) 2、最短时间控制存在定理 设给定的线性系统为完全可控，并且系统矩阵A的特征值均具 有非正实部，控制变量满足不等式约束：u(t ) M 则最短时间控制存在！
极小值原理求解最优控制问题
3、最短时间控制存在唯一性定理 设该系统属于平凡情况，若时间最优控制存在，它必定唯一。
4、开关次数定理 设该系统属于平凡情况， u(t ) M ，并且系统阵A的特征值全部为负实数 ，
则如果最短时间控制存在，必为bang-bang控制，并且每个控制分量在两个 边界值之间的切换次数最多不超过n-1次。
K பைடு நூலகம்0
求最优控制序列，使J极小。
极小值原理求解最优控制问题
拉格朗日乘子法：
J a Q ( x ( N ), N ) F ( x, u, k ) T (k 1)[ f ( x, u, k ) x (k 1)])
概述（问题提出、抽象、分类、求解） 变分法（控制 u(t) 不受限制） 极小值原理（u(t) 受限制）
动态规划法（多级决策、最优性原理）
二次型性能指标的线性系统最优控制 （控制的实现）
极小值原理求解最优控制问题
•古典变分法求解最优控制问题：假定控制变量u(t)不受任何限制，即容 许控制集合可以看成整个m维控制空间开集，这时控制变分du可以任取。 同时还严格要求哈密尔顿函数H对u连续可微。在这种情况下，应用变分 法求解最优控制问题是行之有效的．
*T b u 某一 时间 段持 续为 0 ，则 （ 3） i i 为不确定值。
极小值原理求解最优控制问题
1、乒乓（bang-bang）原理 上面的系统如果属于平凡情况，则其最短时间控制为
u* (t ) Msign( BT * (t ))
该原理也适用于非线性系统 x A( x，t ) B( x，t )u(t ) 2、最短时间控制存在定理 设给定的线性系统为完全可控，并且系统矩阵A的特征值均具 有非正实部，控制变量满足不等式约束：u(t ) M 则最短时间控制存在！
极小值原理求解最优控制问题
3、最短时间控制存在唯一性定理 设该系统属于平凡情况，若时间最优控制存在，它必定唯一。
4、开关次数定理 设该系统属于平凡情况， u(t ) M ，并且系统阵A的特征值全部为负实数 ，
则如果最短时间控制存在，必为bang-bang控制，并且每个控制分量在两个 边界值之间的切换次数最多不超过n-1次。
K பைடு நூலகம்0
求最优控制序列，使J极小。
极小值原理求解最优控制问题
拉格朗日乘子法：
J a Q ( x ( N ), N ) F ( x, u, k ) T (k 1)[ f ( x, u, k ) x (k 1)])
最优控制
j 1,2......r
g：p ×1维函数向量
t f : 自由
dt t f t0
t0
tf
问题：寻求最优控制u*(t)，使系统由初态到终态， 目标函数J 为最小
步骤： ⑴列写哈密顿函数 H x(t ), u (t ), (t ), t
应用最小值原理进行问题的求解
1 T (t ) f x(t ), t Bx(t ), t u (t ) 1 T (t ) f x(t ), t T (t ) Bx(t ), t u (t )
q:r ×1维向量函数
_
H [ X (t ), (t ), U (t )] max H [ X * (t ), (t ), u (t )]
* * u (t )
_
_
∴所以有的文献中也称为“极大值原理”。 3、H对u没有可微要求，因此应用拓宽。
4、 极小值原来是求取最优控制的必要条件，非充分条件。
即：满足极小值原理不一定J取极小值,需进一步判断。
[
g T [ X (t f , t f )] X (t f )
]
tf
g T ( ) 0 t f t f
3、与 U * (t ) 对应的哈密顿函数H取极小值。
H [ X * (t ), U * (t ), * (t ), t ] min H [ X * (t ), U (t ), * (t ), t ]
0
tf
J [U ] H
u0 u u 2
U 0 U1 0 1
U
U2
u
若采用经典变分： H 0,U * U1; 实际应为U * U 0。极小值原理。
最优控制课件第3章
第三章 极小值原理及应用
经典变分法局限性： 1、应用前提： a ）控制量 u(t)的取值无约束。 b ） f、L、Φ等函数对其自变量二次连续可微，要求哈密 尔顿函数关于控制变量的偏导数存在 。 2、实际控制要求：
a ）控制量u受不等式约束，如：M i (u ) 0 ，i=1,2,3……
b ）性能指标有时关于u并不可微，要求哈密尔顿函数 关于控制变量的偏导数不存在 。
一般:对于实际系统根据物理意义有最优解 极小值原理 有唯一解－－ 最优解
－－－－－－－－
－－－－－－－－
但是，对于线性系统可以证明极小值原理既是泛函取最小 值的必要条件，也是充分条件。
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Date: File:
05.04.2015 OC_CH3.6
Optimal Control Theory & its Application
②在最优轨线上，与最优控制u*相对应的H函数取绝对极小 值，即 或 沿最优轨线
③H函数在最优轨线终点满足
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Optimal Control Theory & its Application
取哈密尔顿函数为
则实现最优控制的必要条件是，最优控制u*、最优轨线x* 和最优协态矢量λ*满足下列关系式： ①沿最优轨线满足正则方程
当g中不含x时
Optimal Control Theory
Dong Jie 2014. All rights reserved.
经典变分法局限性： 1、应用前提： a ）控制量 u(t)的取值无约束。 b ） f、L、Φ等函数对其自变量二次连续可微，要求哈密 尔顿函数关于控制变量的偏导数存在 。 2、实际控制要求：
a ）控制量u受不等式约束，如：M i (u ) 0 ，i=1,2,3……
b ）性能指标有时关于u并不可微，要求哈密尔顿函数 关于控制变量的偏导数不存在 。
一般:对于实际系统根据物理意义有最优解 极小值原理 有唯一解－－ 最优解
－－－－－－－－
－－－－－－－－
但是，对于线性系统可以证明极小值原理既是泛函取最小 值的必要条件，也是充分条件。
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Date: File:
05.04.2015 OC_CH3.6
Optimal Control Theory & its Application
②在最优轨线上，与最优控制u*相对应的H函数取绝对极小 值，即 或 沿最优轨线
③H函数在最优轨线终点满足
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Optimal Control Theory & its Application
取哈密尔顿函数为
则实现最优控制的必要条件是，最优控制u*、最优轨线x* 和最优协态矢量λ*满足下列关系式： ①沿最优轨线满足正则方程
当g中不含x时
Optimal Control Theory
Dong Jie 2014. All rights reserved.
最优控制课程课件II-5.HJB方程
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段
第十章_具有约束的最优控制问题
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
T
例2 解以下最优控制问题：
最大化 0 1 dt y yu 满足
y (0) 5 y ( T ) 11 T 自由
T
和
u ( t ) [ 1,1]
它具有一个受约束的控制变量，该控制集合可视为 两个不等式约束：
1 u (t ) 和 u (t ) 1
汉密尔顿函数： H 拉格朗日函数：
u
对于所有 t [ 0 , T ]
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
(t ) 常数
( T ) 0 [ 横截条件 ]
四、不等式积分约束 T 最优控制问题： 最大化 0 F ( t , y , u ) dt y f (t, y , u ) 满足
y H H
u
F (t, y , u ) f (t, y , u ) G (t, y , u )
[ y 的运动方程
[ 的运动方程
]
[ 的运动方程
]
[ 的运动方程
]
( T ) 0 [ 横截条件 ]
上页的最大值原理可简化为：
Max H
]
]
( T ) 0 , ( T ) k 0 , ( T )[ ( T ) k ] 0 [ 的横截条件
第十章_具有约束的最优控制问题
对于给定的 ，或者 关于( y , u ) 对所有t [ 0 , T ] 是凹 的，或者 H 0 关于 y 对于所有t [ 0 , T ] 是凹的。
如果是无限水平问题，充分性定理仍然适用，但是要 加上一个补充性条件：
T
lim ( t )[ y ( t ) y ( t )] 0
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
( T ) 0 [ y 的横截条件
( t ) 常数 0
和
]
k
G ( t , y , u ) dt
0
T
0
k
G ( t , y , u ) dt 0 0
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为： 最优控制问题： 最大化 F ( t , y , u ) dt 0 y f (t, y , u ) 满足
(10 . 43 ) (10 . 44 ) (10 . 45 ) (10 . 47 )
【国家自然科学基金】_hamilton函数方法_基金支持热词逐年推荐_【万方软件创新助手】_20140801
推荐指数 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2010年 序号 1 2 3 4 5 6 7 8 9 10 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
2012年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
科研热词 推荐指数 首次穿越 2 无网格法 2 hamilton正则方程 2 h-r变分原理 2 鲁棒自适应控制器 1 鲁棒控制 1 鲁棒h∞控制 1 风力机叶片 1 非线性控制系统 1 非线性控制 1 静止无功补偿器 1 随机稳定性 1 随机最优控制 1 随机微分方程 1 阻尼耦合振动 1 阀门控制器 1 辛算法 1 辛时域有限差分法(s-fdtd) 1 辛时域多分辨率 1 1 辛partitioned-runge-kutta算法(sprk) 1 跳扩散过程 1 调谐因子 1 蒸汽 1 自适应励磁控制器 1 自由阻尼 1 自伴随 1 线性三原子分子 1 稳定性 1 矩形薄板 1 瞬态响应 1 电力系统 1 状态反馈 1 灵敏度分析 1 渐近稳定 1 时滞 1 数值色散性 1 振动微分方程 1 挥舞振动 1 径向基插值函数(rpim) 1 形状记忆合金梁 1 弹簧层模型 1 弹性波模拟 1 弱粘接 1 广义耗散hamilton系统 1 广义lorenz系统 1 大挠度 1 多项式平方和 1 坐标变换 1 固有频率 1 哈密顿系统 1 同步发电机 1
最优控制(2)
则满足末态要求的最优轨线方程可表示为
取u*= -1，也可得到满足末态要求的最优轨线方程 曲线 , 组成曲线 ，称为开关曲线，表示为
开关曲线将相平面分成两部分R+和R-
则时间最优控制为
4.2.4 最小能量控制
设线性定常系统
求满足下列不等式约束的容许控制：
使系统从初始状态x0转移到x(tf)=xf，并使性能指标
由横截条件 解出
由极小值条件
由于
可得到
t=1时，u*(t)应该为 零，即不存在最优 控制
定理 对于如下时变系统、末值型性能指标、末端自由、 控制受约束的最优控制问题
式中末端时刻固定或自由，假设同前，则对于最优解 u*,x*,tf*，必存在非零的 (t ) ，使如下必要条件成立： 1) 正则方程
则对于最优解u*,x*,tf*，必存在非零的 (t )，使如下必要条 件成立： 1) 正则方程 其中
2) 边界条件与横截条件
3) 极小值条件
4) 沿最优轨线哈密尔顿函数变化率(tf自由时用)
例子:
解：已知
由协态方程 可得到
2 (t ) c2 , 1 (t ) c1e c2
t
其中
2) 边界条件与横截条件
3) 极小值条件
4) 沿最优轨线哈密尔顿函数变化率(tf自由时用)
于是该问题就变成了如下定常问题：
(16)
利用定常系统的结论，可知协态方程为
即 (17)
横截条件为
即 极小值条件为 (18)
将式(16)代入可得
即得结论3)。沿最优轨线哈密尔顿函数变化率
将(18)代入可得到本定理的结论4)。
极小，其中 tf 固定。
构造
定义开关向量函数
最优控制 (4)1
tf
0
tf T T T J x dx (t f ) v t t f t x x dt 0 x x x
T
T dxT (t f ) x x
T v x (t f ) x t t f
H g T x x d H g T w w 0 dt d T ( z ) 0 dt
(2-25) (2-26) (2-27)
d 0 dt z
( x, x, w, w, z , z , , , t ) H ( x, , w, t ) T x T [ g ( x, w, t ) z 2 ]
n
其中 f 是 n 维连续可微的向量函数；状态 x (t ) R ，其初态 已知是
x (t0 ) x0
(2-2) (2-3)
终态应满足边界条件
[ x (t f ), t f ] 0
其中 是 r 维连续可微的向量函数，r n ；
u (t ) R m 受不等式 控制
g [ x (t ), u (t ), t ] 0
16
2）横截条件 T
vx 0 x t t t f t f f
T
T v 0 x x t t x f
T v H 0 (2-28) t f t f t t f
0
( x, x, w, w, z , z , , , t ) H ( x, , w, t ) T x T [ g ( x, w, t ) z 2 ]
17
对上列方程稍加分析，便知 （1）由（2-25）式
0
tf T T T J x dx (t f ) v t t f t x x dt 0 x x x
T
T dxT (t f ) x x
T v x (t f ) x t t f
H g T x x d H g T w w 0 dt d T ( z ) 0 dt
(2-25) (2-26) (2-27)
d 0 dt z
( x, x, w, w, z , z , , , t ) H ( x, , w, t ) T x T [ g ( x, w, t ) z 2 ]
n
其中 f 是 n 维连续可微的向量函数；状态 x (t ) R ，其初态 已知是
x (t0 ) x0
(2-2) (2-3)
终态应满足边界条件
[ x (t f ), t f ] 0
其中 是 r 维连续可微的向量函数，r n ；
u (t ) R m 受不等式 控制
g [ x (t ), u (t ), t ] 0
16
2）横截条件 T
vx 0 x t t t f t f f
T
T v 0 x x t t x f
T v H 0 (2-28) t f t f t t f
0
( x, x, w, w, z , z , , , t ) H ( x, , w, t ) T x T [ g ( x, w, t ) z 2 ]
17
对上列方程稍加分析，便知 （1）由（2-25）式
高级宏观经济学Chap02_Optimal_Control
第2章 最优控制理论2.1 静态最优化复习（1）一元最优化（Single variable optimization ） 考虑以下无约束的最大化问题， max ()xf x (2.1)如果是最小化问题，可以转化为等价的最大化问题，即[]min ()max ()xxf x f x - (2.2)因此，在本章我们只考虑最大化问题。
一阶条件：*()0f x ¢= （参见图2.1）图2.1、 一元函数最大化的一阶条件二阶条件：*()0f x ¢¢£ （如果二阶导数严格小于0，则最大值唯一）证明：在最大值*x 处，将目标函数()f x 进行二阶泰勒展开。
注：如果()f x 为凹函数，则二阶条件自动满足。
凹函数的经济含义：边际收益递减、边际产出递减、边际效用递减。
凹函数的几何含义是，函数增长的速度慢于切线的速度，参见图2.2。
图2.2、 凹函数的几何意义（2）价值函数及包络定理（The Value Function and the Envelope Theorem ）考虑带参数的一元最优化问题。
max (,)xf x a (2.3)其中，a 为参数。
一阶条件为，*(,)0()f x a x x a x¶= =¶ (2.4) 定义“价值函数”（Value function ）为，()()max (,)(),xV a f x a f x a a º= (2.5)即当参数取值为a 时，目标函数的最大值。
包络定理（The Envelope Theorem ）：关心当参数a 变化时，价值函数()V a 如何变化，即求()V a ¢。
()()()0(),(),(),()()df x a a f x a a f x a a x a V a dax a a=¶¶¶¢==+¶¶¶(2.6)由于*()x x a =为最优解，故满足一阶条件(,)0f x a x¶=¶，因此()()*(),(),()x x a f x a f x a a V a aa=¶¶¢==¶¶ (2.7)直观来说，由于()()(),V a f x a a º，故a 的变化有两个效应。
动态最优化第8讲 最优控制理论的进一步讨论
非线性对于所有是联合凹的数关于函数都可微且两个函第八讲最优控制理论的进一步讨论值依赖于值最大化汉密尔顿函数被一个和共态变量变量在任意时刻给定状态的汉密尔顿函数设沿着最优控制路径是充分的最大化泛函则最大值原理条件对于关于变量上的所有和时间区间对于给定的如果第八讲最优控制理论的进一步讨论给定自由dtdy的联合凹性函数关于第八讲最优控制理论的进一步讨论不再起约束个条件是线性的关于关于关于所以求得
Π
T
0
t,
K,u
t
f
t,
K,u
t
dK dt
dt
T
0
H
t,
y,
u,
dt
T
0
t
dK dt
dt
T
0
H t,
y,u, dt
tK tT 0
T
0
K t
d
dt
dt
T
0
H
t,
4）横截条件的经济含义
垂直终结线（固定终结时间，自由终结状态）
横截条件： T 0
表示：影子价格应该在终结部价值）
第八讲 最优控制理论的进一步讨论
（一）最大值原理的经济学解释
4）横截条件的经济含义
截断垂直终结线 规定终结资本的最低水平：KT Kmin
现值汉密尔顿函数：Hc Gt, y,u mf t, y,u
条件3：d H （的运动方程）
dt y
因为： met d dm et met
dt dt
H G et f , Hc G m f
y y
Π
T
0
t,
K,u
t
f
t,
K,u
t
dK dt
dt
T
0
H
t,
y,
u,
dt
T
0
t
dK dt
dt
T
0
H t,
y,u, dt
tK tT 0
T
0
K t
d
dt
dt
T
0
H
t,
4）横截条件的经济含义
垂直终结线（固定终结时间，自由终结状态）
横截条件： T 0
表示：影子价格应该在终结部价值）
第八讲 最优控制理论的进一步讨论
（一）最大值原理的经济学解释
4）横截条件的经济含义
截断垂直终结线 规定终结资本的最低水平：KT Kmin
现值汉密尔顿函数：Hc Gt, y,u mf t, y,u
条件3：d H （的运动方程）
dt y
因为： met d dm et met
dt dt
H G et f , Hc G m f
y y
(完整版)经济数学CH7动态最优化：最大值原理
为了求解这个最优化问题，建立现值汉密尔顿函数： H(c,k,t,μ)=e-ρtlog(c)+μ(kα-c-δk)
2020/8/20
10
最优化的一阶条件为:
(1)Hc e-t (1/ c）-=0和(2)Hk ( k1 ) 横截性条件为：lim[(t)k(t)] 0
t
取式（1）的对数然后对时间求导，得到：
如果令ρ=0.06，δ=0且α=0.3，那么这个系统就是以前研
2020/8/20 究过的非线性系统。
11
四、多变量的动态最优化
❖ 现在考虑一个具有n个控制变量和m个状态变量的 更一般的动态问题。选择控制变量最大化：
T 0
u[k1
(t
),
...,
km
(t
);
c1
(t
),
...,
cn
(t
);
t
]dt,
2020/8/20
6
充分条件
如果函数f(k,c,t)和g(k,c,t)是凹函数，那么 满足上述四个条件的（k*,c*）和λ*>0，是最 优化问题的极大值。
如果是凸函数，则是极小值。 经济学中的生产函数和效用函数都是严格凹函
数，因此满足充分条件。
2020/8/20
7
三、现值和当期汉密尔顿函数
❖ 1、现值汉密尔顿函数
2020/8/20
当一国的资本发展变成了一 种赌博活动的副产品时，这项 活动可能是错误的。
—— 凯恩斯
1
导论
❖ 古典数学家使用的动态问题的解法是变分法。
❖ 这种方法从两条途径得以一般化： ❖ 第一条是美国数学家贝尔曼在20世纪50年代所
发展的动态规划方法。主要适用于离散时间和 随机模型。 ❖ 第二条是俄罗斯数学家庞特里亚金在50年代所 发展的最优控制的极大值原理。
第4章 最优控制理论
t0
t* f t f
t f 很小，第二项可用积分中值定理
, t dt F x* t f , x * * t f , t f * t f J x F x* , x
t0 tf t* f
t* f
F x
J
1 T T x ( t ) x ( t ) Q x ( t ) x ( t ) u Ru dt d d 2 t0
二次型性能指标，工程中应用最为广泛
• 性能指标，泛函，即函数的函数
按数学形式
积分型 拉格朗日问题 终值型 迈耶耳问题 混合型 波尔扎问题
* *
tf
x
t0
f * , t d F x* , x * , t *, t F x* , x dJ F x* , x dt d 0 t x dt x x t 0
t
tf
0
t0 t f 0 以及极值条件
2.固定边界的泛函极值
t , t dt 积分型，Langrange问题 设泛函 J x F x t , x
xR
tf t0
分部积分法
udv uv
a b
b
b a
vdu
a b b
b
在 t0 , t f 连续二次可导
xt0 x0 xt f x f
2015年11月
§4.0 概述
研究：针对一个控制系统（被控对象），在给定一个性能指标下，
如何选择控制规律，使性能指标达到最优（极小）。
• 问题描述
动态系统： 初始状态：
如何选取容许控制域或最优控制
t* f t f
t f 很小，第二项可用积分中值定理
, t dt F x* t f , x * * t f , t f * t f J x F x* , x
t0 tf t* f
t* f
F x
J
1 T T x ( t ) x ( t ) Q x ( t ) x ( t ) u Ru dt d d 2 t0
二次型性能指标，工程中应用最为广泛
• 性能指标，泛函，即函数的函数
按数学形式
积分型 拉格朗日问题 终值型 迈耶耳问题 混合型 波尔扎问题
* *
tf
x
t0
f * , t d F x* , x * , t *, t F x* , x dJ F x* , x dt d 0 t x dt x x t 0
t
tf
0
t0 t f 0 以及极值条件
2.固定边界的泛函极值
t , t dt 积分型，Langrange问题 设泛函 J x F x t , x
xR
tf t0
分部积分法
udv uv
a b
b
b a
vdu
a b b
b
在 t0 , t f 连续二次可导
xt0 x0 xt f x f
2015年11月
§4.0 概述
研究：针对一个控制系统（被控对象），在给定一个性能指标下，
如何选择控制规律，使性能指标达到最优（极小）。
• 问题描述
动态系统： 初始状态：
如何选取容许控制域或最优控制
动态最优化第7讲 最优控制理论极大值原理汇编
dt
y0 A yT 自由 （A,T给定）
ut , 对于所有t 0,T
控制变量为 ut，运动方程（或状态方程）：dy f t, y,u 控制变量通过运动方程影响状态变量yt dt
第七讲 最优控制理论最大值原理
（二）最优控制的基本问题
（4）一个特例 （运动方程为：dy u ）
Max
V
T
0
求解条件：Max H t, y,u, u
首先使用一阶条件 : H 0 u
再用二阶条件： 2 H u 2
0验证H是凹函数
a 0b
曲线1 曲线2
曲线3 曲线4
cu
第七讲 最优控制理论最大值原理
（三）最大值原理
（2）最大值原理的条件
（2）如果H是下凸函数（曲线2），尽管
H
H关于u可微, 但 H 0得出的是最小值， u
0
dy dt
0
y*t
C2
把初始条件：y0 A代入，得：y*t A
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
Max
V
2 2 y 0
3udt
S.T. dy y u dt
y0 4 y2自由
ut 0,2
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
F t,
y, u dt
dt
S.T. dy u dt
y0 A yT 自由 （A,T给定）
消去u，得：
Max
V
T
0
F t,
y,
ydt
S.T. y0 A yT 自由 （A,T给定）
化为垂直终结线的变分法问题
第七讲 最优控制理论最大值原理
y0 A yT 自由 （A,T给定）
ut , 对于所有t 0,T
控制变量为 ut，运动方程（或状态方程）：dy f t, y,u 控制变量通过运动方程影响状态变量yt dt
第七讲 最优控制理论最大值原理
（二）最优控制的基本问题
（4）一个特例 （运动方程为：dy u ）
Max
V
T
0
求解条件：Max H t, y,u, u
首先使用一阶条件 : H 0 u
再用二阶条件： 2 H u 2
0验证H是凹函数
a 0b
曲线1 曲线2
曲线3 曲线4
cu
第七讲 最优控制理论最大值原理
（三）最大值原理
（2）最大值原理的条件
（2）如果H是下凸函数（曲线2），尽管
H
H关于u可微, 但 H 0得出的是最小值， u
0
dy dt
0
y*t
C2
把初始条件：y0 A代入，得：y*t A
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
Max
V
2 2 y 0
3udt
S.T. dy y u dt
y0 4 y2自由
ut 0,2
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
F t,
y, u dt
dt
S.T. dy u dt
y0 A yT 自由 （A,T给定）
消去u，得：
Max
V
T
0
F t,
y,
ydt
S.T. y0 A yT 自由 （A,T给定）
化为垂直终结线的变分法问题
第七讲 最优控制理论最大值原理
最优控制模型
H
曲线1
曲线2
曲线3 0 b c
6.2.2 吃糕控制问题
• 1、问题 • 假设行为人拥有一些不可再生的资源，如一块 蛋糕s，该资源的初始存量为s0，行为人在时刻 t的消费量为c(t)，消费的效用函数为u(c)。又假 设行为人的规划期从0时到T时，时期长度固定， 其未来效用的折现率为固定折现率ρ，且行为 人要在T时期末将此蛋糕消费完，不留遗产。 问题是，该行为人如何在0到T的整个时期内分 配此蛋糕的消费量，以使其获得的效用最大？
6.1 离散跨期选择问题
• 1、离散跨期选择的经典问题——“吃糕”问题 • 假设行为人拥有一些不可再生的资源，如一块 蛋糕，该资源的初始存量为S0，行为人在时期t 的消费量为ct，则在时期t资源的存量为： St=St-1-ct 再假设行为人确切地知道他能活3个时期，如 青年、中年、老年三个时期，问题是该行为人 如何将其资源在各个时期中消费？
6.2 连续时间的最优控制
• 4、状态变量的运动方程 • 状态变量就是不由行为人直接控制的系统内生决 定的变量，而控制变量则是行为人可直接控制的 变量。行为人通过对控制变量的控制可以间接地 影响状态变量，状态变量的变化方程是控制变量 的函数，可表示为： ś(t)=g[s(t),c(t),t] 称为状态变量的运动方程。最优控制问题就是要 找出控制变量在各个时刻的最优取值，使得目标 函数值达到最大（或最小）。控制变量从初始时 刻到终结时刻的变化过程称为控制变量的路径， 状态变量的变化过程称为状态变量的路径。
6.2 连续时间的最优控制
• 1、跨期效用函数 • 如此设定的跨期效用函数具有可加性 (additivity)或称可分离性(separability)的性 质。 • 可分离性的条件为： Mij/ck=0 其中Mij为不同时期消费的边际替代率 (marginal rate of substitution between consumption in period i and j)，即： Mij=Ui(.)/Uj(.)=(U/ci)/(U/cj)
最优控制3
Bang－Bang控制原理举例 Bang－Bang控制原理举例
0 B= 1
& x2 = 1
x2 = t + x20
1 2 1 2 1 2 最优轨迹方程: 最优轨迹方程: x1 = x2 + ( x10 − x 20 ) = x2 + C 2 2 2
x(t f ) = 0
x2
1 2 γ + : x1 = x2 , Tbj
奇异情况
-M
λTbj
-M
§3.1 最小时间控制
Bang－Bang控制原理 Bang－Bang控制原理 对于线性定常系统，若系统是正常， 对于线性定常系统，若系统是正常，则可应用极小值原 正常 理求解时间最优控制问题，其最优控制从一个边界值来回切 理求解时间最优控制问题，其最优控制从一个边界值来回切 到另一个边界值,称此为Bang Bang原理 Bang原理。 换到另一个边界值,称此为Bang-Bang原理。 定理：对于上述描述的最小时间控制问题，若线性定常系统属于 定理：对于上述描述的最小时间控制问题，若线性定常系统属于 平凡情况，则其最短时间控制的最优解满足下列必要条件： 平凡情况，则其最短时间控制的最优解满足下列必要条件： （1）极值条件： 极值条件：
& x = Ax + Bu
属于平凡情况,若时间最优控制存在,则必定是唯一的。 属于平凡情况,若时间最优控制存在,则必定是唯一的。 平凡情况
§3.1 最小时间控制
Bang－Bang控制原理 Bang－Bang控制原理 讨论 （3）开关次数定理 若线性定常系统
& x = Ax + Bu
控制变量满足不等式约束|u(t)|≤M 控制变量满足不等式约束|u(t)|≤M 矩阵A的特征值全部为实数, 若最短时间控制存在, 矩阵A的特征值全部为实数, 若最短时间控制存在,则每 实数 个控制分量在两个边界值之间的切换次数最多不超过n 个控制分量在两个边界值之间的切换次数最多不超过n-1次， 其中n是系统的维数。 其中n是系统的维数。
最优控制第三章用变分法解最优控制问题
H 2x
x
H 0 2u 0 2u
u
u x
x u x u u x x x 0
2023/12/27
x(t ) c1et c2et x(t) c1et c2et u
由边界条件和横截条件 x(0) x0
H (t f ) [ t ]t f
cc11
c2 x0 c2 0
约束条件 x(t0 ) x0 , M [x(t f ), t f ] 0
正则方程 x H
H x
控制方程 H 0 u
2023/12/27
边界条件和横截条件
终端固定
x(t0 ) x0 ,
M [x(t f )] 0 x(t f ) x f
tf
给定
终端自由 终端约束
终端固定
tf
自由
终端自由 终端约束
2 (t f
)
x2 (t f
)
M (
x2 (t f
)T )
v(t f
)
2 (2) x2 (2) 2 5v c2e2 c1
代入 x1 (2), x2 (2)
2023/12/27
14
解得
0.5c2 c3 c1 0.5c2
c4 c3
0 0
7c1 3e2c2 4e2c3 c4 15 x1 (2) 5x2 (2) 15
(t f
)
[ x
(M x
)T v] tt f
M [x(t f ), t f ] 0
H (t f
)
[
t
vT
M t
] tt f
9
例2 已知系统状态方程为 x u(t), x(0) 1
求最优控制 u* (t) 使性能指标 J 1e2t (x 2 u 2 )dt 为最小 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x2* t
9 16
t2
9 4
t
1
u*(t)和x*(t)的图像见图3。
x(t) u(t) 2
x1 *(t )
1
0
0.5
1
1.5
-2
x2*(t)
-4
-6
u*(t) -8
-10
t 2
比较上述结果可见，即使是同一个问题， 如果终端条件不同，其最优解也不同。
二、波尔札问题
设系统状态方程
xt f xt,ut,t
第五章 用变分法求解连续 最优控制问题
—有约束条件的泛函极值
上节讨论没有约束条件的泛函极值问题。但在 最优控制问题中，泛函J所依赖的函数总要受到受控 系统状态方程的约束。解决这类问题的思路是应用 拉格朗日乘子法，将这种有约束条件的泛函极值问 题转化为无约束条件的泛函极值问题。
一、拉格朗日问题
考虑系统
x0
1 1,
x2
0 0
由式(5-7)得
H
L T f
x
1 u2 2
T
0 0
1 0
x
10u
x
由欧拉方程，得
H x
d dt
H x
0 1
01 02
12
0
2101
H u
d dt
H u
u
0
112
0
u 2
H
d dt
H
0 0
1 0
x
0 1u
x
0
x1 x2
x2 u
5个未知数x1, x2, λ1, λ2, u，由5个方程联立求得通解
例如，若始端固定，终态自由时，由于δx(t0)=0， δx(tf)任意，则有
xt0 x0
(5-13)
t f 0
(5-14)
若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以
xt0 x0
(5-15)
x t f x f
(5-16)
作为两个边界条件。
实际上，上述泛函极值的必要条件，亦可
u* t 3t 7
2
x1* t
1 2
t3
7 4
t
2
t
1
x
* 2
t
3 2
t2
7 2
t
1
最优控制u*(t)及最优轨线x*(t)如图2所示。
x(t) u(t) 2 1
x1*(t)
(2,2,5)
0
t
0.5
1 7/6 1.5
2
-1
-2
x2*(t)
u*(t)
-3
例2：设问题同例1。但将终端状态改为θ(2)=0， ω(2)自由，即终端条件改成部分约束、部分自 由。重求u*(t)、x*(t)。
xt f xt,ut,t
(5-1)
式中 xt Rn；ut Rr ；
f xt,ut,t ——n维连续可微的矢量函数。
设给定 t t0 ,t f ，初始状态为x(t0)=x0，
终端状态x(tf)自由。性能泛函为
J
t f
t0
Lxt,ut,td t
(5-2)
寻求最优控制u(t)，将系统从初始状态x(t0)=x0 转移到终端状态x(tf)，并使性能泛函J取极值。
将状态方程式(5-1)写成约束方程形式
f xt,ut,t xt 0
(5-3)
应用拉格朗日乘子法，构造增广泛函
J
t f
t0
Lxt
,
ut
,
t
T
t
f
xt
,
ut
,
t
xt
d
t
式中λ(t)——待定的n维拉格朗日乘子矢量。
定义纯量函数
Hx,u,,t Lx,u,t T f x,u,t (5-4)
称H[x,u,λ,t]为哈密尔顿函数。则
式(5-9)与式(5-10)联立称为哈密尔顿正则方程。
式(5-11)称为控制方程，
这个方程是在假设δu为任意，控制u(t)取值
不受约束条件下得到的。如果u(t)为容许控制，
受到 utU 的约束，δu变分不能任意取值，
那么，关系式 H 0不成立，这种情况留待极 u
小值原理中讨论。
式(5-12)称为横截条件。常用于补充边界条件。
d
t
xT
tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
因此得
H 0
x H x
H 0 u
tf 0 t0
(5-9) (5-10) (5-11) (5-12)
式(5-9)称为动态系统的伴随方程或协态方程， λ又称为伴随矢量或协态矢量。
式(5-10)即系统的状态方程。
1 C1
2 C1t C2
u C1t C2
x1
1 6
C1t
3
1 2
C
2t
2
C3t
C4
x2
1 2
C1t
2
C2t C3
4个积分常数C1, C2, C3, C4由4个边界条件
x10 1, x2 0 1, x12 0, x2 2 0
解得
C1
3, C2
7 2 ,C3
1,C4
1
因此，最优解为
初始状态x(t0)= x0，终始状态x(tf)满足
Nxt f ,t f 0
式中N——q维向量函数，n≥q。
3) 再将x*、λ*代入得 u* u~ x*, * 为所求。
例1：有系统如图1所示。欲使系统在2s内从状态
0 0
1 1
转移到
2 2
0 0
，使性能泛函
J
1 2
2 u 2 td t
0
min
，试求u(t)。
u(t)
ω(t)
θ(t)
1s
1s
x1
x2
解：系统状态方程及边界条件为
x
0 0
1 0 0x 1u
由式(5-6)写出欧拉方程直接导出。
即 H d H
x H
H
u
dt
d dt
d dt
H t f
x t0
x H
H u
0
0
0
0
HxH
H
u
tf t0
x 0 0
0
(5-17)
应用上述条件求解最优控制的步骤如下：
1) 由控制方程
H 0 u
解出 u* u~x,
2) 将u*代入正则方程解两边边值问题，求x*、λ*。
解 正则方程及控制方程与例1完全相同，只是
边界条件改成 t 0时 x10 1, x2 0 1，t 2 时 x12 0,2 2 0 ，代入例1的通解中可确定积分
常数：
9
18
C1 8 ,C2 8 ,C3 1,C4 1
于是得
u* t 6t 12
x1* t
3 16
t3
9 8
t2
t
1
t0
t0
t0
将上式代入式(5-5)，得
J t f Hx,u, ,t T x d t T x t f (5-8)
t0
t0
设u(t)和x(t)相对于最优控制u*(t)及最优轨线
u*(t)的变分为δu和δx，计算由δu和δx引起的
J´的变分为：
J
tf t0
xT
H x
uT
H u
J tf Hx,u,,t T x d t t0
(5-5)
或 J tf H x, x,u, ,td t t0
(5-6)
式中
Hx, x,u,,t Lxt,ut,t T tf xt,ut,t xt
(5-7)
对式(5-5)右边第二项作分部积分，得
t f T x d t t f T x d t T x t f