连续控制部分第七章 最优控制

当 t t0 时，代入上式，求得 c1 x(t0 ) ，所以
x(t) cx(t f )(t t0 ) x(t0 )
当 t t f 时，
x(t
f
)
1
x(t0 ) (t f
t0
)
最优性能指标为
J
*
1 2
cx2
(t
f
)
1 2
tf t0
u2 d t 1 cx2 (t0 ) 2 1 c(t f t0 )
1 (t )
引入拉格朗日乘子
λ(tຫໍສະໝຸດ Baidu)
2 (t
)
n (t)
将性能指标（8）式改写为其等价形式
（9）
由（6）式可知 f (x,u,t) x
为零
J [x(t f )] t f {L(x, u,t) λT (t)[ f (x, u,t) x]}d t t0
定义哈密顿函数 H ( x, u, λ,t) L( x, u,t) λT (t) f ( x, u,t)
引言
什么是最优控制？以下通过直流他励电机的控制问题来说明
问题 电动机的运动方程为
KmID
TF
JD
d
dt
（1）
其中，Km为转矩系数；J D为转动惯量； 为恒T定F 的负载转矩；
tf (t) d t const 0
（2）
希望：在时间区间[0，tf]内，电动机从静止起动，转过一定角度
后停止，使电枢电阻 RD 上的损耗 E
tf 0
RD
I
2 D
(t
)
d
t
最小，求
I D (t)
因为 I D 是时间的函数，E 又是 I D 的函数，E 是函数的函数，称为 泛函。
采用状态方程表示，令
x1
x2 x1
x2
Km JD
ID
TF JD
于是
x1
x2
0 0
1 x1
0
x2
0 Km
JD
I
D
0 1
JD
（7）
其中，x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数。
要求在控制空间中寻求一个最优控制向量 u(t)，使以下性能指标
J [x(t f )] t f L(x, u,t) d t t0
沿最优轨线 x(t)取极小值。
（8）
（性能指标如（8）式所示的最优控制问题，是变分法中的波尔扎 问题）
定义：设J[ x]是线性赋泛空间 Rn 上的连续泛函，其增量可表示为
Δ J[x] J[x δ x] J[x] L[x, δ x] r[x,δ x]
其中，L[x, δ x]是关于 δ x 的线性连续泛函，r[x,δ x] 是关于δ x 的高阶 无穷小。则 δ J L[x,δ x] 称为泛函 J[x]的变分。
拉方程
L x
d dt
L x
0
及横截条件
L T
x
tf
x(t f
)
L x
T
x(t0 ) 0
t0
注意：满足欧拉方程是必要条件，不是充分条件。
6.2 用变分法求解最优控制问题
6.2.1 末值时刻固定、末值状态自由情况下的最优控制
非线性时变系统状态方程为
x f (x,u,t)
（6）
初始状态
x(t) tt0 x(t0 )
x0 D ，若在 x0 的某领域内 U(x0, ) x
x x0 , x Rn
在 x U (x0, ) D 时，均有
Δ J[ x] J[ x] J[ x0 ] ≤0 或 Δ J[ x] J[ x] J[ x0 ] ≥0
则称 J (x) 在x x0处达到极大值或极小值。
定理：设J[ x] 是在线性赋泛空间 Rn 上某个开子集D 中定义的可 微泛函，且在 x x0 处达到极值，则泛函 J[ x] 在 x x0 处必有
（10）
则 J [x(t f )] t f [H (x, u, λ,t) λT (t)x]d t
t0
[x(t f )] t f H (x, u, λ,t) d t t f λT (t)x d t
t0
t0
（11）
对（11）式中的第三项进行分部积分，得
J [x(t f )] t f H (x, u, λ,t) d t λT (t)x t0
即
λ L f λ
x x
（18） （19） （20）
（21）
H u
d dt
H u
0
L f λ 0 u u
（22）
可见（21）式和（18）式相同，（22）式和（19）式相同。因此， （14）式和（17）就是欧拉方程，而（7）式和（15）就是横截条 件。
2） δ J 0 是泛函取极值的必要条件是否为极小值还需要二次变分 δ2 J 来判断， δ2 J 0 则泛函J 取极小值。
同时使性能指标J 取极小值。
第6章 最优控制
最优控制是控制系统设计的一种方法。它所研究的中心问题是如何 选择控制信号，才能保证控制系统的性能在某种意义下最优。本章 内容为： 1. 引言
2. 用变分法求解最优控制问题
3. 极小值原理及其在快速控制中的应用
4. 用动态规划法求解最优控制问题 5. 线性状态调节器 6. 线性伺服机问题
因为 如果令
λ H L f λ x x x
H 0 u
L f λ 0 u u
H ( x, u, λ,t) L( x, u, λ,t) λT (t)[ f ( x, u,t) x ]
简记成
H L λT [ f x ]
由欧拉方程得到
H x
d dt
H x
0
L f λ (λ) 0 x x
3） 哈密顿函数沿最优轨线随时间的变化率
dH dt
H
T
x
x
H u
T
u
H λ
T
λ
H t
在最优控制 u* 、最优轨线
x*
下，有
H u
0
和
H
T
x
x
H λ
T
λ
H x
T
H λ
H λ
T
H x
0
（23）
（10）式的哈密顿函数对
偏导，结果为 f ( x,u,t)
λx
求
因为减号两边是相等标量 由（14）式可得 （行向量与列向量相乘）
等于零。于是有
λ H
（14）
x
λ(t
f
)
x(t f
)
（15）
δ J
tf t0
H u
T
δ
udt
0
（16）
由于 δu 是任意的变分，根据变分法中的辅助引理，由（16）式得
H 0 u
（17）
（14）式称为伴随方程， λ(t)为伴随变量，（17）式为控制方程。
几点说明： 1）实际上，（14）式和（17）式就是欧拉方程。
J [ x(t f ),t f ] t f L(x, u,t) d t t0
最优。其中 L(x, u,t) 是 x 、u 和t 的连续函数
最优控制问题就是求解一类带有约束条件的条件泛函极值问题。
补充：泛函与变分法
一、泛函与变分
1、泛函的基本定义：
如果对于某个函数集合x(t)中的每一个函数 x(t)，变量J 都有一个
6.2.2 末值时刻固定，末端状态固定情况下的最优控制
非线性时变系统状态方程为
x f (x,u,t)
（27）
初始状态 末值状态
x(t) tt0 x(t0 ) x(t) tt f x(t f )
（28） （29）
性能指标
J t f L(x, u,t) d t
（30）
t0
寻求最优控制 u* ，在 [t0 , t f ] 内，将系统从 x(t0 )转移到 x(t f ) ，
TF
（3）
初始状态
x1(0)
x2
(0)
0 0
末值状态
x1(t f )
x2
(t
f
)
0
控制 I D 不受限制
性能指标
E
tf
RD
I
2 D
(t
)
d
t
0
（4）
本问题的最优控制问题是：在数学模型（3）的约束下，寻求一个 控制 I D (t) ，使电动机从初始状态转移到末值状态，性能指标E 为最 小。
问题6-2 对于问题6-1中的直流他励电动机，如果电动机从初始
时刻 t0 0 的静止状态转过一个角度 又停下，求控制 ID (t（) ID (t)是
受到限制的），使得所需时间最短。
这也是一个最优控制问题：
系统方程为
x1
x2
0 0
1 0
x1
x2
0 Km
JD
I
D
0 1
JD
δ J
x(t f
T
)
δ
x(t f
)
λT
(t f
)δ
x(t f
)
tf t0
H x
T
δ
x
H u
T
δ
u
λT
δ
xd t
0
将上式改写成
T
δ
J
x(t f
)
λ(t f
)
δ x(t f )
tf t0
H x
T
λ
δ
x
H u
T
δ ud t
0
（13）
由于 λ(t) 未加限制，可以选择λ(t) 使上式中 δ x 和 δ x(t f ) 的系数
泛函的变分等于
Jx(t) x
0
3、泛函变分的规则 1） δ(L1 L2 ) δ L1 δ L2
2） δ(L1L2 ) L1 δ L2 L2 δ L1
3）
b
δ
L[x, x,t]d t b
δ L[x, x,t]d t
a
a
4）
δdx d δx dt dt
4、泛函的极值
设 J[x] 是在线性赋泛空间 Rn 上某个子集D 中的线性连续泛函，
值与之对应，则称变量J 为依赖于函数 x(t)的泛函，记作 J x(t)
可见，泛函为标量，可以理解为“函数的函数”
例如：
3
J[x] x(t) d t
0
（其中，x(t)为在[0,3]上连续可积函数）
当x(t) t 时，有 J 4.5 ；当x(t) et 时，有 J e3 1 。
泛函 J [ x(t )]如果满足以下条件时，称为线性泛函： 1） J[cx(t)] cJ[x(t)] ，其中c 为任意常数； 2） J[ x1(t) x2 (t)] J[ x1(t)] J[ x2 (t)]
最优控制问题的一般性提法为
系统状态方程为 x f ( x,u,t) 初始状态为 x(t0 )
其中，x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数， 它是 x 、u 和t 的连续函数，并且对x 、t 连续可微。
寻求在[t0 , t f ]上的最优控制 u Rr或 uU Rr ，以将系统状 态从 x(t0 ) 转移到 x(t f ) 或 x(t f ) 的一个集合，并使性能指标
TF
初始状态
x1(0)
x2
(0)
0 0
末值状态
x1(t f )
x2
(t
f
)
0
I D (t) ≤ I D max
（5）
性能指标 J t f d t t f 0
（6）
最优控制问题为：在状态方程的约束下，寻求最优控制 I D (t)≤ I Dmax
，将 x(t f ) 转移到 x(0) ，使J 为极小。
δ J[x0,δ x] 0
欧拉方程：
定理：设有如下泛函极值问题：
min J[x] x(t)
t f L(x, x,t)dt
t0
其中， L(x, x,t) 及 x(t) 在 [t0,t f ] 上连续可微， t0 和 t f 给定，
已知 x(t0 ) x0，x(t f ) x f ，x(t) Rn ，则极值轨线 x* (t) 满足如下欧
2
由伴随方程 H 0
x
const
(t
f
)
x(t
f
)
1 2
cx2 (t
f
)
cx(t
f
)
因为 const
(t) (t f ) cx(t f )
由控制方程
H u 0
u
即
u* (t) cx(t f )
将 u* 代入状态方程 x u cx(t f )
解为 x(t) cx(t f )(t t0 ) c1
这两个等于零的式子代入（23）式，于是
d H H d t t
（24）
即哈密顿函数H 沿最优轨线对时间的全导数等于它对时间的偏
导数。记为 H ( x*, u*, λ, t) H *(t) 则
d H H d t t
（25）
对上式积分，得到
H * (t0 ) H * (t f ) t f t0
对于一个任意小正数 ，总是可以找到 ，当 x(t) x0(t) 时，有
J[x(t)] J[x0(t)] 就称泛函J[ x(t)]在 x(t) x0 (t) 处是连续的。
2、泛函的变分
所谓泛函 J[x(t)]的宗量 x(t) 的变分是指两个函数间的差。
δ x x(t) x0 (t)
x(t), x0 (t) Rn
t f
tf
t0
t0
λT (t)x d t （12）
当泛函J 取极值时，其一次变分等于零。 即
δJ 0
可以变分的量： u(t) u(t) δ u
x(t f ) x(t f ) δ x(t f )
x(t) x(t) δ x
不可以变分的量： t0 t f x(t0 ) λ(t)
求出J 的一次变分并令其为零
H * d
（26）
当哈密顿函数不显含 t 时，由（25）式得
H*(t) H*(t f ) const
例6-1 系统状态方程为 x u 初始条件
性能指标 J
试求最优控制 u*
1 2
cx2
(t
f
)
1 2
tf t0
u2
，使J 取极小值。
d
t
x(t0 ) c0
解 哈密顿函数 H (x,u, ,t) 1 u2 u