第七章极小值原理与典型最优控_...

31


在某些情况下，S矩阵的某些元素大到足 以引起计算上的困难，在此情况下，用 逆Riccati方程求解。 令
P(t ) P (t ) I
P(t ) P 1 (t ) P(t ) P 1 (t ) 0
1
（11）
（12）
32
则逆Riccati方程为
P 1 (t ) A(t ) P 1 (t ) P 1 (t ) AT (t ) B(t ) R 1 (t ) BT (t ) P 1 (t )Q(t ) P 1 (t ) 1 P (t f ) S 1
H x
11
也可以写成
H[ x(t ), u(t ), (t ), t ] min H[ x(t ), v(t ), (t ), t ],
H x f ( x, u , t )
H x
v
12

满足边界条件
x(t 0 ) x 0
33
•最优反馈控制结构
R (t ) B(t )
1
x(t ) A(t ) x(t ) B(t )u(t )
P(t)
34
•P(t)的计算

由
将Riccati方程写成差分格式
P (t t ) P (t ) t[ P (t ) A(t ) AT (t ) P (t ) P (t ) B (t ) R 1 (t ) B T (t ) P (t ) Q (t )
J min

J min 0, 且t0为任意

P(t ) 0
37
•无限时间调节器问题
1 T J [ x (t )Q (t ) x(t ) u T (t ) R (t )u (t )]dt Min 2 t0 u (t ) x(t ) A(t ) x(t ) B (t )u (t ) s.t. x(t0 ) x0
J min 1 T x (t0 ) P(t0 ) x(t0 ) 2
39
•线性定常调节器
1 T J [ x (t )Qx (t ) u T (t ) Ru (t )]dt Min 2 t0 u (t ) x (t ) Ax(t ) Bu (t ) s.t. x (t0 ) x0
上述问题有解的条件：系统完全可控
u * (t ) R (t ) B (t ) P (t ) x(t )
T
38
1
P (t ) P(t ,0, ) lim P(t ,0, T )
T
(t ) P (t ) A(t ) AT (t ) P (t ) P P (t ) B (t ) R 1 (t ) B T (t ) Q (t ) P (T ) 0

为使H相对于所选择的u(t)尽可能小，必 T 须有： u (t ) B (t )
B T (t )

即u(t)取单位向量，
17
H x (t ) Ax(t ) Bu (t ) (t ) H AT (t ) x x (t 0 ) x 0 , x (t f ) 0 H [ x (t f ), (t f ), u (t f )] 1
T 1
P(t f ) S
28

dy ( x) y ( x) y 2 ( x) 称为 在数学中，dx

Riccati方程，所以（7）式也称为Riccati 方程
29

最优控制律为
令Hale Waihona Puke K (t ) R 1 (t ) BT (t ) P(t )
则求得闭环解
u(t ) K (t ) x(t )
0
t t f
tf
t0
(t )[ f [ x(t ), u (t ), t ] x(t )]}dt
T
7

定义标量函数

Hamilton 函数为
H [ x(t ), u(t ), (t ), t ] [ x(t ), u(t ), t ]
(t ) f [ x(t ), u (t ), t ]
T
8

特性指标为
J [ x(t ), t ] t t
tf
t t f
0
{H [ x(t ), u(t ), (t ), t ] (t ) x(t )}dt
T t0
9

积分可得
J { [ x(t ), t ] (t ) x(t )
T
t t f t t 0
H 0 u(t ) R 1 (t ) BT (t ) (t ) u
x A(t ) x B(t )u
x(t 0 ) x0
(t f ) Sx(t f )
27

确定闭环控制

假设 则得
(t ) P(t ) x(t )

(t ) P(t ) A(t ) AT (t ) P(t ) P P(t ) B(t ) R (t ) B (t ) P(t ) Q(t )
18

如
MinJ t f s.t. x1 (t ) x2 (t ) x2 (t ) u (t )
式中：(t ) 1 u
19
H [ x(t ), u(t ), (t )] 1 1 (t ) x2 (t ) 2 (t )u(t )
1 (t ) 0 2 (t ) 1 (t ) 1 (t ) c1 , 2 (t ) c2 c1t u sign(2 ) sign(c2 c1t ) x(t f ) 0
（9）
30
计算二阶变分
1 T J x (t f ) Sx(t f ) （10） 2 1 tf T T [x (t )Q(t )x(t ) u (t ) R(t )u (t )]dt 2 t0
2
故极小值条件为(存在最优控制的充分条件)
Q(t ), S 0,
R(t ) 0
2 2 2 2
1 u (t ) sign[ x1 (t ) x2 (t ) x2 (t ) ] 2
22
23
6.2 典型最优控制

主要内容

LQR问题 线性伺服机构 Bang-Bang 控制 奇异控制




离散系统最优控制
24
6.2.1 LQR（Linear Quadratic Regulator）问题
N [ x(t f ), t f ] 0
N T H (t f ) ( )v, t t f t f t f
N T (t f ) ( ) v, t t f x x
13

极小值原理与变分学

区别在于极值条件不同 极小值原理的极值条件是 Hamilton 函数
P(t t ) P(t ) P(t ) lim t 0


取步长为负值，反向积分，即
P(t f ) P(t 0 )
35

P(t)的对称性，即
PT (t ) P(t )

所以P待求的元素个数为n(n+1)/2
36
•P(t)的半正定性

可以证明
但 故
1 T x (t0 ) P(t0 ) x(t0 ) 2
5
确定一个容许控制函数
使下述的性能指标为极小
t t f
J [ x(t ), t ] t t
0

tf
t0
[ x(t ), u(t ), t ]dt
6

采用 Lagrange 乘子法
J [ x(t ), t ] t t {[ x(t ), u(t ), t ]dt

tf
t0
T (t ) x(t )}dt {H [ x(t ), u(t ), (t ), t ]
10

如果 u 是最优控制律

对应于边界条件有
H [ x(t ), u(t ), (t ), t ] H [ x(t ), v(t ), (t ), t ], v
H x f ( x, u , t )
P lim P(t ,0, T )
T
41
PI调节器
1 T J [ x (t )Qx (t ) u T (t ) Ru (t ) u T (t ) Su (t )]dt Min 2 t0 u (t ) x(t ) Ax(t ) Bu (t ) s.t. x(t0 ) x0
20
当u (t ) 1时， x 2 t x 2 ( 0) t x1 x2 (0)t x1 (0) 2 上述方程消去t，得 x x ( 0) x1 x1 (0) 2 2
21
2
2 2
2 2
当u (t ) 1时， x 2 t x ' 2 ( 0 ) t x1 x'2 (0)t x'1 (0) 2 上述方程消去t，得 x [ x'2 (0)] x1 x'1 (0) 2 2
u * (t ) K1 x (t ) K 2u * (t ) u * (t0 ) u (t0 ) K1 S 1 P21 , K 2 S 1 P22
第 6 章 极小值原理和典型最优控制
1
主要内容

极小值原理
典型最优控制

2
6.1 极小值原理

极小值原理

研究最优控制问题的现代理论 对古典变分学的发展 一些文献中也被称为极大值原理 以 Bolza 问题为对象描述极小值原理



3

考虑等式约束的一种特定的情况
x(t ) f [ x(t ), u (t ), t ]
LQR问题的普遍性



LQR问题的提法具有普遍意义，不限于 哪种物理系统，而且人们证明这样的提 法易于获得解析解，最为可贵的是能获 得线性反馈解。 线性系统最优控制所的结果也适用于小 信号下运行的非线性系统，可以作为一 次近似 提供了一种统一的框架。
26

应用极小值原理

实现最优控制要求满足
H Q(t ) x(t ) AT (t ) (t ) x
MinJ t f s.t. x(t ) Ax(t ) Bu(t ) x(t0 ) x0
式中：u (t ) U ,即 u (t ) 1
16

解：Hamiliton 函数为
T
H [ x(t ), u (t ), (t ), t ] (t )[ Ax(t ) Bu(t )]

对于线性系统
x(t ) A(t ) x(t ) B( t )u( t ) x(t 0 ) x0

LQR问题为
1 J x(t f ) 2
2 S
Min
u (t )
1 2

tf
[ x(t )
2 Q (t )
u(t )
2 R (t )
]dt
t0
S , Q 0, R 0
25

x - n 维向量, f - n 维向量函数

u – m 维控制向量函数
容许控制
u Rm


- 是一给定的有界集合

假定终端时间 t f 满足 N [ x(t f ), t f ] 0
4
假设 f 对于 x , u 具有连续的偏导数
这种光滑性假定，对于任何分段连续的函数 u 保证了存在唯一的属于式（1）的容许轨线 x 可定义容许控制函数集合是这类分段连续的函数 并假定对于一个容许的 u 和给定的初始条件 ， x(t 0 ) 在所考虑的控制区域内，式（1）确定了一个唯一 的容许解
u * (t ) R B P x(t )
T
1
40

为下列代数Riccati方程的解 T 1 T P A A P P BR B P Q 0
P

或是Riccati微分方程的稳态解
P (t ) P (t ) A(t ) AT (t ) P (t ) P (t ) B (t ) R 1 (t ) B T (t ) Q (t ) P (T ) 0

H min H
u

变分学的极值条件是
H 0 u
14
极大（小）值原理的意义

容许控制条件放宽 取得全局最小值 没有H对u的可微性要求 状态方程、协态方程和横截条件依旧 只给出最优控制的必要条件，而非充分 条件（更没有涉及存在性问题）
15

例 研究线性时不变系统的时间最优控制 问题
hamilton函数hamilton函数对控制向量是线性的对于的极小化要求控制线性地出现在系统和性能指标中则该最优控制就是砰磅控制bangbang控制只是在情况下例外不是的函数它相对于不可能有极小相当于特定的控制分量可能是一个奇异解bang控制问题最短时间问题68希望转移一个维向量定常系统在一段非零的时间间隔内不能为零结论1唯一性结论2开关次数910式所表示的最优控制问题a的特征值为实根不可能根据的选择使为极小8011给定可以固定可以自由hamilton函数为11式称为legendreclebsch勒让德克莱勃希条件若条件11只取严格的不等号则称强化的勒让德克莱勃希条件矩阵是奇异的非负定即不满足强化的勒让德克莱勃希条件则称bolza问题为奇异的是控制向量的一个或多个元的线性函数则问题是奇异的bangarc和奇异弧组成87需要探索新的理论和方法88定理若hamilton函数h满足除外89buaxqxqbuqax假设存在qaqb最初用控制的一个极值使系统转移到奇异弧然后用奇异控制直到应用控制的另一极值的数值dxdxdxdxdxdx102103107108离散线性调节器问题109的状态响应被式1唯一地确定kfkfkf加权矩阵可以是的函数则求解下列riccati方程称为kalman增益riccati差分方程有另一种形式