高等教育《最优控制理论》课件 第五章
合集下载
最优控制理论课件
8
最优控制问题
1.1 两个例子
例1.1 飞船软着陆问题
软着陆 过程开 始时刻 t 为零
h& v
v& u g m
m& K u
m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 h(0) h0 v(0) v0 m(0)MF
f(x(t),u(t),t) 为n维向量函数
22.03.2020
现代控制理论
24
最优控制问题
1.2 问题描述
(1) 状态方程 一般形式为
x&(t) f (x(t),u(t),t)
x(t) Rn
x(t)|tt0 x0
为n维状态向量
u(t) Rr
为r 维控制向量
f(x(t),u(t),t) 为n维向量函数
求解最优控制的变分方法
泛函与函数的几何解释
22.03.2020
现代控制理论
50
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
22.03.2020
现代控制理论
51
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
泛函的增量 J ( x ( g ) ) J ( x ( g ) x ) J ( x ( g ) ) L ( x , x ) r ( x , x )
J x ( T ) ,y ( T ) ,x & ( T ) ,y & ( T ) x & ( T )
控制
(t)
22.03.2020
现代控制理论
最优控制课程课件II-5.HJB方程
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段
最优控制第五章习题答案
1. ·2.已知二阶系统的状态方程122()(),()()x t x t x t u t ==性能泛函3222221212120111[(3)2(3)][2()4()2()()()]222J x x x t x t x t x t u t dt =+++++⎰求最优控制。
解:把状态方程和性能指标与标准状态方程和标准性能指标比较，可得0,101,02,11,,,,0,010,21,42A B P Q R ⎡⎤⎡⎤⎡⎤⎡⎤=====⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦考虑到()K t 是对称阵，设11121222,(),k k K t k k ⎡⎤=⎢⎥⎣⎦代入黎卡提方程1()()()()()()()()()()()T T K t K t A t A t K t K t B t R t B t K t Q t -=--+-即1112111211121112111212221222122212221222,,,,,0,10,002,12[0,1],0,01,0,,1,1,4,k k k k k k k k k k k k k k k k k k k k ⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤=--+-⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎣⎦令上式等号左右端的对应元相等，得211121211122222212222221224k k k k k k k k k =-=-+-=-+-这是一组非线性微分方程。
由边界条件(3)K P =即11121222(3),(3)1,0(3),(3)0,2k k k k ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 最优控制为11112112122212222()()(),()2*[0,1]2()2(),()T u t R B K t X t k k x t k x t k x t k k x t -=-⎡⎤⎡⎤=-=--⎢⎥⎢⎥⎣⎦⎣⎦3. ）4.能控的系统状态方程为122()(),()()x t x t x t u t ==这是一种双积分系统，其输出为1()x t ，其输入为()u t ，其传递函数为12()1()()x s G s u s s==其性能泛函为222112201[()2()()()()]2J x t bx t x t ax t u t dt ∞=+++⎰其中220a b ->求最优控制。
最优控制课程课件II-5.HJB方程
第九讲：Hamilton-Jacobi-Bellman 方程
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)
最优控制第五章习题答案
1. 已知二阶系统的状态方程122()(),()()x t x t x t u t ==性能泛函3222221212120111[(3)2(3)][2()4()2()()()]222J x x x t x t x t x t u t dt =+++++⎰求最优控制。
解:把状态方程和性能指标与标准状态方程和标准性能指标比较，可得0,101,02,11,,,,0,010,21,42A B P Q R ⎡⎤⎡⎤⎡⎤⎡⎤=====⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦考虑到()K t 是对称阵，设11121222,(),k k K t k k ⎡⎤=⎢⎥⎣⎦代入黎卡提方程1()()()()()()()()()()()T T K t K t A t A t K t K t B t R t B t K t Q t -=--+-即1112111211121112111212221222122212221222,,,,,0,10,002,12[0,1],0,01,0,,1,1,4,k k k k k k k k k k k k k k k k k k k k ⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤=--+-⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎣⎦令上式等号左右端的对应元相等，得211121211122222212222221224k k k k k k k k k =-=-+-=-+-这是一组非线性微分方程。
由边界条件(3)K P =即11121222(3),(3)1,0(3),(3)0,2k k k k ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 最优控制为11112112122212222()()(),()2*[0,1]2()2(),()T u t R B K t X t k k x t k x t k x t k k x t -=-⎡⎤⎡⎤=-=--⎢⎥⎢⎥⎣⎦⎣⎦2. 能控的系统状态方程为122()(),()()x t x t x t u t ==这是一种双积分系统，其输出为1()x t ，其输入为()u t ，其传递函数为12()1()()x s G s u s s==其性能泛函为222112201[()2()()()()]2J x t bx t x t ax t u t dt ∞=+++⎰其中220a b ->求最优控制。
最优控制理论_第五章
而最优状态x*(t)则是下列线性微分方程的解：
(t ) [ A(t ) B(t ) R 1 (t ) BT (t ) K (t )]x(t ) x x(t0 ) x0
几点说明：
1) 最优控制规律是一个状态线性反馈规律，它能方便地实现闭环最优控制； 2) 由于K(t)是非线性微分方程的解，通常情况下难以求得解析解，需要由计算 机求出其数值解，又因为其边界条件在终端处，所以需要逆时间方向求解，因 此应在过程开始之前就将K(t)解出，存入计算机以供过程使用； 3) 只要控制时间[t0,tf]是有限的， 是有限的 K(t)就是时变的（即使状态方程和性能指标J是定 常的），因而最优反馈系统将成为线性时变系统； 4) ) 将最优控制u*(t)及最优状态轨线x*(t)代入性能指标函数，得性能指标得最小 值为：
2:无限时间状态调节器
设线性定常系统状态方程为
(t ) Ax (t ) Bu (t ), x
x (t 0 ) x 0
[A,B]能控，u(t)不受约束，二次型性能指标为
J
1 T T [ x ( t ) Qx ( t ) u (t ) Ru (t )]dt t 2 0
Q 0, Q Q T , R 0, R R T
其中Q，R为常数矩阵
要求确定最优控制u*(t)，使J为最小。 与有限时间状态调节器相比，有如下几点不同： 1)系统是时不变的，性能指标中的权矩阵为常值矩阵。 2）终端时刻 t f
当[t0，tf ]为有限时间时，最优控制系统是时变的；
u * (t ) R 1 (t ) B T (t ) K (t ) x(t )
其中对称矩阵K(t)是下列黎卡提方程的唯一解
(t ) K (t ) A(t ) AT (t ) K (t ) K (t ) B (t ) R 1 (t ) B T (t ) K (t ) Q (t ) K K (t f ) P
(t ) [ A(t ) B(t ) R 1 (t ) BT (t ) K (t )]x(t ) x x(t0 ) x0
几点说明：
1) 最优控制规律是一个状态线性反馈规律，它能方便地实现闭环最优控制； 2) 由于K(t)是非线性微分方程的解，通常情况下难以求得解析解，需要由计算 机求出其数值解，又因为其边界条件在终端处，所以需要逆时间方向求解，因 此应在过程开始之前就将K(t)解出，存入计算机以供过程使用； 3) 只要控制时间[t0,tf]是有限的， 是有限的 K(t)就是时变的（即使状态方程和性能指标J是定 常的），因而最优反馈系统将成为线性时变系统； 4) ) 将最优控制u*(t)及最优状态轨线x*(t)代入性能指标函数，得性能指标得最小 值为：
2:无限时间状态调节器
设线性定常系统状态方程为
(t ) Ax (t ) Bu (t ), x
x (t 0 ) x 0
[A,B]能控，u(t)不受约束，二次型性能指标为
J
1 T T [ x ( t ) Qx ( t ) u (t ) Ru (t )]dt t 2 0
Q 0, Q Q T , R 0, R R T
其中Q，R为常数矩阵
要求确定最优控制u*(t)，使J为最小。 与有限时间状态调节器相比，有如下几点不同： 1)系统是时不变的，性能指标中的权矩阵为常值矩阵。 2）终端时刻 t f
当[t0，tf ]为有限时间时，最优控制系统是时变的；
u * (t ) R 1 (t ) B T (t ) K (t ) x(t )
其中对称矩阵K(t)是下列黎卡提方程的唯一解
(t ) K (t ) A(t ) AT (t ) K (t ) K (t ) B (t ) R 1 (t ) B T (t ) K (t ) Q (t ) K K (t f ) P
最优控制理论课件
m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 终点条件
h(0) h0 h(T ) 0
v(0) v0 v(T ) 0
m(0) M F
控制目标
J m(T )
推力方案
0 u(t) umax
2019年11月25日星期一
指标
J x(T), y(T), x(T), y(T) x(T)
2019年11月25日星期一
现代控制理论
18
最优控制问题
例1.2
导弹发射问题
x F (t) cos (t)
m
y F (t) sin (t)
m
初始条件 x(0) 0 y(0) 0 x(0) 0
2019年11月25日星期一
现代控制理论
1
最优控制理论
东北大学信息科学与工程学院 井元伟教授
二○○九年十一月
2019年11月25日星期一
2
第1章 题第2章 法第3章 第理4章 划第5章 制 第6章 统
最优控制问 求解最优控制的变分方 最大值原 动态规 线性二次型性能指标的最优控 快速控制系
2019年11月25日星期一
现代控制理论
12
最优控制问题
例1.2 导弹发射问题
2019年11月25日星期一
现代控制理论
13
最优控制问题
例1.2 导弹发射问题
最优控制问题
例1.2
导弹发射问题
x F (t) cos (t)
m
y F (t) sin (t)
m
2019年11月25日星期一
最优控制理论
5
电气与自动化工程学院
School of Electrical Engineering and Automation
二、最优控制的发展简史 第二次世界大战以后发展起来的自动调节原理，对设计与分析单输 入单输出的线性定常系统是有效的；然而近代航空及空间技术的发展对 控制精度提出了很高的耍求，并且被控制的对象是多输入多输出的，参 数是时变的。面临这些新的情况．建立在传递函数基础上的自动调节原 理就日益显出它的局限性来。这种局限性首先表现在对于时变系统，传 递函数根本无法定义，对多输入多输出系统从传递函数概念得出的工程 结论往往难于应用。由于工程技术的需要，以状态空间概念为基础的最 优控制理论渐渐发展起来。最优控制理论是现代控制理论的核心， 20世 纪50年代发展起来的，已形成系统的理论。
最优控制理论
© 2008 HFUT
9
电气与自动化工程学院
School of Electrical Engineering and Automation
三、研究最优控制的方法 从数学方面看，最优控制问题就是求解一类带有约束条件的泛函极值 问题，因此这是一个变分学的问题：然而变分理论只是解决容许控制属 于开集的一类最优控制问题，而在工程实践中还常遇到容许控制属于闭 集的一类最优控制问题，这就要求人们研究新方法。
1.3 最优控制问题的提法
f ( x,u, t ) 系统状态方程为 x
问题6-2 对于问题6-1中的直流他励电动机，如果电动机从初始 ) I D (t )是 时刻 t0 0 的静止状态转过一个角度 又停下，求控制 I D (t（ 受到限制的），使得所需时间最短。 这也是一个最优控制问题：
系统方程为
0 1 0 1 x1 0 x K m I D 1 TF x J 2 0 0 x2 D JD x1 (0) 0 x1 (t f ) 初始状态 x ( 0) 0 末值状态 2 x (t ) 0
最优控制理论学习教材PPT课件
(t ) v(t ) h u (t ) (t ) g v m(t ) (t ) ku(t ) m
初始条件
h(0) h0 v ( 0) v 0 ) 0 v(t f ) 0
t0
tf
为最小
综上所述，所谓最优防天拦截问题，即选择满足约束条件的控制F(t),驱使系统从初始 状态出发的解，在某个时刻满足终端条件，且使性能指标为极值（极小值）。
1-3最优控制问题的提法
在叙述最优控制问题的提法之前，先讨论一些基本概念。 1：受控系统的数学模型 一个集中参数的受控系统总可以用一组一阶微分方程来描述，即状态方程，其一 般形式为：
最优控制理论在一些大型的或复杂的控制系统设计中， 已经取得了富有成效的 实际应用。目前很多大学在自动控制理论课程中已经开始适当增加这方面的内容， 而对于自动控制方面的研究生则普遍作为必修课程。
1-2 最优控制问题的实例
例1．1月球上的软着陆问题 飞船靠其发动机产生一与月球重力方向相反的推力 u(t)，以使飞船在月球表面实现软着陆，要寻求发动 机推力的最优控制规律，以便使燃料的消耗为最少。 设飞船质量为m(t)，高度为h(t)，垂直速度为v(t)，发 动机推力为u(t)，月球表面的重力加速度为常数g。设 不带燃料的飞船质量为M， 初始燃料的总质量为 F．初始高度为h0，初始的垂直速度为v0，那么飞船的 运动方程式可以表示为：
v(t 0 ) v0
m(t 0 ) m0
m(t f ) me
终端条件为： x(t f ) 0 v(t f )任意
从工程实际考虑，约束条件为 0 F (t ) max F (t ) 如果我们既要求拦截过程的时间尽量短，又要求燃料消耗尽量少，则可取性能指标：
初始条件
h(0) h0 v ( 0) v 0 ) 0 v(t f ) 0
t0
tf
为最小
综上所述，所谓最优防天拦截问题，即选择满足约束条件的控制F(t),驱使系统从初始 状态出发的解，在某个时刻满足终端条件，且使性能指标为极值（极小值）。
1-3最优控制问题的提法
在叙述最优控制问题的提法之前，先讨论一些基本概念。 1：受控系统的数学模型 一个集中参数的受控系统总可以用一组一阶微分方程来描述，即状态方程，其一 般形式为：
最优控制理论在一些大型的或复杂的控制系统设计中， 已经取得了富有成效的 实际应用。目前很多大学在自动控制理论课程中已经开始适当增加这方面的内容， 而对于自动控制方面的研究生则普遍作为必修课程。
1-2 最优控制问题的实例
例1．1月球上的软着陆问题 飞船靠其发动机产生一与月球重力方向相反的推力 u(t)，以使飞船在月球表面实现软着陆，要寻求发动 机推力的最优控制规律，以便使燃料的消耗为最少。 设飞船质量为m(t)，高度为h(t)，垂直速度为v(t)，发 动机推力为u(t)，月球表面的重力加速度为常数g。设 不带燃料的飞船质量为M， 初始燃料的总质量为 F．初始高度为h0，初始的垂直速度为v0，那么飞船的 运动方程式可以表示为：
v(t 0 ) v0
m(t 0 ) m0
m(t f ) me
终端条件为： x(t f ) 0 v(t f )任意
从工程实际考虑，约束条件为 0 F (t ) max F (t ) 如果我们既要求拦截过程的时间尽量短，又要求燃料消耗尽量少，则可取性能指标：
最优化理论与最优控制.ppt
例题分析：[数学描述] 登月火箭到达月球表面时的软着陆问题：
火箭飞行的最后阶段，进入了月球的引力范围,当火箭 垂直自由降落到距离月球表面为h的地方时，要求火箭 速度为0，并且燃料消耗为最小。
t=t0
mg 火箭
F(制动力)
月球表面 分析：在火箭速度降为0之前，
制动力 F K dm 与燃料消耗成正比 dt
J是控制u(t)的函数，通常表示为：J [u (t )]
J[u] 的几种形式：
<1> 积分型性能指标：
J[u] t f L[x(t), u(t), t]dt t0
<2> 末值型性能指标：
J[u] [x(t f ), t f ]
<3> 综合型性能指标：
J[u] [x(t f ), t f ]
版社
第一章
绪论
最优控制属于现代控制技术的核心内容，是现代理论的一个 研究热点和中心话题。
现代控制理论：以多变量系统控制、最优控制、系统辩识为 主要内容，最优控制发展早。20世纪60年 代，现代控制理论才得以迅速发展。我国 著名学者：钱学森 1945年编著的《工程
控 制论》直接促进了最优控制理论的发展和 形成。
确定变量，列出约束条件，确定目标函数（性能指标） 2） 模型分析，选择合适的最优化求解方法。 3）根据选定的最优化算法，编程，求解 。
最优化的基本问题： 就是寻找一个最优的控制方案或控制规律，使所研究
的对象（或系统）能最优地达到预期的目标。
例如：1 温度控制系态。
缺点：系统设计不是最优的，所得结果不是唯一解。
改进：解析法：力求使设计的系统按一定指标要求来达到 最 二） 解析法：
优，从这个意义上讲，解析法比古典法更前进一步 。核心：目标函数为最小。
火箭飞行的最后阶段，进入了月球的引力范围,当火箭 垂直自由降落到距离月球表面为h的地方时，要求火箭 速度为0，并且燃料消耗为最小。
t=t0
mg 火箭
F(制动力)
月球表面 分析：在火箭速度降为0之前，
制动力 F K dm 与燃料消耗成正比 dt
J是控制u(t)的函数，通常表示为：J [u (t )]
J[u] 的几种形式：
<1> 积分型性能指标：
J[u] t f L[x(t), u(t), t]dt t0
<2> 末值型性能指标：
J[u] [x(t f ), t f ]
<3> 综合型性能指标：
J[u] [x(t f ), t f ]
版社
第一章
绪论
最优控制属于现代控制技术的核心内容，是现代理论的一个 研究热点和中心话题。
现代控制理论：以多变量系统控制、最优控制、系统辩识为 主要内容，最优控制发展早。20世纪60年 代，现代控制理论才得以迅速发展。我国 著名学者：钱学森 1945年编著的《工程
控 制论》直接促进了最优控制理论的发展和 形成。
确定变量，列出约束条件，确定目标函数（性能指标） 2） 模型分析，选择合适的最优化求解方法。 3）根据选定的最优化算法，编程，求解 。
最优化的基本问题： 就是寻找一个最优的控制方案或控制规律，使所研究
的对象（或系统）能最优地达到预期的目标。
例如：1 温度控制系态。
缺点：系统设计不是最优的，所得结果不是唯一解。
改进：解析法：力求使设计的系统按一定指标要求来达到 最 二） 解析法：
优，从这个意义上讲，解析法比古典法更前进一步 。核心：目标函数为最小。
最优控制理论PPT课件
生产计划与调度
在企业生产管理中，利用 最优控制理论对生产计划 和调度进行优化，提高生 产效率和降低成本。
08
总结与展望
最优控制理论的重要性和应用前景
总结
最优控制理论是现代控制理论的重要组成部分，它在解决复杂系统的优化和控制问题方面 具有显著的优势。该理论通过数学模型和算法，寻求在给定条件下实现系统性能最优化的 控制策略。
非线性最优控制理论
20世纪70年代，基于微分几何、非 线性分析和最优控制问题的研究。
智能优化算法与最优控制
20世纪80年代，考虑系统不确定性 ，引入概率论和随机过程理论。
03
最优控制问题的数学模型
状态方程与性能指标
状态方程
描述系统动态行为的数学方程，通常表示为状态变量对时间 的导数等于其函数。
性能指标
态。这种控制策略的关键在于如何根据当前状态信息快速、准确地计算出最优控制输入。
离散系统的最优输出反馈控制
总结词
离散系统的最优输出反馈控制是一种基 于系统输出的反馈控制策略，通过最优 控制算法计算出在当前输出下的最优控 制输入，使得系统状态在有限时间内达 到预期目标。
VS
详细描述
离散系统的最优输出反馈控制是一种有效 的最优控制策略，它根据系统的输出信息 ，通过最优控制算法计算出在当前输出下 的最优控制输入，使得系统状态在有限的 时间步内以最优的方式达到目标状态。这 种控制策略的关键在于如何根据输出信息 快速、准确地计算出最优控制输入。
控制问题分类
确定性和不确定性控制、线性与 非线性控制、连续和离散控制等 。
重要性及应用领域
重要性
在实际工程和科学问题中，许多问题 都需要通过最优控制理论来解决，如 航天器轨道控制、机器人运动控制、 电力系统优化等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二次型性能指标为
J 1 2
x
2 1
(t f ) 2 x 2 (t f )
2
1 2
3
0
1 2 2 2 2 x 1 4 x 2 2 x 1 x 2 u dt 2
试求使系统性能指标J为最小的最优控制u*(t)
解
0 A 0 1 0 1 , B , P 0 1 0 0 2 , Q 2 1 1 1 , R 4 2
T
x ( t ) A ( t ) x ( t ) B ( t ) u ( t ),
x (t 0 ) x 0
1 2
tf
[ x ( t ) Q ( t ) x ( t ) u ( t ) R ( t ) u ( t )]dt
T T
t0
x ( t ) R , u ( t ) R , u ( t ) 不受约束
J
*
1 2
x (t 0 ) K (t 0 ) x (t 0 )
T
5) 当控制时间[t0,tf]为有限时间时，状态调节器最优解的存在不要求系统能控， 这是因为所采用的性能指标是为了保持系统的状态x(t)接近零状态。当控制时间 [t0,tf]为有限时间时，即使系统不能控，不能控状态对性能指标的影响也是有限的， t f ，则只 在[t0,tf]区间中性能指标不至于变为无穷，故最优控制存在。如果 有当系统能控时，状态调节器才存在最优解。
K(t)满足黎卡提方程
T K ( t ) K ( t ) A A K ( t ) K ( t ) BR 1
B K (t ) Q 0
T
K (3) P
整理得
2 k 11 ( t ) 2 k 12 ( t ) 2 k 12 ( t ) k 11 ( t ) 2 k 12 ( t ) k 22 ( t ) 1 k (t ) 2 k (t ) 2 k 2 (t ) 4 22 12 22 解此微分方程得K(t)，代入u*(t) k 11 ( 3 ) 1 表达式，可得最优控制。显然， k (3) 0 由于微分方程组的非线性性， 12 不能求得其解析解，而只能利 k 22 ( 3 ) 2 用计算机求得其数值解。
n p
x(tf) 自由，tf 有限
对于 t [ t 0 , t f ]
T
A ( t ), B ( t ), Q ( t ), R ( t ) 均连续、有界
T T
P 0, P P , Q 0, Q Q , R 0, R R
要求寻找最优控制u*(t)，使J为最小。 令 H ( x , u , , t ) 1 x T ( t ) Q ( t ) x ( t ) 1 u T ( t ) R ( t ) u ( t ) T [ A ( t ) x ( t ) B ( t ) u ( t )]
u (t ) R
* 1
(t ) B (t ) K (t ) x (t )
T
其中对称矩阵K(t)是下列黎卡提方程的唯一解
T 1 T K (t ) K (t ) A (t ) A (t ) K (t ) K (t ) B (t ) R (t ) B (t ) K (t ) Q (t )
T
0
2:无限时间状态调节器
设线性定常系统状态方程为
x ( t ) Ax ( t ) Bu ( t ), x (t 0 ) x 0
[A,B]能控，u(t)不受约束，二次型性能指标为
J 1 2
[ x ( t ) Qx ( t ) u ( t ) Ru ( t )]dt
u
u (t )
*
1 r
x
+
1 s
x (t )
1 K (t ) x (t )
_
1 2 K ( t ) 2 aK ( t ) K ( t ) q r
a
1
k (t )
+ _
r
1 s
q
2a
1 r
例5-2
二阶系统状态方程为
x1 (t ) x 2 (t ) x 2 (t ) u (t )
2) 由于K(t)是非线性微分方程的解，通常情况下难以求得解析解，需要由计算 机求出其数值解，又因为其边界条件在终端处，所以需要逆时间方向求解，因 此应在过程开始之前就将K(t)解出，存入计算机以供过程使用； 3) 只要控制时间[t0,tf]是有限的，K(t)就是时变的（即使状态方程和性能指标J是定 常的），因而最优反馈系统将成为线性时变系统； 4) 将最优控制u*(t)及最优状态轨线x*(t)代入性能指标函数，得性能指标得最小 值为：
2 2
正则方程
x
H
A (t ) x (t ) B (t )u (t )
(t ) H Q (t ) x (t ) A T (t ) (t ) x
由于u(t)不受约束
H u
*
0 R (t )u (t ) B (t ) (t ) 0
例5-1
已知一阶系统的状态方程为：
x ( t ) ax ( t ) u ( t ) x (0) x0
二次型性能指标为：
J 1 2 fx ( t f )
2
1
qx 2
t
f
2
( t ) ru
2
( t ) dt
0
f 0, q 0, r 0
求使系统性能指标J为最小值使的最优控制u*(t)。
代入黎卡提方程
2 k 11 1 k 12 k 12 k 11 k 12 k 22 k 2k k 2 12 22 22
由终端边界条件 K ( t f ) P 0
k 11 ( t f ) k 12 ( t f ) k 22 ( t f ) 0
(t f )
显然，可以假定 (t ) 与x(t)之间存在线性关系。
(t ) K (t ) x (t )
(t ) K (t ) x (t ) K (t ) x (t )
1 T K (t ) K (t ) A (t ) K (t ) B (t ) R (t ) B (t ) K (t ) x (t )
例5-3
设系统状态方程和初始条件为：
x1 (t ) x 2 (t ) x 2 (t ) u (t ) x1 ( 0 ) 1 x 2 (0 ) 0
终端时刻tf 为某一给定值。求最优控制u*(t)使下列性能指标为最小，
J 1
x 2
tf 0
2 1
和性能指标： J
1 2
x ( t f ) Px ( t f )
T
1 2
t
f
[ x ( t ) Q ( t ) x ( t ) u ( t ) R ( t ) u ( t )]dt
T T
t0
其中u(t)不受约束，tf 有限，P(t)和Q(t)为半正定对称矩阵，R(t)为正定对称阵，则 最优控制存在且是唯一的，并且由下式确定：
利用计算机逆时间方向解上述微分方程，解出从t=0到t=tf 的K(t)，可得最优控制：
u (t ) R
*
1
(t ) B (t ) K (t ) x (t ) k 11 1 k 12 k 12 x 1 ( t ) k 12 x 1 k 22 x 2 k 22 x 2 ( t )
上式称为矩阵黎卡提方程，其边界条件为 K ( t f ) P
由黎卡提方程求出K(t)后，则最优控制为
u (t ) R
* 1
(t ) B (t ) K (t ) x (t )
T
引理5-1
若K(t)是黎卡提方程的解，则K(t)对所有的 t [ t 0 , t f ] 是对称的
K (t ) K (t )
K (t f ) P
而最优状态x*(t)则是下列线性微分方程的解：
x (t ) [ A (t ) B (t ) R
1
( t ) B ( t ) K ( t )] x ( t )
T
x (t0 ) x 0
几点说明：
1) 最优控制规律是一个状态线性反馈规律，它能方便地实现闭环最优控制；
( t ) [ Q ( t ) A ( t ) K ( t )] x ( t )
T T 1 T K (t ) K (t ) A (t ) A (t ) K (t ) K (t ) B (t ) R (t ) B (t ) K (t ) Q (t )
最优控制为
u (t ) R
* 1
B K (t ) x
T
因为k(t)为对称矩阵，设
k 11 ( t ) K (t ) k 12 ( t )
k 12 ( t ) k 22 ( t )
u * ( t ) 2 k 12 ( t ) x 1 2 k 22 ( t ) x 2
的解
f
a ( a)
K (t ) r 1 f r f r
r f r
a e a
2 (tt f )
2 (tt f )
a e a
q r
a
2
最优线性反馈系统结构图
x (0)
x ( t ) ax ( t ) u ( t )
T
引理 5-2
控制 u ( t ) R 1 ( t ) B T ( t ) K ( t ) x ( t ) 至少产生了一个局部最小。