最优控制理论_第五章
最优控制理论课件
8
最优控制问题
1.1 两个例子
例1.1 飞船软着陆问题
软着陆 过程开 始时刻 t 为零
h& v
v& u g m
m& K u
m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 h(0) h0 v(0) v0 m(0)MF
f(x(t),u(t),t) 为n维向量函数
22.03.2020
现代控制理论
24
最优控制问题
1.2 问题描述
(1) 状态方程 一般形式为
x&(t) f (x(t),u(t),t)
x(t) Rn
x(t)|tt0 x0
为n维状态向量
u(t) Rr
为r 维控制向量
f(x(t),u(t),t) 为n维向量函数
求解最优控制的变分方法
泛函与函数的几何解释
22.03.2020
现代控制理论
50
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
22.03.2020
现代控制理论
51
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
泛函的增量 J ( x ( g ) ) J ( x ( g ) x ) J ( x ( g ) ) L ( x , x ) r ( x , x )
J x ( T ) ,y ( T ) ,x & ( T ) ,y & ( T ) x & ( T )
控制
(t)
22.03.2020
现代控制理论
现代控制理论最优控制课件
04 离散时间系统的最优控制
CHAPTER
离散时间系统的最优控制问题的描述
定义系统
离散时间系统通常由差分方程描述，包括状 态转移方程和输出方程。
确定初始状态
最优控制问题通常从一个给定的初始状态开 始，我们需要确定这个初始状态。
确定控制输入
在离散时间系统中，控制输入是离散的，我 们需要确定哪些控制输入是可行的。
工业生产领域
02 现代控制理论在工业生产领域中也得到了广泛的应用
，如过程控制、柔性制造等。
社会经济领域
03
现代控制理论在社会经济领域中也得到了广泛的应用
，如金融风险管理、能源调度等。
02 最优控制基本概念
CHAPTER
最优控制问题的描述
确定受控系统的状态和输入，以便在 给定条件下使系统的性能指标达到最 优。
LQR方法
利用LQR（线性二次调节器）设计最优控制 器。
线性二次最优控制的应用实例
经济巡航控制
在航空航天领域，通过线性二次最优控制实现燃料消 耗最小化。
电力系统控制
在电力系统中，利用线性二次最优控制实现稳定运行 和最小化损耗。
机器人控制
在机器人领域，通过线性二次最优控制实现轨迹跟踪 和避障等任务。
03
02
时变控制系统
04
非线性控制系统
如果系统的输出与输入之间存在 非线性关系，那么该系统就被称 为非线性控制系统。
这类系统的特点是系统的参数随 时间而变化。
静态控制系统
这类系统的特点是系统的输出与 输入之间没有时间上的依赖关系 。
发展历程
古典控制理论
这是最优控制理论的初级阶段，其研究的主 要对象是单输入单输出系统，主要方法是频 率分析法和根轨迹法。
最优控制理论及应用
的控制律，使被控对象按预定要求运行，并使给
定的某一性能指标达到极小值（或极大值）
2019年3月10日
2
最优控制理论与应用
二 最优控制问题 1 例子 飞船软着陆问题 宇宙飞船在月球表面着陆
时速度必须为零，即软着陆，这要靠发动机的推
力变化来完成。问题是如何选择一个推力方案，
使燃料消耗最小。
m 飞船的质量，h 高度，v 垂直速度， g 月球重力加速度常数，M 飞船自身质量 F 燃料的质量
最优控制理论与应用
最优控制理论与应用
第一章 最优控制问题的一般概念 第二章 最优控制的变分方法 第三章 极小值原理及其应用 第四章 线性二次型问题的最优控制 第五章 动态规划
2019年3月10日
1
最优控制理论与应用
第一章 最优控制问题的一般概念
一 基本概念
最优控制理论中心问题：
给定一个控制系统（
已建立的被控对象的数学模型），选择一个容许
2019年3月10日
24
最优控制理论与应用
2.2 欧拉方程
(2)有等式约束泛函极值的必要条件 定理2.4 设有如下泛函极值问题：
min J ( x( )) g( x, x, t )dt
x(t ) t0 tf
s.t.
f ( x, x, t ) 0
其中， f=0为系统运动的微分方程，g(x,x,t)及x(t)在[t 0 ,t f ] 上连续可微，t 0 及t f 给定。 x，x，f R n 已知x(t 0 ) x 0 , x(t f ) x f , x(t) n , 则极值轨线x * (t) 满足如下欧拉方程
控制约束
0 u(t ) umax
任务：满足控制约束条件下，求发动机推力的 最优变化律，使登月舱由初始出发点到达目标处 （末态），并使性能指标达到极值（燃耗量最小）
最优控制课程课件II-5.HJB方程
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段
最优控制第五章习题答案
1. ·2.已知二阶系统的状态方程122()(),()()x t x t x t u t ==性能泛函3222221212120111[(3)2(3)][2()4()2()()()]222J x x x t x t x t x t u t dt =+++++⎰求最优控制。
解:把状态方程和性能指标与标准状态方程和标准性能指标比较，可得0,101,02,11,,,,0,010,21,42A B P Q R ⎡⎤⎡⎤⎡⎤⎡⎤=====⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦考虑到()K t 是对称阵，设11121222,(),k k K t k k ⎡⎤=⎢⎥⎣⎦代入黎卡提方程1()()()()()()()()()()()T T K t K t A t A t K t K t B t R t B t K t Q t -=--+-即1112111211121112111212221222122212221222,,,,,0,10,002,12[0,1],0,01,0,,1,1,4,k k k k k k k k k k k k k k k k k k k k ⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤=--+-⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎣⎦令上式等号左右端的对应元相等，得211121211122222212222221224k k k k k k k k k =-=-+-=-+-这是一组非线性微分方程。
由边界条件(3)K P =即11121222(3),(3)1,0(3),(3)0,2k k k k ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 最优控制为11112112122212222()()(),()2*[0,1]2()2(),()T u t R B K t X t k k x t k x t k x t k k x t -=-⎡⎤⎡⎤=-=--⎢⎥⎢⎥⎣⎦⎣⎦3. ）4.能控的系统状态方程为122()(),()()x t x t x t u t ==这是一种双积分系统，其输出为1()x t ，其输入为()u t ，其传递函数为12()1()()x s G s u s s==其性能泛函为222112201[()2()()()()]2J x t bx t x t ax t u t dt ∞=+++⎰其中220a b ->求最优控制。
《最优控制》教学大纲-hyq
第四章极小值原理及其应用(6学时)
4.1连续系统的极小值原理(2学时)
4.2最短时间控制问题(1学时)
4.3最少燃料控制问题(1学时)
4.4离散系统的极小值原理(2学时)
第五章线性系统二次型指标的最优控制——线性二次型问题(6学时)
5.1引言
最优控制教学大纲
(Optimal Control
课程代码
17004120
编写时间
2012．9
课程名称
最优控制
英文名称
Optimal Control
学分数
2
周学时
4
任课教师
黄毅卿
开课院系
自动化学院
预修课程
高数、泛函分析、控制理论基础
课程性质：
本科程是自动化方向的选修课程之一。
基本要求和教学目的：
介绍最优控制理论的基本知识和研究方法。学生通过本课程的学习，应该对最优控制理论的三个重要基础：Pontryagin最大值原理、LQ理论和动态规划方法有一个初步的了解。并能够利用它们解决一些最优控制问题。
Applied Optimal Control(应用最优控制——最优化·估计·控制)
Blaisdell P ublishing Company
1975(1982)
L.D.Berkovitz著，贺建勋等译
最优控制理论
上海科学技术出版社
1985
Dorald E. Kirk
Optimal ControlTheory - An Introduction
5.2终端时间有限时连续系统的状态调节器问题(2学时)
5.3稳态时连续系统的状态调节器问题(2学时)
北京交通大学(最优控制理论与算法研究生课程)第五章 线性二次型最优控制概要
R(t)为r×r 维时变的分段连续的正定矩阵, 且其逆矩 阵存在并有界;
末态时刻tf 是固定的。
线性二次型最优控制(6/12)
下面对论上述性能指标泛函: 1) 性能指标泛函 J[u(· )]中的第 1项e(tf)Fe(tf),是为了突出对 末态目标的控制误差的要求和限制而引进的 , 称为末端 成本函数。 非负定的常数矩阵 F为加权矩阵,其各行各列元素的 值的不同,体现了对误差向量e(t)在末态时刻tf各分量 的要求不同, 重要性不同。 若矩阵 F 的第 i 行第 i 列元素值较大 , 代表二次项的重 要性较大, 对其精度要求较高。
3) 性能指标泛函J[u(· )]中的被积函数的第2项u(t)R(t)u(t),表 示在系统工作过程中对控制向量u(t)的要求和限制。 由于时变的加权矩阵 R(t) 为正定的 , 故该项函数值在 u(t)为非零向量时总是为正的。 u(t) 越大 , 该项函数值越大 , 其在整个性能指标泛 函所占的分量就越大。
1 τ 1 tf τ J [u()] e (t f ) Fe(t f ) [e (t )Q(t )e(t ) uτ (t) R(t)u(t)]dt 2 2 t0
线性二次型最优控制(7/12)
2) 性能指标泛函J[u(· )]中的被积函数中的第1项e(t)Q(t)e(t), 表示在系统过渡过程中对误差向量e(t)的要求和限制。 由于时变的加权矩阵 Q(t) 为非负定的 ,故该项函数值 总是为非负的。 一般情况下 ,e(t) 越大 ,该项函数值越大 ,其在整个 性能指标泛函所占的份量就越大。因此, 对性能 指标泛函求极小化体现了对误差向量e(t)的大小 的约束和限制。 在e(t)为标量函数时,该项可取为e2(t),于是该项与 经典控制理论中判别系统性能的误差平方积分 指标一致。
从规划到控制最优控制理论
从规划到控制最优控制理论最优控制理论是控制工程领域中的重要理论之一，它通过对系统的数学建模和优化方法，寻找最佳方式来控制系统，使系统能够达到设计的性能指标。
最优控制理论在自动化、航空航天、电力系统等领域都有着广泛的应用。
本文将从规划到控制，介绍最优控制理论的基本概念、发展历程以及在实际工程中的应用。
概念介绍最优控制理论是研究如何使动态系统在给定性能指标条件下达到性能指标最佳的控制策略。
在实际工程中，我们常常需要对一个动态系统进行控制，以使其输出变量按照设计要求来调节。
最优控制理论可以帮助我们找到最佳的控制策略，以实现对系统性能的优化。
在最优控制理论中，最基本的概念是状态、控制和性能指标。
状态代表了系统的内部变量，控制是我们可以调节的外部输入，而性能指标则是评价系统表现的标准。
通过对这些变量之间的相互关系建立数学模型，并利用最优化方法求解，就可以得到最优的控制策略。
发展历程最优控制理论起源于20世纪50年代，在当时的火箭技术和导弹技术中得到了广泛的应用。
随着计算机技术和数学优化方法的发展，最优控制理论逐渐成为自动控制领域中一个重要的研究方向。
随着时间的推移，最优控制理论不断完善和发展，涌现出了许多经典的方法和算法，如动态规划、变分法、拉格朗日乘子法等。
这些方法为解决复杂系统的最优控制问题提供了有力的工具和理论支持。
应用领域最优控制理论在各个领域都有着广泛的应用。
在航空航天领域，最优控制理论被用于飞行器的姿态控制和轨迹规划；在自动化领域，最优控制理论被用于工业过程的优化和调度；在电力系统领域，最优控制理论被用于电力网络的运行和调度。
此外，在金融领域、生物医学领域等也都有着最优控制理论的应用。
通过对系统建模和数学求解，最优控制理论可以帮助我们更好地理解和改善复杂系统的运行。
结语总而言之，最优控制理论作为一种重要的数学工具和理论框架，在工程技术领域发挥着不可替代的作用。
通过对系统动力学建模和数学优化求解，我们可以设计出更加高效和精准的控制方案，实现对系统性能指标的最优调节。
最优控制理论与系统第三版教学设计 (2)
最优控制理论与系统第三版教学设计课程简介本课程是介绍最优控制理论与系统的基础知识，主要包括状态空间法、优化控制、最优化方法、动态规划等方面的内容。
前置知识•线性代数•微积分学•控制理论基础•Matlab编程基础教学目标•掌握最优控制基本知识和方法；•理解状态空间模型和其在控制系统中的应用；•熟悉优化方法，如最小二乘、线性规划、非线性规划等；•掌握动态规划的基本概念和应用。
教材《最优控制理论与系统第三版》韩子昂，陈锡文著教学内容第一章引言•课程简介•教材介绍第二章状态空间法•模型描述–动态系统与状态方程–状态变量与状态空间•基本概念–可观性与可控性–稳定性判据第三章优化控制•范畴与概念•线性二次型调节器–离散时间系统–连续时间系统•数字计算算法第四章最优化方法•最小二乘问题•线性规划问题•非线性规划问题第五章动态规划•基本概念•离散时间动态规划–最优子结构–递推式的建立–递推法解决离散时间动态规划问题•连续时间动态规划第六章总结与测试•课程总结•测试与准备教学方法•课堂讲授：通过理论讲解，引导学生了解控制原理，在讲解过程中会有举例和计算操练。
•组织讨论：通过设计控制问题，组织学生进行讨论并解决实际问题。
•课外作业：课堂讲授之后，要求学生完成作业，加深对理论知识的理解和掌握。
考核方式•课堂测试：考察学生掌握情况，包括课堂讲解内容和作业题目。
•期末考试：考查学生对整个课程的掌握程度，考试形式为书面考试和机试。
参考文献•韩子昂，陈锡文. 最优控制理论与系统第三版[M]. 科学出版社, 2016.•余志豪. 最优控制理论与应用[M]. 北京大学出版社, 2002.•Bryson, A. E., & Ho, Y. C. (1975). Applied optimal control: optimization, estimation, and control[M]. CRC press.。
最优控制理论
最优控制理论
最优控制理论是控制理论的一个重要分支，它的主要目的是求解和优化控制系统的性能，以最小化控制系统的成本和最大化控制系统的绩效。
最优控制理论是由工程师和科学家们提出的，他们希望能够构建一种新型的控制系统，能够实现更高效和更优质的控制效果。
最优控制理论的基本思想是，通过构建一个有效模型来表示控制系统，然后利用模型进行优化，以求解最优的控制策略。
为了实现最优控制，首先要分析和建立控制系统的模型，然后根据模型的特性，通过综合考虑控制系统的性能和成本，来确定控制系统的控制参数。
最优控制理论可以应用于各种类型的控制系统，包括模糊控制，PID控制，模型预测控制，状态反馈控制等。
在某些情况下，最优控制理论可以帮助控制系统提高性能，减少资源消耗，提高质量，降低噪声，提高稳定性等，从而提高控制系统的性能。
总的来说，最优控制理论是一种有效的控制理论，可以有效提高控制系统的性能，同时降低控制系统的成本。
它的应用可以让控制系统更加精确、稳定、可靠，从而为人们提供更好的服务。
最优控制第五章习题答案
1. 已知二阶系统的状态方程122()(),()()x t x t x t u t ==性能泛函3222221212120111[(3)2(3)][2()4()2()()()]222J x x x t x t x t x t u t dt =+++++⎰求最优控制。
解:把状态方程和性能指标与标准状态方程和标准性能指标比较，可得0,101,02,11,,,,0,010,21,42A B P Q R ⎡⎤⎡⎤⎡⎤⎡⎤=====⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦考虑到()K t 是对称阵，设11121222,(),k k K t k k ⎡⎤=⎢⎥⎣⎦代入黎卡提方程1()()()()()()()()()()()T T K t K t A t A t K t K t B t R t B t K t Q t -=--+-即1112111211121112111212221222122212221222,,,,,0,10,002,12[0,1],0,01,0,,1,1,4,k k k k k k k k k k k k k k k k k k k k ⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤=--+-⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎣⎦令上式等号左右端的对应元相等，得211121211122222212222221224k k k k k k k k k =-=-+-=-+-这是一组非线性微分方程。
由边界条件(3)K P =即11121222(3),(3)1,0(3),(3)0,2k k k k ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 最优控制为11112112122212222()()(),()2*[0,1]2()2(),()T u t R B K t X t k k x t k x t k x t k k x t -=-⎡⎤⎡⎤=-=--⎢⎥⎢⎥⎣⎦⎣⎦2. 能控的系统状态方程为122()(),()()x t x t x t u t ==这是一种双积分系统，其输出为1()x t ，其输入为()u t ，其传递函数为12()1()()x s G s u s s==其性能泛函为222112201[()2()()()()]2J x t bx t x t ax t u t dt ∞=+++⎰其中220a b ->求最优控制。
最优控制理论-最短时间控制系统
特点：状态方程的右边对控制u (t ) 是一次的。
引出平凡系统和非平凡系统的概念 阐明最短时间控制制系统的基本特征。
3
最短时间控制问题的提法
问题 3-1 已知系统的状态方程
x i t f i xt , t bij xt , t u j t
j 1 m
i 1,2,..., n
(3-15)
于是(3-11)式可写成
ˆ j t q ˆ j t u j t q ˆ j t u
j 1 j 1 m m
(3-16)
9
(3-16)式意味着函数
ut u j t q ˆ j t
j 1 m
(3-17)
ˆ j (t ) 时达整体最小： 当u j (t ) u
(3-1)
或其等价的向量形式), t u (t )
其中 f i xt , t 和bij xt , t 对 x(t)和 t 连续可微。寻找一 m 维有 界闭集中的控制向量，满足下列不等式约束
u j (t ) 1 j 1,2,...m
i 1 j 1 i 1
n
m
n
(3-10)
ˆi (t )} u j t { bij x ˆi (t )} ˆ j t { bij x ˆ (t ), t ˆ (t ), t 即 u
j 1 i 1 j 1 i 1
m
n
m
n
(3-11)
7
在最优轨线终端处，哈密顿函数的终值是 T ˆ Hx ˆ (t ),λ (t ), u ˆ (t ), t t tˆf t tˆf
(3-2)
4
使系统从已知初态
xt0 x 0
(3-3) (3-4)
最优控制理论PPT课件
生产计划与调度
在企业生产管理中，利用 最优控制理论对生产计划 和调度进行优化，提高生 产效率和降低成本。
08
总结与展望
最优控制理论的重要性和应用前景
总结
最优控制理论是现代控制理论的重要组成部分，它在解决复杂系统的优化和控制问题方面 具有显著的优势。该理论通过数学模型和算法，寻求在给定条件下实现系统性能最优化的 控制策略。
非线性最优控制理论
20世纪70年代，基于微分几何、非 线性分析和最优控制问题的研究。
智能优化算法与最优控制
20世纪80年代，考虑系统不确定性 ，引入概率论和随机过程理论。
03
最优控制问题的数学模型
状态方程与性能指标
状态方程
描述系统动态行为的数学方程，通常表示为状态变量对时间 的导数等于其函数。
性能指标
态。这种控制策略的关键在于如何根据当前状态信息快速、准确地计算出最优控制输入。
离散系统的最优输出反馈控制
总结词
离散系统的最优输出反馈控制是一种基 于系统输出的反馈控制策略，通过最优 控制算法计算出在当前输出下的最优控 制输入，使得系统状态在有限时间内达 到预期目标。
VS
详细描述
离散系统的最优输出反馈控制是一种有效 的最优控制策略，它根据系统的输出信息 ，通过最优控制算法计算出在当前输出下 的最优控制输入，使得系统状态在有限的 时间步内以最优的方式达到目标状态。这 种控制策略的关键在于如何根据输出信息 快速、准确地计算出最优控制输入。
控制问题分类
确定性和不确定性控制、线性与 非线性控制、连续和离散控制等 。
重要性及应用领域
重要性
在实际工程和科学问题中，许多问题 都需要通过最优控制理论来解决，如 航天器轨道控制、机器人运动控制、 电力系统优化等。
最优控制应用基础-第五章
离散最优控制问题的提法是：在容许控制的集 离散最优控制问题的提法是： 合中，求控制序列u (0)， (1)， (2)， (N合中，求控制序列u*(0)，u*(1)， u*(2)，…， u*(N-1) 使性能指标取极大(或极小) 使性能指标取极大(或极小)。 不难看出， 不难看出，一个离散系统的最优控制问题可以 看成一个多级决策过程问题，因此， 看成一个多级决策过程问题，因此，可以利用求解 多级决策过程问题的方法来求解。 多级决策过程问题的方法来求解。
P = αV [ x (0) − x ( N )] − β ∑ u ( k )
k =0 N −1
多级萃取过程的收益为
α：物质A的单价 物质A β：溶剂的单价 N −1 P = x (0) − x ( N ) − B ∑ u ( k ) 性能指标 J = k =0 αV
β (式中 B = ) αV
4
多级决策过程
2ห้องสมุดไป่ตู้
多级决策过程
一、多级决策过程
•N级萃取过程
一个N级萃取过程的流程图如图所示。这个过程由N 一个N级萃取过程的流程图如图所示。这个过程由N个萃 取装置组成。通过它们从混合物中提取某种物质A 取装置组成。通过它们从混合物中提取某种物质A。 V：混合物进入萃取装置0的流速 混合物进入萃取装置0 x(k－1)：进入萃取装置k－1 的混合物含物质A的浓度 1)：进入萃取装置k 的混合物含物质A x(k)：流出萃取装置k－1 的混合物含物质A的浓度 流出萃取装置k 的混合物含物质A u(k)：注入萃取装置k－1以便从混合物中带走物质A的 注入萃取装置k 以便从混合物中带走物质A 溶剂或洗液的流速 z(k－1)：单位溶剂从萃取装置k－1中带走的物质A的量 1)：单位溶剂从萃取装置k 中带走的物质A
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(t ) [ A(t ) B(t ) R 1 (t ) BT (t ) K (t )]x(t ) x x(t0 ) x0
几点说明：
1) 最优控制规律是一个状态线性反馈规律，它能方便地实现闭环最优控制； 2) 由于K(t)是非线性微分方程的解，通常情况下难以求得解析解，需要由计算 机求出其数值解，又因为其边界条件在终端处，所以需要逆时间方向求解，因 此应在过程开始之前就将K(t)解出，存入计算机以供过程使用； 3) 只要控制时间[t0,tf]是有限的， 是有限的 K(t)就是时变的（即使状态方程和性能指标J是定 常的），因而最优反馈系统将成为线性时变系统； 4) ) 将最优控制u*(t)及最优状态轨线x*(t)代入性能指标函数，得性能指标得最小 值为：
2:无限时间状态调节器
设线性定常系统状态方程为
(t ) Ax (t ) Bu (t ), x
x (t 0 ) x 0
[A,B]能控，u(t)不受约束，二次型性能指标为
J
1 T T [ x ( t ) Qx ( t ) u (t ) Ru (t )]dt t 2 0
Q 0, Q Q T , R 0, R R T
其中Q，R为常数矩阵
要求确定最优控制u*(t)，使J为最小。 与有限时间状态调节器相比，有如下几点不同： 1)系统是时不变的，性能指标中的权矩阵为常值矩阵。 2）终端时刻 t f
当[t0，tf ]为有限时间时，最优控制系统是时变的；
u * (t ) R 1 (t ) B T (t ) K (t ) x(t )
其中对称矩阵K(t)是下列黎卡提方程的唯一解
(t ) K (t ) A(t ) AT (t ) K (t ) K (t ) B (t ) R 1 (t ) B T (t ) K (t ) Q (t ) K K (t f ) P
H 0 R (t )u (t ) BT (t ) (t ) 0 u u * (t ) R 1 (t ) BT (t ) (t )
由于u(t)不受约束
代入正则方程
(t ) A(t ) x(t ) B (t ) R 1 (t ) B T (t ) (t ) x (t ) Q (t ) x(t ) AT (t ) (t )
由终端边界条件 K (t f ) P 0
k11 (t f ) k12 (t f ) k 22 (t f ) 0
利用计算机逆时间方向解上述微分方程，解出从t=0到t=tf 的K(t)，可得最优控制：
u * (t ) R 1 (t ) B T (t ) K (t ) x(t ) k11 0 1 k12 k12 x1 (t ) k12 x1 k 22 x2 k 22 x2 (t )
最优控制理论
Optimal Control Theory
• 选用参考教材： 选用参考教材 • 邢海英 最优控制理论与方法 东北大学出版社 • 吕显瑞、黄庆道 最优控制理论基础 科学出版社 • 王朝珠、秦化淑 最优控制理论 科学出版社
第5章 线性二次型问题的最优控制 5-1 线性连续系统状态调节器
1:有限时间状态调节器
例5-1
已知一阶系统的状态方程为：
(t ) ax (t ) u (t ) x
二次型性能指标为：
x ( 0) x 0
J
1 1 fx 2 ( t f ) 2 2
qx
tf 0
2
( t ) ru 2 ( t ) dt
f 0, q 0, r 0
解
求使系统性能指标J为最小值的最优控制u*(t)。
设线性系统状态方程为 二次型性能指标为
(t ) A(t ) x (t ) B (t )u (t ), x
x (t 0 ) x 0
1 T 1 tf T J x (t f ) Px(t f ) [ x (t )Q(t ) x(t ) u T (t ) R(t )u (t )]dt 2 2 t0
1 T x ( t ) Px ( t ) f f Px (t f ) x(t f ) 2
显然，可以假定
(t ) 与x(t)之间存在线性关系。
(t ) K (t ) x(t )
(t ) K (t ) x(t ) K (t ) x (t ) (t ) K (t ) A(t ) K (t ) B(t ) R 1 (t ) B T (t ) K (t ) x(t ) K (t ) [Q (t ) AT (t ) K (t )]x(t ) (t ) K (t ) A(t ) AT (t ) K (t ) K (t ) B(t ) R 1 (t ) B T (t ) K (t ) Q(t ) K
要求寻找最优控制u*(t)，使J为最小。 令 H ( x, u, , t ) 1 x T (t )Q(t ) x(t ) 1 u T (t ) R(t )u (t ) T [ A(t ) x(t ) B(t )u (t )]
2
2
正则方程 则方程
H A(t ) x(t ) B(t )u (t ) (t ) H Q(t ) x(t ) AT (t ) (t ) x x
J*
1 T x (t 0 ) K (t 0 ) x(t 0 ) 2
5) 当控制时间[t0,tf]为有限时间时，状态调节器最优解的存在不要求系统能控， 这是因为所采用的性能指标是为了保持系统的状态x(t)接近零状态。当控制时间 [t0,tf]为有限时间时，即使系统不能控，不能控状态对性能指标的影响也是有限的， 为有限时间时 即使系统不能控 不能控状态对性能指标的影响也是有限的 在[t0,tf]区间中性能指标不至于变为无穷，故最优控制存在。如果 t f ，则只 有当系统能控时，状态调节器才存在最优解。
P f , Q(t ) q, R(t ) r
最优控制
u * (t ) R 1 (t ) B T (t ) K (t ) x(t ) 1 1 K (t ) x(t ) r
其中K(t)为黎卡提方程
(t ) 2aK (t ) 1 K 2 (t ) q K r K (t f ) f 的解
这是一组一阶微分方程，边界条件和横截条件为
边界条件和横截条件为
x(t 0 ) x0
(t ) A(t ) x(t ) B (t ) R 1 (t ) B T (t ) (t ) x (t ) Q (t ) x(t ) AT (t ) (t )
(t f )
最优控制为
因为k(t)为对称矩阵，设
k (t ) k12 (t ) K (t ) 11 k ( t ) k ( t ) 12 22
u * (t ) 2k12 (t ) x1 2k 22 (t ) x 2
K(t)满足黎卡提方程
(t ) K (t ) A AT K (t ) K (t ) BR 1 B T K (t ) Q 0 K
K (3) P
整理得
(t ) 2k 2 (t ) 2 k 11 12 k12 (t ) k11 (t ) 2k12 (t )k 22 (t ) 1 (t ) 2k (t ) 2k 2 (t ) 4 k 22 12 22 解此微分方程得K(t)，代入u*(t) k11 (3) 1 表达式，可得最优控制。显然， k12 (3) 0 由于微分方程组的非线性性， 不能求得其解析解，而只能利 k 22 (3) 2
f
a ( a)
K (t ) r
a r f a 2 ( t t f ) e 1 r f a r
f
r
a
e
2 ( t t f )
q a2 r
最优线性反馈系统结构图
x (0 )
(t ) ax (t ) u (t ) x
1 u * (t ) 1 K (t ) x(t ) r
解
0 1 0 0 1 A , B , P 0, Q ,R 1 0 0 1 0 0
设
k11 (t ) k12 (t ) K (t ) k ( t ) k ( t ) 12 22
代入黎卡提方程
1 k 2 k 11 12 k12 k11 k 12 k 22 k 2k k 2 12 22 22
上式称为矩阵黎卡提方程，其边界条件为 K (t f ) P 由黎卡提方程求出K(t)后，则最优控制为 后 则最优控制为
u * (t ) R 1 (t ) B T (t ) K (t ) x(t )
引理5-1 引
若K(t)是黎卡提方程的解，则K(t)对所有的 t [t 0 , t f ] 是对称的
1 (t ) 2aK K K (t ) K 2 (t ) q r
u
_ +
x
q
+
(t ) k 1 s
_
1 r
1 s a
x (t )
2a
1 r
例5-2
二阶系统状态方程为
1 (t ) x 2 (t ) x 2 (t ) u (t ) x
二次型性能指标为
1 2 1 3 2 1 2 2 J x1 (t f ) 2 x 2 (t f ) 2 x1 4 x 2 2 x1 x 2 u 2 dt d 0 2 2 2
试求使系统性能指标J为最小的最优控制u u*(t) 解
0 1 0 1 0 2 1 1 A , B , P ,Q ,R 2 0 0 1 0 2 1 4