第七章最优控制
第七章--最优控制
Optimal Control Theory
同济大学汽车学院：赵治国 教授 Prof. Zhiguo Zhao School of Automotive Studies, Tongji University Tel：69589117(O) E-mail: Zhiguozhao@
*
x(t ) x* (t )上的变分等于零，即 J [ x* (t )] 0
§7－3 泛函与变分的基本概念
证明：对于任意给定的
x(t ) 来说，J [ x* (t ) x(t )]是实变量 的 * * J [ x ( t )] 函数。泛函 在 x (t ) 达到极值，即函数 J [ x (t ) x(t )] 在 0 时达到极值，所以它的导数在 0 时应为零，即
二. 最优控制问题的一般提法 用数学语言描述最优控制问题，应包括以下几个方面的内容： 1. 受控系统的数学模型 用状态方程描述：x (t ) f [ x(t ), u (t ), t ] 2. 受控系统的始端和终端条件，即状态方程的边界条件 对最优控制问题始端条件通常是已知的：x(t0 ) x0 终端条件可以用一个目标集表示：
J J [ x()] J [ x(t ) x(t )] 中的 x(t ) 应理解为某一特定函数的整体，而不是对应于 的
dx(t ) J ( x (t ) t )dt 0 dt 1 5 2 J (t t )dt 0 6 2 1 e J (e 2t tet )dt 1 0 2
1 2
若 x (t ) t 有
t x ( t ) e 若 有
§7－3 泛函与变分的基本概念
2.泛函自变量的变分 泛函 J [ x (t )] 的自变量函数 x (t ) 与标称函数 x* (t )之间的差值函数
最优控制-第七章-动态规划法
当∆t很小时，有
t t
t
Lx, u, t d t Lx, u, t t
J x, t min
*
min
uU
uU
tf
t0
Lx, u, t d t Φ xt f
tf t t
t t
t
Lx, u, t d t
Lx, u, t d t Φ xt f
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 3 2 2 Q3 B
5 Q2
第一段：P1、Q1的前站是始发站A。显见从
A到B的最优值为12，故得最优路线为AQ1P2Q3B。
综上可见，动态规划法的特点是： 1) 与穷举算法相比，可使计算量大大减少。如
上述最优路线问题，用动态规划法只须做10次
J x, t min Lx, u, t t J xt t , t t
* * uU
(8)
* J x , t J x, t * * J x x, t t J x, t t (12) x t x * T
A城出发到B城的行车时间最短。
P1 3 A 4 Q1 1
7
P2
2
P3 4
4
6 8 2 Q2
3 3 3
2 Q3 4
2
B
现将A到B分成四段，每一段都要作一最优决 策，使总过程时间为最短。所以这是一个多段最 优决策问题。 由图2可知，所有可能的行车路线共有8条。 如果将各条路线所需的时间都一一计算出来，并 作一比较，便可求得最优路线是AQ1P2Q3B，历时 12。这种一一计算的方法称为穷举算法。这种方 法计算量大，如本例就要做3×23=24次加法和7次 比较。如果决策一个n段过程，则共需(n-1)2n-1次 加法和(2n-1-1)次比较。可见随着段数的增多，计 算量将急剧增加。
最优控制 现代控制理论 教学PPT课件
第7章第3页
7.1.1宇宙飞船登月软着陆的实例
实例1：宇宙飞船若实现在月球表面实现软着陆，即登月舱到达月球表面时的速度为
零，要寻求登月舱发动机推力的最优变化率，使燃料消耗最少，以便在完成登月考察 任务后，登月舱有足够燃料离开月球与母舱会合，从而返回地球。
m(t) h(t) v(t)
u(t) g
M F h0 v0
如果泛函的变分存在，则
J ( x, x) J ( x x)
2021年4月30日
0
第7章第15页
求证 如果泛函的变分存在，则
J ( x, x) J ( x x)
0
证明 根据泛函变分的定义
J J (x0 x) J (x0 ) L(x0, x) r(x0, x)
由于 L( x0, x) 时关于 x 的连续线性泛函，故
J (C1x1(t) C2 x2 (t)) C1J ( x1(t)) C2J ( x2 (t)) ，且其增量可以表示为
J J ( x(t) x(t)) J ( x(t)) L( x(t), x(t)) r( x(t), x(t))
2021年4月30日
第7章第14页
其中，第一项是 x(t) 的连续线性泛函，第二项是关于 x(t) 的高阶无穷小，则称上式第
变分 x 表示U 中点 x(t) 与 x0 (t) 之间的差。由于 x 存在，必然引起泛函数值的变化，
并以 J (x x) 表示。其中 为参变数，其值 0 1。当 1时，得增加后的泛函值
J ( x x) ；当 0 时，得泛函原来的值 J (x) 。
若 泛 函 J ( x(t)) 对 于 任 何 常 数 C1 ， C2 及 任 何 x1(t) U ， x2 (t) U ， 都 有
第7章 最优控制
第7章 最优控制内容提要最优控制是现代控制理论的重要组成部分。
它所研究的对象是控制系统，中心问题是给定一个控制系统，选择控制规律，使系统在某种意义上是最优的。
这一章介绍了最优控制问题及一些基本的求解方法，如变分法、最大值原理和动态规划等。
为最优控制系统的设计，特别是线性二次型性能指标和快速控制提供方法和理论基础。
关于求解最优控制的变分方法，介绍了泛函与变分法基础，欧拉方程，横截条件，含有多个未知函数泛函的极值，条件极值等；关于最大值原理，介绍了古典变分法的局限性，最大值原理基本叙述，变分法与极大值原理的异同等；关于动态规划，介绍了多级决策过程与最优性原理，离散系统动态规划，连续系统动态规划，动态规划与最大值原理的关系等；还介绍了线性二次型性能指标的最优控制问题，包括状态调节器、输出调节器、跟踪问题，以及快速控制问题和综合问题。
这章研究的内容是最优控制中最基本的，也是必需掌握的。
无论将来从事研究还是从事实际工作都是必不可少的。
习题与解答7.1设有一阶系统x x u =-+，3)0(=x 。
试确定最优控制函数()u t ，在2t =时，将 系统控制到零态，并使泛函220(1)d J u t =+⎰，取极小值。
解 作泛函2200[1()]d J u x x u t λ=+++-⎰写出泛函0J 的欧拉方程0 0u u x x F F uF F t ∂⎧-=⎪⎪∂⎨∂⎪-=⎪∂⎩推出20u λλλ-=⎧⎨-=⎩ 与状态方程x x u =-+联立求得111222ttt tc e c u e c x c e e λ-===+代入边界条件()()03, 20x x ==得122212322c c cc e e -+=+=解之得2212222263, e e c c e e e e----==--故212232t tc e u e e e e---==- □7.2 一质点沿曲线()y f x =从点(0,8)运动到(4,0)，设质点的运动速度为x ，问曲线取什么形状，质点运动时间最短？解 因为d , d d sx s x t== 所以t x =⎰由欧拉方程d0d d 0d y y F F tt -=⎛⎫= 得0c =做变量代换，令tg ,y θ'= 代入上式，得1sin ,x c θ== 101c c ⎛⎫= ⎪⎝⎭令 ⑴因为1d tg , d cos d d yy x c xθθθ'=== 得11d tg d tg cos d sin d y x c c θθθθθθ===可推出12cos y c c θ=-+ ⑵从（1）和（2）式中消去变量θ，得()22221x y c c +-=代入边界条件，得()2222221218, 4c c c c -=+=推出125, 3c c =±=所以曲线方程为()22325x y +-= □7.3 给定二阶系统010001x x u ⎡⎤⎡⎤=+⎢⎥⎢⎥⎣⎦⎣⎦，2(0)1x ⎡⎤=⎢⎥⎣⎦。
第7章 随机系统最优控制
1 GQ' 2 0
τ >0 τ =0 τ <0
2． 系统状态的随机型性能指标 仍考虑系统 x(t) = A(t)x(t) + G(t)w(t)
及其初始状态
（7-4-10’） （7-4-11’） （7-4-13）
x(t0 ) = x0
（7-4-14）
由于 x(t)是在白噪声 w(t)作用下动力学系统的响应，是一个随机过程，如果采用与确定 性二次型性能指标相同的表示方法，即
(7-4-2)
其中 x(t)是 n 维随机状态向量；x0 是 n 维随机初始状态向量，其统计性能为
E[x(t0 )] = E[x0 ] = µ0
(7-4-3)
Var[x(t0 )] = E{[x0 − µ0 ][x0 − µ0 ]T } = Px (t0 ) = Px0
(7-4-4)
w(t)是 m 维零均值高斯白噪声过程，统计性能为 Cov[w(t), w(τ )] = E[w(t)w(τ )T ] = Q'(t)δ (t −τ )
（7-4-7’） （7-4-8’）
APx + Px AT + GQ'GT＝0
iii’) x(t)的协方差阵为
（7-4-9’）
Px (τ ) = Φ(τ )Px Px (−τ ) = PxΦ T (τ )
τ
≥
0
iv’) x(t +τ ) 与 w(t)的协方差阵为
Φ(τ )GQ'
Pxw
(τ
)
=
（7-4-5）
其中
δ
(t
−τ
)
=
1 ε
,
τ
现代控制工程-第7章最优控制
8
1.
*问给7定题.3t
变分法求解无约束最优控制
f ，终端自由，即 x(t f ) 任意
增广泛函为
Ja
[x(t f )]
tf [H (x,u,,t) T x]dt
t0
取一阶变分并令其为零，得
J a
(
x
)T
x
t t
f
tf [(H )T x (H )T u (H )T xT Tx]dt 0
J ( x*, x)
d d
J ( x * x)
0
0
在实际问题中，泛函极值问题的最优轨线通常是受到各种约束的。
例如，最优控制性能指标（7.2）中的u和x的选择，要满足状态方 程（7.1），这是一个等式约束。 在等式约束下的泛函极值问题，称为条件泛函极值问题。
用拉格朗日乘子法将条件泛函极值问题转化为无约束条件极值问
3
设7系.1统最的状优态控方程制为的概x 念f (x, u, t)
最优性能指标
J [x(t f ),t f ]
tf
L[ x(t ), u(t ), t ]dt
t0
所谓最优控制，就是要确定在 [t0 , t f ] 中的最优控制，将系统的
状态从 x(t0 )转移到 x(t f ) ，或者 x(t f ) 的一个集合，并使性能指 标最优。 最优控制问题从数学上看，就是求解一类带有约束条件的条件
称为无约束最优控制问题。
无约束最优控制问题是一个求有等式约束的泛函极值问题，可
以用拉格朗日乘子法把有约束条件问题转化为无约束条件问题。
构造增广泛函为
J a [x(t f ),t f ] t f {L[x(t),u(t),t] T [ f (x(t),u(t),t) x(t)]}dt t0
最优控制笔记
最优控制又叫动态优化工程技术领域里的过程（物理过程或化学过程），通常都是可以控制的过程控制：使过程的发展变化按人们的需要进行动态优化问题的四个要素：1.建立过程的动态模型（动态系统的状态方程）2.指定所需的初始状态和结束状态（状态方程的边界条件）3.确立在可行控制策略4.性能指标动态系统的变化，可以看成对应状态的变化，其中每一个状态对应着n维状态空间中的一个点，系统的运动将在状态空间中画出一条状态曲线动态系统的状态方程：1.是对研究对象的动态数学建模2.体现了系统运动时应遵循的规律,反映了系统的动态特征3.一般是微分方程组描述状态方程f[x(t),u(t),t]的数学性质：1.f[x(t),u(t),t]是向量函数，维数与状态变量维数相同2.f[x(t),u(t),t]是关于x(t)/u(t)/t的连续函数3.f[x(t),u(t),t]是关于x(t)/t的连续可微函数4.u(t)是关于t的分段连续函数，只有有限个第一类间断点系统的初始时刻t0和初始状态x0一般都是已知的系统的结束时刻tf：固定或者不固定系统的结束状态xf：全部固定/全部不固定/部分固定性能指标：1.要根据实际任务确定，例如过程持续的时间最少/过程消耗的能量最少/成本最小/利益最大等等2.种类：终值型/积分型/复合型,它们都是关于x(t)/t的连续可微函数最优控制一定是容许控制，即最优控制策略（最优控制函数）在控制函数空间中的一个子集中选择当最优控制轨迹确定后，通过系统的状态方程，可以确立对应的最优状态轨迹现代控制理论相对于经典控制理论的优点：1.从时不变系统延伸到时变系统2.从单输入单输出系统延伸到多输入多输出系统3.从频域回到时域，采用能够揭示系统内部各状态变化规律的状态空间描述法最优控制理论属于现代控制理论的分支从数学角度来看，最优控制问题本质上是求泛函极值的变分学问题变分法分为古典变分法和现代变分法（最大值原理/动态规划）古典变分法只能解决容许控制集为开集的最优控制问题实际最优控制问题的容许控制集都是闭集，可以用现代变分法解决函数分为两类：普通函数和泛函普通函数随自变量t变化有确定值对应泛函随普通函数（称为泛函的宗量函数）的形式变化有确定值对应，t已确定或不产生影响复合函数也是普通函数，随自变量t变化有确定值对应具有某些相同特征的所有函数组成一个函数类，或称函数空间在函数空间内，每一个函数（形式不同的）成为函数空间的一个点，例如sin(x)和sin(2x)是正弦函数空间的两个点泛函宗量的变分：1.同一函数空间中的两个函数的差（t已确定或不产生影响）2.宗量的变分仍然是一个普通函数3.这里“变分”的意思是改变量宗量的维数为m时，则宗量的变分在m维函数空间中进行，其中每一维函数空间各自是具有某些相同特征的函数类两个普通函数k阶相近的定义，从几何上来看就是曲线的相似程度两个普通函数间的k阶距离定义，从几何上来看就是曲线的差异程度m维函数空间中，与点[x0(t),x1(t),...xm(t)]距离相同的点构成m维空间中的一个球面泛函k阶连续的定义（利用两个普通函数间的k阶距离来定义）线性泛函的定义：满足齐次性与可加性泛函的变分：1.是泛函增量的关于宗量变分的线性主部2.是关于宗量变分的线性连续泛函3.仍然是一个泛函4.泛函的变分是唯一的5.这里变分的意思相当于普通函数的微分泛函变分的计算公式，是关于宗量变分的泛函，也是关于alpha的普通函数，从普通函数极值条件出发推导得到泛函极值条件求普通函数的极值，必要条件是：极值在稳定点获得，稳定点即普通函数导数为0的点求泛函的极值，必要条件是：极值在泛函变分为0的点取得Lagrange/Mayer/Bolza形式指标的相互转换欧拉--拉格朗日方程的推导过程欧拉--拉格朗日方程是一个二阶微分方程欧拉--拉格朗日方程成立的前提：1.宗量函数对自变量的二阶导数存在2.积分函数二阶连续可微欧拉--拉格朗日方程的能积分出最优解的特殊情况含有多个宗量函数的欧拉--拉格朗日方程组形式等式约束条件下的泛函极值问题采用拉格朗日乘子思想等式约束下的多变量普通函数极值问题，拉格朗日乘子是m维常向量等式约束下的泛函极值问题，拉格朗日乘子是m维普通函数，称为协态变量拉格朗日乘子法的步骤：原问题-->辅助泛函-->解等式约束+欧拉方程-->用边界条件确定未知系数-->判断极大/极小/鞍点等式约束下的泛函极值问题中，拉格朗日乘子（本质上是普通函数）的欧拉方程就是原问题的等式约束条件对于最优控制问题，控制函数u(t)和状态函数x(t)都看成是泛函的宗量，系统的动态方程作为等式约束条件Hamilton函数是泛函，其t的范围由x(t)/u(t)中的t范围确定，可以看成是mayer型泛函Hamilton函数的作用：积分型泛函J对u(t)的等式约束条件极值问题，转换成H对u(t)的无约束条件机制问题Hamilton函数方法解决最优控制问题，是基于必要条件，而不是充分条件Hamilton函数沿着最优空之轨迹和最优状态轨迹，对时间t的全导数等于偏导数当Hamilton函数不显含t时，H是不依赖于t的常数基础数理化：数学是理路，物理和化学是实践；工程中的物理和化学变化过程都是可控的；过程：与时间有关，随着时间推荐的变化，又叫动态过程；动态过程的数学模型又称状态方程，为OEDs或者DAEs形式对一个过程实施控制往往可以选择的策略不唯一，为了使得任务完成得最好，需要选择最优控制策略；最优的意义：根据任务确定的技术或者经济指标，可以是时间上最快、能量上最省、成本最低、利润最大等；状态微分方程f[x(t),u(t),t]是关于u(t),x(t),t的连续函数，是关于x(t),t的连续可微函数，u(t)只有有限个第一类间断点；状态、状态空间、动态系统的变化过程对应于状态空间中的点运动轨迹、点运动轨迹的起始点和结束点就是状态方程的边界条件；系统的初始时间t0和初始状态x0通常是给定的；系统的结束状态根据结束时间tf是否固定和结束状态是否固定可分为6种情况；性能指标的类型：终值型（Mayer型）、积分型（Lagrange型）、复合型（Bolza型；）终值型（Mayer型）是x(t),t的连续可微函数；积分型（Lagrange型）是u(t),x(t)，t的连续函数，是x(t),t的连续可微函数，u(t)只有有限个第一类间断点；注意终值型（Mayer型）指标中不含u(t)；最优控制轨迹往往在m维控制函数空间的一个子集omiga中选择；经典控制论的特点：针对SISO、线性、时不变（定常）、集中参数系统，以laplace变换作为分析工具，频域内；现代控制论的特点：针对MIMO、非线性、时变、分布参数系统，以状态空间分析方法为分析工具，时域内分析；对系统的状态空间描述，最大好处在于能够反映系统内部各状态变量之间的关系；最优控制理论属于现代控制理论的一部分；最优控制问题在数学上来说属于求泛函极值的变分学领域；古典变分法的局限性：只能处理u(t)无约束或者为开集的泛函极值问题；现代变分学的两个代表：最大值原理（苏联，Pontryagin提出）和动态规划（美国，Bellman 提出）；现代计算机的发展推动了控制理论和优化理论的发展与应用，增加了基于计算的科研活动方式；函数分为一般函数和泛函两类；一般函数：自变量形式唯一，当自变量确定为某一值时，函数值也随之确定；泛函：自变量形式和取值（范围）已经确定，当宗量函数形式确定时，泛函值也随之确定；复合函数属于一般函数；终值型泛函中，tf能被确定，所以泛函值取决于终值型泛函的宗量形式；积分型泛函中，被积函数往往是u(t),x(t),dx(t)/dt,t的函数，u(t),x(t)都属于积分型泛函的宗量；积分型泛函中，由于宗量的维数大于1：宗量为u(t),x(t)，且各自维数也可能大于1，所以积分型泛函属于多维泛函（宗量为多维，在多维函数空间内取值）；Hamiltonian属于多维泛函，自变量取值范围为t0~tf，宗量包括控制函数u(t),状态函数x(t)，协态函数y(t);函数空间：具有相同性质的函数类（按函数不同形式区分函数类中的单个函数），构成了一维函数空间（一根轴），每个属于该函数类的具体形式函数都是该一维函数空间（轴）上的一个点；宗量函数的变分deltax(t)：是同一函数类中两个一般函数的差，或者说是某一维函数空间中两个点之间的距离，本质上仍然是一个一般函数；一般函数相近的几何意义：曲线形态相似；泛函连续性的定义及与宗量函数相近（宗量函数的变分趋于0）的关系；线性泛函的定义：满足针对宗量函数的齐次性和可加性（将宗量看成一般函数的自变量）；泛函变分detalJ[x(t)]：是泛函增量关于“宗量函数变分”的线性主部，是关于“宗量函数变分”的线性连续泛函，本质是泛函；泛函的变分具有唯一形式；求一个泛函的变分不直接使用定义，而用偏导数方法获得，这与一般函数的微积分知识相似；泛函达到极值的必要条件：泛函在宗量函数x*(t)处的变分为0，有三种情况：非极值，极大值，极小值；古典变分法中的欧拉方程由积分型泛函变分为0的必要条件推出，所以欧拉方程也是泛函达到极值的必要条件；欧拉方程本质上是一个二阶偏微分方程；欧拉方程成立的前提是:L[x(t),dx(t)/dt,t]对宗量函数x(t)、宗量函数的导数dx(t)/dt、自变量t存在二阶偏导数；注意L[x(t),dx(t)/dt,t]本身不能称为泛函（自变量的值没有给定），也不能称为宗量函数（宗量函数是x(t)）；欧拉方程可以求解的条件：L[x(t),dx(t)/dt,t]中不显含x(t)、dx(t)/dt、t三者其一或其二；宗量函数为向量函数时，欧拉方程也成为向量二阶偏微分方程（二阶偏微分方程组）；phi(tf)这条终端曲线实际靠测试获得，并作为已知曲线；横街条件反应的是：极值曲线终端斜率与给定曲线斜率之间的关系横街条件成立的前提：L[x(t),dx(t)/dt,t]对宗量函数x(t)、宗量函数的导数dx(t)/dt、自变量t存在二阶偏导数；phi(t)对自变量t存在一阶偏导数；终端点可变情况下，泛函极值的必要条件共有两个：欧拉方程、横街条件；Lagrange型泛函的一阶变分和二阶变分的表达式；泛函极值属性的判断需要借助二阶变分表达式，它是一个对称函数矩阵；涉及到最优控制问题时，最优状态轨迹不仅要使目标函数最优，更重要的是满足系统的状态方程；系统的状态方程（等式）可以看成是求泛函极值问题时的微分等式约束；带等式约束的泛函极值问题，处理思想和一般函数的等式约束极值问题思路一样，采用拉格朗日乘子法思想；带等式约束的泛函极值问题，拉格朗日乘子是一般函数（一般函数的等式约束极值问题中，拉格朗日乘子是常数）；带等式约束的泛函极值问题，与一般函数的等式约束极值问题相比，梯度为0的必要条件进化成为变分为0（欧拉方程的满足）；带等式约束的泛函极值问题，原等式约束可以视为F[x(t),dx(t)/dt,lamda(t),t]对宗量函数lamda(t)的欧拉方程；利用古典变分法求解最优控制问题，是将控制函数u(t)和拉格朗日乘子函数lamda(t)都作为泛函的宗量函数；Hamiltonian的作用是将dx(t)/dt从F[u(t),x(t),dx(t)/dt,lamda(t),t]中分离出去，它们的关系是：H[u(t),x(t),lamda(t),t]=F[u(t),x(t),dx(t)/dt,lamda(t),t]-lamda(t)dx(t)/dt正则方程组的推导既可以从F[u(t),x(t),dx(t)/dt,t]的欧拉方程推导，也可以直接从变分=0的必要条件推导（欧拉方程从变分=0的必要条件中推导出来）；推导tf固定、tf自由时的最优控制问题必要条件时，辅助函数的做法：终态约束等式约束放在积分号外面，状态方程等式约束放在积分号里面；tf固定时的三种情况：x(tf)固定（仅需要欧拉方程无需横截条件）属于x(tf)自由的特殊情况，x(tf)自由又属于x(tf)受约束的情况；tf自由时的三种情况：x(tf)固定（仅需要欧拉方程无需横截条件）属于x(tf)自由的特殊情况，x(tf)自由又属于x(tf)受约束的情况；tf固定又属于tf自由时的特殊情况，仅缺少关于最优时间的方程，所以6种情况最终都可以归类为tf自由、x(tf)受约束的情况处理；Hamiltonian沿着最优控制轨迹和最优状态轨迹（即H[u(t),x(t),lamda(t),t]中的u(t),x(t),lamda(t)都在最优轨迹上取值）时，对时间的偏导数等于对时间的全导数；以上性质说明：沿着最优控制轨迹和最优状态轨迹时，若Hamiltonian不显含t，则Hamiltonian为常数；不等式约束泛函极值问题？古典变分法要求u(t)属于一个全函数空间或者一个函数空间中的开集；现代变分法从实际出发，u(t)可以属于一个函数空间中的闭集；现代变分法中的代表：极小值原理（苏联，Pontryagin）和动态规划（美国，Bellman）极小值原理比古典变分法的进步：u(t)可以属于一个函数空间内的闭集，不要求Hamiltonian对u(t)可微；当u(t)属于一个函数空间内的闭集时，H对u(t)的偏导数可能不为0（在闭函数空间内取不到极点）、deltau(t)可以为0，两方面原因造成古典变分法不再适用；与古典变分法对应的是，极小值原理也有6种情况，最普遍的是tf可变、x(tf)受约束的情况；对于tf可变的情况，需要增加一个确定tf的方程（属于横截条件的一部分）；Hamiltonian达到极小值的定义？极小值原理仅是最优控制问题的必要条件；如果x(tf)有终端约束，那么两点边值问题的求解难度会增加很多，常用方法为打靶法（扫描法）；协态变量就是等式约束泛函极值问题的拉格朗日乘子函数；状态变量终态的自由与固定，对应协态变量终态的固定与自由；状态变量微分方程求解联合协态变量微分方程求解体现了原问题--对偶问题的共同求解思想？目标泛函对u(t)求偏导，实际是泛函对宗量函数求偏导；从理论分析可以得到，目标泛函对u(t)的梯度（偏导数）在最优控制问题中与Hamiltonian 对u(t)的梯度（偏导数）等价；最优控制（动态优化）问题转换成静态优化问题的理论：通过对u(t)的离散化，将函数空间变为向量空间？从而可以直接使用静态优化算法；处理x(tf)受约束的方法除了惩罚函数法还有其他方法没？[文档可能无法思考全面，请浏览后下载，另外祝您生活愉快，工作顺利，万事如意!]。
第七章 最优控制：最大值原理
以上推导得到：u
1 2
t
（7.39)
1 4 ke
t
( t ) ke （7.40)
（7.41)
t
y ce
步骤4
根据边界条件
t
y (0) 1
1 4
2
和
2
y (1) 0
代入 y ( t ) ce
ke
t
，得：
4e 1 e
2
c
1 1 e
k
第四章 最优控制
第一节 最大值原理 第二节 其他终结条件 第三节 变分法与最优控制的比较 第四节 政治商业周期
导入例子
• 最大化
T
U ( E )e
t
dt
0
满足 和
dS dt
E (t )
S (0) S 0
S (T ) 自由
E (t ) 表示时间 t 时这种资源的抽取速度
S 表示资源的储量
所以
V
T 0
F ( t , y , u ) ( t ) f ( t , y , u ) y dt
( t ) f ( t , y , u ) y dt
0
T
T
( t ) f ( t , y , u ) y dt 0
0
*
综合情况一和二： (T ) 0
( y T y min ) (T ) 0
*
一般横截条件：
(T ) y T 0
H t T T
（7.30）
截断水平终结线： 情况一
武汉大学自动化专业 《现代控制理论》第七章 最优控制
1
最优控制研究的主要问题是： 根据已建立的被控对象的数学模型，选择一个容许的 控制规律，使得被控对象按预定要求运行，并使给 定的某一性能指标达到极小值（或极大值）； 从数学观点看，最优控制研究的是求解一类带有约束 条件的泛函极值问题，属于变分学的范畴。 古典变分理论只能解决控制无约束（即容许控制属于 开集）的一类最优控制问题，为满足工程实际的需 要，在20世纪50年代中期出现了现代变分理论， 常用的数学工具是Bellman(美国)的“动态规划”， 和Pontryagin(苏联)的‘极大值原理“。，又进一步推动了现代控制论的发展
T t0 T tf t0
∴ ..J = {θ [ X (t ), t ] λ (t ) X (t )}
+ ∫ {H [ X (t ), u (t ), t ] + λT (t ) X (t )}dt
t0
tf
9
极大值曲线的充分条件为 δ2 J＜0
五 无约束条件的泛函极值
& 求 J ( X ) = ∫t Φ( X , X , t )dt 的极值，就是确定X(t)，使 J = min .
0
tf
& 几何意义：寻找一条曲线X(t)，使给定的可微函数 Φ ( X , X , t ) 沿X(t) 的积分达到极值，此时X(t)=X*(t)
横截条件： ①两端固定 ②两端状态自由
δX 0 = 0,.....δX f = 0
Φ & X Φ & X
tf
= 0,.....
③始端自由，终端固定 ④始端固定，终端自由 ⑤终端 t f 自由，但状态 X (tf )=c (tf ) 受约束——拦截 问题
Φ & X
最优控制理论第七章
State Equation: Sale expressed in terms of advertising (which is a control variable) Objective: Profit maximization
Defining as the elasticity of demand with respect to goodwill and using (7.3), (7.5), and (7.9), we can derive ( sto obtain the optimal long-run stationary equilibrium or turnpike . That is, we obtain from (7.8) by using . We then set and in (7.9). Finally, from (7.11) and (7.9), or also the singular level can be obtained as
Because of these conditions it is clear that for a given G0 , a choice of 0 such that (0 ,G0 ) is in Regions II and III, will not lead to a path converging to the turnpike point . On the other hand, the choice of (0 ,G0 ) in Region I when or (0 ,G0 ) in Region IV when , can give a path that converges to From a result in Coddington and Levinson(1955), it can be shown that at least in the neighborhood of , there exists a locus of optimum starting points . Given , we choose 0 on the saddle point path in Region I of figure 7.3. Clearly, the initial control u*(0)=f1(0). Furthermore, (t) is increasing and by (7.17), u(t) is increasing, so that in this case the optimal policy is to advertise at a low rate initially and
现代控制理论-第七章 最优控制_动态规划
V (x(t),t) min (L(x(t t),u(t t),t t)t) u (t )U V (x(t), t) ( V )T dx t V t o(t)2 x dt t
第七章 最优控制
V min (L(x(t t),u(t t),t t) (V )T dx o(t)2 )
x02
第七章 最优控制
7.4.3 连续系统的动态规划
x f (x,u,t), x(t0 ) x0
u(t) U
性能指标
T
J (x(T )) L(x,u,t)dt
t
目标集
S {s | (x(T )) 0}
引进记号 V (x,t) J (x*(t),u*(t)) min J (x(t),u(t)) u(t )U
u0
第七章 最优控制
7.4.2 离散系统动态规划
n 阶离散系统
xk1 f (xk ,uk ), k 0, , N 1
性能指标
N 1
J L(xk ,uk ) k 0
求决策向量
u0 , , uN 1
使 J 有最小值（或最大值），其终点可自由，
也可固定或受约束。
第七章 最优控制
x12
(
1 2
x1 )2
(x1
1 2
x1 ) 2
3 2
x12
J (x0 ) x02 u02 J *(x1)
x02
u02
3 2
x12
x02
u02
3 2
( x0
u0 )2
J (x0 ) u0
现代控制理论最优控制.
情况下，线性调节器或状态调节器是最常 见的一类线性二次型问题.
最优控制的目的是:当线性系统由于某种 原因偏离出原来的平衡状态,控制的目的是 使系统的状态x(t)尽量接近平衡状态,而所用 的量又不能太大,控制能量一般描述为控制 变量的二次型.
因此目标函数选为:
1 tf T J (u ) ( x Qx u T Ru )dt 2 t0
（5）跟踪问题.
5. 线性二次型最优控制问题
所谓二次型最优控制问题,实际上是指 目标函数是状态变量和控制变量的二次 型.
如状态调节器问题,而线性二次型最优 控制问题:则是除目标函数是状态变量和控 制变量的二次型,而且它的状态方程是线性 微分方程,即
x A(t ) x B(t )u, x(t0 ) x0
0
由于A-Bk是稳定矩阵，因此 x 0 ， 故而 J 1 xT 0 Px 0 2 显然性能指标可由初始条件和P算得。
5.以下求k 由于R为正定实对称阵，故 R T T T ，其中 T为非奇异矩阵，于是方程式（5）可以写 成 T T T T T A k B P P A Bk Q k T Tk 0 （6）
明显地两者之间的差异和相同处在于: 相同: 都要在给定目标函数条件下,求使目标 函数取极值的函数式变量. 相异: 一个是求函数的极值时的变量取值问题, 另一个是求函数极值时求控制函数的问题.
由于最优控制中，目标函数依赖于控制 函数u(t),因而也称目标函数为目标泛函.
因此最优控制问题实际上是求使目标泛 函取极值的控制规律问题.
1 T
例2. 考虑如图所表示的系统.假如控制信号 为 u(t ) Kx(t )
试确定最优反馈增益 K ,使得下列性能指标 达到最小
第7章 最优控制
第七章 最优控制（Optimal Control ）最优化（Optimization ）：生产过程的控制，企业的生产调度，对资金、材料、设备的分配，经济政策的制定等都与最优化有关。
最优控制：通常是针对控制系统本身而言的，目的是使一个机组、一台设备、或一个生产过程实现局部最优。
7-1概述1．最优分配问题：仓库（水泥） 运费（元/包） 工地（需要水泥）问应怎样发送这些水泥，才能使运费最省？设：从甲仓库运往A 、B 、C 工地的水泥数分别为1x 、2x 、3x ；从乙仓库运往A 、B 、C 工地的水泥数分别为4x 、5x 、6x 目标函数()x f （总运费）：()65432195442x x x x x x x f +++++= 最优化的任务：确定[]Tx x x x x x x 654321=的值，使()x f 为最小。
约束条件：⎪⎪⎪⎩⎪⎪⎪⎨⎧=+=+=+≤++≤++1200600900180********241654321x x x x x x x x x x x x该问题称为具有不等式约束条件的线性最优化问题，属于静态最优化问题，变量x 与时间无关2．动态最优化问题动态最优化问题：在最优控制系统中，受控对象是一个动态系统，所有变量都是时间的函数。
目标函数：是时间函数的函数，称为泛函数（简称泛函） 例：目标泛函 ()()[]⎰=ft t dt t t u t x L J 0,,基本约束条件（受控对象的状态方程）：()()()[]t t u t x f t x ,,= J----标量L----标量函数()t x ----n 维状态矢量 ()t u ----r 维控制矢量f ----n 维矢量函数最优控制问题：在满足约束条件下，寻求最优控制函数()t u ，使目标泛函J 取极值（最小或最大），即()max min =J 。
3．求解动态最优化问题的方法古典变分法、极小（大）值原理、动态规划法7-2研究最优控制的前提条件1．给出受控系统的动态描述，即状态方程()()()[]t t u t x f t x,,= 2．明确控制作用域控制集：()(){}0,≤=u x j t u U ϕ()()r m m j u x j ≤=≤;,,2,10, ϕ----()t u 满足的约束条件容许控制：()U t u ∈ 3．明确始端条件 固定始端：()0t x 给定 自由始端：()0t x 任意可变始端：()00Ω∈t x 始端集：()()[]{}0000==Ωt x j t x ρ()[]()n m m j t x j ≤==;,2,100 ρ----()0t x 必须满足的约束条件 4． 明确终端条件固定终端：f t 、()f t x 给定 自由终端：f t 给定、()f t x 任意可变终端：()f f t x Ω∈ 目标集：()()[]{}0==Ωf j t x ff t x ϕ()[]()n m m j t x f j ≤==;,2,10 ϕ----()f t x 必须满足的约束条件5． 给出目标泛函（即性能指标） 对于连续时间系统，一般表示为：()[]()()[]⎰+Φ=ft t f dt t t u t x L t x J 0,, （综合型或鲍尔扎型）()[]f t x Φ----终端指标函数，反映对终端性能的要求；()()[]⎰ft t dt t t u t x L 0,,----动态指标函数，L 为状态控制过程中对动态品质及能量或燃料消耗的要求等。
第7章最优控制原理资料
目录(1/1)
目
录
7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理 7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题 本章小结
x(t ) k1[u(t ) x(t )], x(t ) 0, x(1) 40 C
式中,k1为比例系数。 我们的目标是确定流入的液体的温度 u(t) 如何变化, 使得 散失的热量最少,即归结为在上述状态方程和边界条件下, 求函数
J [k2 x 2 (t ) k3u 2 (t )]dt
目标集(2/3)
因问题而异 , 末态可以是状态空间的一个点 , 更为一般的 情况是末态要落在事先规定的范围内,如要求末态满足如 下约束条件 g1(x(tf),tf)=0 g2(x(tf),tf)0 式中,g1(x(tf),tf)和g2(x(tf),tf)为关于末态时刻 tf 和末态状态x(tf) 的非线性向量函数。
t0 tf
最优控制问题的描述(2/2)
值得注意的是 ,所谓的“最优性”,是指被控系统相对于性能 指标函数意义下的最优性。 不同的性能指标函数,最优控制结果是不相同的。
最优控制发展简史(1/5)
7.1.3 最优控制发展简史
20世纪50年代,随着现代化生产的发展,特别是空间技术的发 展,被控系统日趋复杂,对自动控制提出的要求愈来愈高。 于是,那种建立在传递函数、频率特性基础上的经典控制 理论,日益暴露出它的局限性。 主要表现在: 首先,它只适用于集中参数的SISO线性定常系统,且 只适应于以解决伺服系统稳定性为主要目标的设计 问题,难以适应综合性能指标设计控制系统的要求。 再者,在应用经典控制理论设计时,需要凭经验试凑及 大量手工计算,难以用来解决复杂问题。
第七章 稳定性
2
dt
ess 其中， sup表示真上确界。所谓函数在点集 Q 上的真上确界是指它在 Q 中除某个零测度集外的上 确界。对于连续函数，其上确界就是真上确界。
在空间 L p , 中，所有对 t 0 除去测度为 零的集合上函数的全体所构成的集合记为L p [0,) ， 它是L p , 的一个闭空间。因为实际信号均满 足 t 0，所以我们讨论的信号均属于 L p [0,) 空间。需要说明的是：对于函数空间中的元素ut 可以是单个的函数，也可以是向量函数。
由特征方程
，得
a1 a12 4a0 conx1e 2
设 a0 0, a1 0, 则
①当 cos x1e 0 时，系统在 xe 渐近稳定；
1 1 2 ② cos x1e 0 时，1 2 (a1 a1 4a0 cos x1e ) 2 (a1 a1 ) 0
返回子目录
在控制系统中，经常要面临各种信号，这些 信号通常可以表示为时域或者频域内的函数。而系统 在这些信号激励下的响应，同样也可以表示为各种函 数。 因此，一个系统可以看成是从一个函数空间到 另一个函数空间的映射，即算子。与向量和矩阵的 情况类似，如果在函数空间引入范数的概念来表述 信号在某种工程意义上的强度，以此来描述控制系 统的性能，那么，系统作为算子时的范数就反映了 系统在传递信号过程中的一种“增益”，它是描述 系统性能的一个重要手段。
f1 f1 f1 x x n y n 1 G( y) o( y 2 ) f n f n f n y n xn x x y 0 x1 e
定理 1
7.1
数学基础知识
第7章最优控制原理总结
第7章最优控制原理总结第7章的最优控制原理是指在动态系统中，通过分析系统的状态和控制输入，确定最佳的控制策略，以达到系统的最优性能。
这一原理在工程、经济和生态等领域都有广泛的应用。
本文将从最优控制的基本概念、最优控制方法以及最优控制的应用方面进行总结。
最优控制的基本概念包括系统模型、性能指标和约束条件。
系统模型描述了动态系统的行为，可以通过微分方程或差分方程表示。
性能指标用来衡量系统的性能，可以是一些状态的值、系统的能耗等。
约束条件是系统在控制过程中必须满足的限制条件，例如系统的输入上下限、状态的约束等。
最优控制方法主要包括动态规划、变分法和数值优化等。
动态规划是一种通过将问题分解为一系列子问题来求解最优控制策略的方法。
通过选取最优子问题解来确定最优策略，并使用递推算法进行求解。
变分法是一种通过构建泛函，并通过最小化泛函来求解最优控制策略的方法。
通过求解欧拉-拉格朗日方程，得到最优控制策略的微分方程，并通过求解微分方程得到最优策略。
数值优化是一种通过数值计算方法求解最优化问题的方法。
通过建立优化模型，将最优控制问题转化为最优化问题，并应用优化算法进行求解。
最优控制在实际应用中有广泛的应用。
在工程领域，最优控制可以应用于飞行器、机器人和自动控制系统等。
例如，对于无人机飞行控制问题，可以通过最优控制方法来实现自动飞行，提高飞行性能。
在经济领域，最优控制可以应用于经济模型和金融产品的定价等。
例如，在股票市场中，可以通过最优控制方法来确定最佳交易策略，以最大化利润。
在生态领域，最优控制可以应用于生态系统的保护和管理等。
例如，通过最优控制方法来优化捕鱼策略，保护渔业资源。
最优控制原理的研究还面临一些挑战和问题。
首先，最优控制问题的求解往往需要耗费大量的计算资源和时间。
因此，如何提高求解效率是一个重要的问题。
其次，最优控制的求解通常需要对系统进行建模，而模型的准确性对最优控制的效果有重要影响。
因此，如何建立准确的系统模型也是一个关键问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x(t) C1t
求解
计算 x& C1
F x& C x& 1 x&2
(
1 x&2 (t) (& x&)
1
x& x&2
)T
1 &x&
1 x&2 T
0
&x&T 1
所求的极值曲线与约束曲线相正交
7.2.4 含有多个未知函数泛函的极值
泛函
T
J (x1,L xn ) t0 F(x&1,L , x&n; x1,L , xn;t)dt
分部积分
J T [(F d F ) x]dt F x T
t0 x dt x&
x& t0
x
T t0
0
J
T F (
d
F ) xdt
0
t0 x dt x&
例7.2.2 求平面上两固定点间连线最短的曲线
J (x(g)) T 1 x&2(t)dt t0
F d F d F 0
对状态、控制以及终点状态的要求，复合型性能 指标
(x(T ),T ) 0 积分型性能指标，表示对整个状
态和控制过程的要求 L(x(t),u(t),t) 0 终点型指标，表示仅对终点状态
的要求
7.2 求解最优控制的变分方法
7.2.1 泛函与变分法基础
平面上两点连线的长度问题
其弧长为
S 1 1 x&2 (t)dt 1
u
令 &(t) H (x, ,u,t)
x
伴随方程
(T ) (x(T ))
x(T )
有 J T (H )T udt 0 t0 u
H u
0
必要条件
例7.2.5 考虑状态方程和初始条件为
x(t) u(t)
x(t0 ) x0
的简单一阶系统，其指标泛函为
J 1 cx2 (T ) 1 T u2dt
一般来说，曲线不同，弧长就不同，即弧长依赖 于曲线，记为 S(x(。g))
S(x(g)) ，称为泛函。 x(t) ，称泛函的宗量
泛函与函数的几何解释
宗量的变分
x(t) x(t) x(t)
泛函的增量 J (x(g)) J (x(g) x) J (x(g)) L(x, x) r(x, x)
x dt x& dt x& ，
F 1 x2 (t)
d
dt
2x&
0
1 x&2
x(t) a
x(t) at b
直线
x c 1 x2
7.2.3 横截条件
横截 条件
[F (& x&) F ] 0
x& T
左端固定右端沿曲线变动 终点值与终点的变分
J
T T
t0 F (x x, x& x&,t)dt | 0
J
J[x
x] 0
0
上述方法与结论对多个未知函数的泛数同样适用
7.2.2 欧拉方程
泛函
J (x(g))
T
F(x&, x,t)dt
t0
F d F 0 x dt x&
F(x, x, t) 有二阶连续偏导数
两端固定 x(t0 ) x0 x(T ) x1
变分
J T (F x& F x)dt t0 x& x
x(T ) 2
由必要条件
H u 0
u
得
u cx(T )
代入状态方程求解得
x(t) cx(T )(t t0 ) x0
令 t T ，则有
x(T )
x0
1 c(T t0 )
则最优控制为
u(t) cx(T ) cx0 c(T t0 )
7.2.6.2 固定端问题
x(t) tt0 x0
状态方程 引进乘子
f (x, x, t) 0
泛函
T
J F(x&, x,t)dt
t0
(t) (1(t),L L , n (t))T
构造新的函 F F T f
数和泛函
Jˆ T (F T f )dt T Fdt
t0
t0
欧拉方程
F * d F * 0 x dt x&
约束方程
F * d F *
7.1 最优控制问题
7.1.1 两个例子
例7.1.1 飞船软着陆问题 宇宙飞船在月 球 表 面着陆时速度必须为零，即软着陆， 这要靠 发动机的推力变化来完成。问题是如 何选择 一个推力方案，使燃料消耗最小。
m 飞船的质量，h 高度，v 垂直速度， g 月球重力加速度常数，M 飞船自身质量 F 燃料的质量
x1 (t )
1 6
a1t 3
1 2
a2t
2
a3t
a4
x2
(t)
1 2
a1t
2
a2t
a3
利用边界条件，可得：
a1 3
7 a2 2
a3 1
a4 1
于是，极值曲线和 u(t) 为：
x1 (t )
1 2
t3
7 4
t2
t
1
x2 (t)
3 2
t2
7 2
t
1
u(t) 3t 7 2
7.2.6 最优控制问题的变分解法 7.2.6.1 自由端问题
x1(t) Q(t) x2 (t) x&1(t) Q&(t)
约束方程可定为
x&1(t) x2 (t) 0 x&2 (t) u(t) 0
边界条件为
x1(0) 1 x2 (0) 1 x1(2) 0
x2 (2) 0
引进乘子 (t) (1(t), 2 (t))T
构造函数
F
F T
f
L(x,x) lim r(x x) x L(x,x) 0 x
例7.2.1 求泛函的变分
T
J F(x&, x,t)dt t0
J
J (x x)
0
T F(x& x&, x x,t)dt t0
T (F x& F x)dt t0 x& x
定理7.2.2 若泛函 J (x)有极值，则必有 J 0
x(T )
T ((H &)T x (H )T u)dt
x
t0 x
u
& H
x
(t)
T
x(T )
(x(T ))
x(T )
k
vj
j 1
g j x(T )
T (H )T udt 0
t0 u
必要条件 H 0
u
，
，
x(t) H
x(t) t0 x0
&(t) H
x
(t )
T
(x(T )) x(T )
(t)
7.1.2 问题描述
(1) 状态方程 一般形式为
x(t) Rn
u(t) Rr
x&(t) f (x(t),u(t),t) x(t) |tt0 x0 为n维状态向量 为r维控制向量
f (x(t),u(t),t) 为n维向量函数
给定控制规律 u(t) f (x(t),u(t),t) 满足一定条件时，方程有唯一解
x(t) T xT
性能指标
T
J L(x,u,t)dt t0
，
J
T
(H
t0
&Tx)dt
Tx
T
Tx
t0
J T ((H &)T x (H )T u)dt
t0 x
u
&(t) H
x
T (H )T udt 0
t0 u
H 0 u
例7.2.6 重解例7.2.4 x&1(t) x2 (t) x&2 (t) u(t)
2
2 t0
其中 c 0 ，t0 ，T 给定，试求最优控制 u(t) ，使
J 有极小值。
解:引进伴随变量 (t) ，构造哈米顿函数
H L(x, , t) (t) f (x, u, t) 1 u2 u
2
伴随方程
&(t) H 0
x
边界条件
，
(T ) 1 cx2 (T ) cx(T )
T F (
t0 x
d dt
F ) xdt
x&
F x
x&
T t0
F
T
T
J
F x
x&
T
F
T T
0
Fx&(&
x&)
T
T
FT T
[F
(&
x&) F ] x& T
T
0
例7.2.3 从一固定点到已知曲线有最小长度的曲线
J (x(g)) T 1 x&2(t)dt 欧拉方程 t0
d F 0 dt x&
1 u2 2
1(x&1 x2 ) 2 (x&2 u)
欧拉方程
F * x1d dtF * Nhomakorabea&1
&1
0
F * x2
d dt
F *
x&2
&1 &2
0
F * u
d dt
F * u&
u
2
0
解出 1 a1 2 a1t a2
其中， a1 和 a2 为任意常数。
u a1t a2
将 u(t) 代入约束方程，并求解可得