最优控制中的变分法
合集下载
教材第2章最优控制中的变分法
第 2 章 最优控制中的变分法
在最优控制中由于目标函数是一个泛函数，最优控制的求解可以归结为求泛函极值问 题。变分法是研究泛函极值的一种经典方法，从 17 世纪末开始逐渐发展成一门独立的数学 分支。在力学、光学、电磁学等方面有着广泛的应用。
本章简要介绍经典变分法的基本原理，并把这些原理加以推广，用于解决某些最优控制 问题，重点讨论无约束条件的变分问题、等式约束条件的变分问题以及角点问题。尽管经典 变分法有其局限性，但本章所涉及的变分学及最优控制问题的一些基本概念，在最优控制理 论中是很基本的。建立这些概念对最优控制理论的学习是非常重要的。
∂α
α =0
0 ∂α
α =0
∫ ∫ =
1 0
2[
x(t
)
+
αδx(t )]δx(t )dt
|α =0
=
1 2 x(t )δx(t )dt
0
与【例 2-1】的结果完全一致。
【例 2-3】求泛函
∫ J = t1 L[t , x(t ), x (t )]dt t0
的变分。
解：根据式（2-10），所求变分为：
接近度，反之则不成立。
如果泛函 J[ y1 ( x) + y2 ( x)] = J[ y1 ( x)] + J[ y2 ( x)] （2） J[ay( x)] = aJ[ y( x)]
（2—5） （2—6）
则称该泛函为线性泛函，式中 a 为任意常数。 对于线性泛函，泛函值随宗量 y(x)线性变化，例如：
∫ J = t f L[ x(t), u(t), t] t0
（2—2）
可以表示为这种类型的性能指标称为积分型性能泛函。J 的值取决于 u(t),对于不同的
在最优控制中由于目标函数是一个泛函数，最优控制的求解可以归结为求泛函极值问 题。变分法是研究泛函极值的一种经典方法，从 17 世纪末开始逐渐发展成一门独立的数学 分支。在力学、光学、电磁学等方面有着广泛的应用。
本章简要介绍经典变分法的基本原理，并把这些原理加以推广，用于解决某些最优控制 问题，重点讨论无约束条件的变分问题、等式约束条件的变分问题以及角点问题。尽管经典 变分法有其局限性，但本章所涉及的变分学及最优控制问题的一些基本概念，在最优控制理 论中是很基本的。建立这些概念对最优控制理论的学习是非常重要的。
∂α
α =0
0 ∂α
α =0
∫ ∫ =
1 0
2[
x(t
)
+
αδx(t )]δx(t )dt
|α =0
=
1 2 x(t )δx(t )dt
0
与【例 2-1】的结果完全一致。
【例 2-3】求泛函
∫ J = t1 L[t , x(t ), x (t )]dt t0
的变分。
解：根据式（2-10），所求变分为：
接近度，反之则不成立。
如果泛函 J[ y1 ( x) + y2 ( x)] = J[ y1 ( x)] + J[ y2 ( x)] （2） J[ay( x)] = aJ[ y( x)]
（2—5） （2—6）
则称该泛函为线性泛函，式中 a 为任意常数。 对于线性泛函，泛函值随宗量 y(x)线性变化，例如：
∫ J = t f L[ x(t), u(t), t] t0
（2—2）
可以表示为这种类型的性能指标称为积分型性能泛函。J 的值取决于 u(t),对于不同的
第二章 变分法及其在最优控制中的应用
2 dx 2 2 dx = 2 dt xx dt x t x
= 其中：
xx x xx x x
2 x
2
t
x x
x
x
2 x x
xt
2 x t
所以 式<10>的全导数欧拉方程形式为：
t0 tf
.
问题：求 u * (t )，使被控过程状态由 x (t 0) 转移到 x (t f ) ，并使目标函数
J 最小。
, t ) 代入<4> 解：把<1 >式化为u的显函数形式，即 u F ( x, x 式，则有： . tf J [ x(t ), x(t ), t ]dt 5
a
b
x 的函数
) ) F ( x, y, y F ( x, y, y ]dx J [ y y a y y
b
泛函 J [ y ( x)]的变分 J 可通过增量形式求取：
泛函增量为： J J [ y( x) y( x)] J [ y( x)]
L[ y( x), y( x)] R[ y( x), y( x)]
2、 泛函的极值的定义：
若 泛函 J [ y ( x)] 在任何一条与 y y 0 ( x) 曲线接近的曲 线上的值均不小于 J [ y ( x)] ，即： ， J [ y( x)] J [ y0 ( x)] 0 则称泛函 J [ y ( x)] 在曲线上达到极小值。 泛函极值是一个相对概念 ， y ( x) 实际为相对于y0 ( x) 的一个微 小变化，变化形式有上述两种 :
1 3
x(t )
最优控制变分法
x(t ) x (t ) (t )
将式(1· 2—5)两边对 t 求导，可得
将式(1· 2—5)、(1· 2—6)代入式(1· 2—3)，又得
x(t ) x (t ) (t )
(1· 2—6)
J [ x] L[ x (t ) (t ), x (t ) (t ), t ]dt (1· 2—7) 在式(1· 2—7)中，每选择一个 (t ) ，都可作一条 J [x] 曲 线。选择各式各样的容许的 (t )，可以作出一族 J [x] 曲线，
二、固定端点时间、无约束条件的变分问题 这一节，我们讨论一类最简单的变分问题，即无约束条件、 端点时间固定，只有一个自变量函数的拉格郎问题。通过这个问 题来引出欧拉方程和横截条件。 求解变分问题，就是要把使泛函达到极值的那个自变量函数 找出来，这就需要利用欧拉方程和横截条件。因此，欧拉方程和 横截条件是求解变分问题的基础。 在推导欧拉方程和横截条件时要使用一个定理，这个定理叫 作变分法的基本颈备定理。 本节首先介绍基本预备定理，接着推导欧拉方程，然后讨论 横截条件，最后讨论泛函取极值的充分条件。
2. 欧拉方程 现在，我们来推导欧拉方程和相应的横截条件。首先讨论固定 端点问题，然后讨论未定端点问题。 考虑最简单的泛函
(1· 2—3) L 的极值。其中x(t ) 是 t 二次可微函数； [ x(t ), x(t ), t ]，是变量 x, x和 t 连函函数，并且有连续二阶偏导数，端点时间 t 0 和 t f 固定。 首先研究容许函数（或曲线）端点固定的情况，即规定 x(t 0 ) x0 和 x(t f ) x f 。图1—4示出了一族容许函数。现在的 的问题是要从这一族容许函数(或曲线)中找出使泛函J取极值的函数(或 曲线)，即极值函数或极值曲线。
最优控制问题的变分方法
最优控制问题的变分方法在数学与控制理论中，最优控制问题是研究如何选择最佳的控制策略，以使系统的性能达到最优的问题。
变分方法便是解决最优控制问题的一种重要数学方法。
一、引言最优控制是控制理论中一个重要的分支，它通过对系统建模和优化理论的应用，旨在找到使系统性能达到最佳的控制策略。
而变分方法，则是解决最优控制问题的一种有效途径。
二、变分法概述变分法是以变分运算为基础的数学方法，在最优控制问题中得到了广泛的应用。
它通过对控制信号进行微小的变分，并得到变分函数的极值来确定最优控制策略。
变分法的基本思想是将最优控制问题转化为求解变分问题，从而得到最优解。
三、变分法的基本原理1. 贝尔曼原理贝尔曼原理是变分法的核心原理之一。
它通过将最优控制问题分解为两个部分，即值函数和最优策略。
通过解反向动态规划方程，可以得到最优策略和值函数。
2. 泛函极值原理泛函极值原理是变分法的另一个重要原理。
它通过对泛函进行变分，并通过求解变分问题来得到泛函的极值。
在最优控制问题中，泛函可以表示系统性能的指标，如性能函数、代价函数等。
四、变分法的应用变分法在最优控制问题中有着广泛的应用。
以下是几个典型的应用领域：1. 高维空间中的最优控制在高维空间中的最优控制问题中，变分法能够通过求解变分问题，得到最优控制策略。
2. 动态规划动态规划是最优控制中一个重要的方法，变分法能够通过解反向动态规划方程，得到最优策略和值函数。
3. 时间最优控制时间最优控制问题中，变分法可以通过求解变分问题，得到最优控制策略以及最小时间。
五、总结变分方法是解决最优控制问题的一种重要数学方法。
它通过对控制信号进行微小的变分，并求解变分问题来得到最优控制策略。
变分法的应用非常广泛，能够解决包括高维空间中的最优控制、动态规划和时间最优控制等问题。
通过变分方法，我们能够有效地求解最优控制问题，并得到系统性能达到最优的控制策略。
最优控制问题的变分方法就是如上所述的一种有效的数学方法。
最优控制中的变分法
tf t0
2[x(t)x(t)]x(t)d|t0tt0f
2x(t)x(t)dt
第1章 最优控制中的变分法
(3)泛函的极值 泛函极值的定义：
对于与y0(x)接近的曲线y(x)，泛函J[y(x)] 的增量
J J [ y ( x ) J [ y ] 0 ( x ) 0 或 ] J J [ y ( x ) J [ y ] 0 ( x ) 0 ]
d
J [ y 0 ( x ) ] J [ y 0 ( x ) ε y ( x ) 0 ] d() 0( 1 9 )
根据函数极值的条件，函数φ(ε)在ε=0时达到极值的必要条件为：
dd()00 (11)0
比较（1-9）和（1-10），可见：
J[y0(x) ]0 (1 1)1
根据泛函极值的必要条件，可得欧拉方程
[Lxddt(Lx)]0 Lx ddtLx 0
或 (123)
欧拉方程的展开形式：
L x t2 L x x2 L x x x 2 L 2x0 或(12)4 LxLtx Lxx x Lx x x0
对于某一类函数y(·)中的每一个函 数y(x)，变量J都有一个值与之相对 应，那么变量J称作依赖于函数y(x) 的泛函。
记为： J=J [y(x)]
y(x)称为泛函的宗量
宗量的变分：
yy(x)y0(x)
例1-1问题的本质：泛函极值
第1章 最优控制中的变分法
泛函的连续性：
对任意给定的正数ε，总存在另一个正数δ，当
则泛函J[y(x)] 在曲线y0(x)上达到极值。
泛函极值定理： 若可微泛函J[y(x)]在y0(x)上达到极值，则在y= y0(x)上的变分为零。即
最优控制理论-最优控制中的变分法
0
(1-3)
ˆ) lim J ( x) J ( x
0
易见
2016/4/2
ˆ (t ), lim x(t ) x
0
6
b a u (t )v(t )dt
b a u (t )dv(t )
b u (t )v(t ) |a
b a v(t )du (t )
将式(1-2)对求导数，并利用式(1-3)可得
J ( x) L x L x dt 0 t [ 0 0 x x tf ˆ, x ˆ, t ) ˆ, x ˆ, t ) L( x L( x { (t ) (t ) }dt 0 t0 x x
tf
第一章
最优控制中的变分法
2016/4/2
1
主要内容：
• 固定端点的变分问题 • 变动端点的变分问题 • 等式约束条件下的变分问题 • 小结
2016/4/2
2
§1-1 固定端点的变分问题
所谓固定端点问题，是指状态空间中轨线(或轨迹)的 起点和终点都是预定的。 例:设有某航空班机从A城飞往B城，试寻求一个控制，使 飞机消耗的燃料最少。 在飞机起飞和降落的时刻，标志其飞行状态的量，如 位移(或角位移)、速度(或角速度)等，都是确定的。目标 是要寻找一控制规律，用以控制喷气发动机推力的大小和 方向，使飞机沿最优轨线航行，以期所消耗的燃料最少。 显然无论飞机沿什么轨线飞行，其始态和终态都是固 定的，用状态空间的话来说，飞机的任一轨线都必须通过 2016/4/2同一起点和同一终点。 3
t[ y ( x )] 0 f
ˆ (t ) (t ) ，当ε 在0与1间变动 即x
时表示通过A，B两点间的一束轨线，
最优控制问题的变分法解析
最优控制问题的变分法解析最优控制问题是应用数学中的一个重要分支，目标是通过对系统的动力学方程和性能指标进行数学建模，找到使性能指标最优化的控制策略。
在寻找最优控制策略的方法中，变分法起到了至关重要的作用。
本文将对最优控制问题的变分法进行解析，介绍其基本原理和应用方法。
一、变分法的基本原理变分法是数学中的一种计算最优化问题的方法，它基于函数的变分性质进行求解。
在最优控制问题中，我们通过变分法来求解函数的最小值，即找到一条函数曲线使得性能指标达到最优。
变分法的基本思想是将函数曲线看作是一个整体，通过对其进行微小的扰动来求解极值。
二、最优控制问题的变分表述最优控制问题通常可以用一组动力学方程和性能指标函数来表述。
假设已知系统的状态方程为：dx(t)/dt = f(x(t), u(t), t)其中，x(t)表示系统的状态，u(t)表示控制变量，t表示时间。
我们的目标是通过选择合适的控制变量u(t)，使得性能指标函数J[x(t), u(t), t]最小化。
性能指标函数通常由目标状态和控制变量的组合表示。
为了求解最优控制问题，首先定义一个泛函：J[u(t)] = ∫L(x(t), u(t), t)dt其中，L(x(t), u(t), t)表示拉格朗日函数，它由性能指标函数和动力学方程组合而成。
通过对泛函J[u(t)]进行变分的方式，我们可以得到最优控制问题的欧拉-拉格朗日方程：δJ[u(t)]/δu(t) = 0三、求解最优控制问题的步骤1. 构建拉格朗日函数L(x(t), u(t), t)：根据最优控制问题的具体要求，我们可以选择合适的拉格朗日函数。
通常情况下，拉格朗日函数由系统的动力学方程和性能指标函数组合而成。
2. 求解欧拉-拉格朗日方程：将拉格朗日函数带入欧拉-拉格朗日方程，利用变分法的原理求取控制变量u(t)。
3. 验证最优性条件：通过对极值条件的验证来确定所得到的解是否是最优解。
验证的方法包括极大极小值的判断、边界条件的验证等。
变分法求解最优控制
控制的最优化性能指标：
J (u(t )) (t f , x(t f )) F (t, x(t ), u(t ))dt
t0 tf
性能指标J(u(t))在数学上称为泛函，在控 制系统中称为损失函数。
变分法基本概念
1.泛函
设S 为一函数集合，若对于每一个函数 x(t)∈S有一个实数J 与之对应，则称J 是 定义在S 上的泛函，记作J (x(t))。S 称为 J 的容许函数集。
t0
tf
再令 J 1 0 ，由 便得：
dt f ,x(t f ),x,u, 的任意性，
(i) x * , * 必满足正则方程： 1.状态方程
x H f (t, x, u)
2.协态方程
H x
* *
(ii)哈密顿函数 H (t, x , u, ) 作为u的函数，也 必须满足
定义一个标量函数：
H (t, x, u, ) F (t, x, u) T (t ) f (t, x, u)
称为哈密顿函数。所以新的性 能指标为
J 1 ( x, u, ) (t f , x(t f )) [ H (t, x, u, ) T x]dt
t0 tf
t0 tf
d (dt fy) [t f fF xt ,yxdx , t ) t t f F'( ) y ) ( (, ) , u dy a (
T
b( y )
] [x(t f )] x (t f )
T
T tf
[(x) H x (u) H u ( ) H ( ) x]dt (t f )x t t f (x)T dt t0 f y ( x, y)dx f [b( y), y)]b' ( y) f [a( y), y)]at'0( y)
J (u(t )) (t f , x(t f )) F (t, x(t ), u(t ))dt
t0 tf
性能指标J(u(t))在数学上称为泛函，在控 制系统中称为损失函数。
变分法基本概念
1.泛函
设S 为一函数集合，若对于每一个函数 x(t)∈S有一个实数J 与之对应，则称J 是 定义在S 上的泛函，记作J (x(t))。S 称为 J 的容许函数集。
t0
tf
再令 J 1 0 ，由 便得：
dt f ,x(t f ),x,u, 的任意性，
(i) x * , * 必满足正则方程： 1.状态方程
x H f (t, x, u)
2.协态方程
H x
* *
(ii)哈密顿函数 H (t, x , u, ) 作为u的函数，也 必须满足
定义一个标量函数：
H (t, x, u, ) F (t, x, u) T (t ) f (t, x, u)
称为哈密顿函数。所以新的性 能指标为
J 1 ( x, u, ) (t f , x(t f )) [ H (t, x, u, ) T x]dt
t0 tf
t0 tf
d (dt fy) [t f fF xt ,yxdx , t ) t t f F'( ) y ) ( (, ) , u dy a (
T
b( y )
] [x(t f )] x (t f )
T
T tf
[(x) H x (u) H u ( ) H ( ) x]dt (t f )x t t f (x)T dt t0 f y ( x, y)dx f [b( y), y)]b' ( y) f [a( y), y)]at'0( y)
最优控制变分法
AB
x2 x1
1 y ' 2 dx
通过A，B两点的函数若为 y f (x) ，则不同的函数有不同的 弧长，即弧长是 y 的函数，记为 J ( y ) ，即
x2 1 y 2 dx J ( y ) AB x1
因此，求弧长的定积分是一种变换，它把x1与x2之间各点相应 的y变换为标量（弧长）。由此例可以看出定积分为泛函。 以下是各章经常要用到下列形式的目标函数
以下计算第二个积分，实际上是估计余项。 按泛函求极值的
ˆ 与 y 的一级距离应落入ε邻区内（由于本节的泛函 定义， y
只对 y 与 y’提出要求，故只用到一级距离），即令
ˆ y| d 0 max | y
x [ x 0 , x1 ]
ˆ ' y ' | d 1 max | y
x [ x 0 , x1 ]
第一章
变分法
1.1 泛函 1.2变分的推演 1.3Euler方程 1.4向量情形 1.5有约束的情形 1.6端点可变情形 1.7变分的另一种定义
1.1 泛函
（1）定义（泛函）
泛函是一映射L : J K , J Y , Y为一向量空间， K 一般为实数 域R或复数域C。 这说明泛函是一种变换，它把向量空间Y中某一子集J 映射为 K的某个子集。 例：曲线的弧长 在xy平面上过A（x1 ,y1）,B(x2,y2)两点之间的曲线弧长公式为
| [ ( Fy Fy ) ' (F y ' Fy ' )]dx | | |dx
x0 x0
x1
x1
[| (Fy Fy ) | | ' ( F y ' Fy ' ) |]dx
变分法与最优控制
t
一阶相近
当函数x(t)与 x0(t)之差的绝对值以及它们的一 阶导数 x(t ) 和 x0 (t ) 之差的绝对值，即
x(t ) x0 (t ) 和 x(t ) x0 (t )
x x(t) x0(t)
t1 t t2
都很小，称函数x(t)与函数x0(t)是一阶相近的。
求解综合型（波尔扎）问题
2.2 无约束最优化问题
1、无约束固定端点泛函极值必要条件
问题 2-1 无约束固定终端泛函极值问题为:
其中, L[ x(t ), x(t ), t ] 及x(t)在[t0,tf]上连续可微， t0及tf 固定，x(t0)= x0，x(tf)= xf， x(t ) R n
求满足上式的极值轨线x*(t)。
边界条件
定理2－5 若给定曲线x(t)的始端x(t0)= x0和终端x(tf)= xf， 则泛函
J [ x(t )] L[ x(t ), x(t ), t ]dt
t0 tf
达到极值的必要条件是，曲线x(t)满足欧拉方程
欧拉(Euler)方程
d Lx L x 0 或 dt
泛函的变分 当宗量x(t)有变分时，泛函的增量可以表示为
J [ x(t )] J [ x(t ) x(t )] J [ x(t )] L[ x(t ),x(t )] r[ x(t ),x(t )]
线性 主部
其中，L[x(t)，x(t)]是关于x(t)的线性连续泛函；
虑各种阻力的影响，问应取怎样 的路径，才能使所经历的时间最 短？
结论:最速降线是一条圆滚线。
在A、B两点所在的竖直 平面内选择一坐标系， 如上图所示。 A 点为坐 标原点，水平线为 x 轴， 铅垂线为y轴。
最优控制第1章 变分法
则称泛函f((x)在 x0 处是连续的。 定义2（泛函的连续性）若对任意给定的 ε > 0 ，总存 在 δ > 0，当 x(t) − x0 (t) ≤ δ 时，就有：
| J [ x(t )] − J [ x0 (t )] |< ε
其中，x(t)为在[0,3]上连续可积函数。J[x]表示由函数x(t) 在区间[0,3]上围成区域的面积。 当 x(t)=t 时，有J[x]=4.5 ；当 x( t ) = e t 时，有 J [ x] = e3 − 1 。 ¾ 通俗地说，泛函就是“函数的函数” 。 ¾ 泛函与函数的区别: 仅在于泛函的宗量(自变量函数) x(t) 是函数，而函数的自变量x是变数（独立变量）。
则称泛函J[x(t)]在 x0(t) 处是连续的。
定义3' (线性函数） 如果函数f(x) 满足： （1）齐次性：f (ax) = af ( x) ∀x ∈Ω, a ∈ R, ax ∈Ω （2）叠加性：f ( x1 + x2 ) = f ( x1) + f ( x2 ) ∀x1, x2 , x1 + x2 ∈Ω 则称函数f(x)是线性函数。 根据定义，容易判断f(x)=2x是线性函数，g(x)=2/x是非线性 函数。 定义3 (线性泛函）如果泛函J[x(t)] 满足： （1）齐次性： J[ax(t )] = aJ[ x(t )] （2）叠加性： J[ x1(t ) + x2 (t )] = J[ x1(t )] + J[ x2 (t )] 则称泛函J[x(t)]是线性泛函。
暂态性能、稳态误差等控制性能。
一、最优控制问题的几个实例 1. 登月舱的月球软着陆问题
为使宇宙飞船在月球表面上实现软着陆，必须寻求着陆过 程中发动机推力的最优控制规律，使燃料的消耗量最少。 设飞船的质量为m(t)，离月球表面的高度为h(t)，飞船的垂 直速度为v(t)，发动机推力为u(t)，月球表面的重力加速度 为g，不携带燃料的飞船质量为M，初始燃料的质量为F， 则飞船的运动方程可表示为：
part II Chap 2 变分法及其在最优控制中的应用
则最优解为： x1* ( t ) = 极值轨线： 极值控制：
1 3 7 2 t − t + t +1 2 4 3 2 7 * x2 (t ) = t − t + 1 2 2
7 u ( t ) = 3t − 2
*
14
极值轨线和极值控制曲线如图所示：
1 0
θ (t ) = x1* (t )
7 6
t
* θ (t ) = x2 (t )
～见书P529 表10－1 说明：以上Euler方程的形式与 无约束 有等式约束 的泛函极值问题中的Euler方程完全相同。
16
【例】求从平面上一点x(0)=1至直线 x(t f ) = c(t f ) = 2 − t f 取最短距离的轨线。
解：已知弧线元：ds = ( dt )2 + ( dx )2
1 1+ x
2
⋅2x =
x 1+ x
2
17
d 代入Euler方程，得： d t ⋅
x 1+ x
2
= 0
即
x
1 + x
2
= C
（ C : const)
x = ±
c
（a，b均为const） 由初态x(0)=1 得: b=1。常数a则由横截条件确定 现： 自由（未知）,末端受约束，方程为：x(t f ) = c(t f ) = 2 − t f tf 由横截条件：⎡ L ( x * , x * , t ) + ( c − x ) T ∂ L ⎤ = 0 ⎢ ∂x ⎥ t f ⎣ ⎦ ⎡ ⎤ x 得： 1 + x 2 + ( − 1 − x ) ⋅ =0
∂ δ J [ x, δ x ] = J [ x + εδ x ] ∂ε ε =0
最优控制第三章用变分法解最优控制问题
H 2x
x
H 0 2u 0 2u
u
u x
x u x u u x x x 0
2023/12/27
x(t ) c1et c2et x(t) c1et c2et u
由边界条件和横截条件 x(0) x0
H (t f ) [ t ]t f
cc11
c2 x0 c2 0
约束条件 x(t0 ) x0 , M [x(t f ), t f ] 0
正则方程 x H
H x
控制方程 H 0 u
2023/12/27
边界条件和横截条件
终端固定
x(t0 ) x0 ,
M [x(t f )] 0 x(t f ) x f
tf
给定
终端自由 终端约束
终端固定
tf
自由
终端自由 终端约束
2 (t f
)
x2 (t f
)
M (
x2 (t f
)T )
v(t f
)
2 (2) x2 (2) 2 5v c2e2 c1
代入 x1 (2), x2 (2)
2023/12/27
14
解得
0.5c2 c3 c1 0.5c2
c4 c3
0 0
7c1 3e2c2 4e2c3 c4 15 x1 (2) 5x2 (2) 15
(t f
)
[ x
(M x
)T v] tt f
M [x(t f ), t f ] 0
H (t f
)
[
t
vT
M t
] tt f
9
例2 已知系统状态方程为 x u(t), x(0) 1
求最优控制 u* (t) 使性能指标 J 1e2t (x 2 u 2 )dt 为最小 0
4 最优控制-变分法
I D (t )
≤ I D max
tf 0
（5） ） （6） ）
性能指标
J =∫
dt = tf
最优控制问题为：在状态方程的约束下， 最优控制问题为：在状态方程的约束下，寻求最优控制 I D (t )≤ I D max ，将 x (t f ) 转移到 x (0) ，使J 为极小。 为极小。
最优控制问题的基本组成
泛函与变分法
一、泛函与变分 1、泛函的基本定义： 、泛函的基本定义： 变量J 如果对于某个函数集合{x(t )}中的每一个函数 x(t )，变量 都有一个 值与之对应，则称变量J 的泛函， 值与之对应，则称变量 为依赖于函数 x(t ) 的泛函，记作 J [x(t )] 可见，泛函为标量，可以理解为“函数的函数” 可见，泛函为标量，可以理解为“函数的函数” 例如： 例如：
0 0 & x1 0 1 x1 K 系统方程为 1 x = 0 0 x + m I D + TF J 2 J D &2 D x ( 0) 0 x1 (t f ) θ 初始状态 1 = x (0) 0 末值状态 = 2 x2 (t f ) 0
系统数学模型
& 系统状态方程为 x(t ) = f [ x(t ), u (t ), t ], t ∈ [t0 , t f ]
边界条件与目标集 容许控制 变化范围受限制的控制- 闭集 控制域 Ω 闭集- 控制域， 变化范围受限制的控制 -闭集 -控制域， ; 容许控制 u (t ) ∈ Ω 变化范围不受限制的控制- 开集 变化范围不受限制的控制 -开集 性能指标 性能泛函、 性能泛函、目标函数或代价函数
用变分法求解最优控制问题
tf t0
F
x
x
F x
x
o
(
x)2, (
x)
2
dt
上式中 o[( x)2 , ( x)2 ]是高阶项。
（泰勒级数展开）
根据定义，泛函的变分 J 是 J 的线性
主部，即
J
tf t0
F x
x
F x
x dt
与以前不同的是，在动态问题中拉格朗日乘子 向量(t) 是时间函数。
在最优控制中经常将 (t )称为伴随变量，协态（协状 态向量）或共轭状态。引入 (t) 后可作出下面的增 广泛函
Ja X (t f ),t f
tf t0
FX ,U,t T (t) f (X ,U,t) X
F x
d dt
(
F x
)
0
（5-3）
上式称为欧拉——拉格朗日方程。
（5-2）式中第二项为零的条件要分两种情况来讨论：
1、 固定端点的情况
这时 x(t0 ) x0 , x(t f ) x f ，它们不发生变化，所 以 x(t0 ) x(t f ) 0 。而（5-2）中第二项可写成
第五章 用变分法解最优控制 —泛函极值问题
本章主要内容
5.1 变分法基础 5.2 无约束条件的泛函极值问题 5.3 有约束条件的泛函极值——动态系
统的最优控t f 制问题 5.4 小结
在动态系统最优控制问题中，性能指标是一个 泛函，性能指标最优即泛函达到极值。解决泛函极 值问题的有力工具是变分法。所以下面再次列出变 分法中的一些主要结果，可对照微分学中的结果来 理解，以加深印象及理解。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
tf
ds (dt) 2 (dx) 2 1 x 2 dt
x
2
J [ x (t )] 0
1 x 2 dt
1
0 1 2
d x ( )0 由欧拉方程： 2 dt 1 x x c c, x a, 积分得： 2 2 1 x 1 c t
J [ y ( x)] J [ y0 ( x)]
则称泛函J[y(x)]在点y0(x)处是连续的。 两个函数接近度的概念：k阶接近度
零阶接近度
一阶接近度
第2章 最优控制中的变分法
线性泛函： 泛函J[y(x)]如果满足下列两个条件：
1) 2)
J [ y1 ( x) y2 ( x)] J [ y1 ( x)] J [ y2 ( x)] J [cy( x)] cJ[ y( x)]
第2章 最优控制中的变分法
2.4 具有等式约束条件的最优控制问题
在最优控制问题中，泛函J[x(t)]所依赖的函数会受到—定约束条件的 限制。由于受控系统的数学模型往往用微分方程来描述，所以等式约束 主要是指系统的状态方程约束。此外，端点约束通常也是等式约束。 解决具有等式约束条件的最优化问题的基本思路，就是应用拉格朗 日乘子法，将有约束条件的泛函极值问题转化为无约束条件的泛函极值 问题。 1．微分约束 问题：已知受控系统状态方程为 x f [ x (t ), u (t ), t ]
t0
tf
问题为：确定一个函数x(t)，使J[x(t)] 达到极小（大）值。这条能使泛函 J[x(t)] 达到极值的曲线称为极值曲线（轨线），记作： x*(t) 对于端点固定的情况，容许轨线x(t)应满足下列边界条件：
x(t0 ) x0
x(t f ) x f
(1 14)
对上述目标泛函求取极值的思路：求取泛函的变分（通过泰勒展开， 求取泛函增量的线性主部，）
L L[ x, x]
dx L d L dL 2 x L d L dx [ ( )] 2 ( ) [ ( )] 0 dt x dt x dt t x dt x dt d L ]0 [L x dt x
(1 25)
(1 26)
再积分，得通解
x(t ) at b
x(0) 1, b 1 2 根据终端横截条件，[ L ( x) Lx ]t 1 x (1 a )
根据始端条件：
f
x 1 x
2
0
得最优轨线方程：
x a 1
x* (t ) t 1
(1 33)
t [t 0 , t f ] x(t 0 ) x0 ,
目标泛函为：J
x(t f ) xt f
(1 34)
d J [ y0 ( x)] J [ y0 ( x) εy( x)] 0 ( ) 0 d
(1 9)
根据函数极值的条件，函数φ (ε)在ε=0时达到极值的必要条件为：
d ( ) 0 0 d
比较（1-9）和（1-10），可见：
(1 10)
y(x)称为泛函的宗量
宗量的变分：
y y ( x) y0 ( x)
第2章 最优控制中的变分法
泛函的连续性：
对任意给定的正数ε，总存在另一个正数δ，当
y ( x) y0 ( x) ,
y ( x) y0 ( x) ,
... ,
( y ( k ) ( x) y0k ) ( x) ,...时
(1 20 )
J
tf
t0
L L [ x x]dt x x
(1 21)
第2章 最优控制中的变分法
J
tf
t0
L L [ x x]dt x x
(1 21)
对式（1-21）中被积函数第二项分部积分(消去 x ）
J
第2章 最优控制中的变分法
2．始端固定，终端时间、状态自由
（1）欧拉方程
L d L ( )0 x dt x
（2）横截条件
(1 30)
L xT
L 0 x t f
L x
0
tf
x(t0 ) x0
第2章 最优控制中的变分法
3．始端固定，终端状态受约束
则泛函J[y(x)] 在曲线y0(x)上达到极值。 泛函极值定理： 若可微泛函J[y(x)]在y0(x)上达到极值，则在y= y0(x)上的变分为零。即
J 0
(1 7)
第2章 最优控制中的变分法
证明如下：
( ) J [ y0 ( x) εy ( x)] 0
(1 8)
欧拉方程是泛函极值的必要条件，是否充分还需进一步判断。 （泛函极值的充分条件——勒盖特条件） 欧拉方程是二阶微分方程，只有在个别情况下才能得到封闭形式 的解。（如最速降线问题）
第2章 最优控制中的变分法
2.3 变动端点的最优控制问题
始点x0在曲线x=φ(x)上变动
终点xf在曲线x=ψ(x)上变动
或
(1 23)
欧拉方程的展开形式： L 2 L 2 L 2L x 2 0 x x tx xx x
或 (1 24)
Lx Ltx Lxx x Lxx 0 x
第2章 最优控制中的变分法
欧拉方程的特殊形式（L不显含t时)
整理、简化后可得 若用参数法求解，令
y
c1 1 , c1 . 2 2 1 y 2 gc y ctg ，可得
c1 ( s in ) 2 c1 (1 cos ) 2
ห้องสมุดไป่ตู้
x y
这是圆滚线的参数方程。
第2章 最优控制中的变分法
关于欧拉方程的几点说明：
（1）欧拉方程
L d L ( )0 x dt x
（2）横截条件
(1 30)
L ( x)T
L 0 x t f
x(t f ) (t f )
x(t0 ) x0
第2章 最优控制中的变分法
4．始端变动 （1）欧拉方程
L d L ( )0 x dt x
tf
t0
t f L L L t f t f d L d L [ x]dt x t0 x ( )dt [ ( )]xdt (1 22) t0 t0 x x x dt x dt x
根据泛函极值的必要条件，可得欧拉方程
L d L [ ( )] 0 x dt x d Lx Lx 0 dt
则称为线性泛函。
第2章 最优控制中的变分法
2．泛函的变分 设泛函J[y(x)]为连续泛函，则泛函增量的线性主部称为泛函的变分： 记为： δ J。 可以证明，泛函的变分是唯一的。
如何求解泛函的变分？
借鉴函数f(x)微分的求解：
f ( x dx) 0 f ( x dx)dx 0 f ( x)dx df ( x) x
0
tf
(1 1)
1 2 mv mgy 2 ds v 2 gy dt
dt
(1 2)
(1 3)
ds (dx) 2 (dy) 2 1 y2 dx 2 gy 2 gy 2 gy
J [ y ( x)]
xf
0
1 y2 dx 2 gy
(1 4)
第2章 最优控制中的变分法
与（1-5）类似，可得出泛函J[y(x)] 的求解：
(1 5)
J [ y( x)]
J [ y( x) y( x)] 0
(1 6)
第2章 最优控制中的变分法
例：求下列泛函的变分
J x 2 (t )dt
t0
tf
J J [ x(t ) x(t )] | 0 tf t [ x(t ) x(t )]2 dt | 0 0 t 2[ x(t ) x(t )]x(t )dt | 0
第2章 最优控制中的变分法
1．始端固定，终端时间固定、状态自由
（1）欧拉方程
L d L ( )0 x dt x
（2）横截条件
(1 30)
L x
0
tf
x(t0 ) x0
第2章 最优控制中的变分法
例：求使指标
J ( x 2 x3 )dt
0
*
1
取极值的轨迹 x (t ) ，并要求 x* (0) 0 ，但对 x * (1) 没有限制。
最速降线问题指标函数为：
J [ y ( x)]
xf
0
1 y2 dx 2 gy
1 y2 2 gy y
L L[ y ( x ), y ( x )]
1 y2 2 gy
代入欧拉方程的变形式：
L yL y y 2 gy (1 y )
2
c
(1 29)
第2章 最优控制中的变分法
容许轨线是由极值曲线微小摄动而成，即
x(t ) x* (t ) (t )
(1 15)
(1 16)
(t0 ) (t f ) 0 x(t ) (t )
J L[ x* (t ), x* (t ), t ]dt
* t0 tf
第2章 最优控制中的变分法
第2章 最优控制中的变分法
本章主要内容：
2.1 变分的基本概念
2.2 固定端点的最优控制问题
2.3 变动端点的最优控制问题 2.4 具有等式约束条件的最优控制问题
2.5 角点条件
第2章 最优控制中的变分法
2.1 变分的基本概念
ds (dt) 2 (dx) 2 1 x 2 dt
x
2
J [ x (t )] 0
1 x 2 dt
1
0 1 2
d x ( )0 由欧拉方程： 2 dt 1 x x c c, x a, 积分得： 2 2 1 x 1 c t
J [ y ( x)] J [ y0 ( x)]
则称泛函J[y(x)]在点y0(x)处是连续的。 两个函数接近度的概念：k阶接近度
零阶接近度
一阶接近度
第2章 最优控制中的变分法
线性泛函： 泛函J[y(x)]如果满足下列两个条件：
1) 2)
J [ y1 ( x) y2 ( x)] J [ y1 ( x)] J [ y2 ( x)] J [cy( x)] cJ[ y( x)]
第2章 最优控制中的变分法
2.4 具有等式约束条件的最优控制问题
在最优控制问题中，泛函J[x(t)]所依赖的函数会受到—定约束条件的 限制。由于受控系统的数学模型往往用微分方程来描述，所以等式约束 主要是指系统的状态方程约束。此外，端点约束通常也是等式约束。 解决具有等式约束条件的最优化问题的基本思路，就是应用拉格朗 日乘子法，将有约束条件的泛函极值问题转化为无约束条件的泛函极值 问题。 1．微分约束 问题：已知受控系统状态方程为 x f [ x (t ), u (t ), t ]
t0
tf
问题为：确定一个函数x(t)，使J[x(t)] 达到极小（大）值。这条能使泛函 J[x(t)] 达到极值的曲线称为极值曲线（轨线），记作： x*(t) 对于端点固定的情况，容许轨线x(t)应满足下列边界条件：
x(t0 ) x0
x(t f ) x f
(1 14)
对上述目标泛函求取极值的思路：求取泛函的变分（通过泰勒展开， 求取泛函增量的线性主部，）
L L[ x, x]
dx L d L dL 2 x L d L dx [ ( )] 2 ( ) [ ( )] 0 dt x dt x dt t x dt x dt d L ]0 [L x dt x
(1 25)
(1 26)
再积分，得通解
x(t ) at b
x(0) 1, b 1 2 根据终端横截条件，[ L ( x) Lx ]t 1 x (1 a )
根据始端条件：
f
x 1 x
2
0
得最优轨线方程：
x a 1
x* (t ) t 1
(1 33)
t [t 0 , t f ] x(t 0 ) x0 ,
目标泛函为：J
x(t f ) xt f
(1 34)
d J [ y0 ( x)] J [ y0 ( x) εy( x)] 0 ( ) 0 d
(1 9)
根据函数极值的条件，函数φ (ε)在ε=0时达到极值的必要条件为：
d ( ) 0 0 d
比较（1-9）和（1-10），可见：
(1 10)
y(x)称为泛函的宗量
宗量的变分：
y y ( x) y0 ( x)
第2章 最优控制中的变分法
泛函的连续性：
对任意给定的正数ε，总存在另一个正数δ，当
y ( x) y0 ( x) ,
y ( x) y0 ( x) ,
... ,
( y ( k ) ( x) y0k ) ( x) ,...时
(1 20 )
J
tf
t0
L L [ x x]dt x x
(1 21)
第2章 最优控制中的变分法
J
tf
t0
L L [ x x]dt x x
(1 21)
对式（1-21）中被积函数第二项分部积分(消去 x ）
J
第2章 最优控制中的变分法
2．始端固定，终端时间、状态自由
（1）欧拉方程
L d L ( )0 x dt x
（2）横截条件
(1 30)
L xT
L 0 x t f
L x
0
tf
x(t0 ) x0
第2章 最优控制中的变分法
3．始端固定，终端状态受约束
则泛函J[y(x)] 在曲线y0(x)上达到极值。 泛函极值定理： 若可微泛函J[y(x)]在y0(x)上达到极值，则在y= y0(x)上的变分为零。即
J 0
(1 7)
第2章 最优控制中的变分法
证明如下：
( ) J [ y0 ( x) εy ( x)] 0
(1 8)
欧拉方程是泛函极值的必要条件，是否充分还需进一步判断。 （泛函极值的充分条件——勒盖特条件） 欧拉方程是二阶微分方程，只有在个别情况下才能得到封闭形式 的解。（如最速降线问题）
第2章 最优控制中的变分法
2.3 变动端点的最优控制问题
始点x0在曲线x=φ(x)上变动
终点xf在曲线x=ψ(x)上变动
或
(1 23)
欧拉方程的展开形式： L 2 L 2 L 2L x 2 0 x x tx xx x
或 (1 24)
Lx Ltx Lxx x Lxx 0 x
第2章 最优控制中的变分法
欧拉方程的特殊形式（L不显含t时)
整理、简化后可得 若用参数法求解，令
y
c1 1 , c1 . 2 2 1 y 2 gc y ctg ，可得
c1 ( s in ) 2 c1 (1 cos ) 2
ห้องสมุดไป่ตู้
x y
这是圆滚线的参数方程。
第2章 最优控制中的变分法
关于欧拉方程的几点说明：
（1）欧拉方程
L d L ( )0 x dt x
（2）横截条件
(1 30)
L ( x)T
L 0 x t f
x(t f ) (t f )
x(t0 ) x0
第2章 最优控制中的变分法
4．始端变动 （1）欧拉方程
L d L ( )0 x dt x
tf
t0
t f L L L t f t f d L d L [ x]dt x t0 x ( )dt [ ( )]xdt (1 22) t0 t0 x x x dt x dt x
根据泛函极值的必要条件，可得欧拉方程
L d L [ ( )] 0 x dt x d Lx Lx 0 dt
则称为线性泛函。
第2章 最优控制中的变分法
2．泛函的变分 设泛函J[y(x)]为连续泛函，则泛函增量的线性主部称为泛函的变分： 记为： δ J。 可以证明，泛函的变分是唯一的。
如何求解泛函的变分？
借鉴函数f(x)微分的求解：
f ( x dx) 0 f ( x dx)dx 0 f ( x)dx df ( x) x
0
tf
(1 1)
1 2 mv mgy 2 ds v 2 gy dt
dt
(1 2)
(1 3)
ds (dx) 2 (dy) 2 1 y2 dx 2 gy 2 gy 2 gy
J [ y ( x)]
xf
0
1 y2 dx 2 gy
(1 4)
第2章 最优控制中的变分法
与（1-5）类似，可得出泛函J[y(x)] 的求解：
(1 5)
J [ y( x)]
J [ y( x) y( x)] 0
(1 6)
第2章 最优控制中的变分法
例：求下列泛函的变分
J x 2 (t )dt
t0
tf
J J [ x(t ) x(t )] | 0 tf t [ x(t ) x(t )]2 dt | 0 0 t 2[ x(t ) x(t )]x(t )dt | 0
第2章 最优控制中的变分法
1．始端固定，终端时间固定、状态自由
（1）欧拉方程
L d L ( )0 x dt x
（2）横截条件
(1 30)
L x
0
tf
x(t0 ) x0
第2章 最优控制中的变分法
例：求使指标
J ( x 2 x3 )dt
0
*
1
取极值的轨迹 x (t ) ，并要求 x* (0) 0 ，但对 x * (1) 没有限制。
最速降线问题指标函数为：
J [ y ( x)]
xf
0
1 y2 dx 2 gy
1 y2 2 gy y
L L[ y ( x ), y ( x )]
1 y2 2 gy
代入欧拉方程的变形式：
L yL y y 2 gy (1 y )
2
c
(1 29)
第2章 最优控制中的变分法
容许轨线是由极值曲线微小摄动而成，即
x(t ) x* (t ) (t )
(1 15)
(1 16)
(t0 ) (t f ) 0 x(t ) (t )
J L[ x* (t ), x* (t ), t ]dt
* t0 tf
第2章 最优控制中的变分法
第2章 最优控制中的变分法
本章主要内容：
2.1 变分的基本概念
2.2 固定端点的最优控制问题
2.3 变动端点的最优控制问题 2.4 具有等式约束条件的最优控制问题
2.5 角点条件
第2章 最优控制中的变分法
2.1 变分的基本概念