用变分法求解最优控制问题
合集下载
第6章 用变分法求解最优控制问题
§6－2 泛函与变分的基本概念
3.泛函的变分 ● 泛函的增量 由自变量函数 x(t ) 的变分 x(t ) 引起泛函 J [ x(t )]的增量
J J [ x* (t ) x(t )] J [ x* (t )] 为泛函 J [ x(t )] 的增量。
f {x(t f ); g1[ x(t f )] 0, g 2 [ x(t f )] 0}
3. 容许控制 控制量受客观条件限制所能取值得范围。
U {u (t )； ( x, u ) 0} u (t ) U
§6－1 最优控制问题的一般提法
4. 性能指标 tf L[ x(t ), u (t ), t ]dt （1）积分型性能指标： J t0 反映控制过程中对系统性能的要求。
在容许控制集合 U 中，寻找控制向量 u (t ) U , t [t0 , t f ] ，使系统由 给定的初始状态出发，在 t t0 时刻转移到规定的目标集，并使性能 tf 指标： J [ x(t ), t ] L[ x(t ), u (t ), t ]dt
f f
取得极小值。
t0
1 2
若 x(t ) t 有
t x ( t ) e 若 有
§6－2 泛函与变分的基本概念
2.泛函自变量的变分 泛函 J [ x(t )] 的自变量函数 x(t ) 与标称函数 x* (t )之间的差值函数
x x(t ) x(t ) x* (t ) 称为泛函自变量的变分，记作 x(t )或 x 。 x(t ) x (t ) B 设 x (t ) 为 x(t ) 的容许曲线，即 x(t ) x (t ) x* (t ) (t ) x* (t ) 令 0 1 A 则 x* (t ) x* (t ) (t ) x (t ) t 这样： x(t ) (t ) x(t ) x* (t ) (t ) x* (t ) x(t )
第二章 变分法及其在最优控制中的应用
2 dx 2 2 dx = 2 dt xx dt x t x
= 其中：
xx x xx x x
2 x
2
t
x x
x
x
2 x x
xt
2 x t
所以 式<10>的全导数欧拉方程形式为：
t0 tf
.
问题：求 u * (t )，使被控过程状态由 x (t 0) 转移到 x (t f ) ，并使目标函数
J 最小。
, t ) 代入<4> 解：把<1 >式化为u的显函数形式，即 u F ( x, x 式，则有： . tf J [ x(t ), x(t ), t ]dt 5
a
b
x 的函数
) ) F ( x, y, y F ( x, y, y ]dx J [ y y a y y
b
泛函 J [ y ( x)]的变分 J 可通过增量形式求取：
泛函增量为： J J [ y( x) y( x)] J [ y( x)]
L[ y( x), y( x)] R[ y( x), y( x)]
2、 泛函的极值的定义：
若 泛函 J [ y ( x)] 在任何一条与 y y 0 ( x) 曲线接近的曲 线上的值均不小于 J [ y ( x)] ，即： ， J [ y( x)] J [ y0 ( x)] 0 则称泛函 J [ y ( x)] 在曲线上达到极小值。 泛函极值是一个相对概念 ， y ( x) 实际为相对于y0 ( x) 的一个微 小变化，变化形式有上述两种 :
1 3
x(t )
chap1_变分法及其在最优控制中的应用
x
x(t) x0(t)
o
t1 图1－3
t2
t
一阶相近 当函数x(t)与 x0(t)之差的绝对值以及它们的一阶导数 x(t ) 和 x0 (t ) 之差的绝对值，即 x ( t ) x0 ( t ) , x ( t ) x 0 ( t ) t1 t t2 (1.1.3) 都很小，称函数x(t)与函数x0(t)是一阶相近的，如图1-4 所示。 x(t) x x0(t)
Q．E．D
例1.1.4 求泛函
x 2 (t )dt 的变分。 0 Nhomakorabea1
根据式（1.1.11），该泛函的变分为：
J J [ x(t ) x(t )] 0
1
[ x(t) x(t)] dt
1 2 0
0
[ x(t ) x(t )]2 dt 0 0
（2） J[cx(t)]=c J[x(t)]
其中，c是任意常数，就称为线性泛函。例如
J [ x(t )] [tx(t ) (sin t ) x(t )]dt
t1 t2
J [ x(t )] [ p(t ) x(t ) q(t ) x(t )]dt
t1
t2
J [ x(t )] x(t ) t 2
当曲线方程x=x(t)（满足x(ta)= xa ， x(tb)= xb ）给定后，可算出它在A、B两点 间的弧长为：
A(ta,xa) o 图1－1
B(tb,xb) x(t)
t
J
tb
ta
dx dt 1 dt
t
2
例1.1.3 函数的不定积分 y 0 x ( )d 不是泛函。 泛函的上述概念，可以推广到含有几个函数的泛函的 情况，例如：
5 最优控制-极小值原理
* j
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0
最优控制中的变分法
tf t0
2[x(t)x(t)]x(t)d|t0tt0f
2x(t)x(t)dt
第1章 最优控制中的变分法
(3)泛函的极值 泛函极值的定义：
对于与y0(x)接近的曲线y(x)，泛函J[y(x)] 的增量
J J [ y ( x ) J [ y ] 0 ( x ) 0 或 ] J J [ y ( x ) J [ y ] 0 ( x ) 0 ]
d
J [ y 0 ( x ) ] J [ y 0 ( x ) ε y ( x ) 0 ] d() 0( 1 9 )
根据函数极值的条件，函数φ(ε)在ε=0时达到极值的必要条件为：
dd()00 (11)0
比较（1-9）和（1-10），可见：
J[y0(x) ]0 (1 1)1
根据泛函极值的必要条件，可得欧拉方程
[Lxddt(Lx)]0 Lx ddtLx 0
或 (123)
欧拉方程的展开形式：
L x t2 L x x2 L x x x 2 L 2x0 或(12)4 LxLtx Lxx x Lx x x0
对于某一类函数y(·)中的每一个函 数y(x)，变量J都有一个值与之相对 应，那么变量J称作依赖于函数y(x) 的泛函。
记为： J=J [y(x)]
y(x)称为泛函的宗量
宗量的变分：
yy(x)y0(x)
例1-1问题的本质：泛函极值
第1章 最优控制中的变分法
泛函的连续性：
对任意给定的正数ε，总存在另一个正数δ，当
则泛函J[y(x)] 在曲线y0(x)上达到极值。
泛函极值定理： 若可微泛函J[y(x)]在y0(x)上达到极值，则在y= y0(x)上的变分为零。即
最优控制第五章用变分法求解连续最优控制问题—有约束条件的泛函极值
xT
H x
uT
H u
d
t
xT
tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
因此得
H 0
x H x
H 0 u
tf 0 t0
(5-9) (5-10) (5-11) (5-12)
(5-5)
或 J tf H x, x,u, ,td t t0
(5-6)
式中
Hx, x,u,,t Lxt,ut,t T tf xt,ut,t xt
(5-7)
对式(5-5)右边第二项作分部积分，得
t f T x d t t f T x d t T x t f
为此，构造增广泛函
J Φxt f ,t f T Nxt f ,t f
t f
t0
Lxt,ut,t T
t f
xt , ut , t
xt d t
(5-21)
写出哈密顿函数
Hxt,ut,t,t Lxt,ut,t T t f xt,ut,t
(5-25)
ut u*t ut
(5-26)
tf
t
* f
t f
(5-27)
x(t) δx (t* f)
x*(t)
x(t) x(t0)
x
t
f
t f
δx(tf)
0 t0
t*f t*f+ δtf
t
图4 可变终端各变分间的关系
从图4可知在端点处变分之间存在下列近似关系
考虑到式(5-24)右边第一项和第二项的一次
基于古典变分法和极小值原理推导最优控制的解析求解条件
基于古典变分法和极小值原理推导最优控制的解析求解条件基于古典变分法和极小值原理推导最优控制的解析求解条件引言：最优控制理论是数学和工程学交叉的一个重要领域，在各个工程领域都有广泛的应用。
它的目标是通过优化方法寻找使系统指标达到极值的控制策略。
在这个领域中，变分法和极小值原理是两个重要的数学工具。
本文将介绍古典变分法和极小值原理，以及如何利用它们推导最优控制的解析求解条件。
一、古典变分法的基本原理古典变分法是研究极值问题的一种有效数学方法。
它的核心思想是将待求函数看作一族函数的极限形式，然后通过对这族函数进行泛函求导来获得包含待求函数的微分方程。
在最优控制问题中，我们希望找到一个控制策略，使系统的目标函数达到最小值或最大值。
通过应用古典变分法，我们可以将这个极值问题转化为一个泛函极值问题，并通过求解泛函极值问题来得到最优控制。
在使用古典变分法进行最优控制问题的分析时，我们需要定义一个泛函，即系统的目标函数。
泛函通常形式如下：\[ J[y,u] = \int_{t_0}^{t_f} L(t, y(t), u(t)) dt \]其中，\[y(t)\] 是状态变量，\[u(t)\] 是控制变量，\[L(t, y(t), u(t))\] 是泛函的被积表达式，它描述了系统的动力学以及待求函数的影响因素。
二、极小值原理极小值原理是古典变分法中的一个基本概念，用于推导变分问题的最优性条件。
对于一个给定的泛函\[J[y,u]\]，如果它的极小值存在且为唯一解，那么这个极小值必须满足极小值原理的条件。
极小值原理的一般形式可以表示为：\[ \frac{d}{dt} \left(\frac{\partial L}{\partial \dot{y}}\right) -\frac{\partial L}{\partial y} = 0 \]\[ \frac{\partial L}{\partial u} = 0 \]这两个条件是极小值原理的必要条件。
最优控制变分法
tf
F (t ) (t )dt 0
(1· 2—1)
t0
则在区间 [t 0 , t f ]上
F (t ) 0
下面我们来证明这个定理。 由于函数 (t )，是任意选定的，因此，可以取 (t ) W (t ) F (t ) (1.2—2) 其中 W (t ) 的是任一满足条件
0 , t t0和t t f W (t ) 2 c , t0 t t f
二、固定端点时间、无约束条件的变分问题 这一节，我们讨论一类最简单的变分问题，即无约束条件、 端点时间固定，只有一个自变量函数的拉格郎问题。通过这个问 题来引出欧拉方程和横截条件。 求解变分问题，就是要把使泛函达到极值的那个自变量函数 找出来，这就需要利用欧拉方程和横截条件。因此，欧拉方程和 横截条件是求解变分问题的基础。 在推导欧拉方程和横截条件时要使用一个定理，这个定理叫 作变分法的基本颈备定理。 本节首先介绍基本预备定理，接着推导欧拉方程，然后讨论 横截条件，最后讨论泛函取极值的充分条件。
2. 欧拉方程 现在，我们来推导欧拉方程和相应的横截条件。首先讨论固定 端点问题，然后讨论未定端点问题。 考虑最简单的泛函
(1· 2—3) L 的极值。其中x(t ) 是 t 二次可微函数； [ x(t ), x(t ), t ]，是变量 x, x和 t 连函函数，并且有连续二阶偏导数，端点时间 t 0 和 t f 固定。 首先研究容许函数（或曲线）端点固定的情况，即规定 x(t 0 ) x0 和 x(t f ) x f 。图1—4示出了一族容许函数。现在的 的问题是要从这一族容许函数(或曲线)中找出使泛函J取极值的函数(或 曲线)，即极值函数或极值曲线。
tf
(2)马耶耳问题 马耶尔问题的泛函表示为 J 1[ x(t f ),t f ] 2 [ x(t 0 ),t 0 ] 绪论中基于性能指标（0—9）的最短时间控制问题和基于性能指标 （0—15）的最优推力方向角选择问题就是马耶耳问题的一个特例。 t (3)波尔扎问题 波尔扎问题的性能泛函是 J 1 [ x(t f ), t f ] 2 [ x(t 0 ), t 0 ] L[ x(t ), u (t ), t ]dt
F (t ) (t )dt 0
(1· 2—1)
t0
则在区间 [t 0 , t f ]上
F (t ) 0
下面我们来证明这个定理。 由于函数 (t )，是任意选定的，因此，可以取 (t ) W (t ) F (t ) (1.2—2) 其中 W (t ) 的是任一满足条件
0 , t t0和t t f W (t ) 2 c , t0 t t f
二、固定端点时间、无约束条件的变分问题 这一节，我们讨论一类最简单的变分问题，即无约束条件、 端点时间固定，只有一个自变量函数的拉格郎问题。通过这个问 题来引出欧拉方程和横截条件。 求解变分问题，就是要把使泛函达到极值的那个自变量函数 找出来，这就需要利用欧拉方程和横截条件。因此，欧拉方程和 横截条件是求解变分问题的基础。 在推导欧拉方程和横截条件时要使用一个定理，这个定理叫 作变分法的基本颈备定理。 本节首先介绍基本预备定理，接着推导欧拉方程，然后讨论 横截条件，最后讨论泛函取极值的充分条件。
2. 欧拉方程 现在，我们来推导欧拉方程和相应的横截条件。首先讨论固定 端点问题，然后讨论未定端点问题。 考虑最简单的泛函
(1· 2—3) L 的极值。其中x(t ) 是 t 二次可微函数； [ x(t ), x(t ), t ]，是变量 x, x和 t 连函函数，并且有连续二阶偏导数，端点时间 t 0 和 t f 固定。 首先研究容许函数（或曲线）端点固定的情况，即规定 x(t 0 ) x0 和 x(t f ) x f 。图1—4示出了一族容许函数。现在的 的问题是要从这一族容许函数(或曲线)中找出使泛函J取极值的函数(或 曲线)，即极值函数或极值曲线。
tf
(2)马耶耳问题 马耶尔问题的泛函表示为 J 1[ x(t f ),t f ] 2 [ x(t 0 ),t 0 ] 绪论中基于性能指标（0—9）的最短时间控制问题和基于性能指标 （0—15）的最优推力方向角选择问题就是马耶耳问题的一个特例。 t (3)波尔扎问题 波尔扎问题的性能泛函是 J 1 [ x(t f ), t f ] 2 [ x(t 0 ), t 0 ] L[ x(t ), u (t ), t ]dt
变分法求解最优控制
控制的最优化性能指标：
J (u(t )) (t f , x(t f )) F (t, x(t ), u(t ))dt
t0 tf
性能指标J(u(t))在数学上称为泛函，在控 制系统中称为损失函数。
变分法基本概念
1.泛函
设S 为一函数集合，若对于每一个函数 x(t)∈S有一个实数J 与之对应，则称J 是 定义在S 上的泛函，记作J (x(t))。S 称为 J 的容许函数集。
t0
tf
再令 J 1 0 ，由 便得：
dt f ,x(t f ),x,u, 的任意性，
(i) x * , * 必满足正则方程： 1.状态方程
x H f (t, x, u)
2.协态方程
H x
* *
(ii)哈密顿函数 H (t, x , u, ) 作为u的函数，也 必须满足
定义一个标量函数：
H (t, x, u, ) F (t, x, u) T (t ) f (t, x, u)
称为哈密顿函数。所以新的性 能指标为
J 1 ( x, u, ) (t f , x(t f )) [ H (t, x, u, ) T x]dt
t0 tf
t0 tf
d (dt fy) [t f fF xt ,yxdx , t ) t t f F'( ) y ) ( (, ) , u dy a (
T
b( y )
] [x(t f )] x (t f )
T
T tf
[(x) H x (u) H u ( ) H ( ) x]dt (t f )x t t f (x)T dt t0 f y ( x, y)dx f [b( y), y)]b' ( y) f [a( y), y)]at'0( y)
J (u(t )) (t f , x(t f )) F (t, x(t ), u(t ))dt
t0 tf
性能指标J(u(t))在数学上称为泛函，在控 制系统中称为损失函数。
变分法基本概念
1.泛函
设S 为一函数集合，若对于每一个函数 x(t)∈S有一个实数J 与之对应，则称J 是 定义在S 上的泛函，记作J (x(t))。S 称为 J 的容许函数集。
t0
tf
再令 J 1 0 ，由 便得：
dt f ,x(t f ),x,u, 的任意性，
(i) x * , * 必满足正则方程： 1.状态方程
x H f (t, x, u)
2.协态方程
H x
* *
(ii)哈密顿函数 H (t, x , u, ) 作为u的函数，也 必须满足
定义一个标量函数：
H (t, x, u, ) F (t, x, u) T (t ) f (t, x, u)
称为哈密顿函数。所以新的性 能指标为
J 1 ( x, u, ) (t f , x(t f )) [ H (t, x, u, ) T x]dt
t0 tf
t0 tf
d (dt fy) [t f fF xt ,yxdx , t ) t t f F'( ) y ) ( (, ) , u dy a (
T
b( y )
] [x(t f )] x (t f )
T
T tf
[(x) H x (u) H u ( ) H ( ) x]dt (t f )x t t f (x)T dt t0 f y ( x, y)dx f [b( y), y)]b' ( y) f [a( y), y)]at'0( y)
最优控制变分法
AB
x2 x1
1 y ' 2 dx
通过A，B两点的函数若为 y f (x) ，则不同的函数有不同的 弧长，即弧长是 y 的函数，记为 J ( y ) ，即
x2 1 y 2 dx J ( y ) AB x1
因此，求弧长的定积分是一种变换，它把x1与x2之间各点相应 的y变换为标量（弧长）。由此例可以看出定积分为泛函。 以下是各章经常要用到下列形式的目标函数
以下计算第二个积分，实际上是估计余项。 按泛函求极值的
ˆ 与 y 的一级距离应落入ε邻区内（由于本节的泛函 定义， y
只对 y 与 y’提出要求，故只用到一级距离），即令
ˆ y| d 0 max | y
x [ x 0 , x1 ]
ˆ ' y ' | d 1 max | y
x [ x 0 , x1 ]
第一章
变分法
1.1 泛函 1.2变分的推演 1.3Euler方程 1.4向量情形 1.5有约束的情形 1.6端点可变情形 1.7变分的另一种定义
1.1 泛函
（1）定义（泛函）
泛函是一映射L : J K , J Y , Y为一向量空间， K 一般为实数 域R或复数域C。 这说明泛函是一种变换，它把向量空间Y中某一子集J 映射为 K的某个子集。 例：曲线的弧长 在xy平面上过A（x1 ,y1）,B(x2,y2)两点之间的曲线弧长公式为
| [ ( Fy Fy ) ' (F y ' Fy ' )]dx | | |dx
x0 x0
x1
x1
[| (Fy Fy ) | | ' ( F y ' Fy ' ) |]dx
最优控制第1章 变分法
则称泛函f((x)在 x0 处是连续的。 定义2（泛函的连续性）若对任意给定的 ε > 0 ，总存 在 δ > 0，当 x(t) − x0 (t) ≤ δ 时，就有：
| J [ x(t )] − J [ x0 (t )] |< ε
其中，x(t)为在[0,3]上连续可积函数。J[x]表示由函数x(t) 在区间[0,3]上围成区域的面积。 当 x(t)=t 时，有J[x]=4.5 ；当 x( t ) = e t 时，有 J [ x] = e3 − 1 。 ¾ 通俗地说，泛函就是“函数的函数” 。 ¾ 泛函与函数的区别: 仅在于泛函的宗量(自变量函数) x(t) 是函数，而函数的自变量x是变数（独立变量）。
则称泛函J[x(t)]在 x0(t) 处是连续的。
定义3' (线性函数） 如果函数f(x) 满足： （1）齐次性：f (ax) = af ( x) ∀x ∈Ω, a ∈ R, ax ∈Ω （2）叠加性：f ( x1 + x2 ) = f ( x1) + f ( x2 ) ∀x1, x2 , x1 + x2 ∈Ω 则称函数f(x)是线性函数。 根据定义，容易判断f(x)=2x是线性函数，g(x)=2/x是非线性 函数。 定义3 (线性泛函）如果泛函J[x(t)] 满足： （1）齐次性： J[ax(t )] = aJ[ x(t )] （2）叠加性： J[ x1(t ) + x2 (t )] = J[ x1(t )] + J[ x2 (t )] 则称泛函J[x(t)]是线性泛函。
暂态性能、稳态误差等控制性能。
一、最优控制问题的几个实例 1. 登月舱的月球软着陆问题
为使宇宙飞船在月球表面上实现软着陆，必须寻求着陆过 程中发动机推力的最优控制规律，使燃料的消耗量最少。 设飞船的质量为m(t)，离月球表面的高度为h(t)，飞船的垂 直速度为v(t)，发动机推力为u(t)，月球表面的重力加速度 为g，不携带燃料的飞船质量为M，初始燃料的质量为F， 则飞船的运动方程可表示为：
用变分法实现现代控制系统中的最优控制
研究方 向为机械 制造 自动化、 机 电一体化等。 ７ ３
Ｅｑ ｕ ｉ ｐ ｍｅ ｎ ｔ Ｍａ ｎ ｕ ｆ ａ ｃ ｔ ｕ ｒ ｉ ｎ ｇ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ Ｎｏ ． ２， ２ ０１ ３
ｂ
￣ Ｌ Ｏ Ｆ Ｄ ｏ ｙ ＋ Ｏ Ｆ
．
＝Ｊ 。
６ ｖ ’ ］
方 法成 为研 究 热 点 。最优 控 制 问题 往 往 就是 一 个极 值 问题 ， 因此 本 文 介 绍 了变 分 法 的 原 理 ， 指 出 了用 变 分 法 可 以求 得 现
代控 制 系统函数的极值 ， 从 而可以解决很 多现代控 制 系统 中的最优控制 问题 。 通过 实际验证 ， 用变分法解决现代控制 系
ｙ＝ｔ ｒ ｌ （ ｘ ） 。 分原理是反映物体整体性质的泛 函极值， 而整体性是 ８ 在研究 泛函极值时 ， 通常将 （ ） 固定 ， ， ７ （ ） 是具 力 学 的基 本 原 则 ， 因此 ， 用 变 分 原理 来 研 究 物 理 问题 而令 ｔ 变化 ， 这样 的规定好 更符合 自然规律 ； 此外 ， 其作为有限元法 和其他近似 有二级导数 的任意函数 ， 处 在于 ： 建立 了 由参数 ｔ 到泛 函 Ｊ ［ ｙ （ ） ］ 值 之 间的对 应 计算方法 的理论基础， 随着电子计算机技术 的迅猛发
，ｂ
泛 函通 常 以积 分 形 式 出现 ， 如 最 速 落 径 问题 ， 一 般地 ， 典型 的泛 函可 以表示 为 ：
，６
（ ） ］ ＝Ｊ
， Ｙ ， Ｙ ’ ］ ｄ ｔ
Ａ Ｊ ＝ ． ， 【 ｙ （ ） ＋ ￡ 叼 （ ） ］ 一 － ， （ ） ］ ＝｝【 Ｆ （ ， Ｙ ＋ ｔ ｒ ／ ， ＋ ｔ ｒ ／ ’ ）
Ｅｑ ｕ ｉ ｐ ｍｅ ｎ ｔ Ｍａ ｎ ｕ ｆ ａ ｃ ｔ ｕ ｒ ｉ ｎ ｇ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ Ｎｏ ． ２， ２ ０１ ３
ｂ
￣ Ｌ Ｏ Ｆ Ｄ ｏ ｙ ＋ Ｏ Ｆ
．
＝Ｊ 。
６ ｖ ’ ］
方 法成 为研 究 热 点 。最优 控 制 问题 往 往 就是 一 个极 值 问题 ， 因此 本 文 介 绍 了变 分 法 的 原 理 ， 指 出 了用 变 分 法 可 以求 得 现
代控 制 系统函数的极值 ， 从 而可以解决很 多现代控 制 系统 中的最优控制 问题 。 通过 实际验证 ， 用变分法解决现代控制 系
ｙ＝ｔ ｒ ｌ （ ｘ ） 。 分原理是反映物体整体性质的泛 函极值， 而整体性是 ８ 在研究 泛函极值时 ， 通常将 （ ） 固定 ， ， ７ （ ） 是具 力 学 的基 本 原 则 ， 因此 ， 用 变 分 原理 来 研 究 物 理 问题 而令 ｔ 变化 ， 这样 的规定好 更符合 自然规律 ； 此外 ， 其作为有限元法 和其他近似 有二级导数 的任意函数 ， 处 在于 ： 建立 了 由参数 ｔ 到泛 函 Ｊ ［ ｙ （ ） ］ 值 之 间的对 应 计算方法 的理论基础， 随着电子计算机技术 的迅猛发
，ｂ
泛 函通 常 以积 分 形 式 出现 ， 如 最 速 落 径 问题 ， 一 般地 ， 典型 的泛 函可 以表示 为 ：
，６
（ ） ］ ＝Ｊ
， Ｙ ， Ｙ ’ ］ ｄ ｔ
Ａ Ｊ ＝ ． ， 【 ｙ （ ） ＋ ￡ 叼 （ ） ］ 一 － ， （ ） ］ ＝｝【 Ｆ （ ， Ｙ ＋ ｔ ｒ ／ ， ＋ ｔ ｒ ／ ’ ）
用变分法求解最优控制问题
t
tt0 f F xx F xx o (x )2 ,(x )2 d t
上式中 o[(x)2,(x)2]是高阶项。
（泰勒级数展开）
根据定义，泛函的变分 J 是 J的线性
主部，即
J
tf t0
F xx F x x dt
对上式第二项作分部积分，按公式
可得
tf t0
5.1 变分法基础回顾
相关的定义：
1、泛函： 如果对某一类函数X(t)中的每一个函
数X (t)，有一个实数值J与之相对应，则称J为依赖于
函数X (t) 的泛函，记为
JJX(t)
简单来说，泛函是以函数为自变量的函数。
2、泛函的连续性：若对任给的 0，存在 0
当 X(t)Xˆ(t) 时，就有
J(X)J(Xˆ)
为了判别是极大还是极小，要计算二阶变 分 2 J。但在实际问题中根据问题的性质容易
判别是极大还是极小，故一般不计算 2 J 。
5.2 无约束条件的泛函极值问题
5.2.1 泛函的自变量函数为标量函数的情况
为简单起见，先讨论自变量函数为标量函数 （一维）的情况。我们要寻求极值曲线 x(t)x*(t)， 使下面的性能泛函取极值
于是有约束条件的泛函 J 的极值问题化为无约
束条件的增广泛函 J a 的极值问题。 再引入一个标量函数
H (X ,U ,,t) F (X ,U ,t) T f(X ,U ,t) （5-18）
它称为哈密顿（Hamilton）函数，在最优控制中 起着重要的作用
于是J a 可写成
J aX ( tf)tf, tt 0 f H (X ,U ,,t) T X dt
的线性主部。
6、泛函的极值：若存在 0 ，对满足的 X X* 一切X，J(X)J(X*)具有同一符号，则
part II Chap 2 变分法及其在最优控制中的应用
则最优解为： x1* ( t ) = 极值轨线： 极值控制：
1 3 7 2 t − t + t +1 2 4 3 2 7 * x2 (t ) = t − t + 1 2 2
7 u ( t ) = 3t − 2
*
14
极值轨线和极值控制曲线如图所示：
1 0
θ (t ) = x1* (t )
7 6
t
* θ (t ) = x2 (t )
～见书P529 表10－1 说明：以上Euler方程的形式与 无约束 有等式约束 的泛函极值问题中的Euler方程完全相同。
16
【例】求从平面上一点x(0)=1至直线 x(t f ) = c(t f ) = 2 − t f 取最短距离的轨线。
解：已知弧线元：ds = ( dt )2 + ( dx )2
1 1+ x
2
⋅2x =
x 1+ x
2
17
d 代入Euler方程，得： d t ⋅
x 1+ x
2
= 0
即
x
1 + x
2
= C
（ C : const)
x = ±
c
（a，b均为const） 由初态x(0)=1 得: b=1。常数a则由横截条件确定 现： 自由（未知）,末端受约束，方程为：x(t f ) = c(t f ) = 2 − t f tf 由横截条件：⎡ L ( x * , x * , t ) + ( c − x ) T ∂ L ⎤ = 0 ⎢ ∂x ⎥ t f ⎣ ⎦ ⎡ ⎤ x 得： 1 + x 2 + ( − 1 − x ) ⋅ =0
∂ δ J [ x, δ x ] = J [ x + εδ x ] ∂ε ε =0
最优控制第三章用变分法解最优控制问题
H 2x
x
H 0 2u 0 2u
u
u x
x u x u u x x x 0
2023/12/27
x(t ) c1et c2et x(t) c1et c2et u
由边界条件和横截条件 x(0) x0
H (t f ) [ t ]t f
cc11
c2 x0 c2 0
约束条件 x(t0 ) x0 , M [x(t f ), t f ] 0
正则方程 x H
H x
控制方程 H 0 u
2023/12/27
边界条件和横截条件
终端固定
x(t0 ) x0 ,
M [x(t f )] 0 x(t f ) x f
tf
给定
终端自由 终端约束
终端固定
tf
自由
终端自由 终端约束
2 (t f
)
x2 (t f
)
M (
x2 (t f
)T )
v(t f
)
2 (2) x2 (2) 2 5v c2e2 c1
代入 x1 (2), x2 (2)
2023/12/27
14
解得
0.5c2 c3 c1 0.5c2
c4 c3
0 0
7c1 3e2c2 4e2c3 c4 15 x1 (2) 5x2 (2) 15
(t f
)
[ x
(M x
)T v] tt f
M [x(t f ), t f ] 0
H (t f
)
[
t
vT
M t
] tt f
9
例2 已知系统状态方程为 x u(t), x(0) 1
求最优控制 u* (t) 使性能指标 J 1e2t (x 2 u 2 )dt 为最小 0
4 最优控制-变分法
I D (t )
≤ I D max
tf 0
（5） ） （6） ）
性能指标
J =∫
dt = tf
最优控制问题为：在状态方程的约束下， 最优控制问题为：在状态方程的约束下，寻求最优控制 I D (t )≤ I D max ，将 x (t f ) 转移到 x (0) ，使J 为极小。 为极小。
最优控制问题的基本组成
泛函与变分法
一、泛函与变分 1、泛函的基本定义： 、泛函的基本定义： 变量J 如果对于某个函数集合{x(t )}中的每一个函数 x(t )，变量 都有一个 值与之对应，则称变量J 的泛函， 值与之对应，则称变量 为依赖于函数 x(t ) 的泛函，记作 J [x(t )] 可见，泛函为标量，可以理解为“函数的函数” 可见，泛函为标量，可以理解为“函数的函数” 例如： 例如：
0 0 & x1 0 1 x1 K 系统方程为 1 x = 0 0 x + m I D + TF J 2 J D &2 D x ( 0) 0 x1 (t f ) θ 初始状态 1 = x (0) 0 末值状态 = 2 x2 (t f ) 0
系统数学模型
& 系统状态方程为 x(t ) = f [ x(t ), u (t ), t ], t ∈ [t0 , t f ]
边界条件与目标集 容许控制 变化范围受限制的控制- 闭集 控制域 Ω 闭集- 控制域， 变化范围受限制的控制 -闭集 -控制域， ; 容许控制 u (t ) ∈ Ω 变化范围不受限制的控制- 开集 变化范围不受限制的控制 -开集 性能指标 性能泛函、 性能泛函、目标函数或代价函数
用变分法求解最优控制问题共104页文档
用变分法求解最优控制问题
26、机遇对于有准备的头脑有特别的 亲和力 。 27、自信是人格的核心。
28、目标的坚定是性格中最必要的力 量泉源 之一， 也是成 功的利 器之一 。没有 它，天 才也会 在矛盾 无定的 迷径中 ，徒劳 无功。- -查士 德斐尔 爵士。 29、困难就是机遇。--温斯顿．丘吉 尔。 30、我奋斗，所以我快乐。-侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
26、机遇对于有准备的头脑有特别的 亲和力 。 27、自信是人格的核心。
28、目标的坚定是性格中最必要的力 量泉源 之一， 也是成 功的利 器之一 。没有 它，天 才也会 在矛盾 无定的 迷径中 ，徒劳 无功。- -查士 德斐尔 爵士。 29、困难就是机遇。--温斯顿．丘吉 尔。 30、我奋斗，所以我快乐。-侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
最优控制变分法
最优控制变分法
最优控制变分法是一种数学方法，用于研究控制系统中最优化问题。
它通过对系统状态和控制变量的变分计算，得到最优控制方程和最优轨迹。
在实际应用中，最优控制变分法被广泛应用于机器人控制、航空航天、化工过程控制等领域。
与传统的优化方法相比，最优控制变分法能够更加准确地描述控制系统的动态行为，同时具有较高的求解精度。
此外，最优控制变分法还可以用于设计控制系统的参数，提高系统的性能和稳定性，从而最大程度地实现自动控制的效果。
- 1 -。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
用变分法求解最优控制问题
本章主要内容
➢ 5.1 变分法基础 ➢ 5.2 无约束条件的泛函极值问题 ➢ 5.3 有约束条件的泛函极值——动态系
统的最优控 制问题 ➢ 5.4 小结
在动态系统最优控制问题中，性能指标是一个 泛函，性能指标最优即泛函达到极值。解决泛函极 值问题的有力工具是变分法。所以下面再次列出变 分法中的一些主要结果，可对照微分学中的结果来 理解，以加深印象及理解。
式中
(5-9)
(5-10)
泛函变分由（5-2）式改为 向量欧拉——拉格朗日方程为 式中
(5-11)
横截条件为（自由端点情况）
（分以下
和
两种情况：）
例5-1 求通过点（0，0）及（1，1）且使 取极值的轨迹 。
解 这是固定端点问题，相应的欧拉——拉格朗日方 程为
即
它的通解形式为 式中：
Sht—双曲正弦函数 Cht—双曲余弦函数
时，有
是泛函 的变分。 是 的线性
6、泛函的极值：若存在 ，对满足的
一切X，
具有同一符号，则
称在
处有极值。
定理： 在
处有极值的必要条件是对
于所有容许的增量函数 （自变量的变分），
泛函 在 处的变分为零
为了判别是极大还是极小，要计算二阶变分 。但在实际问题中根据问题的性质容易判别
是极大还是极小，故一般不计算 。
5.1 变分法基础回顾
相关的定义： 1、泛函： 如果对某一类函数 中的每一个函数 ，有一个实数值 与之相对应，则称 为依赖于函数 的泛函，记为
简单来说，泛函是以函数为自变量的函数。
2、泛函的连续性：若对任给的
当
时，就有
，存在
则称 在 处是连续的。源自3、线性泛函：满足下面条件的泛函称为线性泛函
齐次性： 叠加性：
1、 固定端点的情况
这时
，它们不发生变化，所
以
。而（5-2）中第二项可写成
（5-4）
当
时，（5-4）式自然为零。
2、自由端点的情况
这时 和 可以发生化，
，
而且可以独立地变化。于是要使（5-2）中第二项
为零，由（5-4）式可得
（5-5）
（5-6）
因为这里讨论 是标量函数的情况， 和 也是标量，且是任意的，故（5-5）、（5-6）可化 为
（5-7）
（5-8）
（5-7）、（5-8）称为横截条件。
当边界条件全部给定（即固定端点）时，不需
要这些横截条件。当
给定时，不要（5-8
）。当
给定时，不要（5-7）。
5.2.2 泛函的自变量函数为向量函数的情况
现在，将上面对 是标量函数时所得到的公式推 广到 是n维向量函数的情况。这时，性能泛函为
上式中
是高阶项。
（泰勒级数展开）
根据定义，泛函的变分 是 的线性 主部，即
对上式第二项作分部积分，按公式
可得
（5-2）
J取极值的必要条件是 等于零。因 是 任意的，要使（5-2）中第一项（积分项）为 零，必有
（5-3）
上式称为欧拉——拉格朗日方程。
（5-2）式中第二项为零的条件要分两种情况来讨论：
这里 是实数， 和 是函数空间中的函数。
4、自变量函数的变分：自变量函数 的变分 是指同属于函数类 中两个函数 、 之差
这里, t 看作为参数。当 可用图5-1来表示。
为一维函数时，
图5-1自变量函数的变分
5、泛函的变分：当自变量函数 有变分 时， 泛函的增量为
这里， ，则称 主部。
是 的线性泛函，若
（5-21）~（5-24）即为 取极值的必要条件， 由此即可求得最优值 ， ， 。
（5-22）式即为状态方程，这可由 的定义式 （5-18）看出，实 际解题时无需求 ，只要直接用 状态方程即可，这里为形式上对称而写成（5-22） 式。
（5-17）
于是有约束条件的泛函 的极值问题化为无约 束条件的增广泛函 的极值问题。 再引入一个标量函数
（5-18）
它称为哈密顿（Hamilton）函数，在最优控制中 起着重要的作用
于是 可写成 对上式积分号内第二项作分部积分后可得 （5-19）
设 、 相对于最优值 别为 和
、 的变分分
因为 自由，故还要考虑变分
由初始条件
，可得A=0。
再由终端条 件
，可得
，
因而极值轨迹为
例5-2 求使指标
取极值的轨迹 没有限制。
，并要求
，但对
解 这是终端自由的情况。欧拉—拉格朗日方程为
即 于是
常数 是常数， 则是时间的线性函数，令
由
可得
，又终端是自由的，由式
（5-7）可得横截条件为
即
由上式解得 或
。 时的极值轨迹
为
。
下面来计算由这些变分引起的泛函 的变分 。
计算增量 ，然后用 泰勒级数 展开到一 阶项即可 得到
为极小的必要条件是：对任意的 、 、 ，变分 等于零。由（5-18）及（5-20 ）可得下面的一组关系式
（协态方程） （状态方程） （横截条件） （控制方程）
（5-21） （5-22） （5-24） （5-23）
5.2 无约束条件的泛函极值问题
5.2.1 泛函的自变量函数为标量函数的情况
为简单起见，先讨论自变量函数为标量函数
（一维）的情况。我们要寻求极值曲线
，
使下面的性能泛函取极值
（5-1）
为此，让自变量函数 、 在极值曲线 、 附 近发生微小变分 、 ，即
于是泛函J 的增量 可计算如下（以下将*号省去）
5.3.1 终端时刻 给定，终端状态 自由
将状态方程（5-13）写成等式约束方程的形式 （5-15）
与有约束条件的函数极值情况类似，引入待定的n 维拉格朗日乘子向量函数
（5-16）
与以前不同的是，在动态问题中拉格朗日乘子 向量 是时间函数。
在最优控制中经常将 称为伴随变量，协态（协状 态向量）或共轭状态。引入 后可作出下面的增 广泛函
否则不能用变分法求解，而要用极小值原理或动态
规划法求解）
是n维连续可微的向量函
数。性能指标如下：
（5-14）
这是综合指标。我们要求出最优控制 和满足状 态方程的极值轨迹 ，使性能指标取极值。
在下面的讨论中，假定初始时刻 和初始状态 是给定的，终端则可能有几种情况。我们
将就几种常见的情况来讨论，即 给定， 自 由和 自由, 属于一个约束集。
；
时的极值轨迹为
。
容易验证
时，
，对应局部极大。
对应局部极小；时，
5.3 有约束条件的泛函极值 ——动态系统的最优控制问题
前面讨论泛函极值问题时，对极值轨迹 没有附 加任何约束条件。但在动态系统最优控制问题中， 极值轨迹必须满足系统的状态方程，也就是要受到 状态方程的约束。考虑下列系统
（5-13）
式中， 为 维状态向量， 为 维控制向量（这 里假定 不受限制.
本章主要内容
➢ 5.1 变分法基础 ➢ 5.2 无约束条件的泛函极值问题 ➢ 5.3 有约束条件的泛函极值——动态系
统的最优控 制问题 ➢ 5.4 小结
在动态系统最优控制问题中，性能指标是一个 泛函，性能指标最优即泛函达到极值。解决泛函极 值问题的有力工具是变分法。所以下面再次列出变 分法中的一些主要结果，可对照微分学中的结果来 理解，以加深印象及理解。
式中
(5-9)
(5-10)
泛函变分由（5-2）式改为 向量欧拉——拉格朗日方程为 式中
(5-11)
横截条件为（自由端点情况）
（分以下
和
两种情况：）
例5-1 求通过点（0，0）及（1，1）且使 取极值的轨迹 。
解 这是固定端点问题，相应的欧拉——拉格朗日方 程为
即
它的通解形式为 式中：
Sht—双曲正弦函数 Cht—双曲余弦函数
时，有
是泛函 的变分。 是 的线性
6、泛函的极值：若存在 ，对满足的
一切X，
具有同一符号，则
称在
处有极值。
定理： 在
处有极值的必要条件是对
于所有容许的增量函数 （自变量的变分），
泛函 在 处的变分为零
为了判别是极大还是极小，要计算二阶变分 。但在实际问题中根据问题的性质容易判别
是极大还是极小，故一般不计算 。
5.1 变分法基础回顾
相关的定义： 1、泛函： 如果对某一类函数 中的每一个函数 ，有一个实数值 与之相对应，则称 为依赖于函数 的泛函，记为
简单来说，泛函是以函数为自变量的函数。
2、泛函的连续性：若对任给的
当
时，就有
，存在
则称 在 处是连续的。源自3、线性泛函：满足下面条件的泛函称为线性泛函
齐次性： 叠加性：
1、 固定端点的情况
这时
，它们不发生变化，所
以
。而（5-2）中第二项可写成
（5-4）
当
时，（5-4）式自然为零。
2、自由端点的情况
这时 和 可以发生化，
，
而且可以独立地变化。于是要使（5-2）中第二项
为零，由（5-4）式可得
（5-5）
（5-6）
因为这里讨论 是标量函数的情况， 和 也是标量，且是任意的，故（5-5）、（5-6）可化 为
（5-7）
（5-8）
（5-7）、（5-8）称为横截条件。
当边界条件全部给定（即固定端点）时，不需
要这些横截条件。当
给定时，不要（5-8
）。当
给定时，不要（5-7）。
5.2.2 泛函的自变量函数为向量函数的情况
现在，将上面对 是标量函数时所得到的公式推 广到 是n维向量函数的情况。这时，性能泛函为
上式中
是高阶项。
（泰勒级数展开）
根据定义，泛函的变分 是 的线性 主部，即
对上式第二项作分部积分，按公式
可得
（5-2）
J取极值的必要条件是 等于零。因 是 任意的，要使（5-2）中第一项（积分项）为 零，必有
（5-3）
上式称为欧拉——拉格朗日方程。
（5-2）式中第二项为零的条件要分两种情况来讨论：
这里 是实数， 和 是函数空间中的函数。
4、自变量函数的变分：自变量函数 的变分 是指同属于函数类 中两个函数 、 之差
这里, t 看作为参数。当 可用图5-1来表示。
为一维函数时，
图5-1自变量函数的变分
5、泛函的变分：当自变量函数 有变分 时， 泛函的增量为
这里， ，则称 主部。
是 的线性泛函，若
（5-21）~（5-24）即为 取极值的必要条件， 由此即可求得最优值 ， ， 。
（5-22）式即为状态方程，这可由 的定义式 （5-18）看出，实 际解题时无需求 ，只要直接用 状态方程即可，这里为形式上对称而写成（5-22） 式。
（5-17）
于是有约束条件的泛函 的极值问题化为无约 束条件的增广泛函 的极值问题。 再引入一个标量函数
（5-18）
它称为哈密顿（Hamilton）函数，在最优控制中 起着重要的作用
于是 可写成 对上式积分号内第二项作分部积分后可得 （5-19）
设 、 相对于最优值 别为 和
、 的变分分
因为 自由，故还要考虑变分
由初始条件
，可得A=0。
再由终端条 件
，可得
，
因而极值轨迹为
例5-2 求使指标
取极值的轨迹 没有限制。
，并要求
，但对
解 这是终端自由的情况。欧拉—拉格朗日方程为
即 于是
常数 是常数， 则是时间的线性函数，令
由
可得
，又终端是自由的，由式
（5-7）可得横截条件为
即
由上式解得 或
。 时的极值轨迹
为
。
下面来计算由这些变分引起的泛函 的变分 。
计算增量 ，然后用 泰勒级数 展开到一 阶项即可 得到
为极小的必要条件是：对任意的 、 、 ，变分 等于零。由（5-18）及（5-20 ）可得下面的一组关系式
（协态方程） （状态方程） （横截条件） （控制方程）
（5-21） （5-22） （5-24） （5-23）
5.2 无约束条件的泛函极值问题
5.2.1 泛函的自变量函数为标量函数的情况
为简单起见，先讨论自变量函数为标量函数
（一维）的情况。我们要寻求极值曲线
，
使下面的性能泛函取极值
（5-1）
为此，让自变量函数 、 在极值曲线 、 附 近发生微小变分 、 ，即
于是泛函J 的增量 可计算如下（以下将*号省去）
5.3.1 终端时刻 给定，终端状态 自由
将状态方程（5-13）写成等式约束方程的形式 （5-15）
与有约束条件的函数极值情况类似，引入待定的n 维拉格朗日乘子向量函数
（5-16）
与以前不同的是，在动态问题中拉格朗日乘子 向量 是时间函数。
在最优控制中经常将 称为伴随变量，协态（协状 态向量）或共轭状态。引入 后可作出下面的增 广泛函
否则不能用变分法求解，而要用极小值原理或动态
规划法求解）
是n维连续可微的向量函
数。性能指标如下：
（5-14）
这是综合指标。我们要求出最优控制 和满足状 态方程的极值轨迹 ，使性能指标取极值。
在下面的讨论中，假定初始时刻 和初始状态 是给定的，终端则可能有几种情况。我们
将就几种常见的情况来讨论，即 给定， 自 由和 自由, 属于一个约束集。
；
时的极值轨迹为
。
容易验证
时，
，对应局部极大。
对应局部极小；时，
5.3 有约束条件的泛函极值 ——动态系统的最优控制问题
前面讨论泛函极值问题时，对极值轨迹 没有附 加任何约束条件。但在动态系统最优控制问题中， 极值轨迹必须满足系统的状态方程，也就是要受到 状态方程的约束。考虑下列系统
（5-13）
式中， 为 维状态向量， 为 维控制向量（这 里假定 不受限制.