最优控制最大值原理
基于极大值原理的最优控制
1 h(t f ) 2 v(t f )
3
1 和 2 为待定的拉格朗日乘子 式中，
4）将哈密顿函数整理为
H 1v 2 ( u g ) 3 (ku ) (1v 2 g ) ( 2 k3 )u m m
5）由极小值条件，H相对于 u (t ) 取绝对极小值。因此，最优控制为
2 u , max m k3 0 u (t ) 0, 2 k3 0 m
上述结果表明,只有当发动机推力在最大值和零值之间进行开关 控制,才有可能在实现软着陆的同时，保证燃料消耗最少。
4
thank you !
3 (t )
H 2 (t )u (t ) m m 2 (t )
3）由横截条件
1 (t f )
2 (t f )
1 1 1 h(t f ) h(t f )
J m(t )
2 2 2 v(t f ) v(t f ) 3 (t f ) 1 m(t f )
现代控制理论
实例分析： 基于极大值原理的最优控制
例：设宇宙飞船质量为m(t),高度为h(t),垂直速度为v(t),发动机推力为 u(t),月球表面的重力加速度设为常数g,不带燃料的飞船质量为M,初始燃料 的总质量为F,发动机最大推力为 umax ,发动机飞船的状态方程为:
h(t ) v (t ) , h(0) h0 u (t ) v (t ) g , v (0) v0 m(t ) m(t ) ku(t ),
m(0) M F
要求飞船在月球上实现软着陆,即终端约束为
1 h(t f ) 0 , 2 v(t f ) 0
最优控制--极大值原理
X (t0 ) = X0
:
∂φ Htf + =0 ∂t f
t0 , t f 已知， (t0 ) = X0给定,末端受约束 g[ X (t f ), t f ] = 0 X
边界条件为:
∂φ ∂gT λ(t f ) = µt f tf + ∂X ∂X g[ X (t f ), t f ] = 0 ∂φ ∂gT + µ =0 若 t f 自由:外加: H |t f + ∂t f ∂t f
_
H[ X (t), λ(t),U (t)] = m H[ X * (t), λ(t), u(t)] ax
* * u(t )
_
_
∴所以有的文献中也称为“极大值原理”。 3、H对u没有可微要求，因此应用拓宽。 4、 极小值原来是求取最优控制的必要条件，非充分条件。 即：满足极小值原理不一定J取极小值,需进一步判断。 一般:对于实际系统
1、问题提出（时变系统） 问题提出 时变系统）
ɺ 已知受控系统 X = f ( X (t), t) + B( X (t), t)u(t), X (0) = X0 并设 f 和 B对X(t)和t 连续可微。 和 连续可微。
X：n×1 ： × u： r×1 ： × f ：n×1 × B：n×r ： × 状态向量 控制向量 函数向量 函数值矩阵
* 解得: x (t) = 0.1e
2t
+ 9.9e−
2t
2t
λ(t) = −0.1( 2 +1)e
b) |u| ≤ 0.3
+ 9.9( 2 −1)e−
2t
由极小值原理: U * = −sgn{λ} 当t=1时
λ =0
在[0,1]区间
第7章 最优控制
第7章 最优控制内容提要最优控制是现代控制理论的重要组成部分。
它所研究的对象是控制系统，中心问题是给定一个控制系统，选择控制规律，使系统在某种意义上是最优的。
这一章介绍了最优控制问题及一些基本的求解方法，如变分法、最大值原理和动态规划等。
为最优控制系统的设计，特别是线性二次型性能指标和快速控制提供方法和理论基础。
关于求解最优控制的变分方法，介绍了泛函与变分法基础，欧拉方程，横截条件，含有多个未知函数泛函的极值，条件极值等；关于最大值原理，介绍了古典变分法的局限性，最大值原理基本叙述，变分法与极大值原理的异同等；关于动态规划，介绍了多级决策过程与最优性原理，离散系统动态规划，连续系统动态规划，动态规划与最大值原理的关系等；还介绍了线性二次型性能指标的最优控制问题，包括状态调节器、输出调节器、跟踪问题，以及快速控制问题和综合问题。
这章研究的内容是最优控制中最基本的，也是必需掌握的。
无论将来从事研究还是从事实际工作都是必不可少的。
习题与解答7.1设有一阶系统x x u =-+，3)0(=x 。
试确定最优控制函数()u t ，在2t =时，将 系统控制到零态，并使泛函220(1)d J u t =+⎰，取极小值。
解 作泛函2200[1()]d J u x x u t λ=+++-⎰写出泛函0J 的欧拉方程0 0u u x x F F uF F t ∂⎧-=⎪⎪∂⎨∂⎪-=⎪∂⎩推出20u λλλ-=⎧⎨-=⎩ 与状态方程x x u =-+联立求得111222ttt tc e c u e c x c e e λ-===+代入边界条件()()03, 20x x ==得122212322c c cc e e -+=+=解之得2212222263, e e c c e e e e----==--故212232t tc e u e e e e---==- □7.2 一质点沿曲线()y f x =从点(0,8)运动到(4,0)，设质点的运动速度为x ，问曲线取什么形状，质点运动时间最短？解 因为d , d d sx s x t== 所以t x =⎰由欧拉方程d0d d 0d y y F F tt -=⎛⎫= 得0c =做变量代换，令tg ,y θ'= 代入上式，得1sin ,x c θ== 101c c ⎛⎫= ⎪⎝⎭令 ⑴因为1d tg , d cos d d yy x c xθθθ'=== 得11d tg d tg cos d sin d y x c c θθθθθθ===可推出12cos y c c θ=-+ ⑵从（1）和（2）式中消去变量θ，得()22221x y c c +-=代入边界条件，得()2222221218, 4c c c c -=+=推出125, 3c c =±=所以曲线方程为()22325x y +-= □7.3 给定二阶系统010001x x u ⎡⎤⎡⎤=+⎢⎥⎢⎥⎣⎦⎣⎦，2(0)1x ⎡⎤=⎢⎥⎣⎦。
最优控制——最大值原理
最优控制——最大值原理最优控制问题是数学中的一个重要问题，研究如何在给定约束条件下使一个系统达到最优状态。
在数学的最优控制理论中，最大值原理是一种重要的工具和方法，被广泛应用于很多最优控制问题的求解中。
本文将详细介绍最优控制中的最大值原理及其应用。
最大值原理也称为哈密顿-雅可比-贝尔曼方程(hamilton-jacobi-bellman equation)，它是最优控制问题的一个基本性质。
最大值原理给出了在给定约束条件下系统状态的最优演化方程。
最大值原理的基本形式是哈密顿－雅可比－贝尔曼方程。
对于一个给定的最优控制问题，假设系统的演化满足一个偏微分方程，此方程将由状态变量、控制变量、时间变量以及一个哈密顿函数构成，具体形式如下：∂V/∂t + min(u) {H(x,u,t)+ ∇V⋅f(x,u,t)} = 0其中，V(x,t)是值函数(value function)，表示从状态x在时间t开始时，系统必须选择的最佳控制来最大化性能指标的期望值。
f(x,u,t)是状态方程(state equation)，描述系统状态的演化。
H(x,u,t)是哈密顿函数(Hamiltonian)，是一个将值函数、控制变量和状态方程综合起来的函数，它的作用是描述系统的动力学性质。
最大值原理的关键在于通过逐步迭代的方式求解值函数V(x,t)，找到使系统达到最优状态的最佳控制变量。
这一过程通常称为最优控制问题的动态规划(dynamic programming)。
最大值原理的主要应用涉及很多不同领域，例如经济学、工程学、生物学等。
在经济学中，最大值原理被广泛应用于决策理论、资产定价、宏观经济模型等领域。
在工程学中，最大值原理常用于控制系统设计、路径规划、优化问题等。
在生物学中，最大值原理被用于神经科学、生态学、生物系统动力学建模等。
最大值原理的应用还包括优化问题、最短路径问题、最优控制问题、反问题等。
它不仅可以用于求解连续问题，也可以用于离散问题。
第七章 最优控制：最大值原理
（7.39)
H
2
u
2
2 0
u (t )
的解是最大化 H
例1 最大化
满足 y y u 和 y (0 ) 1
V
1 0
u dt
2
y (1) 0
汉密尔顿函数： H u 2 ( y u )
0
H t , y
(T ) y T ( 0 ) y 0
的第一项对 求导，得：
T ( ) 0
(7.28)
H H q ( t ) dt H y q (t ) p (t ) u y
f (t , y , u ) H
以上两个方程右边相同，因此左边相等：
y
推导得到最大值 原理的条件之一
以上推导得到：
H ( t , y , u , ) y ( t ) dt ( T ) y
T 0
T
(0) y0
步骤3 推导新目标泛函 的另一种形式
推导得到最大值原 理的一般横截条件
第二节 其他终结条件
一般横截条件：
H t T T
(T ) y T 0
（7.30）
y
y Z
• 固定终结点的横截条件：
y (T ) y T
（T 和
y T 给定）
水平终结线的横截条件：
[ H ]t T 0
t
0
T
T2
T
最优控制-极大值原理
近似算法
针对极大值原理的求解过程，开 发了一系列近似算法，如梯度法、 牛顿法等，提高了求解效率。
鲁棒性分析
将极大值原理应用于鲁棒性分析， 研究系统在不确定性因素下的最 优控制策略，增强了系统的抗干 扰能力。
极大值原理在工程领域的应用
航空航天控制
在航空航天领域，利用极大值原理进行最优 控制设计，实现无人机、卫星等的高精度姿 态调整和轨道优化。
03
极大值原理还可以应用于经济 学、生物学等领域，为这些领 域的研究提供新的思路和方法 。
02
最优控制理论概述
最优控制问题定义
01
确定一个控制输入，使得某个给定的性能指标达到 最优。
02
性能指标通常由系统状态和控制输入的函数来描述。
03
目标是在满足系统约束的条件下，找到最优的控制 策略。
最优控制问题的分类
1 2
确定型
已知系统的动态模型和控制约束，求最优控制输 入。
随机型
考虑系统的不确定性，如随机干扰、参数不确定 性等。
3
鲁棒型
考虑系统模型的不确定性，设计鲁棒控制策略。
最优控制问题通过求解优化问题得到最优解的解析表达式。
数值法
02
通过迭代或搜索方法找到最优解。
极大值原理
03
基于动态规划的方法，通过求解一系列的子问题来找到最优解。
03
极大值原理
极大值原理的概述
极大值原理是现代控制理论中的基本原理之一，它为解决最 优控制问题提供了一种有效的方法。该原理基于动态系统的 状态和性能之间的关系，通过寻求系统状态的最大或最小变 化，来达到最优的控制效果。
在最优控制问题中，极大值原理关注的是在给定的初始和终 端状态约束下，如何选择控制输入使得某个性能指标达到最 优。它适用于连续和离散时间系统，以及线性或非线性系统 。
最优控制问题的最大原理
最优控制问题的最大原理在控制论中，最优控制问题是一个重要的研究领域。
最优控制是指在给定系统和控制目标的情况下，找到使系统达到最佳性能的控制策略。
最大原理是解决最优控制问题的核心思想之一。
本文将介绍最优控制问题以及最大原理的概念、应用和实现过程。
一、最优控制问题的概述最优控制问题是在数学优化领域中的一个重要问题。
其目标是通过选择合适的控制输入，使系统的性能指标达到最优。
最优控制问题可以分为静态最优控制和动态最优控制两类。
静态最优控制是在给定时间段内，找到一个控制策略使得系统性能指标最优。
动态最优控制则是在一段时间内，找到一个最佳控制策略使得系统在整个过程中的性能指标最优。
二、最大原理的概念最大原理是最优控制问题中的一个基本概念。
它认为在最优控制问题中，系统的状态和控制变量满足一定的最大原理方程。
最大原理方程是通过构建系统状态的Hamilton-Jacobi-Bellman方程得到的。
最大原理方程可以用来确定最佳控制策略，将最优控制问题转化为一个求解偏微分方程的问题。
三、最大原理的应用最大原理在最优控制问题中有着广泛的应用。
例如，在经济学中，最大原理可以用来确定最优的资源分配策略，以最大化经济效益。
在工程控制中，最大原理可以用来设计最优的控制系统，以最大限度地提高系统的性能。
在交通流量控制中，最大原理可以应用于交通信号灯的优化控制，以最大程度地减少交通拥堵。
四、最大原理的实现过程最大原理的实现过程是一个复杂的数学优化问题。
通常需要使用数学工具和算法进行求解。
其中一个常用的方法是动态规划法。
动态规划法将最优控制问题分解为一系列子问题，并通过递归的方式求解每个子问题，最终得到最优的控制策略。
另一个常用的方法是最优化算法，如最速下降法、牛顿法、共轭梯度法等。
这些算法可以通过迭代的方式求解最优控制问题。
总结：最优控制问题是控制论中的一个重要研究领域，最大原理是解决最优控制问题的核心思想之一。
最大原理通过构建系统状态的Hamilton-Jacobi-Bellman方程，可以用来确定最佳控制策略。
高宏第三章 最优控制
第三章 最优控制（上）-变分法第一节 动态优化简介一、静态优化问题如果一个企业要确定一个最优产出水平x *以最大利润()F x ：0max ()x F x ≥ （1）这样的问题的解通常将是一数，即确定选择变量的单个最优值。
最优值常可由一阶条件()0F x *'=确定。
动态问题是多期（multiperiod ）的，但是并不是有多期的时间就是动态问题．．．．．．．．．．．．．．．．．。
考虑企业的多期决策问题：1max (,)Tt t F t x =∑ （2）(0,1)t x t T = 描述的是每阶段的产出组成的序列，即给出了一个产出的时间路径。
显而易见，总利润不是由单期的产出决定，而是由整个的产出的时间路径确定，所以要使利润最大化，实质上是要找到一条最优的路径（而不是单个期的t x ）。
但由于t 期利润只与t 期的产出有关，所以要在整个时间序列内最大化利润，就只要分别在每一期最大化利润即可，即这一个问题的解是一个有T 个数的集合，1{,}T x x ** 。
所以由于任一产量只影响该期利润，问题（2）实际上是一系列的．．．．静态问题，即在每一期选择当前产量使该期利润最大化。
问题（2）有类似的T 个一阶条件，各期的一阶条件之间没有联系。
在Ramsey 模型的竞争性均衡结构中，生产者问题就具有这样的性质。
二、动态问题具有动态性质的问题是，当前的产出不但影响到当前的利润，还影响到未．．．．．来．的利润。
更为一般地来说，当前决策影响未来决策。
11max (,,).. 0,1Tt t t t F t x x s t x t T-=≥=∑0x 给定或0(0)x x = （3）在问题（3）中，每一期的利润不但取决于当前产量，还与过去的产量有关；换句话说，t 期选择的产量t x 不但影响t 期的利润，还会影响到以后的利润。
注意，上述问题中已指定了0x 。
0x 影响到了以后各期的利润（从而也影响到总利润）。
问题（3）与问题（2）不同，它的最优解的T 个一阶条件不能分别确定，而是要同时确定，也就是我们实际上要“一次性”确定一条最优路径。
最优控制——最大值原理
(2)在应用古典变分法来求解最优控制问题时，要求函数 [X ( tf ) ,tf ], L[X(t),U(t),t] , f [X(t), U(t) ,t] 对它们的自变量 具有“充分”的可微性，特别要求H/U(t)有定义，于是， 类似
J u(t ) dt
t0 tf
这样的性能泛函数就被排除在外了。但是在燃料最优 控制问题中，这类性能泛函却是无法避免的。
U ( t )
说明：由于定理2.1.2的中心内容是，使性能泛函达到极小值 的最优控制的必要条件是哈密顿函数H达到最大值，所以， 该定理称为最大值原理。
2014-12-29
15
例 2.1.1 给定一阶线性系统和初始条件 （2.1.11） x x u, x(0) 1 其中控制作用u(t)的约束条件为 （2.1.12） u (t ) 1 要求确定控制函数u(t) ，使性能泛函 1 u J ( x )dt （2.1.13） 0 2 达到极小值 。 解：这是一个积分型最优控制问题，其终端时刻tf=1固定， 终端状态X(tf)是自由的。控制函数受到闭集性的约束条件。 可以利用上面介绍过的最大值原理（定理2.1.2）或最小值 原理（定理2.1.1）来求解。在这里，为了进行比较，将分 别利用这两个定理来求解。 (1)应用最大值原理求解，为此构造哈密顿函数 u 1 H ( x ) ( x u ) (1 ) x ( )u （2.1.14） 2 2
2014-12-29 16
按照最大值原理，为使泛函（2.1.13）达到极小值必须选择控 制函数u(t) ，使哈密顿函数（2.1.14）达到最大值。 由式(2.1.14)可见，当u(t)与((t)+1/2)同号，且取其约束条件 的边界值，即| u(t) |=1时，使哈密顿函数H达到最大值。所以， 控制函数应选择为
最大值原理
大值时，则必要条件中（2）因为：
H (x(t), (t),u(t),t) max H (x(t), (t),u,t) u
二.若已给 x(t0 ) x0 ，t f 已知，而x(t f )自
由时，边界条件为：x(t0 ) x0
(t
f
)
0
三．如果 t f 自由，则边界条件为：
x(t0
)
x0
(t f ) 0
定理1:（最大值原理）u(t) 为最优控制
Байду номын сангаас
的必要条件是：
（1）存在协状态向量(t)它和 x(t) 满
足下列正则方程组：
dx dt
f (x,u,t)
H
d
dt
H x
（2）Hamilton函数
H (x, ,u,t) L(x,u,t) T (t) f (x,u,t)
作为 u 的函数，在u u(t)达到最小
0
0.307
2
3 ln 2 4e 8.679 2
(t )
1.72
1
0.307
1
t
u
1 2
0.307
1t
例2：（鱼塘的最优管理问题） 鱼塘的动态模型：
设x(t)为 t 时刻鱼的总数，u(t)为捕捞速
度（单位时间内捕捞的鱼数），则鱼 群的数学模型方程为：
dx rx u(t) dt
x(0) x0
t er(t ) ud
ts
设：x(t f ) xf x
x x0ertf
u
e d t f r (t f )
ts
x0ert f
u [1 er(t f ts ) ] r
er(t f ts ) u r(x0ert f x) u
动态最优化第7讲 最优控制理论极大值原理汇编
y0 A yT 自由 （A,T给定）
ut , 对于所有t 0,T
控制变量为 ut，运动方程（或状态方程）：dy f t, y,u 控制变量通过运动方程影响状态变量yt dt
第七讲 最优控制理论最大值原理
（二）最优控制的基本问题
（4）一个特例 （运动方程为：dy u ）
Max
V
T
0
求解条件：Max H t, y,u, u
首先使用一阶条件 : H 0 u
再用二阶条件： 2 H u 2
0验证H是凹函数
a 0b
曲线1 曲线2
曲线3 曲线4
cu
第七讲 最优控制理论最大值原理
（三）最大值原理
（2）最大值原理的条件
（2）如果H是下凸函数（曲线2），尽管
H
H关于u可微, 但 H 0得出的是最小值， u
0
dy dt
0
y*t
C2
把初始条件：y0 A代入，得：y*t A
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
Max
V
2 2 y 0
3udt
S.T. dy y u dt
y0 4 y2自由
ut 0,2
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
F t,
y, u dt
dt
S.T. dy u dt
y0 A yT 自由 （A,T给定）
消去u，得：
Max
V
T
0
F t,
y,
ydt
S.T. y0 A yT 自由 （A,T给定）
化为垂直终结线的变分法问题
第七讲 最优控制理论最大值原理
最优控制问题的主要方法
最优控制问题的主要方法最优控制问题是控制理论中的一个重要分支，其目标是在给定系统动力学和性能指标的情况下，寻找最优的控制策略，使系统达到最优性能或目标。
以下是最优控制问题的一些主要方法：1.变分法（ Calculus（of（Variations）：（变分法是一种数学工具，用于寻找泛函的极值。
在最优控制中，系统的性能指标通常可以表示为一个泛函。
变分法可以通过最小化或最大化泛函来导出最优控制问题的欧拉-拉格朗日方程。
2.动态规划 Dynamic（Programming）：（动态规划是一种用于解决具有递归结构且满足最优子结构性质的问题的优化方法。
在最优控制中，动态规划可以用于处理具有离散或连续时间的动态系统，并通过构建状态转移方程来找到最优策略。
3.最优控制理论（Optimal（Control（Theory）：（最优控制理论是处理连续时间动态系统最优化问题的数学工具。
它利用微分方程和变分法来分析系统，并确定最优控制策略，以使系统性能指标达到最优。
4.Pontryagin最大值原理（ Pontryagin's（Maximum（Principle）：（Pontryagin最大值原理是最优控制中的一个重要概念，它提供了寻找连续时间系统最优控制策略的方法。
该原理基于最优控制问题的哈密顿函数和共轭动态系统，通过最大化哈密顿函数来确定最优控制。
5.线性二次型调节器 LQR）：（线性二次型调节器是一种针对线性动态系统设计最优控制器的方法。
它通过最小化系统状态和控制输入的二次型代价函数来设计最优控制器。
6.模型预测控制 Model（Predictive（Control，MPC）：（模型预测控制是一种基于离散时间模型的最优控制方法。
它使用系统的预测模型来预测未来状态，并通过优化控制序列来实现性能指标的最优化。
这些方法可以根据系统的特性、动力学模型、性能指标和实际应用场景选择和应用。
最优控制问题在工程、经济学、生物学等领域有着广泛的应用，能够优化系统的性能并提高控制效果。
最优化设计：第14章 最大(小)值原理
利用前面介绍的变分法求解最优控制
问题时曾假设控制函数u定义在一给定的
开集上，而不受其他约束，而在许多最优
控制问题中，控制函数u却会受到某些限
制。例如，在前面用变分法来求解最优控
制问题时，要求涉及到的函数[x(tf), tf]、
F[x,u,t]、f[x, u, t]都具有可微性，特别要
矩阵A的特征值均具有非正实部，控制变 量满足不等式约束|u|≤M，则最短时间控 制存在。 ③ 最短时间控制的唯一性定理
若线性定常系统 x Ax Bu 属于平凡
情况，若时间最优控制存在，则必定是 唯一的。
④ 开关次数定理
若线性定常系统 的控制变量满足不等
式约束|u|≤M，矩阵A的特征值全部为实数，
M
u*
j
(t
)
M
*T (t)bj 0 *T (t)bj 0
不定 *T (t)bj 0
j 1, 2, , m
由此可知，当*Tbj≠0时，可以找出确定的
u*j (t) 来，并且它们都为容许控制的边界
值；当*Tbj穿过零点时， 由一个边界值切 换到另一个边界值；如果*Tbj在某一时间
区间内保持为零，则 为u*j不(t)确定值，这 种情况称为奇异问题或非平凡问题，相应 的时间区段称为奇异区段。当整个时间区 间内不出现奇异区段时，则称为非奇异问 题或平凡问题。对于平凡问题，有以下几 个定义及定理：
仍然成立，满足最小值的控制同样满足最
大值，只是求解得到的协态变量*将互为
异号。
于是，就得到关于由式（14-1）~（14-
4）所给定的最优控制问题的最大值原理。
这也是把这一方法称为最小值或最大值原
理的原因。
最大值原理及其应用
最大值原理及其应用理学院0601111018 李金泽指导教师：花秋玲一·目的及意义最优控制理论所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。
这类问题广泛存在于技术领域或社会问题中。
最优控制问题就其本质来说，乃是一个变分学问题。
然而，经典变分理论所能解决的，只是其容许控制属于开集的一类最优控制问题，而实际上遇到更多的却是容许控制属于闭集的一类最优控制问题，这就要求人们探索求解最优控制问题的新途径。
在解决最优控制问题的新方法中，有两种方法最富成效：一种是美国学者贝尔曼的动态规划；另一种是前苏联学者庞特里亚金的最大值原理。
(详细强调最大值原理的应用以及意义)二·国内外研究情况（分成国内和国外两部分，国内主要是雍炯敏，周迅宇，李迅经文献）最优控制理论的发展源于控制论的发展,其奠基人是维纳（Wiener）自从40年代维纳提出了最优设计概念之后,吸引了大批学者关注与介入研究.1950年,米顿纳尔(Medona1)首先将这个概念用于研究继电器系统在单位阶跃作用下的过渡过程的时间最短最优控制问题,我国学者钱学森1954年所著的《工程控制论》（Engineering Cybernetics）直接促进了我国最优控制理论的发展.到了50年代末,特别是60年代初,在空间技术发展和数字计算机普及应用的推动下,动态系统的优化理论得到了迅速的发展,逐渐形成了一个重要的学科分支---最优控制.自动控制联合会(IFAC)第一届世界大会于1960年召开,卡尔曼（R.E.Kalman）、贝尔曼（R.Bellman）和庞特里亚金（L.S.Pontryagin）分别在会上作了“控制系统的一般理论”、“动态规划”和“最优控制理论”的报告,宣告了最优控制理论的诞生,人们也称这三个工作是现代控制理论的三个里程碑.最优控制理论所研究的主要问题是：按照控制对象的动态特征,选择容许的控制，使得被控对象按照技术要求运转同时使性能指标达到最优．动态规划是贝尔曼在1953—1957年之间逐步创立的，他以最优性原理，发展了最优学中的哈密顿-雅可比理论，构成了动态规划。
《最优控制》第3章庞德里雅金极大值原理
第3章——庞德里雅金极大值原理
性能指标
J
tf 0
| u(t ) | dt
寻求最优控制u* f
T
H | u | 1x2 2u
(2) 协态方程:
H X
0 1 10 1 , 2 10t 20 1 2
目标泛函：
J dt , | f (t ) | 1 0
8
tf
第3章——庞德里雅金极大值原理
1 x2 x 问题：设系统的状态方程 其中控制变量u (t ) 满足约束 x u 2
， 条件 | u(t) | 1 设系统的初始状态 x1 (0) x10 , x2 (0) x20 ;
(3)寻求H最小的 u (t )
由 | u(t) | 1可知，当| u(t) | 1,且u(t) 的符号与2相反 时，H最小
10
第3章——庞德里雅金极大值原理
1 u (t ) sgn[ 2 ] 1 不定
2 0 2 0 2 0
（4） 对u * (t ), x * (t )而言，有H 1 1x2 2u 0 （5）分析 ①2 0
4
第3章——庞德里雅金极大值原理
(3)边界条件
x ( t ) x(t0 ) x0 , (t f ) ①当 f 不受限制， x(t f )
②当存在终端约束条件
[ x(t f ), t f ] 0时，x(t0 ) x0
(tf ) V x(tf ) x(tf )
快速控制系统的这个特性称为有限切换原理，相应的 控制方式称为Bang-bang控制。 （6）求最优轨线
①u 1 2 u dx2 dt x2 t c1 x2 (0) x20 x2 (t ) t x20 x 1 2 1 x2 x1 (t ) t x20t x10 x 2
最大值原理及其应用
最大值原理及其应用实例[摘要]：最优控制中的最大值原理，是在目标泛函的最大化问题中得到最优控制的必要条件是使哈密顿函数达最大值而得名的。
它被广泛应用于开放式捕鱼以及日常实际问题求最优策略的解决过程中，但是虽然它解决了古典变分法所遇到的困难，给出了最优控制问题解的必要条件，却绝非充分条件，所以在应用中具有一定局限性。
[关键词]：最大值原理；哈密顿函数；必要条件；最优控制；最优策略正文：1．最大值原理的内涵设系统的状态方程为(,,)xf x u t = 00()x t x = 控制u 属于R m 中的某个有界闭集U ，最优控制问题是求u ∈U ，使得()((),)(,,)ft f t J u x t f L x u t dtθ=+⎰最小。
假设f(x,u,t)的分量为f i (x,u,t)，并假设(,,)i f x u t ，(,,)i f x u t t ∂∂，(,,)i j f x u t x ∂∂，(,,)L x u t ，(,,)L x u t t ∂∂，(,,)i L x u t x ∂∂，((),)((),)((),),,,(,1,2,,)()f f f f f f j f fx t t x t t x t t i j n x t t θθθ∂∂=∂∂都是其自变量的连续函数。
用u *、x *分别表示最优控制和最优轨迹，则u *使J(u)取最小值的必要条件是：1.1存在协状态向量λ*(t),它和x *(t),u *(t)一起满足正则方程(,,)x f x u t H x λ=⎧⎪∂⎨=-⎪∂⎩1.2哈密顿函数作为u 的函数在u=u *(t)取最小值，即(,,,)min (,,,)u UH x u t H x u t λλ*****∈=1.3 正则方程的边界条件：1.3.1 若x(t f )=x f 是给定的，则边界条件为00()x t x = ()f f x t x =1.3.2 如果t f 给定，x(t f )自由，那么边界条件为00()x t x = ((),)()f f f fx t t t x θλ∂=∂1.3.3 如果t f 也是自由的，还要加一个条件：((),)((),(),(),)0f f f f f f fx t t H x t u t t t t θλ∂+=∂以确定t f 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（2.1.5）
其中，
（2.1.6）
*
7
(2)边界条件为
（2.1.7）
（2.1.8）
(3)哈密顿函数H对控制变量U(t) (t0t tf)取极小值，即
（2.1.9）
定理1.6.1是在控制变量u(t)不受约束的情况下，求最优控 制函数U*(t) ，使哈密顿函数（2.1.6）达到极小值。这也是在 控制函数U(t)不受约束或只受开集性的约束的情况下的最小 值原理。 显然，控制方程（2.1.9）也可以写成如下形式
则为将系统从给定的初态X(t0)=X0 转移到终端时刻tf固定，终端 状态X(tf)自由的某个终态，并使性能泛函
*
6
达到极小值的最优控制应满足的必要条件是 (1)设U*(t)是最优控制， X*(t)是对应与U*(t)的最优轨线，则
必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X(t)与 (t)满足规范方程
于闭集性约束的边界时，古典变分法便不再适用了。
(2)在应用古典变分法来求解最优控制问题时，要求函数
[X ( tf ) ,tf ], L[X(t),U(t),t] , f [X(t), U(t) ,t] 对它们的自变量
具有“充分”的可微性，特别要求H/U(t)有定义，于是，类 似
这样的性能泛函数就被排除在外了。但是在燃料最优 控制问题中，这类性能泛函却是无法避免的。
则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得 X*(t)和(t)满足规范方程
式中H是哈密顿函数，且为 (2)边界条件为
*
11
(3)哈密顿函数在最优控制U*(t)和最优轨线X*(t)上达到最小 值,即
说明: (1)由于定理2.1.1的中心内容是,使性能泛函(2.1.3)达到 最小值的最优控制的必要条件是哈密顿函数H达到最小值， 所以，该定理称为最小值原理。
给定系统的状态方程
和初态X(t0)=X0， 而终端时刻tf固定，终端状态X(tf)自由以及 控制变量U(t)所受约束条件是
则为将系统从给定的初态X(t0)转移到某个终态X(tf) ，并使性 能泛函
达到极小值的最优控制应满足的必要条件是：
*
10
(1) 设U*(t)是最优控制, X*(t)是对应于U*(t)的最优轨线，
*
5
X(tf)的过程中，性能泛函
(2.1.3) 达到极小值。其中L是连续可微的标量函数。
这个积分型最优控制问题所确定的控制U(t)称为最优控制， 记为U*(t)。
如果不考虑式（2.1.2）的约束条件，那么该最优控制问题 的解的必要条件可由第一章的定理1.6.1给出，现引述如下：
定理1.6.1 设系统的状态方程为
(2)一个函数的最小值点与该函数反号后的最大值是一致 的。所以，若令哈密顿函数为
则下列二式
*
12
和
的结果是一致的，只是二式中的协态变量(t)是互为反号的。
定理2.1.2 （积分型最优控制问题的最大值原理） 给定系统的状态方程
和初态X(t0)=X0， 而终端时刻tf固定，终端状态X(tf)自由以及控 制变量U(t)所受约束条件是
*
3
• 二.最大值原理和动态规划
为了解决古典变分法在求解最优控制问题中所暴露出来 的上述问题，许多学者进行了各种探索。其中以苏联学者庞 特里雅金（Л.C.ПoHTpЯГИH）的最大值原理（或最小值原理） 与美国学者贝尔曼（R.E.Bellman）的动态规划较为成功，应 用也较广泛，现已成为求解最优控制问题的强有力的工具。
•最优控制最大值原理
主要内容
• §2.1 最大值原理的提出 • §2.2 最大值原理的证明 • §2.3 一般型最优控制问题终端时刻tf
可变的情况 • 课外习题
返回目录
*
2
• 一、 古典变分件 利用如下形式的不等式来表示.
即 当控制函数U(t)受到上述不等式约束,并且最优控制取决
（2.1.10）
*
8
说明： (1)当控制函数U(t)不受约束或只受开集性约束条件下， 控制方程（2.1.9）和（2.1.10）是等价的。
(2)在控制函数U(t)受到式（2.1.2）所表示的闭集性约束的 条件下，控制方程（2.1.9）未必是最优控制问题的解的必要 条件之一。
a.因为
b.作为控制变量U(t)的函数的Hamilton函数H [ X(t)，(t)，
U(t)，t]在闭子集内可能不存在极值点，而企图以H/U 来 求极小值点也是难以奏效的。
因此，在控制函数U(t)受到式（2.1.2）那样闭集性约束 的条件下，控制方程（2.1.9）不再是由式（2.1.1）～式（ 2.1.3）所给定的最优控制问题解的必要条件了。
*
9
但是，控制方程（2.1.10）总是成立的，它仍然是由式（2.1.1） ～式（2.1.3）所给定的最优控制问题解的必要条件 。 定理2.1.1 （积分型最优控制问题的最小值原理）
则为将系统从给定的初态X(t0)转移到某个终态X(tf) ，并使性能 泛函
*
13
达到极小值的最优控制应满足的必要条件是：
(1)设U*(t)是最优控制, X*(t)是对应于U*(t)的最优轨线，则
必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t) 和(t)满足规范方程
在这一章里，首先通过积分型最优控制问题提出最大值 原理，然后再推广到复合型最优控制问题中，然后利用增量 法对最大值原理进行证明。
*
4
§2.1 最大值原理的提出
• 2.1.1 积分型最优控制问题
问题2.1.1(积分型最优控制问题) 给定系统的状态方程：
(2.1.1) 其中，f是n维连续可微的向量函数；X(t)是n维状态变量，其 初态X(t0)=X0， 而终态应满足的条件是：终端时刻tf固定，终 端状态X(tf)自由，U(t)是m维控制变量，其所受约束条件是
(2.1.2) 其中，是以U(t)为元素的m维实函数空间中的一个闭子集。 式(2.1.2)表明，控制变量是这个闭子集中的元素。满足式 (2.1.2)约束条件的控制变量称为容许控制变量，简称容许控 制。要求在满足式(2.1.2)的容许控制中，确定一控制变量 U(t)，使系统（2.1.1）从给定的初态X(t0)转移到某个终态