现代控制理论-第七章 最优控制_动态规划
最优控制-第七章-动态规划法
当∆t很小时，有
t t
t
Lx, u, t d t Lx, u, t t
J x, t min
*
min
uU
uU
tf
t0
Lx, u, t d t Φ xt f
tf t t
t t
t
Lx, u, t d t
Lx, u, t d t Φ xt f
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 3 2 2 Q3 B
5 Q2
第一段：P1、Q1的前站是始发站A。显见从
A到B的最优值为12，故得最优路线为AQ1P2Q3B。
综上可见，动态规划法的特点是： 1) 与穷举算法相比，可使计算量大大减少。如
上述最优路线问题，用动态规划法只须做10次
J x, t min Lx, u, t t J xt t , t t
* * uU
(8)
* J x , t J x, t * * J x x, t t J x, t t (12) x t x * T
A城出发到B城的行车时间最短。
P1 3 A 4 Q1 1
7
P2
2
P3 4
4
6 8 2 Q2
3 3 3
2 Q3 4
2
B
现将A到B分成四段，每一段都要作一最优决 策，使总过程时间为最短。所以这是一个多段最 优决策问题。 由图2可知，所有可能的行车路线共有8条。 如果将各条路线所需的时间都一一计算出来，并 作一比较，便可求得最优路线是AQ1P2Q3B，历时 12。这种一一计算的方法称为穷举算法。这种方 法计算量大，如本例就要做3×23=24次加法和7次 比较。如果决策一个n段过程，则共需(n-1)2n-1次 加法和(2n-1-1)次比较。可见随着段数的增多，计 算量将急剧增加。
华中科技大学现代控制理论--动态规划与离散系统最优控制（可编辑）
华中科技大学现代控制理论--动态规划与离散系统最优控制Ch.7 最优控制原理目录 1/1 目录 7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题本章小结动态规划与离散系统最优控制 1/3 7.6 动态规划与离散系统最优控制前面讨论了连续系统最优控制问题的基于经典变分法和庞特里亚金的极大值原理的两种求解方法。
所谓连续系统,即系统方程是用线性或非线性微分方程描述的动态系统。
该类系统的控制问题是与传统的控制系统和控制元件的模拟式实现相适应的,如模拟式电子运算放大器件、模拟式自动化运算仪表、模拟式液压放大元件等。
随着计算机技术的发展及计算机控制技术的日益深入,离散系统的最优控制问题也必然成为最优控制中需深入探讨的控制问题,而且成为现代控制技术更为关注的问题。
动态规划与离散系统最优控制 2/3 离散系统的控制问题为人们所重视的原因有二。
1 有些连续系统的控制问题在应用计算机控制技术、数字控制技术时,通过采样后成为离散化系统, 如许多现代工业控制领域的实际计算机控制问题。
2 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件如零件加工活动的发生或结束为标志的。
动态规划与离散系统最优控制 3/3 本节将介绍解决离散系统最优控制的强有力工具--贝尔曼动态规划,以及线性离散系统的二次最优控制问题。
内容为最优性原理与离散系统的动态规划法线性离散系统的二次型最优控制最优性原理与离散系统的动态规划法 1/3 7.6.1 最优性原理与离散系统的动态规划法基于对多阶段决策过程的研究,贝尔曼在20世纪50年代首先提出了求解离散多阶段决策优化问题的动态规划法。
如今,这种决策优化方法在许多领域得到应用和发展,如在生产计划、资源配置、信息处理、模式识别等方面都有成功的应用。
最优控制问题的动态规划法
最优控制问题的动态规划法动态规划法是一种常用的最优控制问题求解方法。
它通过将问题分解为子问题，并保存子问题的最优解，最终得到整体问题的最优解。
本文将介绍最优控制问题的动态规划法及其应用。
一、概述最优控制问题是指在给定控制目标和约束条件下，通过选择一组最优控制策略来实现最优控制目标。
动态规划法通过将问题分解为若干个阶段，并定义状态和决策变量，来描述问题的动态过程。
并且，动态规划法在求解过程中通过存储子问题的最优解，避免了重复计算，提高了计算效率。
二、最优控制问题的数学模型最优控制问题通常可以表示为一个关于状态和控制的动态系统。
假设系统的状态为$x(t)$，控制输入为$u(t)$，动态系统可以表示为：$$\dot{x}(t) = f(x(t), u(t))$$其中，$\dot{x}(t)$表示状态$x(t)$的变化率，$f$为状态方程。
此外，系统还有一个终止时间$T$，以及初始状态$x(0)$。
最优控制问题的目标是找到一个控制策略$u(t)$，使得系统在给定时间$T$内，从初始状态$x(0)$演化到最终状态$x(T)$，同时使得性能指标$J(x,u)$最小化。
性能指标通常表示为一个积分的形式：$$J(x,u) = \int_0^T L(x(t), u(t)) dt + \Phi(x(T))$$其中，$L$表示运动代价函数，$\Phi$表示终端代价函数。
三、最优控制问题的动态规划求解最优控制问题的动态规划求解包括两个主要步骤：状态方程的离散化和动态规划递推。
1. 状态方程的离散化将状态方程离散化可以得到状态转移方程。
一般来说，可以使用数值方法（如欧拉方法、龙格-库塔方法）对状态方程进行离散化。
通过选择适当的时间步长，可以平衡计算精度和计算效率。
2. 动态规划递推动态规划递推是最优控制问题的关键步骤。
假设状态函数$V(t,x)$表示从时刻$t$起，状态为$x$时的最优性能指标。
动态规划递推过程通常可以描述为以下几个步骤：（1）递推起点：确定最终时刻$T$时的值函数$V(T,x)$，通常可以根据终端代价函数$\Phi$直接得到。
现代控制理论-第7章 最优控制
(3)控制规律：
u* kx(t)
P由黎卡提微分k 方Q2程1BT得P 到 边界条件：P(tf)=Q0
PA AT P PBQ21BT P Q1 P(t)
例：求解使：J最小的u*(t)
0 1 0 x 0 0x 1u,
பைடு நூலகம்
J
第二节 状态调节器
在不消耗过多控制能量的前提下，使系统各状态在受 到外界干扰作用下，维持平衡状态。
一.无限长时间状态调节器
1.原系统：可控系统
2.性能指标： 说明：(1) J
x Ax Bu, y Cx
12表0 (示xTQ1系x u统TQ2要u)d求t 状态变量偏离平衡点的累积
u* kx(t)
3.控制规律
k Q21BT P
正定实对称P由黎卡提代数方程得到：
PA AT P PBQ21BT P Q1 0
例：求使J最小的u*(t)。 0 1 0
解：
x 0 0x 1u,
J
1
(xT
x uTu)dt
误差最小，这xTQ意1x 味着因某种原因系统状态偏离平衡点，控制
作用应使它很快回复到平衡点，调节器的名称由此而来
(2) 表示在控制过程中，消耗的能量最小
J中(3的u)TQ权Q2u1重半正定，Q2正定，用来确定状态变量与控制能量在
即寻求控制规律，使系统的状态变量x(t)按性能指标J的要 求，在无限长的时间内达到平衡点
1.原系统：可控、可观系统
x Ax Bu, y Cx
2.性能指标：J
1 2
[(y
0
现代控制工程-第7章最优控制
8
1.
*问给7定题.3t
变分法求解无约束最优控制
f ，终端自由，即 x(t f ) 任意
增广泛函为
Ja
[x(t f )]
tf [H (x,u,,t) T x]dt
t0
取一阶变分并令其为零，得
J a
(
x
)T
x
t t
f
tf [(H )T x (H )T u (H )T xT Tx]dt 0
J ( x*, x)
d d
J ( x * x)
0
0
在实际问题中，泛函极值问题的最优轨线通常是受到各种约束的。
例如，最优控制性能指标（7.2）中的u和x的选择，要满足状态方 程（7.1），这是一个等式约束。 在等式约束下的泛函极值问题，称为条件泛函极值问题。
用拉格朗日乘子法将条件泛函极值问题转化为无约束条件极值问
3
设7系.1统最的状优态控方程制为的概x 念f (x, u, t)
最优性能指标
J [x(t f ),t f ]
tf
L[ x(t ), u(t ), t ]dt
t0
所谓最优控制，就是要确定在 [t0 , t f ] 中的最优控制，将系统的
状态从 x(t0 )转移到 x(t f ) ，或者 x(t f ) 的一个集合，并使性能指 标最优。 最优控制问题从数学上看，就是求解一类带有约束条件的条件
称为无约束最优控制问题。
无约束最优控制问题是一个求有等式约束的泛函极值问题，可
以用拉格朗日乘子法把有约束条件问题转化为无约束条件问题。
构造增广泛函为
J a [x(t f ),t f ] t f {L[x(t),u(t),t] T [ f (x(t),u(t),t) x(t)]}dt t0
动态规划原理与最优控制
J *[x(2)] min {x2 (2) u2 (2) J *[x(3)]} u(2) min {x2 (2) u2 (2) [x(2) u(2)]2} u(2)
上述最优化问题的解为
u *(2) 1 x(2) 2
最优目标函数为
J *[x(2)] x2 (2) [ 1 x(2)]2 [x(2) 1 x(2)]2 3 x2 (2)
min L[x(k),u(k),k] J *[x(k 1),k 1] u(k)
J *[x(N), N] min {L[x(N),u(N), N]} u(k) 23
例1
设离散系统的状态方程为
x(k 1) x(k) u(k) k 0,1,, N 1
已知 x(0) x0
5
2
5
5
27
K=0时
J *[x(0)] min {x2 (0) u2 (0) J *[x(1)]} u(0)
min
{x2 (0) u2 (0) 8 [x(0) u(0)]2}
u(0)
5
求解可得
u *(0) 8 x(0) 13
最优目标函数为
J *[x(0)] x2 (0) [ 8 x(0)]2 8 [x(0) 8 x(0)]2 21 x2 (0)
使目标泛函
N 1
J L[x(k), u(k), k] k 0
取极小值
17
动态规划的目的
使 J 最小
即 min J
将以 x( j)为初态的 N-j(=k) 级最优决策
N
J *[x(k), k)] min{ L[x( j), u( j), j]} jk
武汉大学自动化专业 《现代控制理论》第七章 最优控制
1
最优控制研究的主要问题是： 根据已建立的被控对象的数学模型，选择一个容许的 控制规律，使得被控对象按预定要求运行，并使给 定的某一性能指标达到极小值（或极大值）； 从数学观点看，最优控制研究的是求解一类带有约束 条件的泛函极值问题，属于变分学的范畴。 古典变分理论只能解决控制无约束（即容许控制属于 开集）的一类最优控制问题，为满足工程实际的需 要，在20世纪50年代中期出现了现代变分理论， 常用的数学工具是Bellman(美国)的“动态规划”， 和Pontryagin(苏联)的‘极大值原理“。，又进一步推动了现代控制论的发展
T t0 T tf t0
∴ ..J = {θ [ X (t ), t ] λ (t ) X (t )}
+ ∫ {H [ X (t ), u (t ), t ] + λT (t ) X (t )}dt
t0
tf
9
极大值曲线的充分条件为 δ2 J＜0
五 无约束条件的泛函极值
& 求 J ( X ) = ∫t Φ( X , X , t )dt 的极值，就是确定X(t)，使 J = min .
0
tf
& 几何意义：寻找一条曲线X(t)，使给定的可微函数 Φ ( X , X , t ) 沿X(t) 的积分达到极值，此时X(t)=X*(t)
横截条件： ①两端固定 ②两端状态自由
δX 0 = 0,.....δX f = 0
Φ & X Φ & X
tf
= 0,.....
③始端自由，终端固定 ④始端固定，终端自由 ⑤终端 t f 自由，但状态 X (tf )=c (tf ) 受约束——拦截 问题
Φ & X
最优控制问题的动态规划算法
最优控制问题的动态规划算法动态规划（Dynamic Programming）是一种解决多阶段决策问题的优化方法，对于最优控制问题而言，动态规划算法是一种有效的求解方法。
本文将介绍最优控制问题以及如何使用动态规划算法解决该类问题。
一、最优控制问题简介最优控制问题是在给定系统的一些约束条件下，通过对系统进行控制使得某个性能指标达到最优的问题。
该问题可以形式化地表示为数学模型，通常由状态方程、性能指标和约束条件组成。
二、动态规划算法原理动态规划算法采用自底向上的方法，通过建立递推关系，将原问题分解为若干个子问题，并以自底向上的顺序求解子问题的最优解，最终得到原问题的最优解。
三、最优控制问题的动态规划算法步骤1. 确定阶段数和状态变量：将最优控制问题划分为多个阶段，并定义每个阶段的状态变量。
状态变量可以是系统的状态、控制量或其他相关变量。
2. 建立状态转移方程：根据最优控制问题的约束条件和性能指标，建立各个阶段之间的状态转移方程。
状态转移方程表示了系统在不同阶段之间的演化过程。
3. 定义性能指标：根据最优控制问题的要求，定义系统的性能指标。
性能指标可以是系统的能量消耗、最大收益或其他相关指标。
4. 确定边界条件：确定最优控制问题的边界条件，即初始状态和终止状态。
5. 递推求解最优解：采用动态规划算法的核心步骤，即按照递推关系将问题分解为若干个子问题，并求解子问题的最优解。
6. 反推最优解：根据子问题的最优解，反向推导出原问题的最优解。
四、最优控制问题的应用举例以经典的倒立摆问题为例，倒立摆的目标是通过对摆的控制使其保持垂直。
假设倒立摆由质量为m的杆和质量为M的滑块组成。
其动态方程可以表示为：（这里给出具体的动态方程式，包含各个参数和变量）通过建立状态方程和性能指标，我们可以将倒立摆问题转化为最优控制问题。
然后利用动态规划算法求解。
五、总结最优控制问题是一类常见的优化问题，在实际应用中具有广泛的应用价值。
最优控制与最优化问题中的动态规划方法
最优控制与最优化问题中的动态规划方法动态规划方法是一种在最优控制和最优化问题中常用的方法。
它通过将问题分解为子问题，并利用子问题的最优解来求解整体问题的最优解。
本文将介绍动态规划方法的基本原理和应用，以及其在最优控制和最优化问题中的具体应用案例。
一、动态规划方法的基本原理动态规划方法的基本原理是将原问题分解为若干个子问题，并通过求解子问题的最优解来求解整体问题的最优解。
具体来说，动态规划方法有以下几个基本步骤：1. 定义状态：将问题的解表示为一个或多个状态变量。
2. 确定状态转移方程：根据问题的特点和约束条件，确定状态之间的转移关系。
3. 确定边界条件：确定问题的边界条件，即最简单的情况下的解。
4. 递推求解：利用状态转移方程和边界条件，递推求解问题的最优解。
二、动态规划方法在最优控制中的应用动态规划方法在最优控制中有广泛的应用。
最优控制问题的目标是找到一种控制策略，使得系统在给定的约束条件下达到最优性能。
动态规划方法可以用来求解最优控制问题的控制策略。
以倒立摆控制为例，倒立摆是一种常见的控制系统，其目标是使摆杆保持竖直位置。
动态规划方法可以将倒立摆控制问题分解为一系列子问题，每个子问题都是在给定状态下选择最优的控制动作。
通过递推求解子问题的最优解，最终可以得到整个控制过程的最优策略。
三、动态规划方法在最优化问题中的应用动态规划方法在最优化问题中也有广泛的应用。
最优化问题的目标是找到一组变量的最优取值，使得目标函数达到最小或最大值。
动态规划方法可以用来求解最优化问题的最优解。
以旅行商问题为例，旅行商问题是一个经典的最优化问题，其目标是找到一条路径，使得旅行商能够经过所有城市并且总路程最短。
动态规划方法可以将旅行商问题分解为一系列子问题，每个子问题都是在给定状态下选择最优的下一个城市。
通过递推求解子问题的最优解，最终可以得到整个旅行路径的最优解。
四、动态规划方法的优缺点动态规划方法有以下几个优点：1. 可以求解复杂的最优控制和最优化问题，具有较高的求解效率。
现代控制理论-第七章 最优控制_动态规划
V (x(t),t) min (L(x(t t),u(t t),t t)t) u (t )U V (x(t), t) ( V )T dx t V t o(t)2 x dt t
第七章 最优控制
V min (L(x(t t),u(t t),t t) (V )T dx o(t)2 )
x02
第七章 最优控制
7.4.3 连续系统的动态规划
x f (x,u,t), x(t0 ) x0
u(t) U
性能指标
T
J (x(T )) L(x,u,t)dt
t
目标集
S {s | (x(T )) 0}
引进记号 V (x,t) J (x*(t),u*(t)) min J (x(t),u(t)) u(t )U
u0
第七章 最优控制
7.4.2 离散系统动态规划
n 阶离散系统
xk1 f (xk ,uk ), k 0, , N 1
性能指标
N 1
J L(xk ,uk ) k 0
求决策向量
u0 , , uN 1
使 J 有最小值（或最大值），其终点可自由，
也可固定或受约束。
第七章 最优控制
x12
(
1 2
x1 )2
(x1
1 2
x1 ) 2
3 2
x12
J (x0 ) x02 u02 J *(x1)
x02
u02
3 2
x12
x02
u02
3 2
( x0
u0 )2
J (x0 ) u0
现代控制理论 7-1 最优控制的一般概念
第七章 动态系统的最优控制方法§1 最优控制的一般概念 §2 最优控制中的变分法 §3 极小值原理及其应用 §4 线性二次型问题的最优控制系统分析 System Analysis建模 建模 稳态 稳态 性能 性能稳定性 稳定性 动态 动态 性能 性能控制 系统 研究 可控性 可控性 可观性 可观性综合设计 System Synthesis设计控制器 设计控制器改善性能，达到各种性能指标1综合设计 System Synthesis 常规综合 Conventional Synthesis 常规综合 Conventional Synthesis只满足系统某些指标的要求，如 稳定性、快速性及稳态误差；最优综合/控制 Optimal Synthesis 最优综合/控制 Optimal Synthesis确保系统某种指标最优的综合， 如最短时间、最低能耗等。
返回经典控制理论设计控制方法幅值裕量、相位裕量（频率指标）; 上升时间、调节时间、超调量（时域指标）PID控制串联校正特点： 系统的控制结构是确定的；控制参数设计一般采用试凑方法； 不是最优结果。
2现代控制理论常规综合方法上升时间、调节时间、超调量（时域指标） 希望的闭环极点位置（复域指标）;状态反馈 特点： 系统的控制结构是确定的；不是最优结果。
综合最优化 (optimization)—— 研究和解决如何从一切可能的方案中寻 找最优的方案。
(1) 如何将最优化问题表示为数学模型； (2) 如何根据数学模型（尽快）求出其最优解。
举例最优控制 (optimal control)—— 控制理论中的优化技术。
寻找在某种性能 指标要求下最好的控制。
返回3例：搅拌槽的温度控制 例：搅拌槽的温度控制一连续搅拌槽，J为搅拌器。
槽中原放0℃的液体， 现需将其温度经1小时后升高到40℃。
为此在入口处送 进温度为u(t) 的液体，出口处流出等量的液体，以保持 槽内液面恒定。
动态规划原理与最优控制
动态规划原理与最优控制动态规划和最优控制是两个重要的数学方法，广泛应用于各种优化问题的求解。
动态规划主要用于处理具有重复子问题的最优化问题，而最优控制则是研究如何在连续时间和状态下选择和调整控制变量以实现最佳控制。
动态规划的基本原理是将大问题划分为若干个子问题，并分别求解子问题的最优解，然后根据子问题的解推导出大问题的最优解。
动态规划可以通过建立一个递归的状态转移方程来描述问题的最优解。
通过记忆化或者自底向上的方式，可以高效地求解出最优解。
最优控制是研究如何选择和调整控制变量以在给定的约束条件下实现最优控制目标。
最优控制的目标可以是最小化或最大化一些性能指标，例如最小时间、最小成本、最大收益等。
最优控制问题可以描述成一个变分问题，通过求解变分问题的极值来得到最优控制策略。
动态规划和最优控制之间有许多相似之处。
首先，它们都涉及到对系统状态的建模和描述，以及对控制变量的选择和调整。
其次，它们都是通过求解优化问题来寻找最优解。
最后，它们都可以通过离散化状态和控制变量来转化成动态规划问题。
因此，动态规划和最优控制可以相互参考和借鉴。
动态规划和最优控制在实际应用中具有广泛的应用。
例如，在运输、资源分配、排产等问题中，可以使用动态规划来求解最优方案。
在机器人导航、飞行器控制、自动驾驶等问题中，可以使用最优控制来实现最佳控制策略。
此外，动态规划和最优控制也在经济学、管理科学、生物学等领域有重要的应用。
总之，动态规划和最优控制是两个重要的数学方法，它们可以帮助我们解决各种优化问题。
动态规划主要用于求解具有重复子问题的最优化问题，而最优控制则研究如何在连续时间和状态下选择和调整控制变量以实现最佳控制。
动态规划和最优控制在实际应用中具有广泛的应用，可以帮助我们优化系统设计和控制策略，提高效率和性能。
动态规划最优控制 现代控制理论 教学PPT课件
2021年4月30日
第7章第11页
对于本例，求解时采用的递推方程的一般形式为
J
N
(
x)
min
SN ( x)
d x, SN ( x) JN1 SN ( x)
以及
J1( x) d ( x, F )
在动态规划中，上述两式称为函数方程。当选择第一个决策 SN ( x) 时，其结果不但影
响第一级的距离 d x, SN (x) ，而且影响后面 N 1级的初始状态，因而也影响后面 N 1
级的最短距离。因此，最优策略（各阶段的决策组成的最佳集合）的选择应在递推过程结 束后进行，不能在各级分散决定。
2021年4月30日
第7章第12页
从本例的分析过程可知，一个 N 级最优过程（如从 A 至 F 的 J5 ( A) ），不论第一级决 策如何（如 S5 ( A) B1, B2 , B3 ），其余 N 1级决策过程（如从 B 至 F ），至少必须依据第 一级决策所形成的状态（如 B1 ，B2 ，B3 ）组成一个 N 1最优过程（如 J4 (B1) 、J4 (B2 ) 、 J4 (B3) ）。在此基础上选择第一级决策（如选择 S5 ( A) B2 ），必可使总的 N 级过程最优 （如求出 J5 ( A) 14 ）。在多级决策问题中，这种递推思想的核心，是贝尔曼提出的最优
动态规划
2021年4月30日
第7章第1页
动态规划又称为多级决策理论，是贝尔曼提出的一种非线性规划方法。动态规划的核心是 贝尔曼的最优性原理，它将一个多级决策问题化为一系列单级决策问题，从最后一级状态 开始到初始状态为止，逆向递推求解最优决策。
动态规划是求解最优化问题的重要方法，在应用动态规划时，有一个前提条件是系统的状
动态规划原理与最优控制
10
③ 倒数第三级
路线 X1(1) — X1(2) — F J * = 6 + 4 = 10
X1(1) — X2(2) — F J = 6 + 5 = 11 X2 (1) — X1(2) — F J* = 4 + 4 = 8 X2(1) — X2(2) — F J = 7 + 5 = 12
5
根据最优性原理
确定了一个从后向前的递推过程 基于最优性原理的动态规划方法
成为解决最优控制问题的有力工具
6
动态规划原理
求从S — F 点路程最短的方法
7
•枚举法
① S — X1(1) — X1(2) — X1(3) — F 4+6+1+4=15 ② S — X1(1) — X2(2) — X1(3) — F 4+6+2+4=16 ③ S — X1(1) — X2(2) — X2(3) — F 4+6+2+3=15 ④ S — X1(1) — X1(2) — X2(3) — F 4+6+1+3=14 ⑤ S — X2(1) — X1(2) — X1(3) — F 5+4+1+4=14 ⑥ S — X2(1) — X1(2) — X2(3) — F 5+4+1+3=13 ⑦ S — X2(1) — X2(2) — X1(3) — F 5+7+2+4=18 ⑧ S — X2(1) — X2(2) — X2(3) — F 5+7+2+3=17
9
• 动态规划法
现代控制理论-第7章-最 优 控 制
代入式(7-11)则得：
* * * * F x ， x ， t F x ， x ，t tf dJ d dt t0 d x dt x
(7-12)
* * F x ， x ，t
§7.1 无约束条件的性能指标（泛函）
极值问题
（从最简单的情况开始） 设性能指标为积分型（拉格朗日问题）
t ，t J F x t ，x dt t0
tf
(7-1)
x t
t0
tf
xf
A
B
x* t
固定或自由
x t0 x t f
x0
t0
tf
t
航天飞机最小能量控制
⑷ 线性调节器问题：
J x t dt
tf i 1 t0 2 i
n
tf
t0
2 x i t dt i 1
n
特别要注意以下的指标形式：
tf
导弹滚动通道调节问题
1 T T J x t Qx t u t Ru t dt t0 2 1 T T F x t ， u t ， t x t Qx t u t Ru t 2
2
2
(7-20)
（3） 泛函 J x 在 x* t 处达到极小值的必要条件为：
J x* , x 0
其充分条件为：
(7-21)
2 J x* , x 0
(7-22)
仍然讨论固定边界的泛函极值，即设泛函为积分型（拉 格朗日问题）： tf (7-23) J F x t ， x t ， t dt
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
引进记号
N 1
V (xk )
J *(xk )
min
uk , ,uN 1
ik
L(xi , ui )
应用最优性原理
V
(
x0
)
min u0
L(
x0
,
u0
)
V
(
x1)
可建立如下递推公式
V
(
xk
)
min( uk
L(
xk
,
uk
)
V
(
xk
1
))
min(L( uk
xk
,
uk
)
V
(
f
(
xk
,
uk
)))
V
(xN
1 )
min
uN 1
L(
xN
1,
uN
1 )
贝尔曼动态规划方程
第七章 最优控制
例7.4.2 设一阶离散系统，状态方程和初始条件为
xk1 xk uk ,
xk k0 x0
性能指标
N 1
J xN2 (xk2 uk2 ) k 0
N 2
求使 J 有最小值的最优决策序列和最优轨线序列
第七章 最优控制
7.4 动态规划
动态规划是求解最优控制的一种分步 最优化方法，特别对离散型控制系统更为 有效，而且得出的是综合控制函数。
这种方法来源于多决策过程，并由贝 尔曼首先提出，故称贝尔曼动态规划。
第七章 最优控制
7.4.1 多级决策过程与最优性原理 例7.4.1 分析最优路径问题
(a)
(b)
实际上就是离散状态的最优控制问题
第七章 最优控制
最优性原理 在一个多级决策问题中的最优决策 具有这样的性质，不管初始级、初始状 态和初始决策是什么，当把其中任何一 级和状态做为初始级和初始状态时，余 下的决策对此仍是最优决策。
第七章 最优控制
指标函数多是各级指标之和，即具有可加性
N 1
J L(xk ,uk ) k 0
8 5
x02
第七章 最优控制
u0 代入状态方程
x1*
x0
u0*
x0
3 5
x0
2 5
x0
u1*
1 2
x1
1 5x0x2*x1 u1
1 5
x0
最优决策序列
u0*
3 5
x0
u1*
1 5
x0
最优轨线
x0
x1*
2 5
x0
x2*
1 5
x0
最优指标
J * (x0 )
8 5
(c)
试分析(a),(b)和(c)三种情况的最优路径，即
从 x0 走到 xT 所需时间最少。规定沿水平方向
只能前进不能后退。
第七章 最优控制
穷举法
(a)中只有两条路径，最优路径是二选一，从两 条中选一条，使路程所用时间最少，易于计 算。可知，上面一条所需时间最少。
(b)共有6条路径可到达终点，若仍用上面方法， 需计算6次，将每条路线所需时间求出，然后 比较，找出一条时间最短的路程。
最优路径示意图
第七章 最优控制
多级过程 xk1 f (xk ), k 0, , N 1 多级决策过程 xk1 f (xk ,uk ), k 0, , N 1
目标函数 控制目的
J J (x0 , x1, , xN 1;u0 , u1, , uN 1) 选择决策序列 u0 , u1, , uN1 使目标函数取最小值或最大值
x12
(
1 2
x1 )2
(x1
1 2
x1 ) 2
3 2
x12
J (x0 ) x02 u02 J *(x1)
x02
u02
3 2
x12
x02
u02
3 2
( x0
u0 )2
J (x0 ) u0
2u0
3( x0
u0 )
0
u0*
3 5
x0
J * (x0 )
x02
第七章 最优控制
7.4.3 连续系统的动态规划
x f (x,u,t), x(t0 ) x0
u(t) U
性能指标
T
J (x(T )) L(x,u,t)dt
t
目标集
S {s | (x(T )) 0}
引进记号 V (x,t) J (x*(t),u*(t)) min J (x(t),u(t)) u(t )U
根据最优性原理及
T
V (x(t t),t t) min ( L(x(t),u(t),t)dt (x(T ),T )) u(t )U t t
第七章 最优控制
T
V (x(t),t) min ((x(T ),T ) L(x(t), u(t),t)dt) u (t )U t t t min ( L(x(t),u(t),t)dt u (t )U t T L(x(t),u(t),t)dt (x(T ),T )) t t t t min ( L(x(t),u(t),t)dt u (t )U t T min ( L(x(t),u(t),t)dt (x(T ),T ))) u (t )U t t t t min ( L(x(t), u(t),t)dt) V (x(t t),t t) u (t )U t
指标可写为 J x02 u02 x12 u12 (x1 u1)2
第七章 最优控制
J (x1) x12 u12 x22 x12 u12 (x1 u1)2
J (x1) u1
2u1
2( x1
u1 )
0
u1*
1 2
x1
代入 J (x1)
J * (x1)
最优性原理的数学表达式
N 1
J *(x0 ) opt ( L(xk , uk )) u0 , ,uN 1 k 0
N 1
opt (L(x0, u0 ) opt ( L(xk , uk )))
u0
u1 , ,uN 1 k 1
opt (L(x0 , u0 ) J *(x1))
(c)需计算20次，因为这时有20条路径，由此可 见，计算量显著增大了。
第七章 最优控制
逆向分级计算法
逆向是指计算从后面开始，分级是指逐级计 算。逆向分级就是从后向前逐级计算。
以(c)为例
从倒数第一级开始，状态有两个，分别为 x51
和 x52 ，在 x51 处，只有一条路到达终点，其时间是 3；在 x52 处也只有一条，时间为1。后一条时间最 短，将此时间相应地标在 x52 点上。并将此点到终 点的最优路径画上箭头。
第七章 最优控制
然后再考虑第二级 x41 只有一种选择，到终点所需时间是 6 3 9 x42 有两条路，比较后选出时间最少的一条，即
4+1=5。用箭头标出 x43 也标出最优路径和时间
依此类推，最后计算初始位置
求得最优路径
x10 x12 x22 x32 x42 x52 xT
最短时间为 13
第七章 最优控制
u0
第七章 最优控制
7.4.2 离散系统动态规划
n 阶离散系统
xk1 f (xk ,uk ), k 0, , N 1
性能指标
N 1
J L(xk ,uk ) k 0
求决策向量
u0 , , uN 1
使 J 有最小值（或最大值），其终点可自由，
也可固定或受约束。
第七章 最优控制