Optimal-05-02

而 ∂f1 ∂u ∂f 1 ∂f T 1 = ∂u2 ∂u M ∂f 1 ∂um ∂f 2 ∂u1 ∂f 2 ∂u2 M ∂f 2 ∂um ∂f n L ∂u1 ∂f n L ∂u2 M ∂f n L ∂um
称为雅可比矩阵。 称为雅可比矩阵。
12
5.3.3 连续动态规划的基本方程
∂H ∂L ∂f T ∂J * = + =0 ∂u ∂u ∂u ∂x ∂ 2 H ∂ 2 L ∂ ∂f T ∂J * = 2+ ( )>0 2 ∂u ∂u ∂u ∂u ∂x ∂J * u * = u * ( x, ,t) 可以求得 ∂x * 尚未求出，故上式为隐式解。 由于此时 J [ x(t ), t ] 尚未求出，故上式为隐式解。 2）求最优性能指标。将上式代入哈密顿函数，便可消去 ）求最优性能指标。将上式代入哈密顿函数， u * (t ) ，得 ∂J * ∂J * H * ( x, , t ) = H ( x, u * , ,t) ∂x ∂x
10
5.3.3 连续动态规划的基本方程
2）由于哈密顿-雅可比方程的求解十分困难，且其解不一 ）由于哈密顿 雅可比方程的求解十分困难 雅可比方程的求解十分困难， 定存在，所以一般说来，哈密顿-雅可比方程只是最优性 定存在，所以一般说来，哈密顿 雅可比方程只是最优性 能指标的充分而非必要条件。 能指标的充分而非必要条件。 3）对于线性二次型问题，哈密顿 雅可比方程的求解十分 ）对于线性二次型问题，哈密顿-雅可比方程的求解十分 简单，其解是最优性能指标的充分必要条件。 简单，其解是最优性能指标的充分必要条件。 4）若 f ( x, u , t ), L( x, u , t ) 不满足连续可微条件，则在哈密顿 不满足连续可微条件， ） * –雅可比方程的推导过程中， [ x(t + ∆t ), t + ∆t ] 不能展成 雅可比方程的推导过程中， 雅可比方程的推导过程中 J 泰勒级数。此时，哈密顿-雅可比方程不能用来求解连续 泰勒级数。此时，哈密顿 雅可比方程不能用来求解连续 系统的最优化问题。 系统的最优化问题。
5.3.2 哈密顿 雅可比方程 哈密顿-雅可比方程
式中
∂J * ∂L ∂x ∂u 1 1 ∂L ∂J * * ∂J ∂L = ∂u2 , = ∂x ∂u ∂x 2 M M ∂J * ∂L ∂u m ∂xn
11
5.3.3 连续动态规划的基本方程
（3）最优解的求取步骤 ） 问题5-3最优解的充分条件为 问题 最优解的充分条件为 ∂J * ∂J * − = min H ( x, u, ,t) ∂t u ( t )∈Ω ∂x 然后按下列步骤求出最优解： 然后按下列步骤求出最优解： 1）求最优控制的隐式解。若 u (t )有约束，令 有约束， ）求最优控制的隐式解。 * ∂J * * ∂J H ( x, u , , t ) = min H ( x, u, ,t) u ( t )∈Ω ∂x ∂x 无约束， 若 u (t ) 无约束，令
5 动态规划
1
5.3 连续动态规划
最优性原理表明：对于给定的性能指标， 最优性原理表明：对于给定的性能指标，当从状态空间 的任一点出发时， 的任一点出发时，其最优控制仅取决于被控系统在这一 点的状态，而与到达该状态以前的系统经历无关。 点的状态，而与到达该状态以前的系统经历无关。这就 是所谓的“无后效性” 是所谓的“无后效性”，或者说性能指标函数具有马尔 科夫特性。 科夫特性。 根据性能指标的马尔科夫特性， 根据性能指标的马尔科夫特性，最优控制可表示 u * ( x) ，从而可使系统实现闭环反馈控制。这时，不 从而可使系统实现闭环反馈控制。这时， 为 论初始条件如何， 论初始条件如何，最优控制均能将系统由初始状态转移 到要求的目标集。 到要求的目标集。 本节将讨论如何由动态规划方法求解连续时间系统的最 优化问题，得出动态规划的连续形式—哈密顿 哈密顿-雅可比 优化问题，得出动态规划的连续形式 哈密顿 雅可比 方程。 方程。
J [ x (t ), t ] = min {ϕ [ x (t f ), t f ] + ∫ L[ x (τ ), u (τ ), τ ]dτ }
* u [ t , t f ]⊂ Ω t tf
* 的选择过程分成两步： 将最优控制 u (t ) 的选择过程分成两步：先选择区间[t + ∆t , t f ] 上的最优控制， 上的最优控制。 上的最优控制，再选择区间 [t , t + ∆t ) 上的最优控制。根据最 优性原理， 优性原理，有 t + ∆t * J [ x(t ), t ] = min { min [ ∫ L[ x(τ ), u (τ ),τ ]dτ
5
5.3.2 哈密顿 雅可比方程 哈密顿-雅可比方程
J *[ x(t + ∆t ), t + ∆t ] ∂J *[ x(t ), t ] T dx(t ) ∂J *[ x (t ), t ] * = J [ x(t ), t ] + [ ] ∆t + ∆t + o[(∆t ) 2 ] ∂x(t ) dt ∂t 则有
J [ x(t + ∆t ), t + ∆t ] =
*
u [ t + ∆t ,t f ]⊂ Ω
t + ∆t
min {ϕ[ x(t f ), t f ] + ∫
tfu (τ ),τ ]dτ }
min {∫
t
L[ x(τ ), u (τ ),τ ]dτ + J *[ x(t + ∆t ), t + ∆t ]}
8
5.3.2 哈密顿 雅可比方程 哈密顿-雅可比方程
由前解得最优控制的隐含形式 ∂J * u * = u * ( x(t ), , t) ∂x 则有 ∂J * ∂J * ∂J * T ∂J * = −{L[ x(t ), u * ( x(t ), , t ), t ] + ( ) f [ x(t ), u ( x(t ), , t ), t ]} ∂t ∂x ∂x ∂x 边界条件 J [ x(t f ), t f ] = ϕ[ x(t f ), t f ], ∀( x(t f ), t f ) ∈ψ [ x(t f ), t f ] 上面两式构成了控制无约束时，哈密顿 雅可比方程的第二 上面两式构成了控制无约束时，哈密顿-雅可比方程的第二 种形式。这是一阶偏微分方程及其边界条件形式。 种形式。这是一阶偏微分方程及其边界条件形式。
根据积分中值定理， 根据积分中值定理，得
∫
t + ∆t
t
L[ x(τ ), u (τ ),τ ]dτ = L[ x(t + α∆t ), u (t + α∆t ), t + α∆t ]∆t
连续可微的假设， 式中 0 < α < 1 。由于对 J [ x(t ), t ] 连续可微的假设，可以将 J *[ x(t + ∆t ), t + ∆t ] 展成如下泰勒级数
3
t0
5.3.2 哈密顿 雅可比方程 哈密顿-雅可比方程
为了使所讨论的问题具有一般性， 为了使所讨论的问题具有一般性，采用 J [ x(t ), t ] 作为问题 5-3的性能指标函数。设 u[t , t f ] 表示在区间[t , t f ]上的控制 的性能指标函数。 的性能指标函数 函数， 函数，则最优性能指标可表示为
u [ t ,t + ∆t )⊂ Ω u [ t + ∆t ,t f ]⊂ Ω t
+∫
tf
t + ∆t
L[ x(τ ), u (τ ),τ ]dτ ] + ϕ[ x(t f ), t f ]}
4
5.3.2 哈密顿 雅可比方程 哈密顿-雅可比方程
而 故
J [ x(t ), t ] =
* u [ t ,t + ∆t ) ⊂ Ω
2
5.3.1 连续时间系统的最优控制问题
问题5-3 设连续时间系统的状态方程为 问题 x(t ) = f [ x(t ), u (t ), t ], x(t0 ) = x0 & 且连续可微。 式中 x(t ) ∈ R n ; u (t ) ∈ Ω ⊂ R m ; f (•) ∈ R n 且连续可微。 ψ [ x(t f ), t f ] = 0 目标集约束 tf 性能指标 J [ x0 , t0 ] = ϕ[ x(t f ), t f ] + ∫ L[ x(t ), u (t ), t ]dt 为初始时刻， 为初始状态时， 假设以 t 为初始时刻，∈ [t0 , t f ], x(t )为初始状态时，函数 t J [ x(t ), t ] 连续且对 x(t ), t 有连续的一阶和二阶偏导数。要求 有连续的一阶和二阶偏导数。 在容许控制域内， 在容许控制域内，确定最优控制 u * (t ) ，使系统由已知初态 转移到要求的目标集，且使性能指标极小。 转移到要求的目标集，且使性能指标极小。
13
5.3.3 连续动态规划的基本方程
于是，最优解充分条件为如下一阶偏微分方程： 于是，最优解充分条件为如下一阶偏微分方程： ∂J * ∂J * + H * ( x, ,t) = 0 ∂x 其边界条件为 ∂t J *[ x(t f ), t f ] = ϕ[ x(t f ), t f ], ∀( x(t f ), t f ) ∈ψ [ x(t f ), t f ] * * 3）求最优控制显式解。将求得的 J [ x(t ), t ] 代入 u (t ) 式中， 式中， ）求最优控制显式解。 可得最优控制的显式解。 可得最优控制的显式解。 4）求最优轨线。将求得的 u *[ x(t ), t ] 代入系统状态方程， 代入系统状态方程， ）求最优轨线。 其解为闭环系统最优轨线 x* (t ) ，而 u *[ x(t ), t ] 则实现了 闭环反馈控制。 闭环反馈控制。