现代控制理论-第七章 最优控制_动态规划

最优路径示意图
第七章 最优控制
多级过程 xk1 f (xk ), k 0, , N 1 多级决策过程 xk1 f (xk ,uk ), k 0, , N 1
目标函数 控制目的
J J (x0 , x1, , xN 1;u0 , u1, , uN 1) 选择决策序列 u0 , u1, , uN1 使目标函数取最小值或最大值

8 5
x02
第七章 最优控制
u0 代入状态方程
x1*

x0
u0*

x0

3 5
x0

2 5
x0
u1*


1 2
x1


1 5
x0
x2*

x1
u1

1 5
x0
最优决策序列
u0*


3 5
x0
u1*


1 5
x0
最优轨线
x0
x1*

2 5
x0
x2*

1 5
x0
最优指标
J * (x0 )

8 5
(c)
试分析(a),(b)和(c)三种情况的最优路径，即
从 x0 走到 xT 所需时间最少。规定沿水平方向
只能前进不能后退。
第七章 最优控制
穷举法
(a)中只有两条路径，最优路径是二选一，从两 条中选一条，使路程所用时间最少，易于计 算。可知，上面一条所需时间最少。
(b)共有6条路径可到达终点，若仍用上面方法， 需计算6次，将每条路线所需时间求出，然后 比较，找出一条时间最短的路程。

x12
(
1 2
x1 )2
(x1

1 2
x1 ) 2

3 2
x12
J (x0 ) x02 u02 J *(x1)

x02
u02

3 2
x12

x02
u02

3 2
( x0
u0 )2
J (x0 ) u0

2u0

3( x0

u0 )

0
u0*


3 5
x0
J * (x0 )
(c)需计算20次，因为这时有20条路径，由此可 见，计算量显著增大了。
第七章 最优控制
逆向分级计算法
逆向是指计算从后面开始，分级是指逐级计 算。逆向分级就是从后向前逐级计算。
以(c)为例
从倒数第一级开始，状态有两个，分别为 x51
和 x52 ，在 x51 处，只有一条路到达终点，其时间是 3；在 x52 处也只有一条，时间为1。后一条时间最 短，将此时间相应地标在 x52 点上。并将此点到终 点的最优路径画上箭头。
根据最优性原理及
T
V (x(t t),t t) min ( L(x(t),u(t),t)dt (x(T ),T )) u(t )U t t
第七章 最优控制
T
V (x(t),t) min ((x(T ),T ) L(x(t), u(t),t)dt) u (t )U t t t min ( L(x(t),u(t),t)dt u (t )U t T L(x(t),u(t),t)dt (x(T ),T )) t t t t min ( L(x(t),u(t),t)dt u (t )U t T min ( L(x(t),u(t),t)dt (x(T ),T ))) u (t )U t t t t min ( L(x(t), u(t),t)dt) V (x(t t),t t) u (t )U t
指标可写为 J x02 u02 x12 u12 (x1 u1)2
第七章 最优控制
J (x1) x12 u12 x22 x12 u12 (x1 u1)2
J (x1) u1

2u1

2( x1

u1 )

0
u1*


1 2
x1
代入 J (x1)
J * (x1)
x02
第七章 最优控制
7.4.3 连续系统的动态规划
x f (x,u,t), x(t0 ) x0
u(t) U
性能指标
T
J (x(T )) L(x,u,t)dt
t
目标集
S {s | (x(T )) 0}
引进记号 V (x,t) J (x*(t),u*(t)) min J (x(t),u(t)) u(t )U
第七章 最优控制
7.4 动态规划
动态规划是求解最优控制的一种分步 最优化方法，特别对离散型控制系统更为 有效，而且得出的是综合控制函数。
这种方法来源于多决策过程，并由贝 尔曼首先提出，故称贝尔曼动态规划。
第七章 最优控制
7.4.1 多级决策过程与最优性原理 例7.4.1 分析最优路径问题
(a)
(b)
xk
,
uk
)))
V
(xN
1 )

min
uN 1
L(
xN
1,
uN
1 )
贝尔曼动态规划方程
第七章 最优控制
例7.4.2 设一阶离散系统，状态方程和初始条件为
Biblioteka Baidu
xk1 xk uk ,
xk k0 x0
性能指标
N 1
J xN2 (xk2 uk2 ) k 0
N 2
求使 J 有最小值的最优决策序列和最优轨线序列
最优性原理的数学表达式
N 1
J *(x0 ) opt ( L(xk , uk )) u0 , ,uN 1 k 0
N 1
opt (L(x0, u0 ) opt ( L(xk , uk )))
u0
u1 , ,uN 1 k 1
opt (L(x0 , u0 ) J *(x1))
第七章 最优控制
然后再考虑第二级 x41 只有一种选择，到终点所需时间是 6 3 9 x42 有两条路，比较后选出时间最少的一条，即
4+1=5。用箭头标出 x43 也标出最优路径和时间
依此类推，最后计算初始位置
求得最优路径
x10 x12 x22 x32 x42 x52 xT
最短时间为 13
第七章 最优控制
u0
第七章 最优控制
7.4.2 离散系统动态规划
n 阶离散系统
xk1 f (xk ,uk ), k 0, , N 1
性能指标
N 1
J L(xk ,uk ) k 0
求决策向量
u0 , , uN 1
使 J 有最小值（或最大值），其终点可自由，
也可固定或受约束。
第七章 最优控制
引进记号
N 1
V (xk )

J *(xk )

min
uk , ,uN 1
ik
L(xi , ui )
应用最优性原理
V
(
x0
)

min u0

L(
x0
,
u0
)

V
(
x1)

可建立如下递推公式
V
(
xk
)

min( uk
L(
xk
,
uk
)

V
(
xk
1
))

min(L( uk
xk
,
uk
)

V
(
f
(
实际上就是离散状态的最优控制问题
第七章 最优控制
最优性原理 在一个多级决策问题中的最优决策 具有这样的性质，不管初始级、初始状 态和初始决策是什么，当把其中任何一 级和状态做为初始级和初始状态时，余 下的决策对此仍是最优决策。
第七章 最优控制
指标函数多是各级指标之和，即具有可加性
N 1
J L(xk ,uk ) k 0