§7.4动态规划与离散系统最优控制

§ 7.4 动态规划与离散系统最优控制

1. 动态规划基本原理

最优性原则应有如此性质:

即无论(整个过程的)初始状态和初始决策如何，其余(后段)各决策对于由第一个决策(后)所形成的状态作为(后段)初始状态来说，必须也是一个最优策略。

A

B C

D

E

最优性原则

图7.5

用式表示

1()

()min{(,())(())},1,2,,n n n n n u x J x R x u x J u x n N -=+=

阶段变量n (分析次序) 状态变量x 决策变量()n u x 决策组11{,,

,}n n u u u -

损失(效益)函数:(,)n R x u 对x 用决策n u 所付代价(效益) 后部最优策略函数()n J x 由x 至终最小损失(最大效益)

A 到D 的最短路线

解 3阶段的决策过程，

在CD 段(首), (分析)阶段变量1n =;

7.6

图A

2C 1

B D

2

B 3

B 1

C 3

C 4

5

55

6

3

3)

b (A

2

C 1B D

2

B 3

B 1

C 3

C 4

4

5

55

55

66677

7

3

3

(a)

3

=n 1

=n 2

=n

111111*********()(,)3,();()(,)5,();()(,)3,().

J C R C D u C D J C R C D u C D J C R C D u C D ========= 在BC 段(首), (分析)阶段变量2n =； 21111,2,3

()min{(,)()}

min{73,65,53}8i i i J B R B C J C ==+=+++=，213()u B C =；

22211,2,3

()min{(,)()}

min{63,55,73}9i i i J B R B C J C ==+=+++=，221()u B C =；

23311,2,3

()min{(,)()}

min{53,65,73}8

i i i J B R B C J C ==+=+++=，231()u B C =；

在AB 段，阶段变量3n =；

321,2,3

()min{(,)()}

min{48,49,58}12

i i i J A R A B J B ==+=+++=，31()u A B =；

所以整个过程的最优策略为：31()u A B =，213()u B C =，

13()u C D =，即最优路线为

13A B C D →→→。

穷举算法：共有1

3

N -个策略，每策略做1N -次加法

1

3(1)N N --次加，有1

31N --次比较，

动态规划：

在N 段， 有3个加， 2 个比较运算， 在(1N -)~2段, 有9(2)N -加，6(2)N -个比较运算， 在1段， 无加， 也无比较运算， → 有915N -次加，

610N -次比较(是N 的线性) → 确定最优策略；

2. 离散系统最优控制 设

(1)()()x k x k u k ΦΓ+=+，0(0)x x =， (7.21)

1[()()()(1)(1)(1)]N

T

T

k J x k V k x k u k W k u k ==+---∑(7.22)

求(),0,1,

,1u k k N *

=-,使(7.22)式最小.

(),()V k W k 常取

1()()()n v k V k v k ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦，1()()()n w k W k w k ⎡⎤⎢⎥=⎢⎥

⎢⎥⎣⎦

. 或()0V k Q =≥(半正定)，()0W k R =>(正定).

意: ()x k 与()u k 的各个分量上的权值，称为权矩阵。

1[()()(1)(1)]N

T

T

k J x k Qx k u k Ru k ==+--∑。

控制次序 01

1011

N N

N x x x x u u u --⎧⎧⎧⎧⇒⇒

⇒⇒⎨⎨⎨⎨⎩⎩⎩⎩

公式推导 (i)时标在下标处，

(ii) x N 分离出来，权矩阵改记为S ，

(iii)添常数项(0)(0)T

x Qx (影响极值，但不影响极值点)，

1

00

(,,)[]N T T T N

N k

k k

k k J x x u x Sx x Qx u Ru -==++∑ (7.23)

定理7.4 系统 (7.21)，使指标(7.23)为最小的最优控制

,0,1,2,

,1k

k k u F x k N *=-=-。

其中:

11111,

[],

[],1,2,

,1,0.

N T T

k k k T

T T

k k k

k k P S F R P P P P F R P F Q k N N ΓΓΓΦΦΦΓΓ-++++==+=-++=-- (7.24)

证 运用(7.20)式，最后一段的损失为