最优控制第六章极小值原理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 极小值原理
极小值原理是原苏联学者庞特里亚金于1956年 提出的。它从变分法引伸而来，与变分法极为相 似。因为极大与极小只相差一个符号，若把性能指 标的符号反过来，极大值原理就成为了极小值原 理。极小值原理是解决最优控制，特别是求解容许 控制问题的得力工具。
用古典变分法求解最优控制问题，都是假定 控制变量u(t)的取值范围不受任何限制，控制变分 δu是任意的，从而得到最优控制u*(t)所应满足的 控制方程 H u 0。但是，在大多数情况下，控 制变量u(t)总要受到一定限制，δu不能任意取值， 控制变量被限制在某一闭集内，即u(t)满足不等式 约束条件
0
(33)
由于沿最优轨线有
Ψ x
和
Ψ w
0，Ψ
z
0，
并且 z2 gx, w ,t，所以上式可写成
Ψ x* , * , * , x, w , z Ψ x* , * , * , x* , w * , z* x x* T Ψ x
t0
(39)
取哈密尔顿函数为
H Lx,u,t T f x,u,t
(40)
则实现最优控制的必要条件是，最优控制u*、
最优轨迹x*和最优协态矢量λ*满足下列关系式：
1) 沿最优轨线满足正则方程
x H
(41)
H g T
(42)
x x
若g中不包含x，则为
tf——待定终端时刻。 最优控制问题就是要寻求最优容许控制u(t)在
满足上列条件下，使J为极小。
与前面讨论过的等式约束条件最优控制问题作 一比较，可知它们之间的主要差别在于：这里的控 制u(t)是属于有界闭集U，受到不等式g[x(t), x(t),t]≥0 约束。为了把这样的不等式约束问题转化为等式约 束问题，采取以下两个措施：
(11)
式中 Jt f、δJx、δJw、δJz分别是由于tf、x、w、z
作微小变化所引起的J1的变分。
J t f
t f
Φ T N
tf tf
t f
Ψ
d ttt f
t
f
Φ
t
f
N T t f
Ψ
tt f
t f
(12)
tt f
0
(29)
T z 0
(30)
tt f
对上列方程稍作分析可知：
1) 由式(24)看出，只有当g不含x时，才有
H
(31)
x
与通常的伴随方程一致。
2) 式(18)和式(19)说明
Ψ w
0
和
Ψ z
0均为常数，又由式(22)和
式(23)可知，它们在终端处为零，故沿最优轨线，
1) 引入一个新的r维控制变量w(t)，令
w t ut, wt0 0
(5)
虽然u(t)不连续，但w(t)是连续的。若u(t)分段
连续，则u(t)是分段光滑连续系统。
2) 引入另一个新的l维变量z(t)，令
z2 gxt,ut,t, zt0 0
d dt
Ψ x
d
t
(13)
J w wT t f
Ψ t f wT d Ψ d t
w tt f
t0
d t w
(14)
J z zT t f
Ψ t f zT d Ψ d t
z tt f
t0
d t z
(15)
把式(12)～式(15)代入式(11)，最后得
Ψ x
d dt
Ψ x
wT
d dt
Ψ w
zT
d dt
Ψ z
d
t
(16)
由于δtf、δxT(tf)、δx、δw、δz都是任意的， 于是由δJ1=0可得增广性能泛函取极值的必要条件， 是下列各关系式成立。
1) 欧拉方程
Ψ x
d dt
Ψ x
(9)
于是J1可写成
J1 Φ x t f
,t f
T N x tf ,tf
t f Ψ x, x, w , , , z,td t t0
(10)
现在求增广性能泛函J1的一次变分
J1 J t f J x J w J z
g T w
0
(25)
d T z 0
(26)
dt
2) 横截条件
Φ
N T
H
0
(27)
t f t f
tt f
Φ N T
x
x
tt f
0
(28)
H
w
g T w
gxt,ut,t 0
在这种情况下，控制方程 H u 0已不成立， 所以不能再用变分法来处理最优控制问题。
一、连续系统的极小值原理
设系统状态方程为
xt f xt,ut,t
(1)
初始条件为x(t0)=x0，终态x(tf)满足终端约束方程
Nxt f ,t f 0
d dt
Ψ x
d
t
注意到 d xt f xt f xt f t f
故 J x
d xT
tf
Φ N T
x
x
Ψ x
tt f
x T
Ψ x
t f
tt f
tf t0
xT
Ψ x
uU
此外，协态方程也略有改变，仅当g函数中不包 括x时，方程才与前面一致。
第三个条件，即式(46)，描述了H函数终值 H tt f
与tf的关系，可用于确定tf的值。在定理推导过程中 看出，该条件是由于tf变动而产生的，因此当终端时 刻固定时，该条件将不复存在。
第四个、五个条件，即式(47)～式(48)，将为正则 方程式(41)～式(43)提供数量足够(2n个)的边值条件。
x f x,u,t
(36)
始端条件为 xt0 x0
控制约束为 u U , gx,u,t 0
(37)
终端约束为 N x t f ,t f 0，t f 待定
(38)
性能泛函为
J u Φ x t f
,tf
t f Lx,u,td t
(2)
式中N——q维连续可微的矢量函数，q≤n。
控制 ut R r 受不等式约束
gxt,ut,t 0
(3)
式中g——l维连续可微的矢量函数，l≤r。
性能泛函
J Φ x t f
,t f
tf Lxt,ut,td t
t0
(4)
式中，Φ和L——连续可微的矢量函数
xt0 x0
Nxt f ,t f 0
(48)
这就是著名的极小值原理。
下面对定理作些说明： 1) 定理的第一、第二个条件，即式(41)～式
(44)，普遍适用于求解各种类型的最优控制问题， 且与边界条件形式或终端时刻自由与否无关。其
中，第二个条件：min H x*, *,u,t H x*, *,u*,t uU
说明，当u(t)与u*(t)都从容许的有界闭集U中取值 时，只有u*(t)能使函数沿最优轨迹x*(t)取全局最小 值。这一性质与闭集U的特性无关。
将上述条件与等式约束下最优控制的必要条件 作一比较，可以发现，横截条件和端点边界条件没
有改变，只是 H u 0这一条件不成立，代之以
条件
min H x*,*,u,t H x*,*,u*,t
(6)
无论 z 是正是负，z2恒非负，故满足g非负的要求。
通过以上变换，便将上述有不等式约束的最优 控制问题转化为具有等式约束的波尔扎问题。再应 用拉格朗日乘子法引入乘子λ和γ(读gamma)，问 题便进一步化为下列增广性能泛函
J1 Φ x t f ,t f T N x t f ,t f
N T x
Ψ x
tt
f
0
(21)
Ψ w tt f 0
(22)
Ψ 0 (23) z tt f
将
Ψ
代入式(17)，并注意到
Ψ x
，便得到
1) 欧拉方程
H g T
(24)
x x
d dt
H
w
tf H x, w , ,t T x T gx, w ,t z 2 d t (7) t0
的极值问题。
哈密尔顿函数为
H x, w ,,t Lx, w ,t T f x, w ,t
(8)
为简便计，令
Ψ x, x, w , , , z,t H x, w ,,t T x T gx, w ,t z2
(45)
u u
3) H函数在最优轨迹终点处的值决定于
H
Φ
T
N
0
(46)
t f
t f tt f
4) 协态终值满足横截条件
t f
Φ
x
t
f
N T
x t f
tt f
(47)
5) 满足边界条件
以 w u，w * u*代入上式，便得
H x*, *,u,t H x*, *,u*,t
(35)
上式表明，如果哈密尔顿函数H看成 utU 的
函数，那么最优轨迹上与最优控制u*(t)相对应的
H将取绝对极小值(即最小值)。这是极小值原理的
一个重要结论。
定理 设系统状态方程为
Ψ x*, * , * , x, w , z *T x Ψ x* , *, * , x* , w *, z* *T x* 0
即 E H x*, *, w ,t H x*, *, w *,t 0 (34)
J1
Ψ
x T
Ψ x
Φ t f
N T t f
tt f
t f
d xT
tf
Φ
x
N T x
Ψ x
t t
f
wT
Ψ w tt f
zT
Ψ z
tt f
t f
t0
xT
若初态固定，其一半由x(t0)=x0提供，另一半由状 态终值约束方程式(48)和协态终值方程式(47)共同提供。
0
(17)
Ψ w
d dt
Ψ w
0
即
d dt
Ψ w
0
(18)
Ψ z
d dt
Ψ z
0
即
d dt
Ψ z
0
(19)
2) 横截条件
Ψ xT
Ψ x
Φ N T t f t f
tt f
0
(20)
Φ
x
H
(43)
x
2) 在最优轨迹上，与最优控制u*相应的函数取
绝对极小值，即
min H x*, *,u,t H x*, *,u*,t (44)
uU
或
H x*, *,u,t H x*, *,u*,t
沿最优轨迹，有 H g T
J x d xT t f
x
Φ TN
tt f
tf t0
xT
Ψ x
xT
Ψ x
d
t
d xT
tf
Φ N T
x
x
tt f
xT
Ψ x
tt f
tf t0
xT
Ψ x
恒有
Ψ w
Ψ z
0
(32)
3) 若将 Ψ 代入
Ψ w
0，则得
wenku.baidu.com
H g T 0
w w
即
H g T
u u
这表明在有不等式约束情况下，沿最优轨迹
H 0 这个条件已不成立。 u
值得指出的是，式(24)～式(30)只给出了最优解 的必要条件。为使最优解为极小，则还必须满足维
尔特拉斯 E 函数沿最优轨迹为非负的条件，即
E Ψ x*, w* , z* , x, w , z Ψ x*, w*, z* , x* , w * , z*
x x*
T
Ψ x
w w *
T
Ψ w
z z*
T
Ψ z
极小值原理是原苏联学者庞特里亚金于1956年 提出的。它从变分法引伸而来，与变分法极为相 似。因为极大与极小只相差一个符号，若把性能指 标的符号反过来，极大值原理就成为了极小值原 理。极小值原理是解决最优控制，特别是求解容许 控制问题的得力工具。
用古典变分法求解最优控制问题，都是假定 控制变量u(t)的取值范围不受任何限制，控制变分 δu是任意的，从而得到最优控制u*(t)所应满足的 控制方程 H u 0。但是，在大多数情况下，控 制变量u(t)总要受到一定限制，δu不能任意取值， 控制变量被限制在某一闭集内，即u(t)满足不等式 约束条件
0
(33)
由于沿最优轨线有
Ψ x
和
Ψ w
0，Ψ
z
0，
并且 z2 gx, w ,t，所以上式可写成
Ψ x* , * , * , x, w , z Ψ x* , * , * , x* , w * , z* x x* T Ψ x
t0
(39)
取哈密尔顿函数为
H Lx,u,t T f x,u,t
(40)
则实现最优控制的必要条件是，最优控制u*、
最优轨迹x*和最优协态矢量λ*满足下列关系式：
1) 沿最优轨线满足正则方程
x H
(41)
H g T
(42)
x x
若g中不包含x，则为
tf——待定终端时刻。 最优控制问题就是要寻求最优容许控制u(t)在
满足上列条件下，使J为极小。
与前面讨论过的等式约束条件最优控制问题作 一比较，可知它们之间的主要差别在于：这里的控 制u(t)是属于有界闭集U，受到不等式g[x(t), x(t),t]≥0 约束。为了把这样的不等式约束问题转化为等式约 束问题，采取以下两个措施：
(11)
式中 Jt f、δJx、δJw、δJz分别是由于tf、x、w、z
作微小变化所引起的J1的变分。
J t f
t f
Φ T N
tf tf
t f
Ψ
d ttt f
t
f
Φ
t
f
N T t f
Ψ
tt f
t f
(12)
tt f
0
(29)
T z 0
(30)
tt f
对上列方程稍作分析可知：
1) 由式(24)看出，只有当g不含x时，才有
H
(31)
x
与通常的伴随方程一致。
2) 式(18)和式(19)说明
Ψ w
0
和
Ψ z
0均为常数，又由式(22)和
式(23)可知，它们在终端处为零，故沿最优轨线，
1) 引入一个新的r维控制变量w(t)，令
w t ut, wt0 0
(5)
虽然u(t)不连续，但w(t)是连续的。若u(t)分段
连续，则u(t)是分段光滑连续系统。
2) 引入另一个新的l维变量z(t)，令
z2 gxt,ut,t, zt0 0
d dt
Ψ x
d
t
(13)
J w wT t f
Ψ t f wT d Ψ d t
w tt f
t0
d t w
(14)
J z zT t f
Ψ t f zT d Ψ d t
z tt f
t0
d t z
(15)
把式(12)～式(15)代入式(11)，最后得
Ψ x
d dt
Ψ x
wT
d dt
Ψ w
zT
d dt
Ψ z
d
t
(16)
由于δtf、δxT(tf)、δx、δw、δz都是任意的， 于是由δJ1=0可得增广性能泛函取极值的必要条件， 是下列各关系式成立。
1) 欧拉方程
Ψ x
d dt
Ψ x
(9)
于是J1可写成
J1 Φ x t f
,t f
T N x tf ,tf
t f Ψ x, x, w , , , z,td t t0
(10)
现在求增广性能泛函J1的一次变分
J1 J t f J x J w J z
g T w
0
(25)
d T z 0
(26)
dt
2) 横截条件
Φ
N T
H
0
(27)
t f t f
tt f
Φ N T
x
x
tt f
0
(28)
H
w
g T w
gxt,ut,t 0
在这种情况下，控制方程 H u 0已不成立， 所以不能再用变分法来处理最优控制问题。
一、连续系统的极小值原理
设系统状态方程为
xt f xt,ut,t
(1)
初始条件为x(t0)=x0，终态x(tf)满足终端约束方程
Nxt f ,t f 0
d dt
Ψ x
d
t
注意到 d xt f xt f xt f t f
故 J x
d xT
tf
Φ N T
x
x
Ψ x
tt f
x T
Ψ x
t f
tt f
tf t0
xT
Ψ x
uU
此外，协态方程也略有改变，仅当g函数中不包 括x时，方程才与前面一致。
第三个条件，即式(46)，描述了H函数终值 H tt f
与tf的关系，可用于确定tf的值。在定理推导过程中 看出，该条件是由于tf变动而产生的，因此当终端时 刻固定时，该条件将不复存在。
第四个、五个条件，即式(47)～式(48)，将为正则 方程式(41)～式(43)提供数量足够(2n个)的边值条件。
x f x,u,t
(36)
始端条件为 xt0 x0
控制约束为 u U , gx,u,t 0
(37)
终端约束为 N x t f ,t f 0，t f 待定
(38)
性能泛函为
J u Φ x t f
,tf
t f Lx,u,td t
(2)
式中N——q维连续可微的矢量函数，q≤n。
控制 ut R r 受不等式约束
gxt,ut,t 0
(3)
式中g——l维连续可微的矢量函数，l≤r。
性能泛函
J Φ x t f
,t f
tf Lxt,ut,td t
t0
(4)
式中，Φ和L——连续可微的矢量函数
xt0 x0
Nxt f ,t f 0
(48)
这就是著名的极小值原理。
下面对定理作些说明： 1) 定理的第一、第二个条件，即式(41)～式
(44)，普遍适用于求解各种类型的最优控制问题， 且与边界条件形式或终端时刻自由与否无关。其
中，第二个条件：min H x*, *,u,t H x*, *,u*,t uU
说明，当u(t)与u*(t)都从容许的有界闭集U中取值 时，只有u*(t)能使函数沿最优轨迹x*(t)取全局最小 值。这一性质与闭集U的特性无关。
将上述条件与等式约束下最优控制的必要条件 作一比较，可以发现，横截条件和端点边界条件没
有改变，只是 H u 0这一条件不成立，代之以
条件
min H x*,*,u,t H x*,*,u*,t
(6)
无论 z 是正是负，z2恒非负，故满足g非负的要求。
通过以上变换，便将上述有不等式约束的最优 控制问题转化为具有等式约束的波尔扎问题。再应 用拉格朗日乘子法引入乘子λ和γ(读gamma)，问 题便进一步化为下列增广性能泛函
J1 Φ x t f ,t f T N x t f ,t f
N T x
Ψ x
tt
f
0
(21)
Ψ w tt f 0
(22)
Ψ 0 (23) z tt f
将
Ψ
代入式(17)，并注意到
Ψ x
，便得到
1) 欧拉方程
H g T
(24)
x x
d dt
H
w
tf H x, w , ,t T x T gx, w ,t z 2 d t (7) t0
的极值问题。
哈密尔顿函数为
H x, w ,,t Lx, w ,t T f x, w ,t
(8)
为简便计，令
Ψ x, x, w , , , z,t H x, w ,,t T x T gx, w ,t z2
(45)
u u
3) H函数在最优轨迹终点处的值决定于
H
Φ
T
N
0
(46)
t f
t f tt f
4) 协态终值满足横截条件
t f
Φ
x
t
f
N T
x t f
tt f
(47)
5) 满足边界条件
以 w u，w * u*代入上式，便得
H x*, *,u,t H x*, *,u*,t
(35)
上式表明，如果哈密尔顿函数H看成 utU 的
函数，那么最优轨迹上与最优控制u*(t)相对应的
H将取绝对极小值(即最小值)。这是极小值原理的
一个重要结论。
定理 设系统状态方程为
Ψ x*, * , * , x, w , z *T x Ψ x* , *, * , x* , w *, z* *T x* 0
即 E H x*, *, w ,t H x*, *, w *,t 0 (34)
J1
Ψ
x T
Ψ x
Φ t f
N T t f
tt f
t f
d xT
tf
Φ
x
N T x
Ψ x
t t
f
wT
Ψ w tt f
zT
Ψ z
tt f
t f
t0
xT
若初态固定，其一半由x(t0)=x0提供，另一半由状 态终值约束方程式(48)和协态终值方程式(47)共同提供。
0
(17)
Ψ w
d dt
Ψ w
0
即
d dt
Ψ w
0
(18)
Ψ z
d dt
Ψ z
0
即
d dt
Ψ z
0
(19)
2) 横截条件
Ψ xT
Ψ x
Φ N T t f t f
tt f
0
(20)
Φ
x
H
(43)
x
2) 在最优轨迹上，与最优控制u*相应的函数取
绝对极小值，即
min H x*, *,u,t H x*, *,u*,t (44)
uU
或
H x*, *,u,t H x*, *,u*,t
沿最优轨迹，有 H g T
J x d xT t f
x
Φ TN
tt f
tf t0
xT
Ψ x
xT
Ψ x
d
t
d xT
tf
Φ N T
x
x
tt f
xT
Ψ x
tt f
tf t0
xT
Ψ x
恒有
Ψ w
Ψ z
0
(32)
3) 若将 Ψ 代入
Ψ w
0，则得
wenku.baidu.com
H g T 0
w w
即
H g T
u u
这表明在有不等式约束情况下，沿最优轨迹
H 0 这个条件已不成立。 u
值得指出的是，式(24)～式(30)只给出了最优解 的必要条件。为使最优解为极小，则还必须满足维
尔特拉斯 E 函数沿最优轨迹为非负的条件，即
E Ψ x*, w* , z* , x, w , z Ψ x*, w*, z* , x* , w * , z*
x x*
T
Ψ x
w w *
T
Ψ w
z z*
T
Ψ z