最大值原理及其应用

最大值原理及其应用实例
[摘要]：最优控制中的最大值原理，是在目标泛函的最大化问题中得到最优控制的必要条件是使哈密顿函数达最大值而得名的。

它被广泛应用于开放式捕鱼以及日常实际问题求最优策略的解决过程中，但是虽然它解决了古典变分法所遇到的困难，给出了最优控制问题解的必要条件，却绝非充分条件，所以在应用中具有一定局限性。

[关键词]：最大值原理；哈密顿函数；必要条件；最优控制；最优策略
正文：
1．最大值原理的内涵
设系统的状态方程为
(,,)x
f x u t = 00()x t x = 控制u 属于R m 中的某个有界闭集U ，最优控制问题是求u ∈U ，使得
()((),)(,,)f
t f t J u x t f L x u t dt
θ=+⎰
最小。

假设f(x,u,t)的分量为f i (x,u,t)，并假设
(,,)i f x u t ，(,,)i f x u t t ∂∂，(,,)i j f x u t x ∂∂，(,,)L x u t ，(,,)L x u t t ∂∂，(,,)i L x u t x ∂∂，
((),)((),)
((),),
,,(,1,2,,)
()f f f f f f j f f
x t t x t t x t t i j n x t t θθθ∂∂=∂∂
都是其自变量的连续函数。

用u *、x *分别表示最优控制和最优轨迹，则u *使J(u)取最小值的必要条件是：
1.1存在协状态向量λ*
(t),它和x *
(t),u *
(t)一起满足正则方程
(,,)x f x u t H x λ=⎧⎪
∂⎨=-⎪∂⎩
1.2哈密顿函数作为u 的函数在u=u *
(t)取最小值，即
(,,,)min (,,,)
u U
H x u t H x u t λλ*****∈=
1.3 正则方程的边界条件：
1.3.1 若x(t f )=x f 是给定的，则边界条件为
00()x t x = ()f f x t x =
1.3.2 如果t f 给定，x(t f )自由，那么边界条件为
00()x t x = ((),)
()f f f f
x t t t x θλ∂=
∂
1.3.3 如果t f 也是自由的，还要加一个条件：
((),)
((),(),(),)0f f f f f f f
x t t H x t u t t t t θλ∂+
=∂
以确定t f 。

1.3.4 如果要求x(t f )落在m 维流型S 上，
12((),)0((),)0:((),)0
f f f f r
f f N x t t N x t t S N x t t =⎧⎪
=⎪⎨⎪
⎪=⎩
那么边界条件为
00
1()((),)((),)()()()((),)0
(,,)T
f f f f f
f f f f
T r
x t x x t t N x t t t v x t x t N x t t v v v θλ=⎧⎪∂∂⎪=+⎪∂∂⎨
⎪=⎪
⎪⎩ 如果t f 是自由的，再增加条件
((),)
((),)
((),(),(),)0T f f f f f f f f f
f
N x t t x t t H x t u t t t v t t θλ∂∂+
+
=∂∂
可以看出，上述的正则方程和边界条件与u 无约束的情况用变分法导出的完全相同。

注1： 如果最优控制问题是求u U ∈，使得目标函数J （u ）最大，在最大值原理中，
最优控制u *应使哈密顿函数值最大，即
(,,,)max (,,,)u U
H x u t H x u t λλ*****∈=
最大值原理就是在目标泛函的最大化问题中得到最优控制的必要条件是使哈密顿函数达最大值而得名的。

同样，由于目标函数的最小化问题中得到最优控制的必要条件是使哈密顿函数达最小值，也有人称这个原理为最小值原理。

注2：哈密顿函数作为u 的函数，在u=u*(t)处取最小值，因此式
(,,,)max (,,,)u U
H x u t H x u t λλ*****∈=
对区间[t 0 ,t f ]上的所有t 成立，其含义是：对于由最优控制u=u*(t)引发的x *(t)和协状态λ*（t ），哈密顿函数作为u 函数，在u=u*(t)处取最小值。

在u 为标量的情况，必要条件的含义是：在特定的时刻t 和特定的x *(t)、λ*（t ）曲线，哈密顿函数的右端可以看做u 的函数，最优控制u*(t)使它取最小值
min ()u U
H u ∈
当U 为闭区间[a,b]时，允许的控制满足
a u
b ≤≤
哈密顿函数仅作为u 的函数，有如图所示的三种情况：
图1 关于哈密顿函数的示意图
第一种情况：哈密顿函数的最小值在区间[a,b]内的点达到。

如果哈密顿函数关于u 是可微的，则必要条件为
0H
u
∂=∂ 其他两种情况是哈密顿函数的最小值在区间[a,b]的边界点达到，这时则必须用更广泛的条件
min ()u U
H u ∈
也就是用条件
(,,,)min (,,,)u U
H x u t H x u t λλ*****∈=
来描述。

当x(t f )是自由的时，应用最大值原理求最优策略的具体步骤如下： 第1步：构造系统的哈密顿函数为
(,,,)(,,)(,,)T H x u t L x u t f x u t λλ=+
第2步：由
(,,,)max (,,,)((,,,)min (,,,)(u U
u U
H x u t H x u t H x u t H x u t λλλλ*****∈*****
∈==对于最大化）
对于最小化）
导出决策变量u 与状态变量x 、协状态变量λ的关系，记为u=u(x,λ)。

第3步：写出以下正则（正规）方程组为
00(,,)()((),),()()f f f f x f x u t x t x x t t H t x x t θλλ==⎧⎪
∂∂⎨=-=⎪∂∂⎩
， 将u=u(x,λ)带入正则方程，解出x=x *(t),λ=λ*(t)。

第4步：将x=x *(t),λ=λ*(t)代入u=u(x,λ)得到最优策略
**((),())()u u x t t u t λ**==
如果决策问题还要求满足边界条件x(t f )=x f ，则以这个边界条件取代正则方程组中的条
件((),)
()f f f f
x t t t x θλ∂=
∂。

[1]
2．最大值原理在开放式捕鱼中的应用
2.1.应用最大值原理建立模型
所谓开放式捕鱼是指任何渔船都可以任意捕捞。

当然,要使捕渔业有长期利润,这就需要考虑怎样控制每年的捕鱼量才能有利于鱼的繁殖,使得在一定时间内鱼的产量最高,也就是使捕渔业赚得的经济收入总数为最大。

为了讨论这个问题,首先建立如下数学模型:
设F(x)表示一个给定单种群鱼群的自然增长率,用h(t)表示收获率,x 为鱼群的种群密度,t 为时间,则鱼群的增长函数为：
()()dx
F x h t dt
=- 0t ≥ （1）
赚得的经济收入总数为：
0[()][()]t J e p C x F x x dt δ∞
-=--⎰ （2）
其中,δ为经济效益指标(折扣率),p 为所捕鱼的单位价格,c(x)为单位成本函数。

所以原问题是要求一个最优收获率h*(t)来使经济收总数J 最大。

文献用欧拉方程求解最优收获率h*(t)。

设
[()][()]e p C x F x x
δφ-=-- 那么由欧拉方程:
d x dt x
φφ
∂∂=∂∂
则可得到方程:
''
()()
()()
C x F x F x p C x δ-=- （3）
若方程(3)有唯一解x=x*,则x*就为所求的最优种群密度(能使经济收入达到最大且不会使鱼群灭绝的鱼群密度)。

若用max h 表示最大可行收获率,则
max **()()0
h h t F x ⎧⎪
=⎨⎪⎩
***x x x x x x >=<
这种方法比较初等,应用范围很小,因为仅当控制变量h(t)无界,控制变量h(t)可以在m 维空间中任取,才能在欧拉方程中取δh ≠0,而若控制变量h(t)有界时,欧拉方程则无法求解此最优控制问题,因而本文引入最大值原理来求解此问题。

2.2应用最大值原理来求解该问题
首先建立如下状态系统：
状态方程 ()()x
F x h t == 初始条件 0(0)x x =
目标函数 0[()]()t J e p C x h t dt δ∞
-=-⎰
由最大值原理，设λ(t)是伴随向量,则可确定哈密顿函数为:
(,,,)[()]()()[()()]t H x h t e p C x h t t F x h t δλλ-=-+-
则协态方程为：
''()()()()t H t e C x h t F x x
δλ
λ-∂=-=-∂ (4) 耦合方程为:
[()]t H
e p C x h
δλ-∂=--∂ 由于控制变量h(t)在哈密顿函数H(x,h,λ,t)中线性的出现,说明该问题可以有一个奇异最优控制。

而单凭最大值原理来求解奇异问题是不行的,下面引入广义的Legendre-Clebsch 条件来对最大值原理进行补充。

有了这个补充,奇异控制问题就迎刃而解了。

现在来看原问题：
[()]0t H
e p C x h
δλ-∂=--=∂ 可得
[()]t e p C x δλ-=- （5）
而0uu H ≡
'()[()]()t t d H e p C x e C x x
dt h
δδδλ--∂=----∂ 将(4)式代入上式可得
'''()[()]()[()()]()()()t t t d H
e p C x e C x F x h t e C x h t F x dt h
δδδδλ---∂=-----+∂ ''[()]()()()0t t e p C x e C x F x F x δδδλ--=---+=
[()]0d H
h dt h
∂∂=∂∂ 22''2
()[()]()()()t t t t
d H
e p C x e C x x e C x F x e dt h
δδδδδδδ----∂=-++-∂ '''''''()()()()()()t C x F x x
e C x F x x F x F x x δλλ--++ (6) 将(4)式代入上式可得
22''2
()[()]()[()()]()()t t t d H
e p C x e C x F x h t e C x F x dt h
δδδδδδ---∂=-+-+∂ ''''()()[()()][()]()[()]()[()()0t t t e C x F x F x h t e p C x F x e p C x F x F x h t δδδδ-----+----=
（7）
2''''2(())()()()()[()]()t t t d H e C x F x e C x F x e p C x F x h dt h
δδδδ---∂∂=++-∂∂ '''()()(1)[()]()t t e C x F x e p C x F x δδδ--=++-
只要δ<1,p>C(x),就有
22(())0d H h dt h
∂∂>∂∂ 由(6)式可知:
''
()()
()()
C x F x F x p C x δ-=- （8）
由(7)式可知h(t)是一个关于C(x),F(x),F ′(x),F ″(x),δ的函数。

只要由(8)式得出最优种群密度x*的表达式,就可以直接求出最优收获率h*的表达式。

2.3应用分析
下面以H.S.Mohring 近年来提出的太平洋大比目鱼群的参数: r=0.71,K=80.5×106kg
对Schaefer 模型使用本文提出的最大值原理方法来研究一下关于捕鱼的最优收获问题。

在最优控制问题中,只有某些简单的情况可以获得解析解,而绝大多数情况都只能获得数值解。

在此,为了能得出x*和h*的解析式以便具体分析问题,不妨假设每单位重量所赚钱为常数α>0,即p-C(x)=α。

以下为所给的状态系统:
状态方程 6
(1)()0.71(1)()80.510x x
x
rx h t x h t K =--=--⨯ 6
6
0.71(80.510)()80.510
x x h t =⨯--⨯ 目标函数 0
()t
J e h t dt δα∞
-=⎰
解:设λ(t)为伴随向量,则哈密顿函数为
6
6
0.71()()[
(80.510)()]80.510
t H e h t t x x h t δαλ-=+⨯--⨯ 协态方程为:
6
66
0.710.71(80.510)]80.51080.510H x x x x λ
λ∂=-=-⨯--∂⨯⨯ 6
1.42
[
0.71]80.510x λ=-⨯ 必要条件为:
0t t H
e e h
δδαλλα--∂=-=⇒=∂ （9） 由于这是一个奇异控制问题,则要想使目标函数取最大值,还应满足Legendre-Clebsch 条件(此条件仅为必要条件)。

()t d H
e dt h
δαλ-∂=--∂ 6
1.42[0.71]080.510t
e x δαδλ-=--=⨯ （10） [()]0d H
h dt h
∂∂=∂∂ 222661.42 1.42()[0.71]80.51080.510
t d H e x x dt h δαδλλ-∂=---∂⨯⨯ 26
2666
1.420.71 1.42[(80.510)()][0.71]80.51080.51080.510
t t t e e x x h t x e δδδαδαα---=-
⨯⨯----⨯⨯⨯⨯ 0=
2261.42
[()]080.510
t d H e h dt h δα-∂∂=⨯>∂∂⨯ 由(9)式和(10)式可知:
6
1.42
[
0.71]080.510
t t e x e δδαδα----⨯=⨯
6*
80.510(0.71)
1.42
x δ⨯-⇒= （12）
由(11)式可知:
22
*
60.7180.5102.84
h δ-=⨯⨯ （13）
由(12)式可以看出,当δ=0时,产生一个最优种群密度x*=40.25×106kg,且产生了最大经济产量h*=14.29×106kg 。

随着δ的上升,最优种群密度x*下降,当δ>0.71,即折扣率δ大于内禀生长率r 时,那么最优种群密度x*=0,在这种情况下,最优收获策略会使资源种群快速灭绝。

所以,要使捕渔业获得长期利润,折扣率必须满足0≤δ<0.71。

2.4总结
从过程上来看,最大值原理显得比较复杂,但它的应用范围很广,可以解决多种群鱼群,控制变量受限以及奇异最优控制问题。

在开放式捕鱼中,人捕鱼会受到很多限制,而欧拉方程又无法解决这些控制受限问题,因而最大值原理就比它适用得多。

[2]
3．最大值原理应用实例举例
例3.1基金的最优管理问题
基金会达到一笔60万元的基金，现将这笔款存入银行，年利率为10%，该基金计划用80年，80年后要求只剩0.5万元用作处理该基金的结束事宜。

根据基金会的需要，内年至多支取10万元作为某种奖金。

我们的问题是制定该基金的最优管理策略，即每年支取多少元才能使基金会在80年中从银行取出的总金额最大。

解：用x(t)表示第t 年存入银行的总钱数，u(t)第t 年支取的钱数，则该问题的状态方程为
()()(),0.1,x
t rx t u t r =-= 初值和终值分别为
(0)60,(80)0.5x x ==
控制约束条件为
5()10u t ≤≤
目标泛函即性能指标为
80
()()J u u t dt =⎰
从而，基金的最优管理问题就是求满足约束条件的u(t)使J （u ）取最大值。

用最大值原理求解这个最优控制问题。

哈密顿函数为
(,,)()(1).H x u u rx u r xx u λλλλ=+-=+-
根据最大值原理，u *(t)应使哈密顿函数达到最大值，因此
5,10,()10,10,u t λλ*-<⎧=⎨->⎩
状态方程和辅助和方程为
(),(0)60,(80)0.5,x
t rx u x x =-== H r h
λ
λ∂=-=-∂ 于是
()(0).rt t e λλ-=
如果(0)1,λ<，那么1()1(0)0rt t e λλ--=->，由()u t *的表达式可治
()10,080,u t t *≡≤≤
这与实际不符，从而(0)1,λ>因此(0)λ将由大于1单调下降到小于1，设()1,λτ=
则最优管理策略为
5,0,
()10,80,t u t t ττ*≤≤⎧=⎨≤≤⎩
于是由状态方程可得
*0.110
()100,80,rt t x t ce ce t r
τ=+
=+≤≤ 由边界条件(80)0.5,x =得，
88(0.5100)99.5,c e e --=-=-
因此
*0.180.110()10099.5100,80.rt t t x t ce ce t r
τ-+=+=+=-+≤≤ 由状态方程和初始条件(0)60,x =得
*0.1()1050,0,t x t e t τ-=+≤≤
于是
0.1*80.110100,()99.5
100t t e x t -+⎧+⎪=⎨-+⎪⎩ 0,80.t t ττ≤≤≤≤ 由连续性，有
0.180.1105099.5100,t t e -++=-+
解得
8
5010ln
16.06.1099.5τ-=≈+ 故最优策略为 5,()10,u t *⎧=⎨⎩
016.06,16.0680,t t ≤≤≤≤ 即最优管理策略是：在16年以前每年支付5万元，16年以后每年支付10万元，共支取720万元。

例3.2生产与消费问题
设x(t)表示总产值，u(t)表示用于扩大再生产的投资比例，0≤u （t)≤1。

1-x(t)表示用于消费的比例，假设产值的增长与投资额成正比，不妨设比例为1，则
0(),(0)0x
t ux x x ==≥ ， 问题是寻求在一个计划区间[0，T]内的控制u(t),使得消费总额最大。

此最优控制问题的状态方程为
0(),(0)0,()x
t ux x x x T ==≥ 自由.
在u ∈[0,1]下，求使
(1)T
J u xdt =-⎰
达到最大值的u *。

解： 哈密顿函数为
(1)(1),H u x ux x ux λλ=-+=+-
由于0,x
x ≤≤ 故000()t x x t x e ≤≤≤，可见()0x t ≥。

根据最大值原理，u *∈[0,1]使H 取最大值，因此，
1,()0,u t *⎧=⎨⎩
()10,()10.t t λλ->-> 换接函数()1t ξλ=-，换接点t 满足()1t λ=。

辅助方程为
1(1)11,H u u u u u h
λλλλ∂=-=-+-=--=-+-∂ ()0.T λ=
由()t λ的连续性和()01T λ=<知。

在末端的一个小区间内应取()0.u t *=在[,]T ε上
u *=0，由1λ
=- ，()0T λ=知()t T t λ=-，这个递减的线性函数只能一次达到值1，此时()1,T λεε==-1T ε=-，从而[1,]T T -上*0u =。

当1T <，则*0u =，即全部用于消费上，是一种短期行为。

若1T >，考虑换接的情形，在(,1)T δ-上*0u ≡（考虑*0u =，()1t λ>矛盾），由λλ=- ，(1)T λ-知1()T t t e λ--=，这个递减函数只在1T -时取值为1，其余均大于1，故1T -前不能再换接，从而0δ=，于是
1,0,u *⎧=⎨⎩
[0,1],(1,],T T T -- 即[0,1]T -上全部用于投资，(1,]T T -上全部用于消费。

4．最大值原理的局限性
最后需要指出的是，最大值原理虽然解决了古典变分法所遇到的困难，但是它也只给出了最优控制问题解的必要条件，而不是充分条件，所以由最大值原理所求的控制函数不一定是最优控制，因为有可能最优控制根本不存在。

如果最优控制问题的解存在，但是从这方法得到的控制函数不止一个，就需要进行逐个检验，从中确定出最优解，如果该问题的实际物理背景有最优控制，而从最大值原理得到的解又只有一个，那么这个解一定是最优控制。

[3]
[参考文献]:
[1] 王翼.经济系统的动态分析[J].北京：机械工业出版社, 2008：108-110.
[2] 张红英，荆海英，吴斌.最大值原理在开放式捕鱼中的应用[J].西南工学院学报, 2001年01期 :1-4.
[3] 吕显瑞，黄庆道编著.最优控制理论基础[M].科学出版社.。