最优控制汉密尔顿函数问题

第十章_具有约束的最优控制问题

G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题：最大化 0 F ( t , y , u ) dt
T
例2 解以下最优控制问题：

最大化 0 1 dt y yu 满足
y (0) 5 y ( T ) 11 T 自由
T

和
u ( t ) [ 1,1]
它具有一个受约束的控制变量，该控制集合可视为两个不等式约束：
1 u (t ) 和 u (t ) 1
汉密尔顿函数： H 拉格朗日函数：
u
对于所有 t [ 0 , T ]
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
(t ) 常数
( T ) 0 [ 横截条件 ]
四、不等式积分约束 T 最优控制问题：最大化 0 F ( t , y , u ) dt y f (t, y , u ) 满足
y H H
u
F (t, y , u ) f (t, y , u ) G (t, y , u )
[ y 的运动方程
[ 的运动方程
]

[ 的运动方程
]
[ 的运动方程
]
( T ) 0 [ 横截条件 ]
上页的最大值原理可简化为：
Max H
]
]
( T ) 0 , ( T ) k 0 , ( T )[ ( T ) k ] 0 [ 的横截条件

hamilton–jacobi–bellman 方程

hamilton–jacobi–bellman 方程Hamilton-Jacobi-Bellman方程（简称HJB方程）是一个偏微分方程，是最优控制的核心。

其解是针对特定动态系统及相关代价函数下，有最小代价的实值函数。

若只在某一个区域求解，HJB方程是一个必要条件，若是在整个状态空间下求解，HJB方程是充份必要条件。

其解是针对开回路的系统，但也允许针对闭回路系统求解。

HJB方程也可以扩展到随机系统。

一些经典的变分问题，例如最速降线问题，可以用此方法求解。

HJB方程的基础是以1950年代由理查德·贝尔曼及其同仁提出的动态规划。

对应的离散
系统方程式一般称为贝尔曼方程。

第十章_具有约束的最优控制问题

对于给定的，或者关于( y , u ) 对所有t [ 0 , T ] 是凹的，或者 H 0 关于 y 对于所有t [ 0 , T ] 是凹的。
如果是无限水平问题，充分性定理仍然适用，但是要加上一个补充性条件：
T
lim ( t )[ y ( t ) y ( t )] 0
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题：最大化 0 F ( t , y , u ) dt
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
( T ) 0 [ y 的横截条件
( t ) 常数 0
和
]
k
G ( t , y , u ) dt
0
T
0
k
G ( t , y , u ) dt 0 0
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：最优控制问题：最大化 F ( t , y , u ) dt 0 y f (t, y , u ) 满足
(10 . 43 ) (10 . 44 ) (10 . 45 ) (10 . 47 )

最优控制理论与系统胡寿松版课后习题答案

3－ 6 已知二阶系统方程
?
x1(t)
?
x2(t)
x2(t ) u(t ),
x1 (0) 0
x1(t f )
2
式中
x2 (0) 0, x2 (t f ) 2,
u(t)
1,t f 自由。试求使性能指标 J
1 2
t 0
f
[
x12
(t
)
x
2 2
(t
)
u 2(t)] dt 为极小
的最优控制 u (t ) ，最优轨线 x (t) 以及最优指标 J 。解：本例为线性定常系统，积分型性能指标， t f 自由，末端
e
*
J
1
1
[ x(t) u(t)]dt
ln
2 (2 e
t
1 )dt
11
t
32 e
e[ (2 e)e ]dt
ln 0.45
0
2
0
2
ln 2
2
2e 2
最优解曲线如下：
3-5 控制系统
x&1 x&2
u1, x1(0) 0, x1(1) 1 ，试求最优控制
x1 u2 , x2 (0), x2 (1) 1
u1* (t) ,
x2
H u1 2u1 H u2 2u2
10
u1 ( t )
，解得
20
u2 (t)
1 (1 c1)t
2 1 2 c1
c2
，由状态
方程有
x&1(t )
1
(1 2
c1 )t
c2
，
解得
x&2 ( t )
x1(t )
1 c1

动态最优化第10讲具有约束的最优控制问题

最大值原理条件：
0 对于所有的t 0,T
u
c g 0, 0, 0
dy dt
d
dt y
第十讲具有约束的最优控制问题
（一）涉及控制变量的约束
（5）现值哈密尔顿函数和拉格朗日函数
引入新的乘子： m et （隐含 met）
n et （隐含 net）
汉密尔顿函数和拉格朗日函数：
Gt,
y, u dt
0
Γ
T
T
0
Gt,
y,
u
dt
k
第十讲具有约束的最优控制问题
（一）涉及控制变量的约束
（4）不等式积分约束
问题重新表述为：
（2个状态变量的无约束问题，新变量具有截断终结线）
Max
T
0
F
t,
y,
u
dt
S.T. dy f t, y,u
dt
dΓ Gt, y,u
dt
y0 y0 yT 自由（y0 ,T给定）
dt
又由于：汉密尔顿函数H独立于Γ ,
所以有：d H 0 t 常数
dt Γ 最大值原理条件重新表述为：
Max H u
dy H
dt
对于所有的t 0,T
d H t 常数
dt y
T 0
第十讲具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
等周问题简便解法：
构造拉格朗日函数（增广汉密尔顿函数）：
u1
0
u1
3
0
0 0 0
u2
u2
0 i
0,i
0,i
0 i
0
i
0,i
0,i

第八章_对最优控制的进一步讨论

T
0
* [ f ( t , y , u ) f ( t , y * , u * ) f y ( t , y * , u * )( y y * ) f u ( t , y * , u * )( u u * )] dt 0
*
V V 0
b)若 f 关于 y 和 u 线性，那么 (t ) 无须不等式约束。
0
f u ( t , y , u )( u u )] dt
* * *
( 8 .3 1)
以上推导得到：
[ f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) (8 .3 1) 0 * * * f u ( t , y , u )( u u )] dt * * * * * * * * f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) f u ( t , y , u )( u u ) (8 .3 0)
f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) f u ( t , y , u )( u u ) 0 (8 .3 0)
* * * * * * * *
V V 0
*
曼加萨林充分性定理不但适用于垂直终结线问题，也适用于固定端点或截断垂直终结线问题。
*
(8.29)
以上推导得到： Fu ( t , y , u ) f u ( t , y , u ) * * * * f ( t , y * , u * ) Fy (t , y , u ) y

保险保障基金最优规模的积累规律及影响因素_基于动态视角和SYS_GMM方法的研究

— 83 —
要指出，即使在 2004 年以前，各家保险公司为维护行业稳定发展，已经开始提取保险保障基金。图 1 显示将 1999 年～ 2007 年间财险业和寿险业提取的历年保险保障基金总额进行汇总。可以发现寿险业的保障基金规模呈现出增长趋势，而财险业则出现下降趋势；但从对保障基金规模的贡献上看，财险业的贡献一直超过寿险业。国际上关于保险保障基金的研究主要集中于以下几方面：从保险保障基金的设立目的、潜在缺陷等角度 1999 ）；研究保险保障制度发挥作用时的保险公司道德风研究各国的保险保障基金制度特点（ Jean Lemaire， Ejijah； 1988 ）； J． David． Cummins（ 1988 ）从精算技术角度研究基于风险分摊的保障基金的保险问题（ Brewer，指出了按照资本或者保费收入的一定比率来交纳保险保障基金的筹资方法有弊端，这种方法使费定价方法， Duan＆Yu（ 2005 ）将 Cummins 的单一时期模型扩展到多时期，保险市场正常的惩戒机制受到了破坏；此后，并 Russell＆Ross（ 1989 ）通过对保险市场脆弱性的分析，采用了随机利率假设； Cooper，提出由公共部门、私人部门建立保险保障基金的选择问题，阐述了在不存在保险保障制度的情形下，市场自发形成的均衡并不符合帕； Krogh ， Harold C＆Levin ， Murray （ 1986 ）累托最优研究美国财产和责任保险保障基金，对美国所有建立保险保 David Mayers， Clifford W． Smith（ 1997 ）将保险保障基金障基金州的制度情况进行了详细的介绍； Soon jae Lee，作为风险津贴，认为公司的组织形式不同（主要是指股份与相互保险公司的差别）则基金的作用方式也各不 2003 ；孙祁祥等，相同。国内对保险保障基金的研究成果较少有涉及到保险保障基金的定量分析（李成明， 2003 ；朱铭来等， 2005 ），邵全权（ 2010 ）从保险市场的视角研究了保障基金造成的道德风险问题，以及作为外部因素的保障基金对保险业产业组织的影响。从总体上看，国内外对保险保障基金的研究已取得多方面的从不确定经济学角度和纯理论方面研究的较多，但成果。国外研究运用了很多数学方法研究保险保障基金，是应用的领域局限性较大；国内研究侧重概念和制度方面的探讨。我们认为，在涉及保险保障基金的一系列问题中，以保险保障基金的规模问题最为突出，而这恰好是国内外研究都没有涉及的。从世界各国的保险业实践经验看，虽有国家和地区（如英、美、日、加等国）建立了保险保障基金制度，但也有不少国家和地区并没有实行保险保障基金制度，出现这种情况的理论基础在于保险保障基金存在产生的保险公司道德风险。保险保障基金制度产生的道德风险程度主要依赖于其对保险公司提供保障的程度，反映在保险公司上则体现为各家保险公司保险保障基金的提取额，在保险保障基金制度方面反映为对保险，保障基金的提取与运用这实际上是一个保险保障基金最优规模的问题。保险保障基金的规模过小，则无法实现保险行业最后一道安全网的功能；规模过大，则又会造成保险资源的闲置和浪费。本文将回答保险保障基金是否存在一个最优规模，以及保险保障基金规模的影响因素。相比前人研究，本文的主要贡献在于首次从动态视角研究保险保障基金的最优规模，体现在构建动态模型研究保险保障基金最优规模的积累规律，又采用动态面板数据模型进行实证分析；提出保险保障基金理论上的最优规模和现实中的实际规模在一定条件下可以一致；将保险公司的竞争战略引入保险保障基金规模模型，从公司战略的角度研究作为风险管理战略组成部分的提取规模和反应竞争战略变量间的关系。本文第二部分建立保险保障基金最优规模的理论模型，第三部分介绍计量模型的设计和数据处理，第四部分报告实证分析结果，最后对全文进行简要总结并提出政策建议。二、保险保障基金最优规模的规律：基于动态视角的解释邵全权等（ 2010 ）通过构建静态模型，发现在存在竞争的条件下，保险保障基金制度容易引发道德风险，通过降低基金保障程度的方式，可以降低保险保障基金制度引发的道德风险，由此间接提出保险保障基金最优规模的概念。本部分采用最优控制的方法，通过建立和保险保障基金规模有关的社会福利函数，并将涉及到保险保障基金最优规模的运动和变化规律作为相应的条件，构建保险保障基金最优规模的理论模型。保险业是经营和管理风险的特殊行业，保险公司经营不善导致偿付能力危机甚至破产倒闭，会严重危害社会稳定，损害被保险人利益。保险保障基金制度的存在可以最大程度地减轻这种风险的社会危害和行业影响。因此，保险保障基金制度的存在会因为其对问题保险公司的救助而改善社会福利水平。根据我国现阶段保险保障基金制度的有关规定，保险保障基金的构成是由各家保险公司共同出资形成的，保险保障基金的规模也即各家保险公司保险保障基金的提取额应该是和保费收入成比例的。鉴于保险保障基金规模的以 — 84 —

《高级宏观经济学》习题和答案3

✧ 2.1考虑N 个厂商，每一厂商均有规模报酬不变的生产函数(),Y F K AL =，或采用密集形式()Y ALf k =。

假定()()0,0f f '''>< 。

假定所有厂商均可以工资wA 雇佣劳动，以成本r 租用资本，且所有厂商均有相同的A 值。

a) 考虑一厂商试图以最小成本生产Y 单位产品的问题。

证明成本最小化时的k 值为唯一的且与Y 无关，并证明所有厂商因此均选择相同的k 值。

b) 证明：这N 个成本最小化厂商的总产量，等于一个具有相同生产函数、雇佣这N 家厂商所雇佣的全部劳动和资本的单个厂商的产量。

答：a) 本问题为如下的最优化问题：min wAL rK +st()Y ALf k =易知其FOC 条件为：()()()()()*******1/f k f k r w k w rf k k f k f k ''=⇒=+'- 所以可见成本最小化时的k 值（如果有解）必然和Y 无关。

b) 证明：对任意厂商来说，()**,k kw r =，故()()**i i Y AL f k ALf k ==∑∑()()**,1i Y ALf k ALF k ⇒==∑因为生产函数为规模报酬不变的，所以有()()()**,1,,iiiY ALF k F ALk AL F K A L Y ====∑∑∑该厂商利用N 个厂商拥有的全部资本与劳动的产出为N 个厂商产量之和。

✧ 2.2不变相对风险回避系数效用函数的替代弹性。

考虑一个人，他只存活两期，且其效用函数由（2.46）给出。

令12,P P 代表消费品在这两期的价格，W 代表他一生收入的价值；因此他的预算约束为1122PC P C W +=。

a) 若12,P P 和W 给定，则使他效用最大化的1C 和2C 是多少？b) 两期消费之间的替代弹性为()()1212ln //ln /C C P P -∂∂。

最优控制(2)

则满足末态要求的最优轨线方程可表示为
取u*= -1，也可得到满足末态要求的最优轨线方程曲线 , 组成曲线，称为开关曲线，表示为
开关曲线将相平面分成两部分R+和R-
则时间最优控制为
4.2.4 最小能量控制
设线性定常系统
求满足下列不等式约束的容许控制：
使系统从初始状态x0转移到x(tf)=xf，并使性能指标
由横截条件解出
由极小值条件
由于
可得到
t=1时，u*(t)应该为零，即不存在最优控制
定理对于如下时变系统、末值型性能指标、末端自由、控制受约束的最优控制问题
式中末端时刻固定或自由，假设同前，则对于最优解 u*,x*,tf*，必存在非零的 (t ) ，使如下必要条件成立： 1) 正则方程
则对于最优解u*,x*,tf*，必存在非零的 (t )，使如下必要条件成立： 1) 正则方程其中
2) 边界条件与横截条件
3) 极小值条件
4) 沿最优轨线哈密尔顿函数变化率(tf自由时用)
例子:
解：已知
由协态方程可得到
2 (t ) c2 , 1 (t ) c1e c2
t
其中
2) 边界条件与横截条件
3) 极小值条件
4) 沿最优轨线哈密尔顿函数变化率(tf自由时用)
于是该问题就变成了如下定常问题：
(16)
利用定常系统的结论，可知协态方程为
即 (17)
横截条件为
即极小值条件为 (18)
将式(16)代入可得
即得结论3)。沿最优轨线哈密尔顿函数变化率
将(18)代入可得到本定理的结论4)。
极小，其中 tf 固定。
构造
定义开关向量函数

最优控制 (4)1

tf
0
tf T T T J x dx (t f ) v t t f t x x dt 0 x x x
T
T dxT (t f ) x x
T v x (t f ) x t t f
H g T x x d H g T w w 0 dt d T ( z ) 0 dt
(2-25) (2-26) (2-27)
d 0 dt z
( x, x, w, w, z , z , , , t ) H ( x, , w, t ) T x T [ g ( x, w, t ) z 2 ]
n
其中 f 是 n 维连续可微的向量函数；状态 x (t ) R ，其初态已知是
x (t0 ) x0
(2-2) (2-3)
终态应满足边界条件
[ x (t f ), t f ] 0
其中是 r 维连续可微的向量函数，r n ；
u (t ) R m 受不等式控制
g [ x (t ), u (t ), t ] 0
16
2）横截条件 T
vx 0 x t t t f t f f
T
T v 0 x x t t x f
T v H 0 (2-28) t f t f t t f
0
( x, x, w, w, z , z , , , t ) H ( x, , w, t ) T x T [ g ( x, w, t ) z 2 ]
17
对上列方程稍加分析，便知（1）由（2-25）式

第二讲最优控制原理

()dt u y t F V T ,,0⎰=()()Ao y u y t f y==,,12..V Max ()t u ()t y()t u y f y,,= ()t u y g u ,,=[].,,0dt t u y F V t ⎰=y1(),,pp D Q d =,d s Q Q =()pp D Q ,= ().,pp R PQ R =≡()()[].,pp D C Q C C ==()()[]()p p p p D c pp R C R ,,,ππ=-=-≡ 10().,100dt p p π⎰[]10,010[]10,0*p 102()c U U =(),,L K Q Q =()().,,K L K Q I L K Q c -=-= ()()[].,KL K Q u c u -= ()[].,0dt K L K Q u Max T -⎰1λu y ,λ().t λ()()()()u y t f t u y t F u y t H ,,,,,,,λλ+=().0=T λ 2()λ,,,u y t MaxH [].,0T t ∈λ∂∂=HyyH∂∂-=λ[]的运动方程λ ()0=T λ MaxH 0=∂∂uH[]c a ,示汉密尔顿函数H 对控制变量u 在特定时刻y λ的一种可能曲线。

1于u 是可微的， MaxH 出现在 b u =处，内2 MaxH 在c u =，边界.0≠∂∂uH3 Max 在.a u = 边界.0≠∂∂uH域可能是一个闭集且具有边界解这一事实，的陈述.MaxH 。

事实上，在最大值原理之下，H 函数关于u 可微。

.λ∂∂=Hy它正是最初设定的状态变量的运动方表述。

λ 状态变量y 对H 的偏导数的负值， .yH∂∂-=λ3 值原理的经济学解释家企业，它寻求最大化它在区间[]T ,0上的利状态变量资本存量K ，并有单个控制变量u ，123aobcu00k ().,,u k t πu k u k()dt u k t Max T ,,0ππ⎰=..t s ()u k t f k,,= ()()T k k k ,00= λλt ()t λ()()[]ku k t f t -,,λ()()[]u k t f k t ,,- λ Hamilton()()()u k t f t u k t H ,,,,λπ+=u()u k t f ,,u k f ()t λu uu*uu u πMax MaxH ()0=∂∂+∂∂=∂∂uft u u H λπ()u f t u ∂∂-=∂∂λπ u ∂∂πuf∂∂ *u()kft k k H ∂∂-∂∂-=∂∂-=λπλ()()λλπλπλ-∂∂-=∂∂∂∂+∂∂=-k f t k k f t k 或k ∂∂πkf∂∂λλ-=∂∂kH()0=T λ4pt e -().,,max dt e u y t G V pt T -︒⎰= ().,,..u y t f yt s = ()().,,,,u y t f e u y t G H pt λ+=-mpt e m λ=pt me -=λ隐含;Hc()().,,,,u y t mf u y t G He Hc pt +=≡+Hc pt c e H H -≡.pt He Hc =pt e *u .HcuMaxHc []T t ,0ε().,,mHcu y t f H ∂∂==∂∂λ mHc y ∂∂=.yH∂∂-=λ.pt e m λ= pt me -=λpt pt pme e m ---= λ.pt Hce H -≡ .pte yHc y H -∂∂-=∂∂-pm yHcm+∂∂-= pm yH c∂∂ρ ρ=+∂∂m m yH c/)(()[]00=⇒==-T t pt me T λ ()0=⇒-pT e T m 5,0Fdt ω⎰.b .0dt Fept -⎰ω.00pFeF Fe pt pt =⎰≤⎰--ωω。

高级宏观经济学Chap02_Optimal_Control

第2章最优控制理论2.1 静态最优化复习（1）一元最优化（Single variable optimization ）考虑以下无约束的最大化问题， max ()xf x (2.1)如果是最小化问题，可以转化为等价的最大化问题，即[]min ()max ()xxf x f x - (2.2)因此，在本章我们只考虑最大化问题。

一阶条件：*()0f x ¢= （参见图2.1）图2.1、一元函数最大化的一阶条件二阶条件：*()0f x ¢¢£ （如果二阶导数严格小于0，则最大值唯一）证明：在最大值*x 处，将目标函数()f x 进行二阶泰勒展开。

注：如果()f x 为凹函数，则二阶条件自动满足。

凹函数的经济含义：边际收益递减、边际产出递减、边际效用递减。

凹函数的几何含义是，函数增长的速度慢于切线的速度，参见图2.2。

图2.2、凹函数的几何意义（2）价值函数及包络定理（The Value Function and the Envelope Theorem ）考虑带参数的一元最优化问题。

max (,)xf x a (2.3)其中，a 为参数。

一阶条件为，*(,)0()f x a x x a x¶= =¶ (2.4) 定义“价值函数”（Value function ）为，()()max (,)(),xV a f x a f x a a º= (2.5)即当参数取值为a 时，目标函数的最大值。

包络定理（The Envelope Theorem ）：关心当参数a 变化时，价值函数()V a 如何变化，即求()V a ¢。

()()()0(),(),(),()()df x a a f x a a f x a a x a V a dax a a=¶¶¶¢==+¶¶¶(2.6)由于*()x x a =为最优解，故满足一阶条件(,)0f x a x¶=¶，因此()()*(),(),()x x a f x a f x a a V a aa=¶¶¢==¶¶ (2.7)直观来说，由于()()(),V a f x a a º，故a 的变化有两个效应。

动态最优化第8讲最优控制理论的进一步讨论

非线性对于所有是联合凹的数关于函数都可微且两个函第八讲最优控制理论的进一步讨论值依赖于值最大化汉密尔顿函数被一个和共态变量变量在任意时刻给定状态的汉密尔顿函数设沿着最优控制路径是充分的最大化泛函则最大值原理条件对于关于变量上的所有和时间区间对于给定的如果第八讲最优控制理论的进一步讨论给定自由dtdy的联合凹性函数关于第八讲最优控制理论的进一步讨论不再起约束个条件是线性的关于关于关于所以求得
Π

T
0

t,
K,u
t
f
t,
K,u
t
dK dt
dt

T
0
H
t,
y,
u,

dt

T
0
t

dK dt

dt

T
0
H t,
y,u, dt

tK tT 0

T
0
K t
d
dt
dt

T
0
H
t,
4）横截条件的经济含义
垂直终结线（固定终结时间，自由终结状态）
横截条件： T 0
表示：影子价格应该在终结部价值）
第八讲最优控制理论的进一步讨论
（一）最大值原理的经济学解释
4）横截条件的经济含义
截断垂直终结线规定终结资本的最低水平：KT Kmin
现值汉密尔顿函数：Hc Gt, y,u mf t, y,u
条件3：d H （的运动方程）
dt y
因为： met d dm et met
dt dt
H G et f , Hc G m f
y y

最优控制模型

H
曲线1
曲线2
曲线3 0 b c
6.2.2 吃糕控制问题
• 1、问题 • 假设行为人拥有一些不可再生的资源，如一块蛋糕s，该资源的初始存量为s0，行为人在时刻 t的消费量为c(t)，消费的效用函数为u(c)。又假设行为人的规划期从0时到T时，时期长度固定，其未来效用的折现率为固定折现率ρ，且行为人要在T时期末将此蛋糕消费完，不留遗产。问题是，该行为人如何在0到T的整个时期内分配此蛋糕的消费量，以使其获得的效用最大？
6.1 离散跨期选择问题
• 1、离散跨期选择的经典问题——“吃糕”问题 • 假设行为人拥有一些不可再生的资源，如一块蛋糕，该资源的初始存量为S0，行为人在时期t 的消费量为ct，则在时期t资源的存量为： St=St-1-ct 再假设行为人确切地知道他能活3个时期，如青年、中年、老年三个时期，问题是该行为人如何将其资源在各个时期中消费？
6.2 连续时间的最优控制
• 4、状态变量的运动方程 • 状态变量就是不由行为人直接控制的系统内生决定的变量，而控制变量则是行为人可直接控制的变量。行为人通过对控制变量的控制可以间接地影响状态变量，状态变量的变化方程是控制变量的函数，可表示为： ś(t)=g[s(t),c(t),t] 称为状态变量的运动方程。最优控制问题就是要找出控制变量在各个时刻的最优取值，使得目标函数值达到最大（或最小）。控制变量从初始时刻到终结时刻的变化过程称为控制变量的路径，状态变量的变化过程称为状态变量的路径。
6.2 连续时间的最优控制
• 1、跨期效用函数 • 如此设定的跨期效用函数具有可加性 (additivity)或称可分离性(separability)的性质。 • 可分离性的条件为： Mij/ck=0 其中Mij为不同时期消费的边际替代率 (marginal rate of substitution between consumption in period i and j)，即： Mij=Ui(.)/Uj(.)=(U/ci)/(U/cj)

最优控制第三章用变分法解最优控制问题

H 2x
x
H 0 2u 0 2u
u
u x
x u x u u x x x 0
2023/12/27
x(t ) c1et c2et x(t) c1et c2et u
由边界条件和横截条件 x(0) x0
H (t f ) [ t ]t f
cc11
c2 x0 c2 0
约束条件 x(t0 ) x0 , M [x(t f ), t f ] 0
正则方程 x H
H x
控制方程 H 0 u
2023/12/27
边界条件和横截条件
终端固定
x(t0 ) x0 ,
M [x(t f )] 0 x(t f ) x f
tf
给定
终端自由终端约束
终端固定
tf
自由
终端自由终端约束
2 (t f
)
x2 (t f
)
M (
x2 (t f
)T )
v(t f
)
2 (2) x2 (2) 2 5v c2e2 c1
代入 x1 (2), x2 (2)
2023/12/27
14
解得
0.5c2 c3 c1 0.5c2
c4 c3
0 0
7c1 3e2c2 4e2c3 c4 15 x1 (2) 5x2 (2) 15
(t f
)
[ x
(M x
)T v] tt f
M [x(t f ), t f ] 0
H (t f
)
[
t
vT
M t
] tt f
9
例2 已知系统状态方程为 x u(t), x(0) 1
求最优控制 u* (t) 使性能指标 J 1e2t (x 2 u 2 )dt 为最小 0

最优控制习题及参考问题详解

标准文档1 2f最优控制习题及参考答案习题 1 求通过 x (0) = 1 ， x (1) = 2 ，使下列性能指标为极值的曲线：t f J = ∫(x2 +1)dt t 0解：由已知条件知： t 0 = 0 ， t f = 1d由欧拉方程得： (2x ) = 0dtx = C 1x = C 1t + C 2将 x (0) = 1，x (1) = 2 代入，有：C 2 = 1，C 1 = 1得极值轨线： x *(t ) = t +1习题 2 求性能指标： J = ∫ 1(x 2 +1)dt在边界条件 x (0) = 0 ， x (1) 是自由情况下的极值曲线。

解：由上题得： x *(t ) = C t + C由 x (0) = 0 得： C 2 = 0∂L由∂xt =t f= 2x (t f ) = 2C 1 t =t = 0 t于是： x *(t ) = 0【分析讨论】对于任意的 x (0) = x 0 ，x (1) 自由。

2 0 1∫⎩ λ = −λ有： C = x ， C = 0 ，即： x *(t ) = x 其几何意义： x (1) 自由意味着终点在虚线上任意点。

习题 3 已知系统的状态方程为： x1 (t ) = x2 (t ) ， x 2 (t ) = u (t )边界条件为： x 1 (0) = x 2 (0) = 1 ， x 1 (3) = x 2 (3) = 0 ，31 试求使性能指标 J =u 2(t )dt 2取极小值的最优控制 u *(t ) 以及最优轨线 x *(t ) 。

⎡ x ⎤解：由已知条件知： f = ⎢ 2⎥⎢⎣ u ⎥⎦Hamiton 函数： H = L + λT f H = 1u 2 + λ x + λ u⎧λ = 0由协态方程： ⎨ 12 121 22⎧λ = C① 得： ⎨11⎩λ2 = −C 1t + C 2②∂H由控制方程： ∂u= u + λ2 = 0得： u = −λ2 = C 1t − C 2 ③由状态方程： x 2 = u = C 1t − C 2得： x (t ) = 1C t 2− C t + C④22 由状态方程： x 1 = x 21 2 3得： x (t ) = 1C t 3− 1C t 2+ C t + C⑤16 122 3 41 ∫⎪⎩=−=−⎡1⎤ ⎡0⎤将 x (0) = ⎪ ⎪ ， x (3) = ⎪0⎪ 代入④，⑤,⎣1⎦ ⎣ ⎦10联立解得： C 1 =由③、④、⑤式得：u * (t ) = 10t − 29 ， C 2 = 2 ， C 3 = C 4 = 1 9x *(t ) = 5 t 3 −t 2 + t +127 x *(t ) = 5 t 2 − 2t +1 29习题 4 已知系统状态方程及初始条件为x =u ， x (0) = 1试确定最优控制使下列性能指标取极小值。

现代控制理论第6章最优控制(录像)2(极小值 [1]加了二次型

由min H x , ,u,t H x , ,u ,t uU
min H
uU
min uT BT
u( t ) SGN( BT )
得：
ui( t )sgn ( BT ) i ,i1,2, ,r
1 a 0
其中函数sgn a
0
a0
1 a 0
a为向量时用SGN表示。
总目录返回上一页下一页
6.8 极小值原理
经典变分法
x Hx,u, ,t , Hx,u, ,t , Hx,u, ,t 0
x
u
状态方程
伴随方程
控制方程
应用范围：
u无约束, 且H对u连续可微难满足
一般 ui Mi ( i 1,2 m ) 更一般控制u(t)受不等式约束：
gxt ,u(t),t 0
总目录返回上一页下一页
t
u 切换时刻
总目录返回上一页下一页
6.10.2 状态轨线及开关曲线
x* t 12.3
1
0 0.307
1
0.5
t 0 0.307
6.44
5
1 t 0 0.307 1 t
总目录返回上一页下一页
例6.8.2 已知系统 x1t x1t ut x10 1
x2 t x1t
x2 0 0
其中 ut 1 ，若x t f 自由，求u* t 使
J x2 1 min
由正则方程组： x Ax Bu
H AT
x
(
t
)
e
AT t
(
0
)
e
AT t 0
u( t ) SGN( BT ) SGN( BT e ATt0 )
1.时间控制是Bang-Bang控制,即开关控制；