最优控制课程课件II-5.HJB方程
最优控制第一章课件 (2)
•·
确定目标函数，通常是最小化某个性能指标，如时间、 成本等。
确定一个系统在一维空间中的最优运动路径，使得某个 性能指标达到最优。例如，在生产线上，需要控制机器 的速度以达到最大的生产效率。 定义系统的状态变量和动态方程。
应用最优控制算法，如极值原理、庞特里亚金极大值原 理等，求解最优控制策略。
THANKS
感谢观看
最优控制问题的分类
总结词
最优控制问题可以根据不同的标准进行分类，如线性与非线性、确定性与不确定 性、连续时间与离散时间等。
详细描述
根据系统动态特性的不同，可以分为线性系统和非线性系统；根据是否存在不确 定性，可以分为确定性和不确定性系统；根据时间变量的不同，可以分为连续时 间和离散时间系统。
最优控制问题的数学模型
龙格-库塔方法
一种高阶数值方法，通过构造一 系列的差分方程来逼近最优控制 方程，具有更高的计算精度和稳 定性。
梯度法
梯度法的基本思想是利用目标函数的梯度信息，通过迭代的方式逐步逼近最优解 。在最优控制问题中，梯度法可以用于求解状态和控制变量的最优解。
梯度法的优点是计算简单、收敛速度快，但需要足够好的初始点才能保证收敛到 全局最优解。
最优控制第一章课件
• 引言 • 最优控制的基本概念 • 最优控制的基本原理 • 最优控制的数值解法 • 案例分析
01
引言
主题简介
01
介绍最优控制的基本概念和背景 ，包括其在工程、经济、金融等 领域的应用。
02
简要说明最优控制理论的发展历 程和主要成果。
课程目标
掌握最优控制的基本 原理和方法。
实际应用的最优控制问题
择合适的性能指标和优化 算法。
将最优控制理论应用于实际工程问题中，解决实际生产 和生活中的控制问题。例如，汽车自动驾驶、无人机飞 行控制、机器人路径规划等。 针对具体问题，建立实际系统的数学模型。
最优控制理论课件
8
最优控制问题
1.1 两个例子
例1.1 飞船软着陆问题
软着陆 过程开 始时刻 t 为零
h& v
v& u g m
m& K u
m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 h(0) h0 v(0) v0 m(0)MF
f(x(t),u(t),t) 为n维向量函数
22.03.2020
现代控制理论
24
最优控制问题
1.2 问题描述
(1) 状态方程 一般形式为
x&(t) f (x(t),u(t),t)
x(t) Rn
x(t)|tt0 x0
为n维状态向量
u(t) Rr
为r 维控制向量
f(x(t),u(t),t) 为n维向量函数
求解最优控制的变分方法
泛函与函数的几何解释
22.03.2020
现代控制理论
50
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
22.03.2020
现代控制理论
51
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
泛函的增量 J ( x ( g ) ) J ( x ( g ) x ) J ( x ( g ) ) L ( x , x ) r ( x , x )
J x ( T ) ,y ( T ) ,x & ( T ) ,y & ( T ) x & ( T )
控制
(t)
22.03.2020
现代控制理论
基于HJB方程稳定流形方法的两轮自平衡车最优控制
2023-10-28contents •引言•基于HJB方程的稳定流形方法•两轮自平衡车模型建立与描述•基于稳定流形方法的两轮自平衡车最优控制•结论与展望目录01引言1研究背景与意义23两轮自平衡车作为一种具有代表性的移动机器人，其运动控制问题一直是研究的热点和难点。
在复杂环境和未知路面上，两轮自平衡车需要实现快速、稳定、准确的运动控制，以提高其适应能力和鲁棒性。
基于HJB方程的稳定流形方法是一种有效的最优控制方法，能够为两轮自平衡车的运动控制提供新的解决方案。
03基于HJB方程的稳定流形方法作为一种先进的控制方法，还未见在两轮自平衡车的运动控制中应用的报道。
研究现状与问题01目前，针对两轮自平衡车的运动控制研究主要集中在传统的控制方法上，如PID控制、模糊控制等。
02然而，这些方法在面对复杂环境和未知路面时，难以实现快速、稳定、准确的运动控制，且鲁棒性较差。
研究内容与方法研究内容本研究旨在将基于HJB方程的稳定流形方法应用于两轮自平衡车的最优控制中，以提高其运动性能和适应能力。
研究方法首先，建立两轮自平衡车的动力学模型；其次，根据HJB方程和稳定流形方法，设计最优控制策略；最后，通过实验验证所设计控制策略的有效性和鲁棒性。
02基于HJB方程的稳定流形方法HJB方程简介HJB方程是动态规划理论中的核心方程，用于描述一个系统的最优控制问题。
HJB方程是一种偏微分方程，描述了最优控制策略的时间不一致性。
HJB方程在控制领域中广泛应用于解决最优控制问题。
010203稳定流形方法是基于动态系统稳定性的一种方法。
在动态系统中，稳定流形是吸引子的稳定状态，系统状态变量在稳定流形上变化缓慢。
稳定流形方法通过找到吸引子的稳定状态，为动态系统提供了一种有效的分析方法。
稳定流形方法的基本原理基于HJB方程的稳定流形方法的具体实现基于HJB方程的稳定流形方法是将HJB方程与稳定流形方法相结合，用于解决最优控制问题。
首先，需要建立系统的HJB方程；其次，通过稳定流形方法对HJB方程进行分析，找到最优控制策略。
hjb 方程
HJB方程1. 简介HJB（Hamilton-Jacobi-Bellman）方程是一种偏微分方程，描述了最优控制问题中的动态规划原理。
它由William Rowan Hamilton、Carl Gustav Jacob Jacobi和Richard E. Bellman等人独立提出，被广泛应用于经济学、数学、物理学等领域。
HJB方程在最优控制理论中起着重要的作用。
它用于求解动态系统中的最优策略，帮助决策者在给定约束条件下实现最大化效益。
HJB方程是一个非线性偏微分方程，其解表示最优策略和相应的效用函数。
2. 基本形式HJB方程的基本形式可以表示为：ρ+minu∈U {f(x,u)+∇V(x)⋅F(x,u)+12Tr(G(x,u)∇2V(x)G T(x,u))}=0其中， - ρ表示时间变量 - x表示状态变量 - u表示控制变量 - f是一个标量函数，表示控制和状态之间的耦合关系 - V是值函数（value function），表示系统的效用函数 - F是一个矢量函数，表示状态变量和控制变量的关系 - G是一个矩阵函数，表示系统中的噪声项HJB方程可以看作是一个动态规划问题的最优性条件。
它通过最小化控制变量u来确定系统的最优策略，并求解值函数V(x)。
3. 求解方法由于HJB方程是一个非线性偏微分方程，其求解并不容易。
通常采用以下两种方法进行求解：3.1 动态规划法动态规划法是HJB方程求解的经典方法之一。
该方法将问题分解为一系列子问题，并通过递归地求解这些子问题来获得最优策略和值函数。
具体步骤如下： 1. 将状态空间离散化，得到有限个状态点。
2. 从终止时间开始，逆向递推计算值函数V(x)。
3. 对每个状态点x i，枚举所有可能的控制变量u j，计算f(x i,u j)+∇V(x i)⋅F(x i,u j)+12Tr(G(x i,u j)∇2V(x i)G T(x i,u j))。
4. 选择使上述表达式最小的控制变量u j，更新值函数V(x i)和最优策略。
最优控制全部PPT课件
J
（x(t f ),t f）
tf t0
F（x(t),u(t),t)dt
为最小。
这就是最优控制问题。
如果问题有解，记为u*(t), t∈ [t0,tf],则u*(t)叫做最优控制（极值控制），相应的轨 线X*(t)称为最优轨线（极值轨线），而性能指标J*=J（u*(·)）则称为最优性能指标。
第11页/共184页
目标质心的位置矢量和速度矢量为： xM xM
F(t)为拦截器的推力
x xL xM v xL xM
则拦截器与目标的相对运动方程为：
x v v a(t) F (t)
m(t)
m F (t) c
其中a(t)是除控制加速度外的固有相对加速度，是已知的。
初始条件为： x(t0 ) x0 v(t0 ) v0 m(t0 ) m0 终端条件为： x(t f ) 0 v(t f )任意 m(t f ) me
至于末态时刻，可以事先规定，也可以是未知的。 有时初态也没有完全给定，这时，初态集合可以类似地用初态约束来表示。
第9页/共184页
3：容许控制 在实际控制问题中，大多数控制量受客观条件的限制，只能在一定范围内取 值，这种限制通常可以用如下不等式约束来表示：
0 u(t) umax 或ui i 1,2p
给定一个线性系统，其平衡状态X(0)=0，设计的目的是保持系统处于平衡状态，即 这个系统应能从任何初始状态返回平衡状态。这种系统称为线性调节器。
线性调节器的性能指标为：
J
tf t0
n
xi 2 (t)dt
i 1
加权后的性能指标为：
J
tf t0
n
qi xi 2 (t)dt
i1
对u(t)有约束的性能指标为： J t f 1 [ X T (t)QX (t) uT (t)Ru(t)]dt
最优控制课程课件II-5.HJB方程
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段
hjb 方程
hjb 方程HJB方程是Hamilton-Jacobi-Bellman方程的简称，是一种非线性偏微分方程。
它在控制理论、金融工程、机器人控制等领域中有着广泛的应用，被认为是最重要的控制理论工具之一。
本文将从HJB方程的定义、特点、求解方法以及应用等方面进行详细介绍。
一、HJB方程的定义HJB方程最初由Hamilton和Jacobi于19世纪提出，后来由Bellman在20世纪50年代提出了更为广泛的形式。
它是一个偏微分方程，描述了一个动态系统中最优控制策略的演化过程。
具体地说，它给出了在某个时刻t下，某个状态x下采取何种控制u才能使长期收益最大化。
HJB方程通常写成如下形式：$${\frac{\partial V(x,t)}{\partial t}}+ \inf_{u\in U}\{L(x,u)+{\frac{\partial V(x,t)}{\partial x}}f(x,u)\}=0$$其中V(x,t)表示在时刻t下状态为x时所能获得的最大收益，U表示所有可能的控制集合，L(x,u)表示在状态x下采取控制u所能获得的即时收益，f(x,u)表示状态x和控制u的演化规律。
二、HJB方程的特点1. 非线性：HJB方程中涉及到了状态和控制的乘积，因此是一个非线性方程。
2. 偏微分方程：HJB方程是一个偏微分方程，需要用到微积分和偏导数等概念。
3. 优化问题：HJB方程描述的是最优控制策略的求解过程，因此可以看作是一个优化问题。
三、HJB方程的求解方法HJB方程的求解方法主要有两种：动态规划法和最小二乘法。
1. 动态规划法动态规划法是一种递归算法，它从最后一个时刻开始向前逐步推导出每个时刻下的最优控制策略。
具体地说，它将整个时间区间分成若干个离散时间点，并在每个时间点上计算出当前状态下采取不同控制所能获得的收益，并选择其中收益最大的控制作为当前时刻下的最优控制。
然后再利用这些最优控制信息来递归计算前面时刻下的最优控制策略，直到推导出整个时间区间内所有时刻下的最优控制策略。
hjb方程
hjb方程对于一个最优控制问题，HJB方程是连续时间最优控制的充分必要条件。
Hamilton-Jacobi-Bellman方程如何理解HJB方程−∂ V ∂ t ( x ( t ) , t ) = min u ( t ) ∈ U { g ( x( t ) , u ( t ) , t ) + ∂ V ∂ x ( x ( t ) , t ) ⋅ f ( x ( t ) , u ( t ) , t ) } -\frac{ \partial V }{ \partialt }(x(t),t)=\mathop{\min}_{u(t)\inU}\left\{g(x(t),u(t),t)+\frac{ \partial V }{ \partialx }(x(t),t)\cdot f(x(t),u(t),t) \right\} −∂t∂V(x(t),t)=minu(t)∈U {g(x(t),u(t),t)+∂x∂V(x(t),t)⋅f(x(t),u(t),t)}其中 V V V是值函数， g g g是过程成本， f f f是状态方程公式的理解首先要理解值函数代表什么。
值函数是性能指标（定义在下文）的最优值。
一般性能指标都是由两部分组成，一部分是积分，一部分就是一个和终点有关的值。
比如从A开车去B，那么积分的部分可以是油钱，这取决于你的控制方式和在这段时间的行驶距离。
第二部分就是停止时离终点的距离。
这里的油钱也被称为过程成本。
控制（油门，刹车）用状态方程表示，给定当前位置和控制，就能知道下一时刻的位置在哪里。
这个式子有个隐含条件就是已知全程所用的时间。
那么就是说在给定时间内，每一秒，都对应了应该用什么控制去走多少米。
公式左边对应的是最优值随时间的变动，加负号是因为时间不能返流，满足因果关系。
现在看公式右边，第一项是当前所需要的油钱，第二项的偏导数说的是位置变动会引起最优值变动多少，那么具体移动多少移动到哪里是由状态方程决定的，那么第二项的意思就显而易见了，在当前位置，通过控制，实现移动后，能让最优值改变多少。
最优控制理论课件
第一章绪论1.1 引言近50年来，科学技术的迅速发展，对许多被控对象如宇宙飞船、导弹、卫星和现代工业设备与生产过程的性能提出了更高的要求，在许多情况下要求系统的某种性能指标为最优。
这就要求人们对控制问题都必须从最优控制的角度进行研究分析和设计。
最优控制理论是现代控制理论的重要组成部分。
其形成与发展奠定了整个现代控制理论的基础。
早在20世纪50年代初九开始了对最短时间控制问题的研究。
随后，由于空间技术的发展，越来越多的学者和工程技术人员投身于这一领域的研究和开发，逐步形成了较为完整的最优控制理论体系。
最优化问题就是根据各种不同的研究对象以及人们预期要达到的目标，寻找一个最优控制规律，或设计出一个最优控制方案或最优控制系统。
最优控制理论研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使给定的某性能指标达到最优值。
从数学的观点来看，最优控制理论研究的问题是求解一类带有约束条件的泛函取值问题，属于变分学的理论范畴。
然而，经典变分学理论只能解决容许控制属于开机的一类，为适应工程实践的需要，20世纪50年代中期出现了现代变分理论。
在现代变分理论中最常用的两种分法是动态规划和极小值原理。
动态规划时美国学者R.E贝尔曼于1953-1957年为了解决多级决策问题的算法而逐步创立的。
最小值原理时前苏联科学院院士π.C.庞特里亚金与1956年-1958年间逐步创立的。
近年来，由于数字计算机的飞速发展和完善，逐步形成了最优控制理论中的数值计算法，参数优化方法。
当性能指标比较复杂或者不能用变量或函数表示时，可以采用直接搜索法，经过若干次迭代，都所到最优点。
常用的方法有邻近极值法、梯度法、共轭梯度法及单纯形法等。
同时由于可以把计算机作为控制系统的一个组成部分，以实现在线控制，从而使最优控制理论的工程实现成为现实。
因此，最优控制理论提出的求解方法，既是一种数学方法，又是一种计算机算法。
最优控制ppt课件
精品课件
定理(变分预备定理)：设 ( t )
是时间区间
[t0, t1]上连续的n维向量( t函) 数，
的连续n维向量函数(t，0)且(t1)0
有
t1
T
(t)(t)dt
，若
0
t0
是任意
则必有
(t)0,t[t0,t1]
精品课件
4.1.2 欧拉方程
LX,XrX,X
这里，LX,X 是X 的线性泛函，rX,X 是关于 X
的 高阶无穷小，则
JLX,X
称为泛函J[x]的变分。 可知泛函变分就是泛函增量 的线性主部。
精品课件
当一个泛函具有变分时，也称该泛函可微。和函 数的微分一样，泛函的变分可以利用求导的方 法来确定。
定理 设J[x]是线性赋范空间Rn上的连续泛函
返回主目录
精品课件
在动态系统最优控制问题中，性能指标是 一个泛函，性能指标最优即泛函达到极值。解决泛 函极值问题的有力工具是变分法。所以下面就来列 出变分法中的一些主要结果，大部分不加证明，但 读者可对照微分学中的结果来理解。
精品课件
4.1.1 泛函与变分
先来给出下面的一些定义。
1、泛函： 如果对某一类函数X(t)中的每一个函
(1) (L1 L2 ) L1 L2
(2) ( L1L2 ) L2 L1 L1 L2
b
b
(3) a L[ x, x, t]dt a L[ x, x, t]dt
(4) dx d x
dt dt 精品课件
举例：
可见，计算泛函的变分如同计算函数的微分一样。
精品课件
6、泛函的极值：若存在 0 ，对满足的 X X* 一切X，J(X)J(X*)具有同一符号，则
(完整word版)最优控制讲义
第一章 绪论§1。
1最优控制问题静态最优化问题：输入—输出—代数方程 动态最优化问题：输入—输出-微分方程 确定性最优控制：系统参数确定,无随机输入 随机性最优控制：系统参数确定，有随机输入⎩⎨⎧=+=)()()()()(t Cx t Y t Bu t Ax t x⎩⎨⎧+=++=)()()()()()()(t v t Cx t Y t w t Bu t Ax t x例:飞船的月球软着陆问题推力 dtdmkf -= 运动方程 mg dt dmk mg f dtx d m --=-=22 )()(][00f t t t m t m dt dtdmJ f-=-=⎰ 初始条件 ⎩⎨⎧======0)(,)(,00f f t x x t t ht x x t t约束条件为 0≤≤-dtdmα求min J§1.2最优控制的数学模型一 控制系统的数学模型(集中参数系统）直接法建立：动力学、运动学的基本定律,即解析法.间接法建立：通过“辩识"的途径确定系统的结构与参数.)),(),(()(t t u t x f t x= 其中 T n t x t x t x t x )](,)(),([)(21 =，T r t u t u t u t u )](,)(),([)(21 =,],,[21n f f f f = )(t x 为n 维状态向量，)(t u 为r 维控制向量,f 为n 维函数向量。
二 目标集通过)(t u 使)(t x 由)(0t x 到)(f t x ，其中)(0t x 为初始状态，并且通常为已知；)(f t x 为终端状态，即控制所要求达到的目标。
一般来说对终端状态的要求可用如下的约束条件表示：0)),((,0)),((21≤=f f f f t t x g t t x g 。
三 容许控制i u 具有不同的物理属性，一般有r 1,2i u i ,,=≤α，即在控制域U 内。
最优控制理论PPT课件-48页PPT精品文档
u t R p 为 控 制 向 量 ， 且 u t 在 t 0 , t f 上 分 段 连 续 ；
f R n 为 连 续 向 量 函 数 ， x t 连 续 可 微
2.初态和终态： xt0，xtf S目标集
3.容许控制 ： ut — 控 制 域
§6-2 最优控制中的变分法
现
代 泛函变分的求法
控
制 理 论
定理： J x 的变 J J 分 x x | 0， (0 1 )
性质：1 .F 1 F 2 F 1 F 2
2 .F 1 F 2 F 1 F 2 F 2 F 1
理 论
L x t,x r x t,x
其L 中 xt,x— J的线性函数
rxt,x— J的高阶无穷小
则L 称 xt,x为泛 Jxt函 的一阶变 J 分
泛函变分是泛函增量的线性主部
Modern Control Theory
Page: 9
2 1 2a1ta2
ua1ta2
这里 a1、a2 为常数
由 x2 udt 得： x2t1 2a1t2a2ta3
Modern Control Theory
Page: 21
§ 6-4 有约束条件下的泛函数极值问题
现
代 控
由 x1 x2dt 得：x 1 t 1 6 a 1 t3 1 2 a 2 t2 a 3 t a 4
现
代 控
当 t0 和 tf给 定 时 ， x t0 和 x tf 是 否 定 还 是 自 由 ， 可 分 四 种
制 情 况 ：
理 论 (1) 固定始端和终端
x(t)
即 x t 0 和 x t f 给 定 x t 0 0 ,x t f 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)
∂V + (x(t), t)∆t
∂t
+
∂V [
(x(t),
t)]T [f (x(t),
u(t),
t)]∆t
+
o(∆t)}
∂x
于是
∂V −
(x(t), t)∆t
=
min{g(x(t),
u(t), t)∆t
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
12 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
3/4 HJB 方程必要性-简单整理
对较小的 ∆t, 对 τ ∈ [t, t + ∆t]，u(τ ) ≈ u(t)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
南京
J [上海, 南京]
上海
如果南京-天津-北京是南京到北京的最短路， 上海-南京-北京会是最短路吗
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
2/3 HJB 方程必要性-处理极值条件
设 u(t) 是满足 HJB 方程的控制变量，x(t) 是对应的状态
∂V −
(x(t),
t)
=
( min H x(t), ξ,
∂V
,
) t,
∂t
ξ
∂x
及边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
则，V (x0, t0) 是以 t0 为初始时刻，x0 为初始状态的值函数
若存在 x(t), u(t) 恰满足哈密尔顿函数最小化，那对其他 u′(t)，性
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
7 / 67
回顾：Bellman 方程 回顾：Bellman 方程
HJB 方程和 PMP、经典变分的关系
拉格朗日变分法
⇕ 等价
哈密尔顿方程组 ⇔
哈密尔顿雅各比方程
⇓ + 控制
u(τ ),τ ∈[t,t+∆t] ∫t t+∆t
= min {
gdτ + V (x(t), t)
u(τ ),τ ∈[t,t+∆t] t
∂V + (x(t), t)∆t
∂t
+
∂V [
(x(t),
t)]T [x(t
+
∆t)
−
x(t)]
∂x
+ o(∆t)}
Jie, Zhang (CASIA)
Optimal Control
能指标均不优于 V
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
15 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
最优控制的数学理论
. .. . . ..
1 / 67
Table of Contents
1 回顾：Bellman 方程 2 Hamilton-Jacobi-Bellman 方程 3 动态规划求解连续最优控制 4 离散时间线性二次性最优控制 5 连续动态规划求解线性二次型 6 动态规划 v.s. 极值原理
⇓ + 控制
极值原理 ⇐ V 二次可微特况∗ HJB 方程
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
8 / 67
Hamilton-Jacobi-Bellman 方程
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段
∫ tf
V (x(t), t) = min {h(x(tf ), tf ) + g(x(τ ), u(τ ), τ )dτ }
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
2 / 67
周四，10 月 19 日随堂考试
开卷考试，禁止电子设备，自带纸笔 计算题、证明题、问答题 包括截止考试当日的所有内容 折算占平时成绩中的 10 分 考试时间，10 月 19 日课上后半节
最优控制的数学理论
. .. . . ..
11 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
2/4 HJB 方程必要性-泰勒展开
假定 V 二阶连续可微，将值函数在 x(t), t 泰勒展开
∫ t+∆t
V (x(t), t) = min {
gdτ + V (x(t + ∆t), t + ∆t)}
Table of Contents
1 回顾：Bellman 方程 2 Hamilton-Jacobi-Bellman 方程 3 动态规划求解连续最优控制 4 离散时间线性二次性最优控制 5 连续动态规划求解线性二次型 6 动态规划 v.s. 极值原理
Jie, Zhang (CASIA)
Optimal Control
6 / 67
Bellman 方程
回顾：Bellman 方程
回顾：Bellman 方程
定理 2 (Bellman 方程) x0 为初值 k0 为初始时刻，最优控制下的性能指标记为 值函数
V (x0, k0) = min J(u; x0, k0)
(5)
u∈U
最优性原理，最优控制满足下 Bellman 方程：
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .