华中科技大学现代控制理论 7.4 极大值原理
华中科技大学现代控制理论--动态规划与离散系统最优控制（可编辑）
华中科技大学现代控制理论--动态规划与离散系统最优控制Ch.7 最优控制原理目录 1/1 目录 7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题本章小结动态规划与离散系统最优控制 1/3 7.6 动态规划与离散系统最优控制前面讨论了连续系统最优控制问题的基于经典变分法和庞特里亚金的极大值原理的两种求解方法。
所谓连续系统,即系统方程是用线性或非线性微分方程描述的动态系统。
该类系统的控制问题是与传统的控制系统和控制元件的模拟式实现相适应的,如模拟式电子运算放大器件、模拟式自动化运算仪表、模拟式液压放大元件等。
随着计算机技术的发展及计算机控制技术的日益深入,离散系统的最优控制问题也必然成为最优控制中需深入探讨的控制问题,而且成为现代控制技术更为关注的问题。
动态规划与离散系统最优控制 2/3 离散系统的控制问题为人们所重视的原因有二。
1 有些连续系统的控制问题在应用计算机控制技术、数字控制技术时,通过采样后成为离散化系统, 如许多现代工业控制领域的实际计算机控制问题。
2 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件如零件加工活动的发生或结束为标志的。
动态规划与离散系统最优控制 3/3 本节将介绍解决离散系统最优控制的强有力工具--贝尔曼动态规划,以及线性离散系统的二次最优控制问题。
内容为最优性原理与离散系统的动态规划法线性离散系统的二次型最优控制最优性原理与离散系统的动态规划法 1/3 7.6.1 最优性原理与离散系统的动态规划法基于对多阶段决策过程的研究,贝尔曼在20世纪50年代首先提出了求解离散多阶段决策优化问题的动态规划法。
如今,这种决策优化方法在许多领域得到应用和发展,如在生产计划、资源配置、信息处理、模式识别等方面都有成功的应用。
华中科技大学现代控制理论 7.1 最优控制概述
目标集(1/3)
2. 目标集
动态系统在控制u(t)的作用下总要发生从一个状态到另一个 状态的转移,这种转移可以理解为状态空间的一个点或系统 状态的运动。 在最优控制问题中,系统运动的初始状态(称初态)通常是 已知的,即x(t0)=x0为已知, 而所要达到的最终状态(称末态)是控制所要求达到 的目标。
E k1 (T ) Ai 0 exp i RT i 1,2
该化学反应式可代表一大类化工操作,通常希望中间产物 B的产量尽可能大,因而要求防止后面的反应继续进行下 去。
间歇化学反应器的最大产量控制问题(2/3)
为更清楚地讨论上述产量最大的控制问题,设化学反应式的 第一步反应是二级反应,第二步反应是一级反应。 这样,可得如下间歇化学反应器内的物料平衡方程
例如, 飞船控制系统要求所携带的燃料最少或到达末态 的时间最短,而连续搅拌槽系统的性能指标为一个带函数 积分的指标,需求其最小。 由于各种最优控制问题所要解决的主要矛盾不同,设计者 的着眼点不同,因此归结出的性能指标是不同的。
性能指标(2/3)
一般形式的性能指标为
J S ( x(t f ), t f ) L( x(t ), u(t ), t )dt
飞船的月球软着陆问题(3/3)
这两个问题可归结为分别求 J1=m(tf)
J2=m(tf)
为最小的数学问题。
间歇化学反应器的最大产量控制问题(1/3)
2) 间歇化学反应器的最大产量控制问题 设间歇化学反应器内进行如下常见的化学反应
Ak1 (T ) B k2 (T ) C
式中,k1(t)和k2(t)为反应速率常数,并与温度T满足如下关系
t0 tf
最优控制问题的描述(2/2)
最优控制-极大值原理
近似算法
针对极大值原理的求解过程，开 发了一系列近似算法，如梯度法、 牛顿法等，提高了求解效率。
鲁棒性分析
将极大值原理应用于鲁棒性分析， 研究系统在不确定性因素下的最 优控制策略，增强了系统的抗干 扰能力。
极大值原理在工程领域的应用
航空航天控制
在航空航天领域，利用极大值原理进行最优 控制设计，实现无人机、卫星等的高精度姿 态调整和轨道优化。
03
极大值原理还可以应用于经济 学、生物学等领域，为这些领 域的研究提供新的思路和方法 。
02
最优控制理论概述
最优控制问题定义
01
确定一个控制输入，使得某个给定的性能指标达到 最优。
02
性能指标通常由系统状态和控制输入的函数来描述。
03
目标是在满足系统约束的条件下，找到最优的控制 策略。
最优控制问题的分类
1 2
确定型
已知系统的动态模型和控制约束，求最优控制输 入。
随机型
考虑系统的不确定性，如随机干扰、参数不确定 性等。
3
鲁棒型
考虑系统模型的不确定性，设计鲁棒控制策略。
最优控制问题通过求解优化问题得到最优解的解析表达式。
数值法
02
通过迭代或搜索方法找到最优解。
极大值原理
03
基于动态规划的方法，通过求解一系列的子问题来找到最优解。
03
极大值原理
极大值原理的概述
极大值原理是现代控制理论中的基本原理之一，它为解决最 优控制问题提供了一种有效的方法。该原理基于动态系统的 状态和性能之间的关系，通过寻求系统状态的最大或最小变 化，来达到最优的控制效果。
在最优控制问题中，极大值原理关注的是在给定的初始和终 端状态约束下，如何选择控制输入使得某个性能指标达到最 优。它适用于连续和离散时间系统，以及线性或非线性系统 。
极大值原理MaximumPrincipleMaximumPrinciple
维尔斯特拉斯E函数 （Weierstrass Erdmann Function）
设有泛函 有 tf ( t ), t ] dt J ( x ) L[ x ( t ), x
t0
若用p(x,t)表示其极值曲线场中极值曲线斜率，则可以证 表示其极值曲线场中极值曲线斜率 则可以证 明泛函增量可表示为
3.1 泛函极值的充分条件
几个有关定义 个有关定义 正常场 定义3 3-1 1：若（ x，t ）平面某 ）平面某一区域 区域D上每 上每一点都有曲线族中一条 点都有曲线族中 条 且仅有一条通过，则称曲线族在区域D上形成一个正常场。曲线族 上点（x，t）处的切线的角系数称为场在点（x，t）的斜率。 中心场 定义3-2：若区域D上曲线族的全部曲线都通过一点（x0，t0），即 它们形成曲线束，且束心也属于 它们形成曲线束，且束 也属于D，同时除束 ，同时除束心外，曲线在 外，曲线在D内不 再相交，曲线布满区域D，则该场为中心场。 极值曲线场 定义3-3 3 3：若正常场或中心场是由某一变分问题的极值曲线族所形 若正常场或中心场是由某 变分问题的极值曲线族所形 成，则称之为极值曲线场。 以上定义可以从平面场拓展到n维空间场。
对于强极值，
① 曲线c应是满足极值条件的极值曲线； ② 极值曲线c能够被包含在极值曲线场中； 能够被包含在极值曲线场中 , p, t ) 值，函数 E ( x , x ③ 对于c近旁所有点(x, t)以及任意的 x 不变号 极小值时E≥0，极大值时 不变号，极小值时 极大值时E≤0。
3.2 连续系统极大值原理
•
J a ( u) [ x ( t f ), t f ] T [ x ( t f ), t f ]
f 2 ]}dt （3-2-8） , t ) T[ f ( x , w , t) x ] T [ g( x , w , t) Z { L( x , w
极大值原理
极大值原理
极大值原理是微分方程理论中的一个重要概念，它在研究微分方程解的性质和行为时发挥着关键作用。
在这篇文档中，我们将详细介绍极大值原理的定义、应用和相关概念，希望能够为大家对这一理论有一个清晰的认识。
首先，我们来看一下极大值原理的定义。
极大值原理是指微分方程解在某个区域内取得极大值（或极小值）的点，要么是边界上的点，要么是解在该区域内的驻点。
这一原理为我们分析微分方程解的性质提供了重要的线索，有助于我们理解解的行为和特征。
接下来，我们将介绍极大值原理的应用。
在实际问题中，通过极大值原理可以帮助我们分析微分方程解的行为，例如确定解的稳定性、存在性和唯一性等性质。
通过对解的极值点进行分析，我们可以得到关于解的定性信息，这对于理解和预测实际问题的发展趋势具有重要意义。
除了极大值原理的基本概念和应用，我们还需要了解一些相关的概念。
例如，在具体的微分方程问题中，我们可能会遇到最大值原理、最小值原理、弱极值原理等不同形式的极值原理，它们在不同的问题中具有不同的作用和意义。
因此，我们需要对这些相关概念有一个清晰的认识，以便能够灵活运用极值原理解决具体的微分方程问题。
总之，极大值原理是微分方程理论中的重要概念，它为我们分析微分方程解的性质和行为提供了重要的线索。
通过对极大值原理的理解和运用，我们可以更好地理解微分方程解的行为，为实际问题的分析和预测提供有力的支持。
希望本文能够帮助大家对极值原理有一个清晰的认识，进一步提高对微分方程理论的理解和运用能力。
华中科技大学现代控制理论-7.2 变分法共66页文档
有不等式约束条件的多元函数极值(2/7)
有不等式约束条件的函数极值问题的求解比等式约束条件的 函数极值问题复杂。 ➢ 受前面讨论的引入拉格朗日乘子的启发,求解不等式约束 的函数极值问题也引入了乘子的概念,其求解基本方法可 由如下库恩-塔哈克(Kuhn-Tucker)定理给出。
有不等式约束条件的多元函数极值(3/7)—定理7-1
5
0
解 先定义库恩-塔哈克函数如下
L ( x ,y ,1 ,2 ) x 2 2 y 2 1 ( y 2 ) 2 ( y 2 x 5 )
有不等式约束条件的多元函数极值(5/7)
➢ 根据库恩-塔哈克定理,极小值的必要条件如下:
L x
df(x) 0
dx xx*
d2f(x)
dxdx
0
xx*
是x*为该多元函数极值问题的解的一个充分条件。
有等式约束条件的多元函数极值(1/5)
2. 有等式约束条件的多元函数极值
有等式约束条件的多元函数极值问题可描述为
m in f ( x) x
s.t. g ( x ) 0
式中,g(x)为p维的向量变量x的向量函数,并假定其连续可微; ➢ g(x)=0即为等式约束条件。
有不等式约束条件的多元函数极值(1/7)
3. 有不等式约束条件的多元函数极值
有不等式约束条件的多元函数极值问题可描述为
m in f ( x) x
s.t. g ( x ) 0
式中,g(x)为p维的向量变量x的向量函数,并假定其连续可微; ➢ 式g(x)=0即为不等式约束,
✓ 符号“”的意思为函数向量g(x)中每个元素“小于 等于0”。
x
➢ 当(A+A)可逆时
x A A 1b H λ
华中科技大学博士研究生入学考试现代控制理论
华中科技大学博士研究生入学考试《现代控制理论》考试大纲第一部分考试说明一、考试性质《现代控制理论》是水电与数字化工程学院博士生入学考试科目之一。
它的评价标准是高等学校、科研院所的优秀硕士毕业生能达到及格或及格以上水平，以保证被录取者具有自动控制理论的基础知识和应用能力。
二、考试内容范围自动控制系统基本概念、根轨迹法、频率响应法、状态空间理论、最优控制理论、卡尔曼滤波。
考查要点详见本大纲第二部分。
三、评价目标现代控制理论考试主要考查控制系统的基本概念和控制理论方法的基础知识，在此基础上，考查综合运用控制理论解决工程问题的能力。
要求考生：熟悉自动控制系统性能的评价体系；能够运用指定的理论方法或选择合适的理论方法对给定的系统进行分析或校正。
四、考试形式与试卷结构（一）答卷方式：闭卷，笔试。
（二）答题时间：180分钟（三）各部分内容考查比例（满分为100分）1．自动控制系统基本概念约20分2．经典控制理论约25分3．状态空间理论约35分4．最优控制理论约10分5．卡尔曼滤波约10分（四）题型比例（满分为100分）选择或填空题约5%问答题、计算题约80%综合应用题约15%第二部分考查要点一、自动控制系统基本概念自动控制系统的组成：自动控制系统包括受控过程（对象）和控制器两部分。
自动控制系统的分类：开环控制系统、反馈控制系统、复合控制系统；连续控制系统、离散控制系统；定常系统、时变系统；线性系统、非线性系统；确定系统、随机系统。
自动控制系统的基本要求（稳定性、动态性能、稳态性能）。
数学模型的表示方式与建模方法。
微分方程、传递函数、频率特性、状态方程。
控制理论方法的比较。
二、根轨迹法闭环极点与开环零极点的关系；根轨迹方程及根轨迹的绘制法则；主导极点；系统性能分析与估算；附加零点对根轨迹的影响。
三、频率响应法频率特性的意义；开环频率特性的绘制；奈愧斯特稳定判据；频率特性的校正。
四、状态空间理论状态空间描述的概念、状态方程的建立；状态方程的规范形式、状态方程的求解；李亚普洛夫稳定性；线性控制系统的能控性与能观性；状态反馈与状态观测器。
华中科技大学现代控制理论 7.7 Matlab问题
(1) 函数 函数care()
函数care()的主要调用格式为 [P,L,K] = care(A,B,Q,R) [P,L,K] = care(A,B,Q) 其中,输入格式中的矩阵A和B分别为线性定常连续系统状态空 间模型的系统矩阵和输入矩阵, Q和R分别二次型目标函数的加权矩阵。 第2种调用格式的矩阵R缺省为单位矩阵。
连续时间线性定常系统的二次型最优控制(3/6) 连续时间线性定常系统的二次型最优控制
输出格式的P为连续黎卡提矩阵代数方程 AτP+PA-PBR-1BτP=-Q 的对称矩阵解,K为线性二次型最优控制的状态反馈矩阵R-1BτP, L为闭环系统的极点。 (2) 函数 函数lqr() 函数lqr()的主要调用格式为: [K,P,L] = lqr(A,B,Q,R) 其中,输入输出格式中各矩阵的意义与函数care()一致。
J =∫
∞
0
τ x
2 0 2 0 1 x + 2u dt
下的最优控制律并仿真闭环控制系统的状态响应。
连续时间线性定常系统的二次型最优控制(5/6) 连续时间线性定常系统的二次型最优控制
Matlab程序 程序m7-1如下。 如下。 程序 如下
A=[-1 -2; -1 3]; B=[2; 1]; Q=[2 0; 0 1]; R=2; x0=[2; -3]; K=lqr(A,B,Q,R) csys=ss(A-B*K,B,[],[]); [y,t,x]=initial(csys,x0); plot(t,x); % 赋值状态方程各矩阵 % 赋值二次型目标函数的权矩阵 % 赋值初始状态 % 求线性二次型最优控制的状态反馈矩阵K % 建立闭环系统模型 % 求闭环系统的状态响应 % 绘制状态响应曲线
现代控制理论概述
现代控制理论概述建立在状态空间法基础上的一种控制理论，是自动控制理论的一个主要组成部分。
在现代控制理论中，对控制系统的分析和设计主要是通过对系统的状态变量的描述来进行的，基本的方法是时间域方法。
现代控制理论比经典控制理论所能处理的控制问题要广泛得多，包括线性系统和非线性系统，定常系统和时变系统，单变量系统和多变量系统。
它所采用的方法和算法也更适合于在数字计算机上进行。
现代控制理论还为设计和构造具有指定的性能指标的最优控制系统提供了可能性。
发展现代控制理论是在20世纪50年代中期迅速兴起的空间技术的推动下发展起来的。
空间技术的发展迫切要求建立新的控制原理，以解决诸如把宇宙火箭和人造卫星用最少燃料或最短时间准确地发射到预定轨道一类的控制问题。
这类控制问题十分复杂，采用经典控制理论难以解决。
苏联科学家Л.С.庞特里亚金和美国学者R.贝尔曼的研究成果解决了空间技术中出现的复杂控制问题，并开拓了控制理论中最优控制理论这一新的领域。
其后，贝尔曼、卡尔曼等人把状态空间法系统地引入控制理论中。
其中能控性和能观测性尤为重要，成为控制理论两个最基本的概念。
到60年代初，一套以状态空间法、极大值原理、动态规划、卡尔曼-布什滤波为基础的分析和设计控制系统的新的原理和方法已经确立，这标志着现代控制理论的形成。
现代控制理论所包含的学科内容十分广泛,主要的方面有:线性系统理论、非线性系统理论、最优控制理论、随机控制理论和适应控制理论。
现代控制理论的发展1.智能控制(Intelligent Control)智能控制是人工智能和自动控制的结合物,是一类无需人的干预就能够独立地驱动智能机器,实现其目标的自动控制。
它的理论基础是人工智能,控制论,运筹学和系统学等学科的交叉,它的主要特点是:(1)同时具有以知识表示的非数学广义模型和以数学模型表示的混合控制过程;(2)智能控制的核心在高层控制,即组织级,它的主要任务在于对实际环境或过程进行组织;(3)系统获取的信息不仅是数学信息,更重要的是文字符号、图像、图形、声音等各种信息。
现代控制工程原理 华中科技大学 易孟林 第1章
自适应控制： 通过控制器与具有随机动态特性的被控 过程相匹配来克服、解决被控对象不确定给控制系统带 来的影响。如何利用各种间接或直接辨识系统动态特性 的方法随时调整控制规律达到最优控制。
非线性系统理论： 主要研究非线性系统状态的运动规 律和改变这些规律的可能性和实施方法，建立和揭示系 统结构、参数、行为和性能之间的关系。其主要包括能 控性、能观性、稳定性、线性化、解耦以及反馈控制、 状态估计等理论。 随着现代控制理论的不断发展，还出现了大系统理论、智 能控制理论、鲁棒控制理论以及离散事件系统理论等。
庞特里亚金 L.S.Pontryagin
从60年代以后，现代控制理论还在继续发展，并形成 了几个分支学科：线性系统理论、最优控制理论、自适应 控制、动态系统辨识、大系统理论等。
现代控制理论的特点
研究对象：线性系统、非线性系统、时变系统、多变量系统 、连续与离散系统
数学上：状态空间法
方法上：研究系统输入/输出特性和内部性能
线性系统非线性系统时变系统多变量系统连续与离散系统现代控制理论与经典控制理论的差异经典控制理论现代控制理论研究对象单输入单输出系统siso高阶微分方程多输入多输出系统mimo一阶微分方程组研究方法传递函数法外部描述状态空间法内部描述研究工具拉普拉斯变换线性代数矩阵分析方法频域复域频率响应和根轨迹法设计方法pid控制和校正网络状态反馈和输出反馈其他频率法的物理意义直观实用难于实现最优控制易于实现实时控制和最优控制现代控制理论中的两个重要概念现代控制理论中的两个重要概念现代控制理论中的两个重要概念现代控制理论中的两个重要概念动态系统量测系统内使系统由任意初始状态x则系统所有状态能控系统能控即可以完全通过输入控制系统的每一个状态
控制论之父——韦纳
极大值原理
极大值原理极大值原理极大值原理 maximum principle 最优控制理论中用以确定使受控系统或运动过程的给定性能指标取极大或极小值的最优控制的主要方法。
在工程领域中很大一类最优控制问题都可采用极大值原理所提供的方法和原则来定出最优控制的规律。
在理论上极大值原理还是最优控制理论形成和发展的基础。
极大值原理是对分析力学中古典变分法的推广能用于处理由于外力源的限制而使系统的输入即控制作用有约束的问题。
极大值原理是20世纪50年代中期苏联学者Л.С.庞特里亚金提出的有关这一原理的主要结果及其严格的数学证明都发表在后来出版的《最优过程的数学理论》一书中。
我今天的讲座就是讲自动控制的发展。
从开始阶段的发生到形成一个控制理论讲整个这个进程。
我们讲自动控制就是指这样的反馈控制系统这是有一个控制器跟一个控制对象组成的把这个控制对象的输出信号把它取回来测量回来以后跟所要求的信号进行比较。
根据这误差告诉控制器这就是机器内部的工作了。
让控制器完成这个控制作用使得这个偏差消除或者说使得控制对象的输出跟踪我所需要的要求的信号。
控制对象的输出量一般来说都是一个物理量比如说我控制一个机器的转速就是需要把速度测量出来才能进行控制。
自动控制系统从一开始出现的时候大家假如接触到这门学科的话可能都知道是瓦特的离心调速器。
这是离心调速器的几种方案的示意图什么叫离心调速器呢就是有两个飞球一转起来以后因为离心力飞球就往外胀。
飞球胀开以后这个下面的套筒就往上升这个套筒在移动就带动执行机构动作这是最早的瓦特的离心调速器。
实际上这个离心调速器不是瓦特发明的一般我们叫瓦特的离心调速器它实际上不是瓦特的发明。
这是什么呢就是在那个时期大家看到风力磨坊就是相当于离心调速器的那个飞球实际上在那个时候已经有这样的调速器。
瓦特是发明了蒸汽机用了这样的一个调速器但是现在很多人都愿意把这个离心调速器挂在瓦特的名下。
所以一般的书上大家看到的是瓦特的离心调速器你要看正式的书假如材料写的确切的话只说1788年前后不确切说哪一天的年代因为不是他发明的。
极大值原理
极大值原理J = \int_0^2(\dot{x}^2+x^2)dt+(x(2)-1)^2\to min,x(0)=1•构造最优控制系统 \dot{X}=f(X,t,u)\;\;\;\;\;\;\;x_0=t,x_1=x,\dot{x}_1=\dot{x}=u,x_2=\int _0^t(\dot{x}^2+x^2)dt.\begin{equation} \begin{cases} \dot{x}_0=1,\\\dot{x}_1=u,\\ \dot{x}_2=x^2_1+u^2. \end{cases}\end{equation}\begin{equation} \begin{cases}x_0(0)=0,\\ x_1(0)=1,\\ x_2(0)=0. \end{cases}\end{equation}J=\varphi_0(2)=x_2(2)+(x_1(2)-1)^2•获得终值时刻条件 \varphi_1=x_0-1=0•构造庞特里亚金函数 H = \psi^Tf=\psi_0+\psi_1u+\psi_2(x^2_1+u^2)•利用极值条件 \frac{\partial H}{\partial u}=0 得到\psi_1+2\psi_2u=0•利用 \dot{\psi}=-\frac{\partial H}{\partial x^T}得到对偶变量的方程(1) \begin{equation}\begin{cases} \dot{\psi}_0=0,\\ \dot{\psi}_1=-2x_1\psi_2,\\ \dot{\psi}_2=0. \end{cases}\end{equation}•由横截条件 \Psi(t_k)+\lambda_0\frac{\partial\varphi_0}{\partial x^T}=-\sum_{i=1}^n\lambda_i\frac{\partial\varphi_i}{\partial x^T}得到 \left( \begin{matrix} \psi_0(2) \\ \psi_1(2) \\\psi_2(2) \end{matrix}\right)+\lambda_0\left( \begin{matrix} 0 \\ 2(x_1-1)\\ 1 \end{matrix} \right)=-\lambda_1\left( \begin{matrix} 1 \\ 0 \\ 0 \end{matrix} \right)因为 \psi_0与\psi_2 是常数，所以 \psi_0(t)=-\lambda_1,\psi_2(t)=-\lambda_0.•由极值条件， u_0=-\frac{\psi_1}{2\psi_2}，，我们选 \psi_2=-\lambda_0=-\frac{1}{2} 此时 u_0=\psi_1.•由对偶变量中，以及得 \dot{\psi}_1=x_1 ，以及\dot{x}_1=u_0=\psi_1 得 x_1(t)x_1(t)=C_1e^t+C_2e^{-t}•利用还没使用的初始条件 x_1(0)=1 以及横截条件的第二条 \psi_1(2)+x_1(2)-1=0解出C_1=\frac{1}{2e^2},C_2=\frac{2e^2-1}{2e^2}摘自：Лекции по механикеуправляемых систем.Издательство Московскогоуниверситета, 240 стр.Александров ВладимирВасильевич,Лемак СтепанСтепановичПарксниковНиколай Алексеевич。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
即
H ( x* (t ), λ(t ), u* (t )) H ( x* (t ), λ(t ), u(t )) t [t0 , t f ], u(t ) U
自由末端的极大值原理(4/8)
4) 沿最优轨线哈密顿函数应满足
H ( x* (t * ), λ(t * ), u* (t * )) 0 t f自由 f f f * * H ( x (t ), λ(t ), u (t )) * * H ( x (t f ), λ(t f ), u (t f )) 常 t f 固定
x(t)的表达式(1/3)
(2) x(t)的表达式 根据f(x,u)对x的可微性,由状态方程(7-92)可得如下由控制 量的变分u(t)引起的状态方程(7-92)的变分
x f ( x * x , u* u) f ( x * , u* ) f ( x * , u* u) f ( x , u u) f ( x , u ) x o( x ) x f ( x* , u* ) x f ( x * , u* u) f ( x * , u* ) x f ( x* , u* u) f ( x * , u* ) x o( x ) x x
例如,u(t)受不等式约束条件约束,即在闭集中取 值。
H ( x (t ), λ(t ), u (t )) min H ( x (t ), λ(t ), u(t )) (7 96)
* * * u ( t )U
自由末端的极大值原理(7/8)
3) 由极值求解条件(7-96)可知,极大值原理得到的是全局最 小值,而非局部极值,而古典变分法中由极值条件H/u=0 得到的是局部极小值。
Ch.7 最优控制原理
目录(1/1)
目
录
7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理 7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题 本章小结
极大值原理(1/4)
7.4 极大值原理
极值条件的推证
tf的考虑 然后介绍一基于极大值原理的最优控制算例
J[u(· )]=S(x(tf))
泛函J的增量(1/2)
(1) 泛函J的增量 假定末态时刻tf已知,根据S(x(tf))对x(tf)的连续可微性泛函 J 的增量J可表示为
J J u* () u() J u* ()
以后,还会看到,最优控制往往需要在闭集的边界上取值。
这就要求人们去探索新的理论和方法。
极大值原理(3/4)
应用古典变分法的另一个限制条件是要求函数L(x,u,t),f(x,u,t), S(x(tf),tf)对其自变量的连续可微性,特别是要求H/u 存在。
因此,类似
J | u (t ) | dt
再则,如果把条件(7-96)仍称为极值条件,则极大值原 理得到的是强极值。
而古典变分法在欧拉方程推导时,对极值曲线x*(t)和 其导数都引入变分,得到的是弱极值。 不难理解,当满足古典变分法的应用条件时,极值条件 H/u=0只是极大值原理的极值求解条件(7-96)的一 个特例。
自由末端的极大值原理(8/8)
4) 在上述定理中,最优控制u*(t)使哈密顿函数取最小值。 所谓“极小值原理”一词正源于此,称“极大值原理” 是习惯性叫法。 若实际控制问题需求极大值,可将极值求解条件的求 最小(min)改为求最大(max)即可。
5) 极大值原理只给出最优控制的必要条件,并非充分条件。
得到的解是否能使泛函J最小,还有待证实。 极大值原理更没有涉及解的存在性问题。 如果实际问题的物理意义已经能够判定所讨论的问 题的解是存在的,而由极大值原理所求出的控制又只 有一个,可以断定,此控制就是最优控制。 实际遇到的问题往往属于这种情况。
极大值原理(2/4)
上述约束条件即相当于容许控制空间U是一个超方体。
甚至,有些实际控制问题的控制量为某一孤立点集。 例如,继电器控制系统的控制输入限制为 ui(t)=±a i=1,2…,r 一般情况下,总可以将控制量所受的约束用如下不等式来表示 Mi(u(t),t)0, i=1,2,… 当控制变量u(t)受不等式约束条件限制时,古典变分法就 无能为力了。
* * f f *
S x (t ) x (t ) S x (t ) S x (t ) x (t ) o x (t )
f f
x (t f )
f
f
式中u*(t)和x*(t)分别表示最优控制函数及相应的最优轨线; x(t)为x(t)在最优轨线x*(tf)附近的变分; o(‖x(tf)‖)表示泰勒展开式中x(tf)的高阶项。
下面先对上述极大值原理的涵义作简单的解释,再给出该定 理的启发性证明。
自由末端的极大值原理(5/8)
1) 容许控制条件的放宽。 古典变分法应用于最优控制问题,要求控制域U=Rn, 即控制域U充满整个r维控制空间。 然后,从控制量的变分u(t)的任意性出发,导出极值条 件H/u=0。 这一条件是非常严格的。 其一,它要求哈密顿函数H对控制量u(t)连续可微; 其二,它要求控制量的变分u(t)具有任意性,即控 制量u(t)不受限制,或仅在受等式约束条件限制的 开集中取值。
自由末端的极大值原理(3/8)
满足 2) 边界条件
λ(t f ) S ( x (t f )) x (t f )
的解,其中哈密顿函数为
H ( x(t ), λ(t ), u(t )) λ (t ) f ( x(t ), u(t ))
3)则有
H ( x * (t ), λ(t ), u* (t )) min H ( x* (t ), λ(t ), u(t ))
自由末端的极大值原理(2/8)—定理7-9
定理7-9(极大值原理) 设u(t)U,t[t0,tf],是一容许控制。 指定的末值型性能指标泛函为 J[u(· )]=S(x(tf)) 式中,x(t)是定常的被控系统
x(t ) f ( x(t ), u(t )), x(t0 ) x0
相应于控制量u(t)的状态轨线,tf为未知的末态时刻。
设使该性能指标泛函极小的最优控制函数为u*(t)、最优 状态轨线为x*(t)。
则必存在不恒为零的n维向量函数(t),使得
1) (t)是方程
H f τ ( x (t ), u(t )) λ(t ) λ(t ) x x
t0 tf
这样的有较大实际意义的性能指标泛函就无能为力了。
所以,类似消耗燃料最小这类常见最优控制就无法用 古典变分法来解决。
极大值原理(4/4)
鉴于古典变分法的应用条件失之过严,引起了不少数学界和 控制界学者的关注。
其中,贝尔曼的动态规划和庞特里亚金的极大值原理是 较为成功的,应用也很广泛,成为解决最优控制问题的有 效工具。 本节主要介绍极大值原理的结论及其启发性证明。
泛函J的增量(2/2)
要从J[u*(· )]0的条件导出最优控制必要条件, 首先应找出x(t)与控制量u(t)的变分u(t)的关系, 进而对x(t)作出估计。 下面为表述更简洁,时间函数x(t)与u(t)的时间变量t略去 不写。
x (t ) f ( x (t ), u(t )) (7 92)
* * * *
x(t)的表达式(2/3)
令矩阵函数Φ(t,s)为线性状态方程
f ( x* (t ), u* (t )) x(t ) x(t ) x
的状态转移矩阵,即Φ(t,s)满足如下微分方程组
d(t , s) f ( x * (t ), u* (t )) (t , s) dt x (s, s) I
H f τ ( x (t ), u(t )) λ(t ) λ(t ) x x S ( x (t f )) λ(t f ) x (t f )
u ( t )U
(7 93) (7 94)
自由末端的极大值原理(6/8)
H ( x* (t ), λ(t ), u* (t )) min H ( x* (t ), λ(t ), u(t )) (7 96)
极大值原理的证明(2/2)
3) 为了保证微分方程解的存在和惟一性,假定f(x,u)在任意 有界集上对自变量x满足如下李卜希茨(Lipschitz)条件 ‖f(x1,u)-f(x2,u)‖‖x1-x2‖ >0,x1,x2XRn,uURr 下面叙述用增量法证明极大值原理的过程,证明步骤为: 泛函J的增量 x(t)的表达式 对x(t)的估计
(t f , s)o( x ( s ) )ds
t0
J
S x* (t f ) x (t f )
x(t f ) o x(t f )
(7 98)
x(t)的表达式(3/3)
将上述方程代入式(7-98),则得泛函J的增量J为
J S x * (t f ) x (t f )
极大值原理的证明(1/2)
7.4.2 极大值原理的证明
庞特里亚金对极大值原理作了严格的证明,涉及拓扑学、实 函数分析等很多数学问题,这是作为工科教材难以详细论述 的。 本教材利用增量法给出极大值原理的一个启发性证明。 证明中所作的假设是: 1) 函数f(x,u)和S(x(tf))都是其自变量的连续函数; 2) 函数f(x,u)和S(x(tf))对于x是连续可微的,即f/x和S/x(tf) 存在且连续,但并不要求函数f(x,u)对u可微;)
2) 定理7-9中的式(7-93)和(7-94)同样称为协态方程和横截条 件,其相应求解方法与基于古典变分法的最优控制求解方 法类似。