第六章动态规划与离散系统最优控制1009.
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
内容为
最优性原理与离散系统的动态规划法
线性离散系统的二次型最优控制
最优性原理与离散系统的动态规划法(1/3)
6.1 最优性原理与离散系统的动态规划法
基于对多阶段决策过程的研究结果, 贝尔曼在20世纪50年代 首先提出了求解离散多阶段决策优化问题的动态规划法。 多阶段决策优化问题方法在许多领域得到应用和发展, 如在生产计划、资源配置、信息处理、模式识别等方面 都有成功的应用。 本节介绍将动态规划优化方法应用于动态系统的最优控 制问题, 构成最优控制的两种主要求解方法之一的最优 控制动态规划法。
分为4段。中间可能经过的各站及站间的行车时间均已标记 在图上。 试求最短行车时间的行车 路线。
图10 某行车路线图
多阶段决策问题(2/12)
由S站出发至终点F站可有多种不同 的行车路线 , 沿各种行车路线所耗 费的时间不同。
为使总的行车时间最短,司机在 路程的前3段要作出3次决策。 首先，一开始司机要在经过x1(1)站还是x2(1)站两种情况 中作出决策。 到x1(1)站或x2(1)后, 又面临下一站是经过x1(2)站还是x2(2) 站的第2次决策。 同样,在后续的每个阶段都要作出类似的决策。
如许多现代工业控制领域的实际计算机控制问题。
2) 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以 小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件(如零 件加工活动)的发生或结束为标志的。
动态规划与离散系统最优控制(3/3)
本节将介绍解决离散系统最优控制的有效工具—贝尔曼动态 规划, 以及线性离散系统的二次最优控制问题。
多阶段决策问题(5/12)
为便于今后求解过程的应 用 , 可将从 x1(3) 站和 x2(3) 站 到终点的最短时间 J[x1(3)] 和 J[x2(3)] 的数值标记于代 表该站的小圆圈内, 如图11 所示。
其他站的情况依此类推。
图11 最优行车路线图
多阶段决策问题(6/12)
由此向后倒推,继续考察倒数第2段, 计算x1(2)站和x2(2)站到 终点F的最短时间, 并分别记为J[x1(2)]和J[x2(2)]。 由图10可知,从x1(2)站到达终点F的路线中下一站只能是 x1(3)站和x2(3)站中之一。 由于从x1(3)站和x2(3)站分别前往终点的最短时间已经计算 出, 因此, 从x1(2)站和x2(2)到终点的最短时间分别为， J[x1(2)]=min{1+J[x1(3)],1+J[x2(3)]}=4 J[x2(2)]=min{2+J[x1(3)],2+J[x2(3)]}=5 其相应的最短时间行车路线{x1(2),x2(3),F}和{x2(2),x2(3), F}。
最优性原理与离散系统的动态规划法(2/3)
动态规划的核心是贝尔曼最优性原理
这个原理归结为一个基本的递推公式。求解多阶段决策 问题时, 要从末端开始, 逆向递推, 直至始端。
动态规划的离散基本形式受到问题的维数的限制, 应用 有一定的局限性。但对于求解决线性离散系统的二次型 性能指标的最优控制问题特别有效。 至于连续系统的最优控制问题的动态规划法, 不仅是一 种可供选择的有充分性的最优控制求解法 , 它还揭示了 动态规划与变分法、极大值原理之间的关系, 具有重要 的理论价值。
随着计算机技术及其计算机控制技术的发展 , 离散系统的 最优控制问题也必然成为最优控制中需深入探讨的控制问 题, 而且成为现代控制技术更为关注的问题。
动态规划与离散系统最优控制(2/3)
离散系统的控制问题为人们所重视的原因有二,
1) 连续系统在实现控制时，在应用计算机控制技术、数字 控制技术时, 须经采样后成为离散化系统, 再加以控制
多阶段决策问题(3/12)
因此,计算8种不同的行车路线所耗费的总行车时间,取最 小者即可求出最短时间行车路线。 若行车问题需作决策的阶段数 n较大,每次决策中可供选 择的方案较多时 , 用上述的穷（枚）举法来解决最短行 车时间问题计算量非常大。 一般说来,用穷举法计算时间与作决策的阶段数n和每次 决策中可供选择的方案数成指数关系, 即通常所称的指 数爆炸、维数灾难。
多阶段决策问题(7/12)
类似于前面过程 , 其他各站到终 点的最短时间和相应的行车路 线如图11所示.
从图 11得到各站到终点站 F的最短时间行车路线和所耗 费的行车时间, 从起点站S到终点站F的最短时间行车路 线和所耗费的行车时间。
多阶段决策问题(8/Байду номын сангаас2)
上述最短行车时间路线问题及其求解方法可以推广为多阶段 决策优化问题, 如建筑安装工期计划、经济发展计划、资源 合理配置等, 其相应的最优性指标可以为所耗费的时间最短, 也可以为所耗费的能源最小、所得到的效益最好等。
最优性原理与离散系统的动态规划法(3/3)
下面分别介绍
多阶段决策问题 最优性原理一般问题的问题描述 离散系统的动态规划法
多阶段决策问题(1/12)
1. 多阶段决策问题
在讨论动态规划法之前 , 先考察一个简单的最短时间行车问 题,简称行车问题。
例 如图10所示, 某交通工具从S站出发, 终点为 F 站, 全程可
动态规划与离散系统最优控制(1/3)
第6章 动态规划与离散系统最优控制
前面讨论了连续系统最优控制问题的基于经典变分法和庞特 里亚金的极大值原理的两种求解方法。 所谓连续系统 , 即系统方程是用线性或非线性微分方程 描述的动态系统。
该类系统的控制问题是与传统的控制系统和控制元件的 模拟形式实现相对应, 如模拟运算放大器件、模拟自动 化运算仪表、模拟液压放大元件等。
多阶段决策问题(4/12)
通过分析发现 , 另一种求最短时间 行车路线方法的是:
从最后一阶段开始,先分别算出 x1(3)站和x2(3)站到终点F的最短 时间（成本）,并分别记为 J[x1(3)]和J[x2(3)]。 实际上, 最后一阶段没有选择的余地。
因此,由图10可求得 J[x1(3)]=4, J[x2(3)]=3
最优性原理与离散系统的动态规划法
线性离散系统的二次型最优控制
最优性原理与离散系统的动态规划法(1/3)
6.1 最优性原理与离散系统的动态规划法
基于对多阶段决策过程的研究结果, 贝尔曼在20世纪50年代 首先提出了求解离散多阶段决策优化问题的动态规划法。 多阶段决策优化问题方法在许多领域得到应用和发展, 如在生产计划、资源配置、信息处理、模式识别等方面 都有成功的应用。 本节介绍将动态规划优化方法应用于动态系统的最优控 制问题, 构成最优控制的两种主要求解方法之一的最优 控制动态规划法。
分为4段。中间可能经过的各站及站间的行车时间均已标记 在图上。 试求最短行车时间的行车 路线。
图10 某行车路线图
多阶段决策问题(2/12)
由S站出发至终点F站可有多种不同 的行车路线 , 沿各种行车路线所耗 费的时间不同。
为使总的行车时间最短,司机在 路程的前3段要作出3次决策。 首先，一开始司机要在经过x1(1)站还是x2(1)站两种情况 中作出决策。 到x1(1)站或x2(1)后, 又面临下一站是经过x1(2)站还是x2(2) 站的第2次决策。 同样,在后续的每个阶段都要作出类似的决策。
如许多现代工业控制领域的实际计算机控制问题。
2) 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以 小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件(如零 件加工活动)的发生或结束为标志的。
动态规划与离散系统最优控制(3/3)
本节将介绍解决离散系统最优控制的有效工具—贝尔曼动态 规划, 以及线性离散系统的二次最优控制问题。
多阶段决策问题(5/12)
为便于今后求解过程的应 用 , 可将从 x1(3) 站和 x2(3) 站 到终点的最短时间 J[x1(3)] 和 J[x2(3)] 的数值标记于代 表该站的小圆圈内, 如图11 所示。
其他站的情况依此类推。
图11 最优行车路线图
多阶段决策问题(6/12)
由此向后倒推,继续考察倒数第2段, 计算x1(2)站和x2(2)站到 终点F的最短时间, 并分别记为J[x1(2)]和J[x2(2)]。 由图10可知,从x1(2)站到达终点F的路线中下一站只能是 x1(3)站和x2(3)站中之一。 由于从x1(3)站和x2(3)站分别前往终点的最短时间已经计算 出, 因此, 从x1(2)站和x2(2)到终点的最短时间分别为， J[x1(2)]=min{1+J[x1(3)],1+J[x2(3)]}=4 J[x2(2)]=min{2+J[x1(3)],2+J[x2(3)]}=5 其相应的最短时间行车路线{x1(2),x2(3),F}和{x2(2),x2(3), F}。
最优性原理与离散系统的动态规划法(2/3)
动态规划的核心是贝尔曼最优性原理
这个原理归结为一个基本的递推公式。求解多阶段决策 问题时, 要从末端开始, 逆向递推, 直至始端。
动态规划的离散基本形式受到问题的维数的限制, 应用 有一定的局限性。但对于求解决线性离散系统的二次型 性能指标的最优控制问题特别有效。 至于连续系统的最优控制问题的动态规划法, 不仅是一 种可供选择的有充分性的最优控制求解法 , 它还揭示了 动态规划与变分法、极大值原理之间的关系, 具有重要 的理论价值。
随着计算机技术及其计算机控制技术的发展 , 离散系统的 最优控制问题也必然成为最优控制中需深入探讨的控制问 题, 而且成为现代控制技术更为关注的问题。
动态规划与离散系统最优控制(2/3)
离散系统的控制问题为人们所重视的原因有二,
1) 连续系统在实现控制时，在应用计算机控制技术、数字 控制技术时, 须经采样后成为离散化系统, 再加以控制
多阶段决策问题(3/12)
因此,计算8种不同的行车路线所耗费的总行车时间,取最 小者即可求出最短时间行车路线。 若行车问题需作决策的阶段数 n较大,每次决策中可供选 择的方案较多时 , 用上述的穷（枚）举法来解决最短行 车时间问题计算量非常大。 一般说来,用穷举法计算时间与作决策的阶段数n和每次 决策中可供选择的方案数成指数关系, 即通常所称的指 数爆炸、维数灾难。
多阶段决策问题(7/12)
类似于前面过程 , 其他各站到终 点的最短时间和相应的行车路 线如图11所示.
从图 11得到各站到终点站 F的最短时间行车路线和所耗 费的行车时间, 从起点站S到终点站F的最短时间行车路 线和所耗费的行车时间。
多阶段决策问题(8/Байду номын сангаас2)
上述最短行车时间路线问题及其求解方法可以推广为多阶段 决策优化问题, 如建筑安装工期计划、经济发展计划、资源 合理配置等, 其相应的最优性指标可以为所耗费的时间最短, 也可以为所耗费的能源最小、所得到的效益最好等。
最优性原理与离散系统的动态规划法(3/3)
下面分别介绍
多阶段决策问题 最优性原理一般问题的问题描述 离散系统的动态规划法
多阶段决策问题(1/12)
1. 多阶段决策问题
在讨论动态规划法之前 , 先考察一个简单的最短时间行车问 题,简称行车问题。
例 如图10所示, 某交通工具从S站出发, 终点为 F 站, 全程可
动态规划与离散系统最优控制(1/3)
第6章 动态规划与离散系统最优控制
前面讨论了连续系统最优控制问题的基于经典变分法和庞特 里亚金的极大值原理的两种求解方法。 所谓连续系统 , 即系统方程是用线性或非线性微分方程 描述的动态系统。
该类系统的控制问题是与传统的控制系统和控制元件的 模拟形式实现相对应, 如模拟运算放大器件、模拟自动 化运算仪表、模拟液压放大元件等。
多阶段决策问题(4/12)
通过分析发现 , 另一种求最短时间 行车路线方法的是:
从最后一阶段开始,先分别算出 x1(3)站和x2(3)站到终点F的最短 时间（成本）,并分别记为 J[x1(3)]和J[x2(3)]。 实际上, 最后一阶段没有选择的余地。
因此,由图10可求得 J[x1(3)]=4, J[x2(3)]=3