动态规划方法的matlab实现及其应用

动态规划方法的matlab实现及其应用（龙京鹏，张华庆，罗明良，刘水林） (南昌航空大学，数学与信息科学学院，江西，南昌)

摘要：本文运用matlab语言实现了动态规划的逆序算法，根据状态变量的维数，编写了指标函数最小值的逆序算法递归计算程序。两个实例的应用检验了该程序的有效性，同时也表明了该算法程序对众多类典型的动态规划应用问题尤其是确定离散型的应用问题的通用性，提供了求解各种动态规划问题的有效工具。关键词：动态规划基本方程的逆序算法 MATLAB实现

MATLAB Achieve For Dynamic Programming and Its Application

(JingpengLong，HuaqingZhang，MingliangLuo，ShuilinLiu)

（School of Mathematics and Information Science,Nanchang Hangkong

University,Nanchang,China）

Abstract:This article achieves the reverse algorithm of dynamic programming by using the matlab language，and prepares the recursive calculation program of reverse algorithm which thetargetfunctionvalueisthesmallest.Theapplicationoftwoexamplesshowthattheprogram is effective，and this algorithm program is general to many typical application of dynamic programming,especially the application of deterministic discrete.This algorithm program provides a effective tool to the solution of a variety of dynamic programming problems. Key words:dynamic programming；reverse algorithm；Matlab achievement

动态规划是一类解决多阶段决策问题的数学方法, 在工程技术、科学管理、工农业生产及军事等领域都有广泛的应用。在理论上,动态规划是求解这类问题全局最优解的一种有效方法,特别是对于实际中某些非线性规划问题可能是最优解的唯一方法。然而,动态规划仅仅决多阶段决策问题的一种方法,或者说是考查问题的一种途径,而不是一种具体的算法。就目前而言,动态规划没有统一的标准模型,其解法也没有标准算法,在实际应用中,需要具体问题具体分析。动态规划模型的求解问题是影响动态规划理论和方法应用的关键所在,而子问题的求解和大量结果的存储、调用更是一个难点所在。然而, 随着计算机技术的快速发展,特别是内存容量和计算速度的增加,使求解较小规模的动态规划问题成为可能,从而使得动态规划的理论和方法在实际中的应用范围迅速增加。

目前,在计算机上实现动态规划的一般求解方法并不多见,尤其是用来解决较复杂的具体问题的成果甚少。本文从实际出发,利用数学工具软件matlab 的强大功能, 对动态规划模型的求解方法做了尝试,编写出了动态规划逆序算法的matlab程序，并结合“生产与存储问题”[1] 和“背包问题”[1]进行了应用与检验,实际证明结果是令人满意的。

1 动态规划的基本模型

实际中,要构造一个标准的动态规划模型,通常需要采用以下几个步骤:

①划分阶段按照问题的时间或空间特征,把问题分为若干个阶段。这些阶段必须是有序的或者是可排序的(即无

后向性) ,否则,应用无效。

②选择状态将问题发展到各个阶段时所处的各种客观情况用不同的状态表示,即称为状态。状态的选择要满足无后效性和可知性,即状态不仅依赖于状态的转移规律,还依赖于允许决策集合和指标函数结构。

③确定决策变量与状态转移方程当过程处于某一阶段的某个状态时,可以做出不同的决策,描述决策的变量称为决策变量。在决策过程中,由一个状态到另一个状态的演变过程称为状态转移。状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。

④写出动态规划的基本方程动态规划的基本方程一般根据实际问题可分为两种形式,逆序形式和顺序形式。这里只考虑逆序形式。动态规划基本方程的逆序形式为

f s k k( ) = opt gv s x{ ( k k k( , )+f

s k+1( k+1))} x D s k∈ k k( )

k nn= , −1, ,1

边界条件

f s n+1( n+1) = 0或f s v s x n n() = n n n( ,

)

其中第k 阶段的状态为s k,其决策变量x k表示状s k的决策,状态转移方程为s k+1 =T s x k k k( , ), 态处于k 阶段的允许决策集合记为D s k k( ) , v s x k k k( , ) 为指标函数。

当求解时,由边界条件从k n= 开始, 由后向前逆推,逐阶段求出最优决策和过程的最优值, 直到最后求出f s1( 1) 即得到问题的最优解。动态规划逆序解法计算程序框图如下：

2 基本方程逆序算法的matlab程序

（1）动态规划逆序求最小值的基本方程：

f s k k() = x D s k min {∈ k k() gv s x( k k k( , ) +f s k+1( k+1))}

k nn= , −1, ,1

边界条件f s v s x n n( ) = n n n( , ) s k+1

=T s x k k k( , ) 。

自由始端和终端的动态规划，求指标函数最小值的逆序算法递归计算程序：

function

[p_opt,fval]=dynprog(x,DecisFun,SubObjFu n,TransFun,ObjFun)

% x为状态变量，一列代表一个阶段的状态

%M_函数DecisFun（k,x)表示由阶段k的状态值x求出

相应的允许决策集合

% M_函数SubObjFun（k,x,u)表示阶段k的指标函数

% M_函数TransFun（k,x,u)是状态转移函数，其中x 是阶段k的状态值，u是其决策集合

% M_函数ObjFun（v,f)是第k阶段到最后阶段的指标函数，当ObjFun（v,f)=v+f时，输入ObjFun （v,f)

可以省略

% 输出p_opt由4列组成，p_opt=[序号组，最优轨线组，最优策略组，指标函数值组]; % 输出fval是列向量，各元素分别表示p_opt各最优策略组对应始端状态x的最优函数值

k=length(x(1,:)); % k为阶段数

x_isnan=~isnan(x);

t_vubm=inf*ones(size(x)); %t_vubm为指标函数值的上限

f_opt=nan*ones(size(x));

% f_opt为不同阶段、状态下的最优值矩阵，初值为非数d_opt=f_opt; % d_opt为不同阶段不同状态下的决策矩阵，初值为非数

tmp1=find(x_isnan(:,k)); % 找出第k阶段状态值（不是非数）的下标

tmp2=length(tmp1);

for i=1:tmp2

u=feval(DecisFun,k,x(tmp1(i),k));

% 求出相应的允许决策向量

tmp3=length(u);

for j=1:tmp3 % 该for语句是为了求出相应的最有函数值以及最优决策

tmp=feval(SubObjFun,k,x(tmp1(i),k),u(j))