计算机系统与计算机网络中的动态优化：模型、求解与应用

计算机系统与计算机网络中的动态优化:模型、求解与应用
摘要：随着计算机网络使用范围的扩展，计算机网络的业务种类以及业务数量
不断增加，尤其是计算机网络的运行成本以及相应的使用模型需要不断的优化。

本文针对计算机系统在网络应用中存在主要问题，给出了基于动态优化的设计方案，通过对动态优化数学模型的建立与求解，实现了动态优化在计算机系统及其
网络中的应用。

关键词：计算机系统；动态优化；模型解析
随着计算机系统和计算机网络被世界上的各行各业所广泛运用,计算机所需处
理的业务数量和业务种类也迅速激增。

随之而来的是如何对计算机系统和计算机
网络进行合理优化。

人们开始寻求各种对计算机资源和计算机系统进行合理分配
的手段方法,以达到提高计算机效率的目的。

在实际优化过程中,相比静态优化理论,使用较为广泛的则是动态优化理论。

而马尔可夫的决策过程则正是动态优化理
论所使用的基本模型。

它的出现有效避免了计算机网络出现状态空间爆炸等负面
情况的发生。

对有效降低计算机系统的系统维护成本并有效提高计算机系统的运
行效率具有十分重要的意义。

一、马尔可夫决策过程模型的建立
1.马尔可夫决策
动态优化的基本理论模型是马尔可夫决策过程展示（markov decision process，MDP），而马尔可夫决策模型采用离散时间的方式进行决策的系列过程：系统
t+1时刻状态的转移，只依赖于t时刻的系统状态和决策者的行为，但是[0，t-1]
时间段内的系统状态和决策者是没有关系的。

MDP是可以从决策者的观察能力、
状态转移的确定关系、执行所需要的时间、时间处理上的联系性、是否具有附加
条件以及决策目标数量等角度进行分析。

MDP模型的状态空间随着处理问题的数
量增多，呈现指数级爆炸增长，这些爆炸增长的空间让传统的精确求解的算法出
现了一些变化，这种算法理论上来说是可以处理数据信息，但是在实际运行中，
数值迭代和策略迭代等程序无法得到正常的使用，所以就难以满足现在需求。

而
现在通过MDP模型的近似做法可以将这些算法归为三类，主要有贪心算法、基
于状态聚合的算法、最后一种是基于近似动态规划的算法。

而本文讨论的正是MDP模型的近似算法。

2.马尔可夫决策过程
马尔可夫的决策过程之中，主要包含有几种重要部分。

第一，具有非常独立
性质的状态集合S，这主要是描述系统在应用后的种种状态。

并且，决策者是可
以通过这样的集合S对此范围内的一切，进行某种决策行为。

而描述决策者的在
状态空间行为的集合，则都可以称之为行为集合，可以将其记为A（s）。

决策者
通过自己的决策带来了一定的收益，在此影响下的所产生的收益可以用收益函数
表达R（s，s’，a），其中s，s’∈S，a∈A。

在记录整个的决策过程中，系统会通
过关系的转移方式对过程进行记录，也就是转移关系SM，马尔可夫的决策过程
是拥有着显著的特征，其中就有一点：无后效性。

它表达的是系统在下一时刻的
状态也只能依赖于前一种的状态和决策的行为，和系统的历史却没有任何的相关性。

根据SM性质的差异，MDP 可以分为两大种类，一种是MDP，另一种是随机MDP。

对于已经确定的MDP，这样会在某一个状态下，行为因为差异性而导致唯
一确定的状态转移，用公式表示即为：SM：S×A→S，此时的状态转移方程可以记
为S’=SM（s，a）；但是对于随机MDP来说，这种系统是不适合的，需要未来的
系统进行行之有效的决策行为，这样的决策行为能够很好的对当先状态下的情形
进行判断。

其中也会受到外部的因素影响，即：S M=S×A×W→S，而此时的状态方
程则表示为S’=SM（s，a，w/ω），其中的w/ω则是外部的随机干扰因素样本，
随机MDP的未来状态一般情况下是按照某种规律进行分布的，分布记为P（s’/s，a），本文主要研究的是MDP，前面也已经提及决策收益问题，但是在MDP的系
统演进过程中，会产生一个收益序列，为了很好的比较MDP的决策优劣度，可
以先在无限的MDP时间内选取一段有限的时间MDP，这样就能将无限时间MDP
看成是目标函数的收益之和，随着时间的不断推移，会保证时间在累积的过程中
使得总的收益是增长的，给定策略π，则在状态s的值函数等于当前一步决策所
得收益与下一时刻折扣后值函数期望的和。

二、动态优化的求解
动态优化的求解过程是马尔可夫决策过程的建模和分析，对于建模和分析的
过程可以具体执行以下步骤，首先需要明确系统的运行目标，这个步骤中需要确
保的是MDP的收益函数R和目标函数J之间存在着相关性，一方面，因为不同系统之间的运行程序会不一样，导致运行的目标也会不相同，在另一方面，即便是
对于同一系统，研究的角度不同也会造成导致不同的收益函数和目标函数。

一般
计算机系统在运行过程中常用的目标函数有几种：节点的吞吐量、能量消耗、信
道利用率、网络延迟、分组丢失几率，这些组成的目标函数，在计算机系统的运
行过程中，发挥着重要的作用和地位。

对于随机MDP，大多数情形下使用的是带
有期望形式的（E）目标函数，而期望目标函数具有的形式有以下几种：有限马尔可夫决策过程：
无限马尔可夫决策过程：
其中，s1 和a1 分别为t阶段系统所处状态，同时还包含了决策者采取的行为，无限马尔可夫决策的两个公式分别代表了无穷时间折扣情形和无穷时间平均情形
下的目标函数，系统运行目标一般来说都是最大化或者是最小化上述的目标函数。

通过相关的操作可以对此进行调整。

此外，可以根据运行状态空间进一步确定其
决策的行为，在马尔可夫决策形成的过程中，系统状态的空间和决策是处在一种
占用状态，所以，这种状态下的就会导致整体的数据通信系统的空间是不能使用的，需要等待最佳时机进行决策。

状态空间系统和决策行为是可以为用户确定取
值的范围，保证马尔可夫在决策分析的过程中，可以对不同的问题和情形进行分类。

三、马科夫动态优化模型在计算机网络系统内的应用
在分析和利用马科夫动态优化模型的时候，应当使得动态优化模型具有系统
维护的针对性以及计算机网络的修复功能，为此，在进行马科夫模型建造和应用
的时候要将这些因素当作应用对象。

在进行计算机网络结构以及计算机网络系统
优化的时候，马科夫的优化模型能够促进计算机网络正常工作，将整个网络分为
两个部分，一半是能够正常工作的，一半是随机的计算机网络子网，为网络的决
策者流出了很大思考空间，在马科夫优化决策模型之中，做好了相关的改良之后，可以对标记的部分进行问题改善，对其中存在的对称性问题进行高效率的处理和
解决，缩小计算机网络中出现的空间问题，在此基础上，计算机网络系统以及网
络结构能够在相关理论的指导下进行进一步的优化以及解决，有利于计算机网络
系统的功能更新以及进一步的优化，并结合全新的理论做出更多的操作贡献，有
效的解决计算机网络系统以及网络结构运行中存在的资源分配问题，有效的提高
网络的应用效率以及丰富计算机网络的功能。

结束语
综上所述，对于动态优化在计算机系统和计算机网络中的建模、求解和应用都进行了详细的分析，动态优化拥有的是对不断变化情况的系统分析，在计算机系统和计算机网络中，其应用的资源种类较多，数量巨大切非常复杂，那么在面临这样复杂的环境中，需要合理的运用动态优化系统来对此进行应用，并不断的避免在应用过程中出现的问题，马尔可夫决策过程的近似求解的算法，不是能够使用所有问题，对于近似求解算法的应用范围、解的质量以及收敛性等一系列问题，还需要进一步深入研究。

参考文献：
[1]齐小刚. 计算机网络中的路由与性能优化[J]. 西安电子科技大学学报，2014（05）:15-16.
[2]林闯，万剑雄，向旭东. 计算机系统与计算机网络中的动态优化:模型、求解与应用[J]. 计算机学报.2014（35）:32-33.
[3]林闯，王元卓，汪洋. 基于随机博弈模型的网络安全评价与分析[J].计算机学报，2011（24）:12-14.。