基于MTD(f)算法的六子棋程序设计研究

基于MTD(f)算法的六子棋程序设计研究

张润梅，刘长城，王传对

1安徽建筑工业学院电子信息工程学院

2安徽建筑工业学院电子信息工程学院

3安徽建筑工业学院电子信息工程学院

摘要: 该课题中研究出的博弈搜索可很好地应用实际的软件开发中，现在六子棋的研究处于起步阶段，有广阔的研究意义和商业价值，目前在苹果iPhone的App Store(软件商店)有六子棋的上架，很受喜爱，大陆内地和台湾学术界都在研究其中的复杂技术，很好地推动人工智能领域在商业、军事和经济领域的应用，本文重点介绍六子棋开发过程中博弈搜索算法MTD(F)和搜索引擎中的置换表。

关键词：机器博弈，MTD(F)，置换表，六子棋

Abstract:Developed the game search in this subject can be well applied in actual software development, the study of Connect6 Computer Game is in its infancy, there is broad research significance and commercial value, Connect6 Computer Game can be found in the Apple iPhone App Store (software store), mainland and T aiwan’s academia are in study of its complex technology to promote the field of artificial intelligence in commercial, military and economic, this article focuses on Connect6 Computer Game development processing the MTD (f) for game search algorithm and the Transposition T ab for search engine.

Keywords:Computer Game, MTD (f), Transposition Tab, Connect 6

1.前言

目前已知博弈的算法在中国象棋和其他棋类博弈中都有很好的体现，但是适合六子棋状态空间的算法就需要在实际的开发中进行比较，本文的MTD(F)算法在Alpha-Beta基础上进行深层次的改进，很好地综合了前有算法优点，在处理海量数据方面取得了明显优势；一个好的算法就对应一种好的优化方法，文中介绍的Deeper-Always Transposition Table置换表方法在处理Alpha-Beta算法的数据冗余、提高Alpha-Beta算法效率方面有很高的优越性。

2.MTD(F)算法

博弈算法也即博弈搜索，下面介绍Alpha-Beta剪枝博弈算法来导出MTD(F)算法的优点。一般搜索树中有三种类型的结点：

（1）偶数层的中间结点，代表棋手甲要走的局面；

（2）奇数层的中间结点，代表棋手乙要走的局面；

（3）叶子结点，代表棋局结束的局面，即棋手甲或乙获胜，或者是和局。

2.1 Alpha-Beta 剪枝算法

在普通的搜索算法中，要遍历整个博弈树，会造成冗余，所以要剔除一些分枝，Bruno在1963年首先提出了Alpha-Beta剪枝算法。α-β剪枝搜索是一种基于α-β剪枝(α-β cut-off)的深度优先搜索(Depth-first search)。它去掉了一些不影响最终结果的分支而返回与 MINIMAX相同走步的过程。

我们假设六子棋用一个静态估值函数，用 MINIMAX 过程对博弈树进行搜索，每一次扩展 19×19=361 个结点，假设一个性能好的程序在一台普通的 PC 机上，一秒内可搜索 10 000 个结点，对于三层的 MINIMAX 搜索树需扩展 11 390 625 个结点，则需 1 139s 约 19min 的时间下一步棋。这显然是不可忍受的。幸运的是，我们不用把每个结点都搜索一遍也可获得和 MINIMAX 搜索同样结果的走步。不搜索分支结点而舍弃该分支的过程称为剪枝。

α值为倒推值下界，β值为倒推值上界。Alpha-Beta搜索首先使某一部分达到最大深度，从而计算出Max节点的α值，Min节点的β值，然后继续搜索，不断修改这些值，在修改过程中，α值永不下降，β值永不增加。

将走棋方定为 MAX 方，因为它选择着法时总是对其子节点的评估值取极大值，即选择对自己最为有利的着法；而将应对方定为 MIN 方，因为它走棋时需要对其子节点的评估值取极小值，即选择对走棋方最为不利的、最有钳制作用的着法。

因此可以利用这个规则进行剪枝，剪枝规则如下：

规则 1：在对博弈树采取深度优先的搜索策略时, 从左路分枝的叶节点倒推得到某一层MAX 节点的值, 可表示到此为止得以“落实”的着法最佳值，记为α。显然此α值可作为 MAX 方着法指标的下界。当任何 MIN 节点的β值小于等于它的 MAX 父节点的α值时，则可以中止该 MIN 节点以下的搜索，同时该β值作为 MIN 节点的最终倒推值。当满足该规则而减少了搜索时，称进行了α剪枝。

Figure 1.α剪枝示意图

规则 2：由左路分枝的叶节点倒推得到某一层 MIN 节点的值，可表示到此为止对方着法的钳制值，记为β。显然此β值可作为 MAX 方可能实现着法指标的上界。当任何 MAX 节点的α值大于等于它的 MIN 父节点的β值时，则可以中止该 MAX 节点以下的搜索，同时该α值即为 MIN 节点的最终倒推值。当满足该规则而减少了搜索时，称进行了β剪枝。

Figure 2.β剪枝示意图

α-β剪枝是根据极大极小搜索规则的进行的, 虽然它没有遍历某些子树的大量节点, 但它仍不失为穷尽搜索的本性。采用 Alpha-Beta 搜索所得的走法总与同样条件下使用极大极小搜索取得的走法一致，但 Alpha-Beta 搜索的节点数更少。同极大极小搜索算法一样，Alpha-Beta 搜索算法需要在奇数层进行α剪枝，在偶数层进行β剪枝。不过只要将负极大值的形式套用上去，这样在任何一层都只进行β剪枝，同负极大值算法一样简洁剪枝技巧的发现, 一下便为博弈树搜索效率的提高开创了崭新的局面。

将α-β剪枝作用延伸到多个回合之后，于是又出现了深层α-β剪枝(Deep α-βcut-off) 算法，也取得很好效果。

Alpha-Beta 搜索算法的效率与子节点被搜索的先后顺序密切相关。在最理想情况 (极小树)，即最左路的分枝就是最佳路径，其生成的节点数目为：N

=2B D/2-1(D为偶数) (a)

D

=B(D+1)/2+B(D-1)/2-1(D为奇数) (b)

N

D

其中D为搜索深度，B为分支因子(Branching factor)。而在最糟糕情况下，右节点的得分情况总是好于左节点，搜索过程将不做任何剪枝，此时需要搜索的=B D。故分析可知，最理想情况下Alpha-Beta算法搜索深度为D的节节点数是N

D

点相当于搜索深度为D/2的不做任何剪枝的节点数，其复杂度仍很大，需要优化。

2.2 MTD(f)算法

MTD(f)介绍：MTD(f)算法的全称是 Memory-enhanced Test Driver with node n and value f，缩写为 MTD(n,f)或 MTD(f)。

实现原理：算法通过多次调用 Alpha-Beta 来完成搜索，每次调用均采用空窗口进行搜索，该调用返回一个真实值的上（或下）界，然后利用该返回值修改MTD(f)的上边界或下边界。在搜索过程中上下边界的范围不断缩小，逐步向真实值逼近，当下边界的值大于或等于上边界时，搜索就完成了。

MTD(f)算法流程图如下：