改进的Apriori算法在云计算挖掘下的研究

第35卷第2期2019年2月科技通报BULLETIN OF SCIENCE AND TECHNOLOGYVol．35No．2Feb．2019改进的Apriori 算法在云计算挖掘下的研究徐浙君（浙江邮电职业技术学院，浙江绍兴312000）摘要：云计算下的数据挖掘一直都是研究的重点，本文以基本的Apriori 算法为基础，提出了构建适合云计算下的数据集分解方式，减少扫描数据库次数和减少频繁项集自连接比较次数的三个策略，并从挖掘频繁1项集，2项集和多项集进行描述。

仿真实验中将本文算法与基本Apriori 算法、改进的Apriori 算法进行比较，取得了比较好的效果。

关键词：云计算；数据挖掘；Apriori 中图分类号：TP301.6文献标识码：A文章编号：1001－7119（2019）02－0054－05DOI ：10.13774/j．cnki．kjtb．2019.02.012Ｒesearch on Improved Apriori Algorithm in Cloud Computing MiningXu Zhejun（Zhejiang Technical College of Posts ＆Telecom ，Shaoxing Zhejiang 312000，China ）Abstract ：Data mining under cloud computing has always been the focus of research．Based on the basic Apriori algorithm ，this paper proposes three strategies ：to construct a data set decomposition method suitable for cloud computing ，reduce the number of scanning databases and reduce the number of frequent item sets from the number of connections ，and mine items of the frequent set 1and frequent set 2for description．In the simulation experiment ，the algorithm is compared with the basic Apriori algorithm and the improved Apriori algorithm ，and the result is obtained．Keywords ：cloud computing ；data mining ；Apriori 收稿日期：2018－03－06基金项目：2016年度浙江省高校访问工程师校企合作项目（FG2016191）。

作者简介：徐浙君（1980－），男，讲师，硕士，研究方向为数据挖掘和云计算。

如何能够在云计算下进行数据挖掘一直以来都是研究的重点方向，传统的挖掘算法无法能够适应来自云计算中的海量数据的压力［1］，因此如何改进传统的挖掘算法来适应云计算下的数据挖掘的需要就成为了学者们研究的主要方向：文献［2］提出一种基于云计算Hadoop 平台的分布式关联规则，增加了判断标记Judgemark 来判断事务项是否频繁，提高了算法在连接时扫描数据库的效率；文献［3］提出了一种基于压缩集的改进Apriori 算法，通过有效的裁剪方法减少无效项集的产生，减少候选项集的数量，从而提高算法的效率。

文献［4］提出一种基于粗糙集的频繁项集发现方法。

实验验证了可以节省大量的计算时间，避免产生大量的候选集，可显著提高数据挖掘的效率；文献［5］提出了一种Apriori 的改进方案I_Apriori ，通过减少扫描数据库次数，降低候选项集计算复杂度以及减少预剪枝步骤计算量等途径提高了算法的执行效率；文献［6］提出了一种基于数撕属性的改进算法，新算法提高了原算法的挖掘效率；文献［7］提出从压缩事务、减少扫描次数、简化候选集生成3个方面对Apriori 算法进行改进，实验表明该算法适合大规模数据挖掘且具有良好的伸缩性与有效性；文献［8］提出基于矩阵和权第2期徐浙君．改进的Apriori算法在云计算挖掘下的研究55重的一种改进算法-MW_Apriori算法．该算法首先通过扫描一次事务数据库来构造0－1事务矩阵，其次赋予项和事务权重，并计算项的权重支持度，从而得到频繁项集；文献［9］提出了将改进的Apriori算法运用到图书推荐服务中，取得了比较好的效果；文献［10］提出一种基于矩阵压缩的Apriori改进算法。

本文在以上研究的基础上，针对Apriori算法进行了改进，提出了构建适合云计算下的数据集分解方式，减少扫描数据库次数和减少频繁项集自连接比较次数，通过仿真实验说明本文算法在挖掘时间上有了一定的提高。

1Apriori算法简述及不足Apriori广泛的应用在数据分析中，通过相互之间的关联分析挖掘有价值的信息，其主要思想是首先对数据库事物中的项目进行扫描，获得这些项目的支持度，并判断这些项目集的支持度与最小支持度之间的关系，使用剪枝将小于最小支持度之间的项目去掉，保留大于最小支持度的频繁项集，然后生成更高维度的频繁集。

首先找到频繁1－项集集合L1，然后使用L1找到频繁－2项集集合L2，使用L2找到频繁项集集合L3，依次下去直到没有频繁k－项集，并且寻找Lk的时候扫描数据库。

在数据挖掘中Apriori算法能够提供很多的帮助，但还是存在一定的缺点和不足，其主要表现在：（1）在Apriori算法的连接步骤中，需要进行前k－2项的比较工作；（2）在Apriori算法的剪枝步骤中，需要在每次迭代中扫描一次数据库，在大数据下，扫描数据库是一个非常耗时的工作，占据着系统大量的内存，系统负载太大，导致算法效率降低，影响Apriori算法的效率；（3）Apriori算法只能处理单个事务数据集，无法对多数事务集进行处理，因此无法更好的适合大数据条件。

2Apriori算法的改进思路针对Apriori算法中存在的不足，本文对其进行改进：（1）构建适合云计算下的数据集分解方式；（2）减少扫描数据库次数；（3）减少频繁项集自连接比较次数。

2.1构建适合云计算下的数据集云计算的挖掘中，Apriori算法存在一些致命的缺陷：Apriori算法在进行挖掘的时候需要多次扫描数据库，特别是云计算下的大规模数据的时候容易导致每次扫描的时间都很长，使得算法效率降低，甚至失败。

为了能够适应云计算下的数据挖掘效果，将数据集按照适合云平台的方式分解成小数据块，并指定不同的计算节点，这样能够有效的减少单个计算机上的计算量，发挥并行算法的效率。

2.2减少扫描数据库次数在基本的Apriori算法中，通常都是多阶段扫描数据库，这样可以有效的减少算法所需要的数据库扫描的次数，在两次扫描数据库中产生C k，C k+1，Ck+2，…Ck+n－1这样的n个候选集。

设定扫描一次数据库所消耗的时间为t1，两次扫描数据库的中间时间为t2，因此t2就是产生C k，C k+1，C k+2，…C k+n－1的候选集的总体时间。

因此假设其他时间忽略不计，产生频繁k项集的完整时间为T k，因此有T k=t1+ t2。

由于数据库的大小在设计之初就已经设计固定了，因此t1值是固定的，伴随着算法的不断进行，每次得出的频繁项集L k中的项越来越少，因此产生的Ck+1，Ck+2，…Ck+n个候选集也会越来越少，t2也就越来越小。

因此，扫描数据库中的t1所占的总时间比例会随着算法的不断进行而越来越大，因此会导致对分配任务的时间也越来越不均匀，这样在一定程度上降低了算法效率。

因此多阶段的扫描数据库的方法显然存在一定的局限性，本文提出一种可变多阶段的扫描数据库方法，将两次数据库扫描中产生的数据集数目即n个数目设为可变值，这种可变值伴随着扫描数据库的次数的增多而变大，这样可以有效的提高算法的效率。

2.3频繁项集自连接次数减少在Apriori算法中的候选项集C k是通过C k－1自连接而产生的，C k－1规模一般比较大，因此本文只需要在C k－1与L1进行连接的时候，只需要比较C k－1中最后一项目与L1的各项的大小，这样能够有效的避免C k－1全部内容与L1的对比，从而节省比较空间。

3改进的Apriori算法执行步骤本文提出的改进过程大致分为3个步骤。

3.1挖掘频繁1项集具体流程如图1所示，伪代码如表1所示，过程如下：（1）数据块划分：将事务数据库D水平划分为n 个大小不相同且不交换的数据块，发送给m个计算56科技通报第35卷节点，执行云计算模型中的Map 模型。

（2）数据块格式化：各个计算节点将n 个数据块总的数据都格式化为＜Tid ，item ＞健值对形式，其中item 表示事务数据库中的各个事务的项目，Tid 表示标识符。

（3）执行Map 函数，对输入的健值进行局部数据库扫描统计，输出＜item ，sum ＞健值对，sum 表示支持度计数。

（4）执行Ｒeduce 函数，接受来自Map 函数输出结果，合并为局部候选1项集，生成全局候选集。

（5）根据给出的支持度，生成频繁1项集L 1。

当生成L 1失败，则算法结束。

表1挖掘频繁1项集伪代码Table 1Pseudo code to excavate frequency set 1input ：data block ，min －supoutput ：Frequent 1set Map （key ，value ）｛input ：local data block for each t 1∈D i dofor each item i ∈ti do output＜i ，1＞end endＲeduce （key i ，value v ）input ：min －sup for each i dofor each v in i list do i．count =i．count +v endif i．count＞min －sup output＜i ，i．count＞end end｝图1挖掘频繁1项集流程Fig．1Process to excavate frequency set 13.2挖掘频繁2项集具体流程如图2所示，代码如表2所示，过程如下：（1）节点输入：数据块和频繁1项集L 1（2）格式化数据块：各个计算节点将n 个数据块中的数据都格式化为＜key ，value ＞对，其具体表现形式为＜Tid ，item ＞（3）自连接：在各工作节点中将L 1生成C 2（4）执行Map 函数：局部扫描数据库统计C 2的sum（5）执行Ｒeduce 函数：接受Map 端的输出结果，合并局部候选2项集，生成全局候选2项集。