关联规则Apriori算法的改进
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
关联规则Apriori算法的改进
摘要:文章提出一种改进的apriori算法。该算法通过减少对数据库搜索的次数,从而减少数据挖掘过程中的i/o开销。实践证明,用此算法进行关联挖掘,其效率比传统的方法要高。
关键词:数据挖掘关联规则频繁项集 apriori算法improvement of apriori algorithm for association rules
li xiao-hui
(college of computer science and technology,changchun university,changchun 130022,china)
abstract:this paper presents an improved apriori algorithm. the new algorithm can decrease the i/o operation of the process of mining by means of decreasing the times of database searching. it is shown by the experimental result that the improved algorithm is much more efficient than the traditional algorithm in being applied to mining association rule.
neywords:data mining,association rule,frequent itemset,apriori algorithm
1、引言
随着数据库技术和计算机网络的发展,在海量数据里发现有价值
的知识和信息的工作受到了越来越多的重视。数据挖掘的一个重要方向是关联规则的挖掘,而关联规则挖掘中最经典算法是apriori
算法[1]。但在实际应用中,apriori算法还存在着很多令人不尽满意的地方。有许多文献中也针对这些缺点提出了改进的算法[2],但算法也大多较复杂。本文在这些基础上提出了一种apriori算法新的改进。
2、关联规则定义
设i={i1,i2,…,im}为项目集,d是全体事务记录的集合。i有一个子集是事务t,事务集合t∈i,每个事务记录都有一个标识符tid。关联规则实际上是一个蕴涵式,形如x=>y,其中x∈i,y∈ i 同时x∩y=。其中x是关联规则的条件,y是关联规则的结果。关联规则x=>y对d的支持度的定义是事务集合d中包含有x和y的百分比。关联规则x=>y对d的置信度的定义是事务集合d中同时包含x和y的事务占x的百分比。
3、算法的改进
3.1 改进算法的思路
第一个步骤要简单统计所有含一个元素的项目,其出现的频率,同时找出那些大于或者等于最小支持度的那些项目集,这时就产生了一维频繁项目集g1。接着开始用循环结构处理,一直到不再产生维数更高的频繁项目集为止。循环过程描述如下:在第n步骤中,用第n-1个步骤产生的n-1维频繁项目集来生成n维的候选项目集,接着再用apriori算法来检验新的n维频繁项目集中的所有n-1维项目集是否已经包含在已经计算出的n-1维频繁项目集中。再扫描数据库d中的每个事务,如果该事务中至少含有候选项目集cn中
的一项,那么保留该项事务,否则把该事务与数据库末端未作删除标记的事务进行对换,并且把那个移到数据库末端的事务加上一个删除标记,最后把整个扫描完成的数据库保存到另一个的事务数据库d’中。
3.2 改进后的算法
(1)g1={large1-itemset};
(2)t1=d;
(3)for(n=1; gn≠ ; n++);
(4)cn+1=apriori_gen(gn);
(5)for all transactions t∈tn do begin
(6)ct=subset(gn,t);
(7)t.count=|ct|; //记为t.count
(8)if(t.count;
(9)end;
(10)for all transaction t∈tn+1 do begin;
(11)ct=subset(cn+1,t);
(12)for all candidate c∈ct do begin;
(13)c.sup++;
(14)end;
(15)gn+1={c∈cn+1|c.sup≥min sup};
(16)end;
(17)answer=gn
4、结语
本文在深入研究apriori算法的基础上,,提出了该算法的一种新的改进。改进后的算法在每次产生候选项目集后,删除其中无用的项目集,这样就大大减少了下一步连接产生的项目集的数量,从而能减少扫描数据库次数,节省了整个算法过程需要的存储空间,减少了运算需要的时间。
参考文献
[1] chenm s,han j w and yu p s.,“datamining:an overview from a database perspective,”ieee transactions on nnowledge and data engineering,1996, 8 (6),pp.866-883.
[2] han jw and namberm,datamining concep ts and techniques.beijing:higher education press,2001.
[3] agrawal r and srinant r,“fast algorithms for mining association rules in large databases,“proc.of the 20th intl.conf.on very large data bases,,sep.1994,pp.487-499.作者简介
李晓辉(1977-),吉林省长春市人,主要从事数据挖掘与人工智能研究。