Apriori算法的改进及其在物流信息挖掘中的应用

合集下载

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例Apriori算法是数据挖掘中常用的一种频繁项集挖掘算法,它可以用来发现数据集中频繁出现的项集,从而为关联规则挖掘提供支持。

Apriori算法在处理大规模数据集时存在效率低下的问题。

对Apriori算法进行改进是一项重要的工作,本文将介绍一些Apriori算法的改进方法以及相关的实例应用。

一、改进方法1. 基于FP树的改进FP树(Frequent Pattern tree)是一种用于高效挖掘频繁项集的数据结构,它可以帮助减少遍历数据集的次数,从而提高挖掘效率。

基于FP树的改进主要包括两个步骤:首先构建FP树,然后通过挖掘FP树来发现频繁项集。

FP树的构建过程包括以下几个步骤:首先扫描数据集,统计每个项的支持度,并按支持度排序;然后根据排序后的项集构建FP树的头指针表和FP树;最后根据FP树和头指针表来挖掘频繁项集。

基于FP树的改进方法可以减少数据集的遍历次数,从而提高挖掘效率。

FP树的数据结构可以更快地发现频繁项集,从而进一步提高算法的效率。

2. 基于集合的预处理在进行频繁项集挖掘之前,可以先对数据集进行一些预处理操作,以减少数据集的规模。

预处理过程可以包括去除低支持度的项,合并相似的项,转换数据格式等操作。

通过预处理,可以减少不必要的计算,从而提高算法的效率。

针对大规模数据集的频繁项集挖掘问题,可以采用并行计算的方法来提高算法的效率。

通过并行计算,可以同时处理多个数据块,从而减少算法的运行时间。

二、实例应用下面我们将通过一个实例来演示Apriori算法的改进及其实际应用。

假设我们有一个交易数据集,其中包括多个交易记录,每条记录表示一次购买行为,包括多个商品。

我们的目标是挖掘出频繁出现的商品组合,以及它们之间的关联规则。

通过以上改进方法的应用,我们可以更高效地挖掘频繁项集,并发现商品之间的关联规则,从而为商家提供更准确的销售策略,为消费者提供更个性化的购物推荐。

Apriori算法是一种常用的频繁项集挖掘算法,但在处理大规模数据集时存在效率低下的问题。

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例【摘要】随着数据规模的不断增大,传统的Apriori算法在处理大规模数据集时性能较低。

为了解决这一问题,研究者们提出了多种改进策略。

本文针对Apriori算法的改进及实例进行了研究和探讨。

首先介绍了使用FP-growth算法替代Apriori算法的改进方法,其能够显著提高算法的效率。

其次讨论了剪枝策略的优化,通过精细化的剪枝方法可以减少计算时间。

对并行化处理进行了探讨,使得算法能够更好地应对大规模数据集。

通过实例分析,展示了基于FP-growth算法的关联规则挖掘和优化的剪枝策略在市场篮分析中的应用。

结论部分指出了不同场景下的改进策略对提高算法效率和精度的重要意义。

通过这些改进措施,Apriori算法在处理大规模数据集时将得到更好的应用和推广。

【关键词】关键词:Apriori算法、FP-growth算法、剪枝策略、并行化处理、关联规则挖掘、市场篮分析、大规模数据集、效率、精度1. 引言1.1 Apriori算法的改进及实例Apriori算法是一种经典的关联规则挖掘算法,它通过逐层扫描数据集来发现频繁项集,并基于频繁项集生成关联规则。

随着数据规模的不断增大,Apriori算法在处理大规模数据集时面临着一些效率和性能上的挑战。

为了克服这些挑战,研究者们提出了许多针对Apriori算法的改进方法。

一种常见的改进方法是使用FP-growth算法来替代Apriori算法。

FP-growth算法利用树结构存储数据集信息,减少了对数据集的多次扫描,从而提高了算法的效率。

剪枝策略的优化也是改进Apriori算法的一个重要方向。

通过优化剪枝策略,可以减少频繁项集的生成数量,进而提升算法的性能。

针对多核处理器的并行化处理也是一种改进Apriori算法的方法。

通过将数据集分割成更小的子集,可以实现并行处理,从而加快算法的运行速度。

在接下来的实例部分,我们将分别介绍基于FP-growth算法的关联规则挖掘实例以及优化的剪枝策略在市场篮分析中的应用实例,展示这些改进方法在实际应用中的效果和优势。

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例Apriori算法是一种用于挖掘频繁项集的经典算法,它通过生成候选项集和剪枝的方式来减少搜索空间,从而高效地找到频繁项集。

随着数据规模的不断增大,Apriori算法的效率和性能也受到了挑战。

研究人员们提出了许多改进的方法,以提高Apriori算法的效率和性能。

本文将介绍一些Apriori算法的改进和实例。

1. Apriori算法改进之一:FP-growth算法FP-growth算法是一种基于树结构的频繁项集挖掘算法,它通过构建一棵FP树(频繁模式树)来表示数据集,从而避免了生成候选项集和多次扫描数据集的过程。

FP-growth算法的思想是先构建出数据集的FP树,然后利用FP树来挖掘频繁项集,从而避免了Apriori算法中生成候选项集的过程,大大提高了算法的效率。

下面是一个简单的FP-growth算法的实例:假设有如下的数据集:{1, 2, 3, 4},{1, 2, 4},{1, 2},{2, 3, 4},{2, 3},{3, 4},{2, 4}首先构建数据集的FP树:1) 第一次扫描数据集,统计每个项的支持度,得到频繁1项集{1, 2, 3, 4}和支持度{4, 7, 4, 6};2) 对频繁1项集根据支持度进行排序{4, 7, 6, 4},得到频繁1项集的顺序{3, 1, 4, 2};3) 第二次扫描数据集,创建FP树;4) 根据数据集创建FP树如下图所示:2/| \1 3 4| |4 4FP树的根节点是空集,根据第一次扫描数据集得到频繁1项集的顺序,依次插入树中。

接下来利用FP树来挖掘频繁项集:1) 首先从FP树的叶子节点开始,对于每一个项头表(item header table)中的项,按照条件模式基的方式来获取频繁项集;2) 对于每一个项头表中的项,从叶子节点到根节点回溯,得到条件模式基;3) 对于每一个条件模式基,利用条件FP树来获取频繁项集;4) 依次获取频繁项集{1, 2, 3, 4}、{2, 3, 4}、{2, 4}。

Apriori算法的改进与应用

Apriori算法的改进与应用

摘 要
针 对 数 据 挖 掘 中 关联 规 则 中 Ap r i o r i 算 法会 产 生庞 大 的 候 选 项 集 和 对 数 据 库 的扫 描 时计 算机 会 承 担 较 大 的 I / O 开销 等 问题 , 提 出 了一种 改进 方 法 。该 方 法通 过 对 候 选 项 集 的 先 验 剪 枝 和 对 数 据 库 各 项 集进 行 监 视 优 化 , 从 而 动 态 减 少 扫描 项 集数 目, 使 每 次扫 描 数 据 库 都 是 精 简 高效 的 。 实验 证 明 了改进 算 法 能 有效 提 高挖 掘 速 率 。 关键词 : 数据挖掘 , 关 联规 则 , A p r i o r i 算 法
A p r i o r i 算 法 主 要 存 在 以下 性 能 瓶 颈 问题 :
1 . 1 A p r i o r i 算法 思想 Ap r i o r i 算 法 是 挖 掘 频繁 项 集 的基 本 算 法 ,它 利 用 一 个 层 次 顺 序搜 索 的循 环 方 法 来 完 成 频 繁项 集 的 挖 掘 工 作 。 该 算 法 将 发 现 关 联 规则 的过 程 分 为两 步 : 第一步通过迭代 , 检 索 出 事 务 数 据
ma d e t h e s c a n n i n g i s a l wa y s s i mp l i f i e d a n d e f i c i e n t . T h e e x p e r i me n t p r o v e s t h a t t h e i mp r o v e d a l g o r i t h m c a n e f e c t i v e l y i m—
A p r i o r i 算 法 的 改 进 与 应 用

并行化Apriori算法的改进及其应用

并行化Apriori算法的改进及其应用

并行化Apriori算法的改进及其应用并行化Apriori算法的改进及其应用一、引言数据挖掘是现代社会中不可或缺的技术之一,它可以帮助人们从大规模数据集中发现有用的模式和信息。

Apriori算法作为一种常用的挖掘频繁项集的方法,被广泛应用于市场篮子分析、网络流量分析、推荐系统等领域。

然而,由于Apriori算法计算复杂度高,当数据集规模庞大时,效率会大大降低。

为了解决这一问题,研究者们提出了许多并行化的改进方法。

本文将介绍并行化Apriori算法的改进及其应用。

二、并行化Apriori算法的改进1. 频繁项集划分传统的Apriori算法将所有的频繁项集保存在一个单一的数据结构中,这在大规模数据集上会导致内存压力增大。

为了解决这一问题,一种改进的方法是将频繁项集划分成多个小的集合,每个集合存放在不同的节点上,并行计算频繁项集。

这样做不仅减轻了内存压力,同时也提高了计算速度。

2. 基于事务划分的并行计算为了进一步提高计算效率,可以将事务数据划分成多个部分,不同的部分分配给不同的处理器并发计算。

这种基于事务划分的并行计算方法可以在不同的处理器上同时进行频繁项集的计算,并将最终的结果合并。

3. 基于候选项集划分的并行计算传统的Apriori算法是通过生成候选项集,并计算其支持度来获取频繁项集。

然而,候选项集的生成过程是非常耗时的。

为了提高计算效率,可以将候选项集划分成多个小的集合,每个集合分配给不同的处理器并行计算。

通过合并每个处理器计算得到的频繁项集,可以得到最终的结果。

三、并行化Apriori算法的应用1. 市场篮子分析市场篮子分析是一种通过分析顾客购买商品的方式来发现商品之间的关联关系的方法。

并行化Apriori算法可以在庞大的购物数据集上高效地找出频繁项集,并进一步挖掘出商品之间的关联规则,从而帮助商家制定营销策略和推荐系统。

2. 网络流量分析并行化Apriori算法可以应用于网络流量分析中,帮助发现网络中的异常事件和活动。

Apriori算法的改进

Apriori算法的改进

的, 其目的是为了发现数据库中不同项集之间的联系 规则。通过关联规则发现算法寻找形如“If ( 条件) , else( 结论) ” 的规则, 在关联规则挖掘算法的研究中, Agrawal 提出的 Apriori 算法最为经典, 其基本思想是 重复扫描数据库, 根据一个频繁集的任意子集都是频 繁集的原理, 可以从长度为 k 的频繁集迭代地产生长 度为 k + 1 的候选集; 再扫描数据库以验证其是否为 频繁集。但该算法本身固有缺陷
由以上对样本数据库部分数据的算法演算可见 在第三步和第五步利用改进算法可删除部分不满 得, 足条件的项目集, 以达到减少频繁项目集的作用。从 而加快算法的执行速度和缩减产生频繁项集的数量。
根据本文提出的改进方案, 现在对 L2 中各频繁 项目出现的次数计数, 得出如表 5 。
表5
Item Support a 3 b 2 c 5 d 4 e 1 f 3
K =1 F k = { i | i ∈ I ∧ σ( { i} ) ≥ N × minsup } { 发现所有的频繁 1 - 项集} Repeat K = k +1 C k = apriori - gen( F k - 1 ) { 产生候选项集} For 每个事务 t ∈ Tdo t) { 识别属于 t 的所有候选} Ct = subset( C k , For( 每个候选项集 c ∈ Ct do σ( c) = σ( c) + 1 { 支持度计数增值} End for End for F k = { c | c ∈ Ck ∧ σ( c) ≥ N × minsup } { 提取频繁 k - 项 集} UntilFk = Result = ∪ F k
的数据 D 是数据库事务的集合, 其中每个事务 T 是

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例Apriori算法是一种非常基础的频繁模式挖掘算法,它通过遍历数据集多次来发现数据集中的频繁项集,从而用于规则挖掘等数据分析任务。

然而,由于该算法在遍历数据集时需多次读取数据,其性能通常较低,特别是当数据集较大时。

因此,有必要对Apriori 算法进行改进,以提高算法的效率。

1. 基于剪枝的改进Apriori算法中最费时间的操作之一是在k-项集中查找k+1-项集的所有候选项,而有些候选项可能并不是频繁项集。

因此,可以通过剪枝来减少候选项集合的大小,从而提高算法的效率。

最常用的剪枝策略是Apriori原理。

该原理指出:如果一个项集是频繁的,那么它的所有子集也必须是频繁的。

因此,在构建k+1项集时,可以先对k项集进行剪枝,丢弃不符合Apriori原理的候选项。

例如,在构建3-项集时,可以通过先对2-项集进行剪枝,丢弃不含有频繁2-项集子集的候选3-项集。

由于Apriori算法需要多次遍历数据集,其处理大型数据集的效率相对较低。

为了解决这个问题,可以采用分布式计算的方法。

分布式计算是一种将计算任务分解成多个子任务,交由多个计算节点进行处理的方法,从而加速计算过程。

基于MapReduce的分布式计算框架是实现Apriori算法的有效方式。

该框架可将大型数据集分成多个块,交由多个计算节点并行地处理。

具体地,每个计算节点会首先对本地数据进行频繁项集的挖掘,然后将挖掘结果上传到总控节点。

总控节点会对所有挖掘结果进行汇总和整合,以生成全局频繁项集。

在Apriori算法中,每个项集的大小和每个项的取值范围都可能不同,因此项集的存储和操作会造成较大的开销。

为了减少开销,可以将项集转换为唯一的哈希值,用哈希表代替原始的项集列表进行存储和操作。

基于哈希表的改进可以大大缩小内存开销,从而提高算法的性能。

同时,哈希表的查找和插入操作均可在O(1)时间内完成,可进一步加速算法的运行速度。

举个例子,当处理一个包含数百万个顾客购买记录的数据集时,可以使用基于哈希的改进,将每个顾客购买记录转换为唯一的哈希值,并将哈希值存储在哈希表中。

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例Apriori算法是数据挖掘中常用的关联规则挖掘算法之一,它能够发现数据集中频繁出现的项集及其关联规则。

原始的Apriori算法在处理大规模数据时存在效率低下的问题,因此研究人员提出了许多改进和优化的方法,以提高算法的性能和效率。

本文将介绍Apriori算法的改进方法,并通过实例进行演示。

一、Apriori算法的基本原理Apriori算法是一种基于频繁项集的挖掘方法,它能够从数据集中找出频繁项集及其关联规则。

算法的基本原理是利用Apriori原理,即如果一个项集是频繁的,那么它的所有子集也一定是频繁的。

根据这一原理,算法通过迭代的方式逐步生成频繁项集,然后根据支持度和置信度等指标来发现关联规则。

具体的算法流程如下:1. 首先扫描事务数据库,统计每个项的支持度,并找出频繁1-项集;2. 然后利用频繁1-项集生成候选2-项集,并通过扫描事务数据库统计每个候选2-项集的支持度,筛选出频繁2-项集;3. 依次类推,直到没有新的频繁k-项集生成为止,最后根据频繁项集生成关联规则,并计算它们的置信度。

1. 基于查找表的改进原始的Apriori算法需要多次扫描数据集,统计项集的支持度。

为了避免重复扫描数据集,可以使用查找表来存储项集的支持度信息。

通过构建一个查找表,可以在一次扫描事务数据库后,快速获取项集的支持度,从而提高算法的效率。

2. 剪枝技术的优化Apriori算法在生成候选项集和频繁项集时,采用了自连接和剪枝的技术。

原始的剪枝方法可能会产生大量的候选项集,导致计算复杂度高。

研究人员提出了一些剪枝技术的优化方法,如动态剪枝、预处理剪枝等,以减少候选项集的数量,提高算法的效率。

3. 多层次的数据表示对于大规模数据集,可以采用多层次的数据表示方法,将数据集划分成多个层次,每个层次都是一个粒度较小的子集。

这样可以减少数据集的规模,提高算法的处理效率。

4. 并行化处理随着计算机硬件的发展,可以采用并行化处理的方式来加速Apriori算法的执行。

关联规则中的Apriori挖掘算法改进

关联规则中的Apriori挖掘算法改进

[收稿日期]2008209223 [作者简介]陈应霞(19792),男,2003年大学毕业,助教,硕士生,现主要从事软件开发、数据挖掘方面的研究工作。

关联规则中的Apriori 挖掘算法改进 陈应霞 (长江大学计算机科学学院,湖北荆州434023;上海理工大学计算机与电气工程学院,上海200237) 陈 艳 (长江大学计算机科学学院,湖北荆州434023;华东理工大学信息学院,上海200237)[摘要]关联规则挖掘是数据挖掘研究的一项重要内容。

然而基于候选集的Apriori 算法效率低下。

针对此缺陷,提出了一种NApriori 算法,该算法利用频繁1项集重新组织事务数据库来挖掘关联规则。

此方法仅需扫描数据库2次,且避免了Apriori 算法繁琐的连接和删除步骤,从而提高了挖掘效率。

[关键词]关联规则;数据挖掘;算法;数据库[中图分类号]TP311113[文献标识码]A [文章编号]167321409(2008)042N341203经典的Ap riori 关联规则算法[1]在大量数据的挖掘过程中,必须经过逐层的重复连接与运算步骤,才能找出所有的频繁项集。

它在每一层中都会先产生大量的候选项集,而每一个候选项集又都必须与数据库中的每一笔事务记录做比较,不断地扫描数据库以找出所有符合最小支持度限制的频繁项集,直到找出所有频繁项集或无法再继续产生新的候选项集,而后再利用这些频繁项集探讨事务之间的关系,推导出所有的关联法则。

因为反复与数据库中的事务记录比较,要耗费大量的时间与内存空间,所以Ap riori 效率较低。

针对Ap riori 算法的不足,提出一种新的优化Ap riori 算法:NApriori 。

1 Apriori 算法的改进思想111 修剪频繁集为了提高按层次搜索并产生相应频繁项集的处理效率,Ap riori 算法利用了以下几个重要性质[2]:性质1 一个频繁项目集的任一非空子集必定也是频繁项目集。

Apriori算法的改进及其在物流信息挖掘中的应用

Apriori算法的改进及其在物流信息挖掘中的应用

随着 数 据库 技 术 的不 断 发展 , 据 挖 掘 已经 被 数
则频 繁项 集 的算法 . 随着 挖 掘数 据 库 的不 断 增 大 , 应 用 A r r算法 时每 次迭 代产 生候 选项 目集 以统 计其 pi i o 支 持度 是非 常耗 时 的. 了提 高算 法 的效 率 , pir 为 Ar i o 算 法 的一 系列 改 进 算 法 主 要 在 以下 方 面进 行 优 化 : 1减 少 扫描数 据 库 的次 数 ;) 少 生 成候 选 项 目集 ) 2减 的数 目E . 2 ] 从 A r r算 法可 以看 出 , 法 中的 每一 个 候 选 pii o 算 项集都对数据库扫描一次 , 但是 在候选项集 中的某 些事 务 已经对 频 繁 项 集 的生 成 不 产 生 作 用 . 以减 所 少数 据库 中不起 作用 的事 务 对 于算 法 来说 是 很 有必
背后隐藏的、 对提高企业效率 、 降低成本有价值的信
息, 因此 , 数 据挖掘技 术 帮助 决 策 者分 析 和 处理 采用 数据 , 在物 流决策 过程 中提 供科 学 、 确 的预 测 和决 准 策越来 越受 到人们 的关 注 .
ZHAO u ln Ch n— i g,NI NG n — u Ho g y n
( ho f o p t cec n eh o g , i j n esyo eh o g , i j 0 11 C ia c S ol m ue SineadT c nl y Ta i U i r t f c nl oC r o n n v i T o Ta i 30 9 。 h ) y n n n
A r r 算 法 的 改进 及 其在 物 流 信 息挖 掘 中的 应 用 pi i o
赵春玲 , 宁红云

Apriori算法改进以及应用范围——【人工智能 精品讲义】

Apriori算法改进以及应用范围——【人工智能 精品讲义】
The Apriori algorithm
Apriori算法改进
考虑组合Ck前,对将参与组合的元素进行计数 处理,根据计数结果决定排除一些不符合组合条 件的元素 改进的算法对数据库进行了扫描后的重新生成 (‘删除’一些不能支持频繁集的记录)
Apriori算法改进
Apriori算法改进
Apriori算法应用范围
Apriori算法是一种挖掘关联规则的算法,用于挖 掘其内含的、未知的却又实际存在的数据关系。 应用范围包括: 1.商业领域(产品销售) 2.教育领域(学生课程安排) 3.移动通信领域(用户个性化套餐定制) 4.农业生产mapriori算法改进考虑组合ck前对将参与组合的元素进行计数处理根据计数结果决定排除一些不符合组合条件的元素改进的算法对数据库进行了扫描后的重新生成删除一些不能支持频繁集的记录apriori算法改进apriori算法改进apriori算法应用范围apriori算法是一种挖掘关联规则的算法用于挖掘其内含的未知的却又实际存在的数据关系

Apriori算法的改进及应用_叶福兰

Apriori算法的改进及应用_叶福兰

置信度和作用度加以判断分析,经筛选得出的关联规 则见表 7 所示。
时 间 耗 费 (单 位 :称 )
Apriori 算 法 改 进 的 Apriori 算 法
有包含这两项的项{文学,计算机}与{工业,外语}。
表6 处理过程



5 改进算法与 Apriori 算法的比较
通过上述介绍, 可以看到改 进 的 算 法 与 Apriori 算法的共同之处是通过扫描数据得到那些支持度不 小 于 用 户 给 定 的 最 小 支 持 度 Minsupport 的 频 繁 项 集 Lk,不 同 之 处 在 于 :第 一 , 改 进 的 算 法 首 先 将 数 据 库 变 换成 了 Hash 表 ,因 此 ,在 计 算 支 持 度 时 仅 需 对 k-项 集中出现的项进行扫描,无需对整个 Hash 表扫描;第 二,改进的算法在考虑组合候选项目集 Ck 前,对将参 与组合的元素进行计数处理,根据计数结果决定排除 一些不符合组合条件的元素,这就降低了组合的可能 性,直接减少了循环判断的次数。
机 (总
知道该项集的支持度计数。






M O D E R N C OM P U T E R 2009.9 趶趬
ÁÄÉÂÅÈÃÆÇÈÅÃ实践与经验
3.2 改进算法的基本思想 (1)首 先 ,逐 个 扫 描 事 务 数 据 库 ,产 生 1-项 候 选
表 2 哈希表
ÁÂÃÄÅÆÇÈÉ集合C1,在扫描每个事务时,除了记录包含该项的事
2 相关概念
定义 1 期望置信度(Expected Confidence) 设事务 T 中有 e%的事务支持项集 Y,e%称为关 联规则 X=>Y 的期望置信度。 期望置信度描述了在没 有任何条件影响时,Y 在所有事务中出现的概率有多 大。 如果某天共有 1000 个顾客到商场购买物品,其中 有 200 个顾客购买了牛奶,则上述的关联规则的期望 置信度为 20%。 定义 2 作用度(Lift) 作用度是置信度与期望置信度的比值。 作用度描 述 X 的出现对 Y 的出现有多大的影响。 因为 Y 在所

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例全文共四篇示例,供读者参考第一篇示例:Apriori算法是一种经典的关联规则挖掘算法,它通过扫描数据集来发现频繁项集,并利用频繁项集生成候选关联规则。

Apriori算法在处理大规模数据集时存在效率低下的问题。

研究者们在Apriori算法的基础上进行了一系列改进,以提高算法的效率和准确性。

本文将对Apriori算法的改进以及实例进行详细探讨。

一、Apriori算法的原理Apriori算法基于频繁项集的概念来挖掘数据中的关联规则。

频繁项集是指在数据集中频繁出现的项的集合,而关联规则是指两个项集之间的关系。

Apriori算法的工作流程大致分为两个步骤:对数据集进行扫描,得出频繁一项集;然后,利用频繁一项集生成候选二项集,再对候选二项集进行扫描,得出频繁二项集;以此类推,直到得出所有频繁项集为止。

1. FP-Growth算法FP-Growth算法是一种基于树形数据结构的频繁项集挖掘算法,它采用了一种称为FP树的紧凑数据结构来表示数据集。

与Apriori算法相比,FP-Growth算法不需要生成候选项集,从而提高了算法的效率。

通过压缩数据集和利用树形结构,FP-Growth算法能够在较短的时间内发现频繁项集,特别适用于大规模数据集的挖掘工作。

2. Eclat算法Eclat算法是一种基于垂直数据格式的频繁项集挖掘算法,它在数据集中以垂直的方式存储交易信息。

Eclat算法通过迭代挖掘的方式,从频繁一项集开始,逐步生成更高阶的频繁项集。

与Apriori算法相比,Eclat算法在挖掘频繁项集时能够更快速地完成工作,并且占用更少的内存空间。

3. 基于采样的改进基于采样的改进方法是一种在大规模数据集上提高Apriori算法效率的有效途径。

该方法通过对原始数据集进行采样,从而减少了算法所需的计算资源和时间。

基于采样的改进方法还能够在一定程度上保证挖掘结果的准确性,因此在实际应用中具有一定的实用性。

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例Apriori算法是最常用的用于发现数据集中频繁项集的数据挖掘算法之一。

它能够通过扫描数据集来找出频繁项集,并且可以进一步生成关联规则。

Apriori算法在处理大规模数据集时,会面临计算复杂度高、性能低等问题。

研究者们一直在不断努力寻找改进Apriori算法的方法,以提高其效率和性能。

本文将探讨Apriori算法的改进方法,并举例说明改进后的算法在实际应用中的效果。

一、Apriori算法的基本原理Apriori算法的基本原理是基于先验性质(也就是Apriori性质):如果一个项集是频繁的,那么它的所有子集都必须是频繁的。

该算法主要分为两个步骤:第一步是生成频繁项集,第二步是由频繁项集产生关联规则。

算法通过扫描数据集来统计每个项的支持度,即在数据集中出现的频率。

然后,根据设定的最小支持度阈值,将支持度不足的项剔除。

接着,通过组合频繁项,生成更长的候选项集。

这个过程将重复进行,直到生成的项集不再满足最小支持度要求。

根据频繁项集,生成关联规则,计算置信度,并根据设定的阈值筛选出感兴趣的规则。

1. 剪枝策略剪枝策略是Apriori算法改进的重要方向之一。

通过对候选项集的生成和筛选过程进行优化,可以显著减少计算复杂度。

Apriori算法中最常见的剪枝策略包括:Apriori原理的剪枝、单向扩展和双向扩展、约束满足剪枝等。

这些策略都可以在一定程度上减少候选项集的生成和筛选过程中的计算量,提高算法的效率。

2. 基于预处理的改进基于预处理的改进是另一种提高Apriori算法效率的方法。

通过对数据集进行预处理,可以减少对数据的读取次数和存储空间,提高算法的性能。

可以使用压缩技术对数据集进行压缩存储,减少I/O开销;或者对数据集进行排序和索引,提高数据的访问效率;还可以使用采样技术等进行数据集的简化和降维处理。

3. 并行化处理并行化处理是针对大规模数据集的Apriori算法改进的另一种重要方法。

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例作者:刘建花来源:《电子技术与软件工程》2019年第10期摘要:本文对Aprior算法简介进行阐述,对这种算法进行改进,并以案例验证改进的合理性。

[关键词]Aprior 算法改进实例1Apriori算法概况1.1Apriori算法简介Apriori算法是一种数据挖据的经典算法,此算法具有关联规则模型。

在1994年,由R.Agrawal等人通过研究AIS算法,在这种算法的基础上提出的一种改进算法,这种算法是以一种挖掘数据问题为主要内容。

在关联规则问题上,这种算法的影响力非常大。

Apriori算法隶属于宽度优先算法,即在关联规则中应用宽度优先。

其核心就是对数据库进行扫描,由此产生出候选集,每一次扫描的时间只需要考虑同一个长度的候选集。

同时还要逐级监测这个过程的频繁项集。

在多次扫描结束后,会生成比较多频繁项目集。

1.2Apriori算法概念对某个事件A与B:(1)支持度:几个事件关联出现的概率。

P(A∩B),在同一时间发生A事件与B事件的概率。

(2)置信度:事件的条件概率。

P(B|A),如果事件A已经发生了,同时发生B的概率,可以为P(AB)P(A)。

比如:对购物车的分析:其中有货物为泳镜和泳衣。

[假如支持度为1%;而置信度为60%支持度1%:表示同时购买泳镜与泳衣只有2%。

置信度60%:表示客户购买泳衣的,能够购买泳镜占据60%。

Apriori算法构思和操作都相对比较简单,易于实现。

这种算法采用了逐层搜索迭代法。

算法目的是找到最大的频繁项集,使用“K-1项集”来搜集“K项集”。

首先,从中寻找出数据库频繁的集合,此处为“1项集",采用L作为集合标志位。

通过L1,就能够从中搜寻出频繁项,即为“2项集"的L2,通过相同的方法得出L3,直到无法寻找出“K项集"。

在整个实施运行过程中,每次迭代找出一个Lr,都需要重新扫描一次数据库。

在Apriori算法中,最重要的是连接与剪枝;连接步即为自动连接(将LK与LK连接起来),连接规则就能够确保每个项前K-2为相同项。

Apriori算法的改进及实例

Apriori算法的改进及实例

Apriori算法的改进及实例【摘要】Apriori算法是一种用于挖掘频繁项集的经典算法,但由于其在处理大规模数据时效率较低,因此近年来出现了许多改进方法。

本文首先介绍了Apriori算法的原理,然后探讨了几种常见的改进方法,如Apriori算法的剪枝策略和数据压缩技术。

接着通过一个实例详细展示了改进后的Apriori算法的运作过程,以及其在性能和效率上的优势。

总结了改进后的Apriori算法在实际应用中的广泛范围,并展望了未来其在数据挖掘领域中的重要性和发展方向。

这些改进为提高频繁项集挖掘的效率和精度提供了有力支持,对促进数据挖掘技术的发展具有重要意义。

【关键词】Apriori算法、改进、实例、背景、原理、优点、应用范围、重要性、发展方向1. 引言1.1 介绍Apriori算法Apriori算法是一种经典的关联规则挖掘算法,被广泛应用于数据挖掘领域。

它是基于频繁项集的挖掘方法,通过先找出频繁项集,再利用频繁项集生成强关联规则。

其基本原理是利用Apriori性质,即如果一个项集是频繁的,那么它的所有子集也一定是频繁的。

Apriori算法的工作流程一般分为两个步骤:首先通过扫描数据集获取频繁1项集,再逐层迭代生成频繁k项集。

在每次迭代中,通过连接和剪枝操作筛选出频繁项集,直到不能再生成更多频繁项集为止。

最终得到所有频繁项集,并据此生成关联规则。

由于Apriori算法存在计算复杂度高、候选项集数量庞大等问题,导致其在处理大规模数据集时效率较低。

对Apriori算法进行改进具有重要意义,可以提升算法的效率和性能。

接下来将介绍Apriori算法的改进方法以及改进后的实例,以展示改进后的Apriori算法在实际应用中的优势和应用范围。

1.2 提出改进的背景改进Apriori算法的背景主要包括以下几点:传统的Apriori算法在频繁项集生成和候选项集生成阶段需要多次扫描数据集,计算量较大,效率较低。

Apriori算法在生成候选项集时会产生大量的候选项集,其中很多是非频繁的,这会增加算法的时间和空间复杂度。

Apriori算法优化及其在挖掘学生成绩中的应用

Apriori算法优化及其在挖掘学生成绩中的应用

可编辑摘要随着数据库技术的发展,人们采集数据的能力越来越高,信息快速膨胀,人们急需从这些数据中得到有用的知识,于是数据挖掘技术应运而生。

数据挖掘的过程即是从大量的数据中获取有趣知识的过程,而关联规则作为它的一个重要分支,更是为决策过程提供良好的手段。

本文则是围绕着这一关联规则这一主题进行探索。

首先简单介绍了关联规则的定义、分类、挖掘过程,然后着重介绍了挖掘模型Apriori算法,并提出了一种基于事务压缩的改进算法,最后针对我们信管专业同学的成绩这一成绩作为原始数据,在SPSS Clementine 这一挖掘平台上进行关联规则的挖掘,以获取不同课程学习之间的一些关系。

关键词数据挖掘关联规则 Apriori算法 SPSS ClementineAbstractWith the development of database technology, the capacity for data collection has advanced more and more quickly, inducing the rapid expansion of information, Data mining techniques emerged for people need to get interesting knowledge from these data. Data mining process is to obtain interesting knowledge from a large number of data. Association rules as an important branch of it, is to provide a good means of decision-making process. This article is centered on the theme of this association rules. First, a brief definition of association rules, classification and data mining process, and then focuses on the mining model Apriori algorithm, and proposes a transaction-based compression of the improved algorithm, and finally fuses our students’scores as the original data, making data mining about association rule on the mining plat SPSS Clementine, to obtain a number of different relationships between courses.---------------------------------------------------------可编辑Keywords Data Mining association Apriori SPSS Clementine---------------------------------------------------------可编辑目录目录摘要 (I)Abstract (I)第1章绪论 (3)1.1 课题背景 (3)1.1.1 学术背景 (3)1.1.2 商业背景 (3)1.2 研究内容 (4)第2章关联规则 (5)2.1 基本概念 (5)2.1.1 定义 (5)2.1.2 分类 (5)2.1.3 过程 (6)2.2 Apriori算法 (6)2.2.1 算法思想 (6)2.2.2 实例分析 (6)2.3 Apriori算法改进 (9)2.3.1 改进思想 (9)2.3.2 实例分析 (9)第3章数据挖掘在学生成绩中的应用 (11)3.1 数据挖掘工具简介-SPSS Clementine (11)3.2 建模过程 (11)3.2.1 数据清洗与集成 (11)3.2.2 数据选择与转换 (12)3.2.3 数据挖掘 (12)3.3 模式评估与表示 (13)附 (15)---------------------------------------------------------可编辑第1章绪论1.1课题背景1.1.1学术背景随着数据库技术的逐渐成熟和计算机网络的迅速普及,人们采集数据的能力得到了极大的提高,导致全球范围的信息急剧膨胀,为了对这些少量信息的隐藏知识进行开发,数据挖掘技术应运而生。

apriori算法的改进及其在电力数据挖掘中的应用

apriori算法的改进及其在电力数据挖掘中的应用

apriori算法的改进及其在电力数据挖掘中的应用一、引言随着电力信息化建设的深入推进,电力数据的规模不断增长,如何快速、有效地分析这些数据成为了电力领域的关键问题之一。

数据挖掘被广泛应用于电力数据分析中,然而由于电力数据复杂性大、维度高、数据量大等特点,常规的数据挖掘算法已经难以满足实际需求。

本文针对电力数据挖掘中常用的关联规则挖掘算法——Apriori算法进行改进,以提高其效率和准确性。

此外,还将利用改进后的算法在电力数据挖掘中进行应用研究。

二、Apriori算法概述Apriori算法是一种典型的关联规则挖掘算法,它是通过先验知识来减少候选项集的数量并加速计算过程。

其核心思想是利用频繁项集的性质来压缩搜索空间,从而减少计算量。

具体而言,Apriori算法分为两个阶段:第一个阶段先扫描数据集得出频繁项集,第二个阶段通过频繁项集得出关联规则。

Apriori算法有其优点,但其最大的局限性在于它无法处理大规模数据,因为候选项集的数量会随着数据规模的增加而呈现指数级增长。

因此,我们需要改进这个算法以应对大规模数据的挖掘。

三、Apriori算法改进为了提高Apriori算法在挖掘大规模数据集时的效率,我们提出了以下两点改进方法:1.基于FP-TreeFP-Tree是一种高效的频繁项集挖掘算法,它不需要产生候选项集,可以直接从数据集中构造频繁项集。

在基于FP-Tree的改进算法中,我们可以首先扫描数据集,得到 FP-Tree,然后通过FP-Tree进行频繁模式挖掘(根据原理每个节点都是一种频繁项集)。

相比于常规的Apriori 算法,基于FP-Tree的算法可以极大地减少搜索空间,从而提高挖掘效率。

2.多线程并行计算多线程并行计算是一种常见的加速算法的方法。

在这种方法中,数据集可以被分成多个子集,每个线程负责处理一个子集,通过多线程调度从而提高计算效率。

具体而言,在使用多线程并行计算时,我们可以把数据集拆分成多个子集,然后每个线程都使用Apriori算法来挖掘子集中的频繁项集,最后合并得到全局的频繁项集。

Apriori算法的改进及其在物流信息挖掘中的应用

Apriori算法的改进及其在物流信息挖掘中的应用

Apriori算法的改进及其在物流信息挖掘中的应用
赵春玲;宁红云
【期刊名称】《天津理工大学学报》
【年(卷),期】2007(23)1
【摘要】在分析当前Apriori算法及其改进算法的基础上,提出了一种将Apriori 算法与物流信息挖掘相结合的Apriori改进算法.通过Apriori改进算法与原Apriori算法挖掘结果的比较,说明了Apriori改进算法不仅缩小了剪枝扫描数据库的规模而且减少了生成频繁项目集的候选项目集.
【总页数】4页(P30-33)
【作者】赵春玲;宁红云
【作者单位】天津理工大学,计算机科学与技术学院,天津,300191;天津理工大学,计算机科学与技术学院,天津,300191
【正文语种】中文
【中图分类】TP391
【相关文献】
1.改进的Apriori算法在教育信息挖掘中的应用 [J], 杨强
2.改进的Apriori算法在电大学生信息挖掘中的应用 [J], 陈衡
3.基于改进型Apriori算法数据挖掘技术在煤矿安全预警系统中的应用研究 [J], 汤敏丽
4.改进的Apriori算法在用户WAP上网的喜好数据挖掘系统中的研究与应用 [J],
刘云香;张金
5.数据挖掘中改进的Apriori算法的应用 [J], 刘志先; 赵荣阳
因版权原因,仅展示原文概要,查看原文内容请购买。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第23卷 第1期2007年2月天 津 理 工 大 学 学 报J O URNAL O F T I ANJ I N UN I VERS I T Y O F TECHN OLO GYVol.23No.1Feb.2007 文章编号:16732095X(2007)0120030204.Apr i or i算法的改进及其在物流信息挖掘中的应用赵春玲,宁红云(天津理工大学计算机科学与技术学院,天津300191)摘 要:在分析当前Ap ri ori算法及其改进算法的基础上,提出了一种将Ap ri ori算法与物流信息挖掘相结合的Ap ri ori 改进算法.通过Ap ri ori改进算法与原Ap ri ori算法挖掘结果的比较,说明了Ap ri ori改进算法不仅缩小了剪枝扫描数据库的规模而且减少了生成频繁项目集的候选项目集.关键词:数据挖掘;关联规则;Ap ri ori中图分类号:TP391 文献标识码:AI m provem en t i n Apr i or i a lgor ith m and usi n g i nlog isti cs i n forma ti on m i n i n gZHAO Chun2ling,N I N G Hong2yun(School of Computer Science and Technol ogy,Tianjin University of Technol ogy,Tianjin300191,China)Abstract:By analyzing Ap ri ori alg orith m and its i m p r ove ment,a ne w alg orith m—the i m p r ove ment of Ap ri ori alg orith m was ad2 vanced which was based on Ap ri ori alg orith m and l ogistics infor mati on m ining.This paper als o made a co mparis on bet w een the use of Ap ri ori alg orith m and the i m p r ove ment Ap ri ori alg orith m.Then it p r oved that the i m p r ove ment Ap ri ori alg orith m not only re2 duced the nu mber of scanning data base but als o reduced the nu mber of alternative ite m s which m ight beco me frequent ite m.Key words:data m ining;ass ociati on rules;Ap ri ori 随着数据库技术的不断发展,数据挖掘已经被广泛应用于政府、电力、企业、电信、金融等行业部门[1],而在物流行业的应用还不是很普遍.计算机的广泛应用提高了信息管理科学化的水平和物流的效率,随之而来的是物流系统中数据库规模日益扩大,产生了巨大的数据流.决策者不容易发现大量数据背后隐藏的、对提高企业效率、降低成本有价值的信息,因此,采用数据挖掘技术帮助决策者分析和处理数据,在物流决策过程中提供科学、准确的预测和决策越来越受到人们的关注.1 概 述Ap ri ori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法.随着挖掘数据库的不断增大,应用Ap ri ori算法时每次迭代产生候选项目集以统计其支持度是非常耗时的.为了提高算法的效率,Ap ri ori 算法的一系列改进算法主要在以下方面进行优化: 1)减少扫描数据库的次数;2)减少生成候选项目集的数目[2].从Ap ri ori算法可以看出,算法中的每一个候选项集都对数据库扫描一次,但是在候选项集中的某些事务已经对频繁项集的生成不产生作用.所以减少数据库中不起作用的事务对于算法来说是很有必要的.在文献[3]中作者把支持度小于最小支持度、对后面的频繁项集不起作用的事务直接从数据库中删除,这样降低了候选项集的计数速度,在一定程度收稿日期:2006205204.基金项目:天津市自然科学基金(043600511);天津市高等学校科技发展基金(20030618).第一作者:赵春玲(1982— ),女,硕士研究生.通讯作者:宁红云(1969— ),女,副教授,硕士生导师.上提高了算法的效率.在Ap ri ori算法中,项集都是按照字母顺序来排序,那么改变项集的排列顺序是否可以提高算法的效率呢?在文献[4]中作者就考虑到了这个问题,采用了升序来排列项集,大大减少了冗余数据,从而减少了求频繁项集的计算开销.现有的Ap ri ori的改进算法,基本上都是只从优化Ap ri ori算法的其中一项来考虑的,并且也没有专门为物流信息挖掘量身定做的算法.本文就分析了这些Ap ri ori的改进算法的基础上,提出了针对物流信息挖掘的Ap ri ori的改进算法,该算法既能减少扫描数据库的次数,又能减少不可能成为频繁项目集的候选项目集数目,从而提高了算法的效率.2 物流信息挖掘的步骤2.1 物流信息挖掘解决的问题在物流决策支持系统中首先明确挖掘的目标就是发现在未来物流市场上的货物流向,物流用户通过该决策支持系统可以发现不同的货主选择把同样的一批货物分别运往的目的地,而物流企业可以通过物流决策支持系统发现未来的物流市场可能出现的变动.2.2 物流信息挖掘的数据收集和预处理为了解决这些问题,物流信息挖掘收集了第三方物流管理信息系统中的关于物流活动的大量数据.而这些数据的数据源并不相同,为了操作方便,把这些数据集成于数据仓库中.在第三方物流管理信息系统中,随着物流活动的不断发生,从中得到的数据集也会越来越大,因此这里利用了采样来缩减数据的大小.利用采样来发现频繁项集,在随机得到的样本上而不是在整个数据库上发现频繁项集,这样可以在基本不影响可信度的情况下减少分析过程的时间.2.3 物流信息挖掘的数据挖掘算法执行在物流管理信息系统中,物流企业可以通过物流信息挖掘发现最近的货物流向.而对于物流用户同样可以从物流信息挖掘中得到关于物流市场的发展趋势,对物流用户的决策运输的货物种类提供了支持.2.4 物流信息挖掘的结果解释和评估将可视化工具与挖掘工具结合起来,把每次的分析结果清晰、准确、明了的表达出来.该物流决策支持系统经物流用户和物流企业使用以后,根据用户反馈进行结果评估.3 物流信息挖掘算法3.1 Ap ri ori算法介绍Ap ri ori算法是关联规则挖掘中最具有影响的一种算法.所谓关联规则就是从事务数据库、关系数据库和其他数据存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性.关联规则可以分为两步:1)找出所有频繁项集.这部分主要由后面介绍的Ap ri ori算法来解决.2)由频繁项集产生相关联规则:这些规则必须满足最小支持度和最小置信度.设项的集合I是数据库中的一条纪录,即I= {i1,i2,…,i m},其中i j(1≤j≤m)是某公司的一条合同纪录,每次调用一条合同纪录都包含有如合同编号、公司编号、用户编号、开始日期、结束日期、合同费用等数据,称此类数据为数据项.Tj∈I为I的一个子集,D={T1,T2,…,T n}是关于T i的集合,且X∈I, Y∈I,X∩Y=ф,则纪录X≥Y为在集合D中X与Y 相互关联的规则[5].支持度:如果X≥Y在T中的S%成立,则称X≥Y的支持度为S%,即S%=(|{t|t中包含有X,Y}||T|)×100%也就是X和Y这两个项集在D中同时出现的概率.置信度:在出现项集A的D中,项集B也同时出现的概率,即C%=(|{t|t中包含有X,Y}||{t|t中包含有X}|)×100%置信度表示的是规则的强度.项的集合称项集,包含k个项的项集成为k2项集.项集的出现频率是包含项集的事务数,简称为项集的频率.如果项集的频率>m in sup×D中的事务数,则称该项集为频繁项集.Ap ri ori算法的核心是使用候选项集找频繁项集.Ap ri ori算法利用频繁项集性质的先验知识(p ri or kno wledge),通过逐层搜索的迭代方法,即将k2项集用于探索(k+1)项集,来穷尽数据集中的所有频繁项集.首先,找出频繁12项集的集合,记作L1.L1用于找频繁22项集的集合L2,而L2用于找L3,如此找下去,直到不能找到频繁k2项集.其核心思想简要描述如下[6]:1)L1=find_frequent_12ite m sets(D);・13・2007年2月 赵春玲,等:Ap ri ori算法的改进及其在物流信息挖掘中的应用 2)for (k =2;L k 21≠φ;k ++){3)C k =ap ri ori_gen (L k 21,m in_sup );4)for each transacti on t ∈D {scan D f or counts 5)C t =subset (C k ,t );//事务t 中包含的候选集;6)for allcandidates c ∈C t do 7)c .count ++;8)}9)L k ={c ∈C k |c .count ≥m insup}10)}11)return L =U k L k ;其中的3)利用L k 21中两个项集相连接来判断是否满足最小支持度.3.2 Apr i or i 算法的改进Ap ri ori 的性质:频繁项集的所有非空子集都必须也是频繁项集.将Ap ri ori 性质用于找频繁项集,由连接和剪枝两个步骤组成.连接:为了找L k ,通过L k 21中两个项集相连结以获得一个L k 的候选项集C k .剪枝:C k 是L k 的一个超集,它其中的各项集不一定都是频繁项集,但所有的频繁k 2项集一定都在C k ,即有L k ΑC k .扫描一遍数据库就可以决定C k 中各候选项集的支持频度,并由此获得L k 中各个元素.所有频度不小于最小支持频度的候选项集就是属于L k 的频繁项集.由于C k 中候选项集很多,所以涉及到的计算量就会很大,为了减少C k 的大小,需要用到Ap ri ori 性质:一个非频繁(k 21)2项集不可能成为频繁k 2项集的一个子集.因此若一个候选k 2项集中任一子集((k 21)2项集)不属于L k 21,那么该候选项k 项集就不可能成为一个频繁k 2项集,因而也就可以将其从C k 中删去.Ap ri ori 算法利用Ap ri ori 性质已经对候选项集的大小进行了大幅度压缩,但是仍然避免不了频繁的扫描整个数据库进行支持度的计算,这样对算法的效率影响就比较大.本文利用改进的Ap ri ori 算法在第一次遍历之后就不用数据库D 来计算支持度,而用集合C ’k 来计算,并且利用L k 21对C ’k 进行筛选,不符合最小支持度的元素从C ’k 中删除,而且将项数小于或等于(k 21)的事务删除以缩小C ’k .改进的Ap ri ori 算法利用事务数据库D 产生12项集C 1,然后扫描数据库D (C ’1),对每个项的出现次数计数,确定频繁12项集,同时将不满足最小支持度条件的项从D 中删除,并且将项数少于2的事务从D 中删除,产生C ’2,然后由C ’2产生候选22项集C 2,可以减少候选22项集C 2中项的数量.这样可以有效的缩小事务数据库,并减少k 2项集项C k 的数量,提高效率.3.3 算法比较在第三方物流管理信息系统中,数据库D 为第三方物流管理信息系统中的物流活动数据库.由于数据较多,这里所给出的数据表中只列出了部分数据,见表1.表1 物流活动Tab .1 L og isti c acti on s合同编号公司编号用户编号目的地货物类型00177333北京A 00288444上海B 00377111北京C 00477444上海B 00566111天津C 00666333天津A……………之所以选择这几个属性进行关联规则挖掘,是因为必须得同时考虑到物流用户和物流企业两方面的需求.这里只对物流企业管理系统来加以说明.假设物流企业对货物A 进行操作,则得到事务数据库D.本文使用原Ap ri ori 算法与改进的Ap ri ori 算法分别对同一数据库表1进行挖掘,从挖掘过程和结果可以很清楚的看出两个算法的区别.使用未经改进的原Ap ri or 算法,假设最小支持计数为2,算法使用过程如图1.最后比较候选支持度计数与最小支持度计数进行比较,得出频繁32项集如图1中L 3.对表1使用改进的Ap ri ori 算法.假设最小支持计数也为2,则算法的使用过程如图2.首先扫描整个事务数据库,对每个项的出现次数计数,产生候选集C 1,因为天津、重庆不能满足事先规定的最小支持度,所以生成频繁集L 1时要去掉天津、重庆,根据改进算法从D 中删除包括天津、重庆的项,其中,1中去掉天津,就成为只有一个元素的项,应该在C 2中不能被选中,故删除1.同样的原理将3消减为包含3个元素的项;生成C ’2.根据Ap ri ori 的性质和数据库C ’2中出现次数生成C 2,在C 2中{上海,南京}不满足最小支持度,去除{上海,南京}生成L 2,根据Ap ri ori 改进算法从C ’2中删除包含{上海,南京}的项,其中2成为只包含2个元素的项,5为包含一个・23・ 天 津 理 工 大 学 学 报 第23卷 第1期元素的项,应该在C 3中不能被选中,故删除2和5,根据算法性质得到C ’3;根据Ap ri ori 的性质和数据库C ’3中出现次数生成C 3,从而得到最终的频繁32项集L 3.图1 Apr i or i 算法 图2 改进的Apr i or i 算法 F i g .1 Apr i or i A lgor ith m F i g .2 I m proved Apr i or i A lgor ith m3.4 结果分析通过以上对Ap ri ori 算法和改进的Ap ri ori 算法的使用分析,可以看出改进的Ap ri ori 算法不仅减少了扫描数据库的次数,而且减少了生成频繁项目集的候选项目集,很大程度上提高了算法的效率.4 结 语本文介绍了关联规则挖掘、Ap ri ori 算法和Ap ri 2ori 改进算法,并重点从物流信息挖掘出发,分别用Ap ri ori 算法和Ap ri ori 的改进算法,对第三方物流管理信息系统中的数据进行挖掘和分析,用分析结果来对这两种算法进行比较,并且产生对物流管理具有指导意义的反馈信息.关联规则挖掘的应用非常广泛,需要研究的问题很多,如何把关联规则与实际问题紧密结合,是数据挖掘的一个方向.本文在关联规则算法分析的基础上,对物流决策支持系统的应用作了一些探讨,如何对算法进一步优化,是今后继续研究的重要课题.参 考 文 献:[1]王创新.关联规则提取中对Ap ri ori 算法的一种改进[J ].计算机工程与应用,2004,34:1832185.[2] 马盈仓.挖掘关联规则中Ap ri ori 算法的改进[J ].计算机应用与软件.2004,21(11):82284.[3] 李清峰,杨路明,张晓峰,等.数据挖掘中关联规则的一种高效A ri ori 算法[J ].计算机应用与软件,2004,21(12):84286.[4] 冯兴杰,周 谆.Ap ri ori 算法的改进[J ].计算机工程,2005,31(S1):1722173.[5] J iawei H,M icheline K .数据挖掘概念与技术[Z].范 明,孟小峰,译.北京:机械工业出版社,2003.1892203.[6] 邵峰晶,于忠清.数据挖掘原理与算法[M ].北京:中国水利水电出版,2003.1572162.・33・2007年2月 赵春玲,等:Ap ri ori 算法的改进及其在物流信息挖掘中的应用 。

相关文档
最新文档