频繁模式挖掘中的剪枝策略

1
引言
个采用该剪枝策略的最大频繁模式挖掘算法, 我 们称之为 MinMax 算法。理论分析和试验表明: 由 于该剪枝策略的采用 , 搜索空间被大幅度削减, 算 法效率得到明显提高。
频繁模式挖掘是关联规则、 序列模式、 因果关 系、 最大模式、 多维模式等众多挖掘问题的核心, 已成为近年数据挖掘领域的研究热点。频繁模式 挖掘是挖掘算法中最耗时的部分。挖掘算法的时 间复杂性通常是数据库中项数的指数函数 , 剪枝 优化策略被广泛应用于改善挖掘算法的效率。目 前, 频 繁模式 挖掘中 的剪枝 策略主 要有以 下三 类 : ( 1) 利用不频繁的子模式剪枝 ; ( 2) 利用 频繁的超模式剪枝; ( 3) 利用父子关系剪枝。这 些剪枝策略通常会被综合使用, 但它们仍然会产 生冗余节点, 搜索效率尚不令人满意。本文提出
王 卉1, 2 , 李庆华1 , 马传香1 , 李肯立1 WANG Hui1 , 2 , LI Qing hua1 , MA Chuan xiang1, LI Ken li1 ( 1. 华中科技大学计算机学院, 湖北, 武汉 430074; 2. 通信学院, 湖北 , 武汉 430010) ( 1. School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan 430074; 2. Wuhan Communication College, Wuhan 430010, China) 摘 要 : 本文在研究已有剪枝策略的基础上, 提出一种基于堆栈的多层回退剪枝新技术, 并给出一 个采用该剪枝策略的最大频繁模式挖掘算法 。分析与试验证明 , 该算法大大削减了搜索空间 , 效率优于 已有同类算法。 Abstract: redundant nodes. A new pruning strategy called the mult i level backtracking strategy is presented in this paper, along with a maximal frequent pattern mining algorithm called MinMax , which adopts mult i level back tracking. The analysis and experimental results show that MinMax prunes the search space more strongly and effi ciently than most other algorithms. 关键词: 频繁模式; 剪枝; 模式挖掘 Key words: frequent pattern; pruning strategy; pattern mining 中图分类号 : TP311. 13 文献标识码 : A 一种基于堆栈的多层回退剪枝新方法 , 并给出一
为频繁模式。 含有 k 个元素的频繁模式称为频繁 k 模式, 频繁 1 模式也称频繁项, 中所有频繁 k 模式的 , 且不 集合记做 Fk 。 定义 4 最大频繁模式: 如果 f ( X ) 存在 Y 使 Y ! X 且 f ( Y ) 模式。 设
, 则称 X 为最大频繁 中所有频繁模 I !f ( X )
CN43 1258/TP ISSN 1007 130X
计算机工程与科学
COMPUTER ENGINEERING & SCIENCE
2003 年第 25 卷第 4 期 Vol 25, No 4, 2003
文章编号: 1007 130X( 2003) 04 0065 04
频繁模式挖掘中的剪枝策略 The Pruning Strategies for Frequent Pattern Mining
}| 推论 1 如果 g ( x 1) > g ( x 2) , 则 x 2 比 x 1 造 成的不频繁模式多。 证明 由定义 5 可知推论 1 成立。 ∃ 推论 2 如果 f ( x 1) < f ( x 2) , 则 x 1 比 x 2 造 成的不频繁模式多。 证明 设 tid 是数据库 中任意一个事务的 识别号 , x 1、 x 2 和 y 是 I 中任意项 , P ( { x } ) 是 tid 在 x 中发生的概率 , P ( { x , y } ) 是 tid 在 x 和 y 中 同时 发 生 的 概 率。由 f ( x 1 ) < f ( x 2 ) 可 知 P ( { x 1} ) < P( { x 2} ) 。因为 P( { x , y } ) = P ( { x } ) * P ( { y } ) , 故 P ( { x 1, y } ) < P ( { x 2, y } ) , f ( { x 1, y } ) < f ( { x 2, y } ) , x 1 比 x 2 造成的频繁模式少, x 1 比 x 2 造成的不频繁模式多。 ∃ 定理 3 设以节点 node ( head, tail ) 为根的子 树中 有最 大频 繁模 式 P, P = head # tail , 则以 node 为根的子树中所有节点都是频繁模式。 证明 由节点扩展的过程可知: 在以 node 为 根的 子树中 , 任 何节 点 son _node 均有 son _node head # tail 成立。由 P = head # tail 知 son_node P 。已知 P 是频繁的, 故 son_node 是频繁的。 ∃
前节点, head 是当前 频繁模 式, tail 是 可使 head 进一步扩展的所有元素, f lagbits 表示与 tail 中各 元素对应的标志位, 0 表示对应的元素尚未考虑, 1 表示已考虑。初始状态下 , head = , tail = F 1, 所有的标志位 为 0。结束状态下 , 所有的标志位 为 1。
收稿日期 : 2002 12 12; 修订日期 : 2003 03 01 基金项目 : 国家自然科学基金资助项目 ( 60273075) 作者简介 : 王卉 ( 1962- ) , 女 , 湖北武汉人 , 博士生 , 副教授 , 研究方向为数据挖掘和并行算法。 通讯地址 : 430074 湖北省武汉市华中科技大学西三区 1 栋 204 室 ; Tel: 13554063330 Address: Room 204, Building 1, t he 3rd Region West, Huazhong U niversity of Science and Technology, Wuhan, Hubei 430074, P. R. China
tid 1 2 3 4 5 6
ቤተ መጻሕፍቲ ባይዱ
it emset A BCE CDE A BCE ACDE ABCDE BCD
item A B C D E
f 4 4 6 4 5
g 1 1 0 2 0
4 最大频繁模式挖掘算法 MinMax
MinMax 算法采用深度优先搜索 方法求出所 有最大频繁模式的集合M 。用一个栈保持搜索路 径, 实现多层回退剪枝。在初始情况下 , 将频繁项 集 F 1 按 g % f & 进行排序。这样会使 head 得到 较小的 tail , 可尽快到达一个叶节点, 利用已知的 最大频繁模式进行剪枝。除了采用多层回退剪枝 策略( 算法第 7 行 ) 以外 , MinMax 也利用定理 1( 算 法第 6 行) 和定理 2( 算法第 5 行) 进行剪枝。 4. 1 算法描述
和 M 分别表示数据库
式和最大频繁模式的集合 ,
= {X | X
}, M= { X | X ∀ ! ∀ Y( Y ! X ! Y ∀ } , 有 ! 。由于一个长度为 m 的最大频繁模式 含有 2 个频繁模式 , 因此, | M | = |
m
| 。给定最
小频度阈值 和数据库 , 挖掘频繁模式的目标 就是从数据库 中找出 。根据定义可知 , 最大 频繁模式中包含了所有的频繁模式。因此 , 求 的问题也就等价于求 M 。 将频繁模 式的挖掘问题看 作是一个 搜索问 题。设每个节点 node 由 head 和 tail 两部分组成。 初始状态时 , head = , tail = I 。节点 node 的 tail 中元素的个数是该节 点可扩展的下 一层的节点 数。设 tail = { a1 , a2 , , an } , 那么 节点 ( head, tail ) 对应的下一层节点有 n 个, 每个节点是( head # { ai } , { ai + 1 , a i+ 2 , , a n } ) , i = 1, 2, , n 。这 样, 挖掘具有 n 个项的数据库中的频繁模式的搜 索空间( 也有文献称 lattice) 有 2 个节点。搜索的 目标就是找出所有 频繁的 head 。我们用节点的 名称或其 head 和 tail 的并集 head # tail 来表示该 节点。 根据频繁模式的定义, 有如下定理 1 和定理 2。 定理 1 频繁模式的任何子模式都是频繁模 式。 定理 2 不频繁模式的任何超模式都不是频 繁模式。 定义 5 不频度 : 频繁项 x 的不频度 g ( x ) 是 它在数据库 中能造成不频繁 2 模式的个数。 g( x ) = | { y | y ∀ F 1 ! x ∀ F 1 ! f ( { x , y } ) < 66
[ 1~ 4]
2
有关术语和定义
为叙述的完整性和方便性, 本文归纳整理了
定义 1~ 4 和定理 1~ 2, 并提出定义 5、 推论 1~ 2 和定理 3 。设 I = { i 1 , i 2 , , i n } 是由 n 个不同的 项组成的集合。 是由事务组成的数据库 , T 为 中的一条事务 , 并由一个唯一的 id 来标识。 定义 1 模式: 称集合 X I 为模式 , 也称为
n
3
多层回退剪枝策略