流数据频繁模式挖掘算法汇总

频繁模式挖掘

常用的概念：

事务数据库：

时间ID：

项集(item set)：

重要算法：

1、A priori

主要思想就是从大小1开始遍历可能频繁集k，当满足V所有集合子集都在之前计算过的频繁集k中，且出现次数满足频繁要求，则V为k+1频繁集这样做有如下好处：如果一个集合是频繁集，那么它的所有子集都是频繁集；

如果一个集合不是频繁集，那么它的所有超集都不会是频繁集

缺点就是要多次扫描事务数据库

2、F P-growth

可以用来识别包含某个元素的最大频繁集。

FP-growth算法通过构造FP-tree来实现，FP-tree由频繁项集表和前缀树构成。

FP-tree的构建需要扫描两遍数据库，

（1）第一遍对所有元素技术并降序排序，然后将数据库中每个事务里的元素按照这个顺序重新排序

（2）按照项头表的顺序逐渐插入元素

···

（3）FP-tree的挖掘

得到了FP树和项头表以及节点链表，我们首先要从项头表的底部项依次向上挖掘。对于项头表对应于FP树的每一项，我们要找到它的条件模式基。所谓条件模式基是以我们要挖掘的节点作为叶子节点所对应的FP子树。得到这个FP子树，我们将子树中每个节点的的计数设置为叶子节点的计数，并删除计数低于支持度的节点。从这个条件模式基，我们就可以递归挖掘得到频繁项集了。

（1）先从F挖掘

通过它，我们很容易得到F的频繁2项集为{A:2,F:2}, {C:2,F:2}, {E:2,F:2}, {B:2,F:2}。递归合并二项集，得到频繁三项集为{A:2,C:2,F:2}，{A:2,E:2,F:2},...还有一些频繁三项集，就不写了。当然一直递归下去，最大的频繁项集为频繁5项集，为{A:2,C:2,E:2,B:2,F:2}

（2）继续挖掘D

因为它有两个叶子节点，因此首先得到的FP子树如下图左。我们接着将所有的祖先节点计数设置为叶子节点的计数，即变成{A:2, C:2,E:1 G:1,D:1, D:1}此时E节点和G 节点由于在条件模式基里面的支持度低于阈值，被我们删除，最终在去除低支持度节点并不包括叶子节点后D的条件模式基为{A:2, C:2}。通过它，我们很容易得到D 的频繁2项集为{A:2,D:2}, {C:2,D:2}。递归合并二项集，得到频繁三项集为{A:2,C:2,D:2}。

D对应的最大的频繁项集为频繁3项集。

3、L ossycounting

我们定义两个参数，一个是支持度阈值s，一个是允许错误范围参数（）。如果我们想要找出出现频率超过0.1%的元素，则s=0.1%。我们要找到出现次数超过s*m的元素。算法返回的结果里面允许一定的错误，但是允许的范围是ε*m，也就是说结果中不会出现次数少于(s-ε)*m的元素。

算法的大致过程很简单，描述如下：将整个数据流切分成多个窗口。

对于第一个窗口，先统计每个元素及其出现次数，处理结束后，每个元素的出现次数都减一。

然后继续处理后面的窗口。每处理完一个窗口对保存的所有元素的出现次数都减一。

算法输出最终计数超过(s-ε)*m的元素。

如果整个流的长度为m，窗口大小w=1/ε。这样任意元素元素统计的最大误差是εm

4、M oment

Moment算法用来挖掘频繁闭项，通过维护CET(Closed Enumeration Tree)来实现。

CET中有4种节点：

（1）当进入一个新的事务时，对上面四种节点进行更新：

（2）当一个事务从windows中离开时

5、F P-stream

FP-stream的时间窗是不均匀的时间窗

FP-stream算法用到的数据结构：

（1）FP-stream 算法成批地处理流中的事务，具体步骤如下。算法对第1 批事务1B 的处理与此后其余批事务有所不同。当第1 批事务B1 到达后，计算所有项目在1B 中出现的频率，并生成一个按出现频率逆序排序的列表f_list。在此后的挖掘过程中将依照f_list 的顺序对每个事务中的项目进行排序，但f_list 保持不变。然后，扫描第1 批事务B1 ，删除所有频度低于ε·sup(B) 的项，对每个事务按照f_list 的顺序排序，创建FP-tree。接着利用FP-growth 算法挖掘出所有频繁项集，并创建FP-stream 结构。

（2）此后，对每批事务Bi的处理方式相同，步骤如下：初始化一个空的FP-tree，将每个事务按f_list 排序后，插入FP-tree；然后利用修改的FP-growth算法挖掘所有频繁项集。具体地说，对挖掘到的每个项集I ，检查I 是否在FP-stream 结构中。如果I在FP-stream 结构中，把supI(B)添加到I 的倾斜时间窗表格中，并对其进行裁减。如果裁减后表格为空，将不再挖掘I 的超集，从FP-stream 结构中删除项集I 及其超集的工作将在下一个步骤扫描FP-stream 结构时进行。如果裁减后倾斜时间窗表格不为空，则用FP-growth 继续挖掘I 的超集。

否则，如果I 不在FP-stream结构中并且supI(B)≥ε·sup(B) ，则将I 插入其中，此时I 的倾斜时间窗口表中只有supI(B)一项。

（3）接下来，深度优先扫描FP-stream 结构，对每个项集I 检查是否在B 的挖掘过程中更新过。如果没有更新，表示项集I 没有在B 中出现，则在其倾斜时间窗表格中插入0，并执行倾斜时间窗的裁减。如果遇到某个项集的倾斜时间窗表格为空，则删除该项集及其超集。