第十一章-序列模式挖掘

/subscribe.html 发送一份邮件 还可以下载各种各样的数据挖掘工具和典型的样本数据。
2、其它网址
/~kdd /~anp/TheDataMine.html http://www.gmd.de/ml-archive /AI/ML/Machine-Learning.html /maincat.thml#45 http://www.neuroney.ph.kcl.ac.ul a.de/~prechelt/FAQ/neural-net-
定β=义β11→1-β22→设⋯序→列βmα=。α若1→存α在2→整⋯数→i1α<n，i2<序⋯列<in，使得 ， 则称序列α是序1 列βi1 ,的子2 序列i2 , .，..,或n序列inβ包含序列α。在 一组序列中,如果某序列α不包含其他任何序列中，则称 α是该组中最长序列(Maximal sequence)。
1
30
02.10.25
一个客户90所有的0事2.1务0.3可0 以综合的看成是一个序列，每一
个 成事一2 务 个都序由列1相。03,02应称0 的这一样00个的22..11项序00..11集列50 来为表客示户。序交事列易1 务。号 按通交常易，客时将户(3购间一0),物(序个90序排客) 列列户 的 义交成3 易ite按ms交e43t00易(,,T6500时i),,77。00间这排样00序22..，11成00..这22T05个1 ，客T户2 ，的…客234…户，序T列(n1。成0,(23T了00()i)中3,这((043,00的5样,)07,(,项074的)00(),9集6一00)定,个70) 序列4 ：〈ite4m03,0s7e0t(T1)00i22t..e11m00..21s15et(T2) … item5 set(Tn)〉。 (90)
4) 序列阶段利用已知的频繁集的集合来找到所需的序列。 类似于关联的Apriori算法。
算法示例
1) 在给出的数据库中，找出所有频繁1-序
列组成的集合：(30) (40) (70) (40,70)
和
(90)
交易号 1 2 3 4 5
客户购物序列 (30),(90)
(10,20),(30),(40,60,70) (30,50,70)
算法示例
<{1 5}{2}{3}{4}>
<{1}{3}{4}{3 5}>
<{1}{2}{3}{4}>
<{1}{3}{5}>
<{4}{5}>
1_项集 支持度
2_项集 支持度
1
4
<1,2>
2
3_项集 支持度
2
2
<1,3>
4
<1,2,3> 2
3
4
<1,4>
3
<1,2,4> 2
4
4
<1,5>
3
<1,3,4> 3
频繁项集
映射成
(30),(90)
{(30)}{(90)}
{1},{5}
(10,20),(30),(40,60,70) {(30)}{(40)(70)(40,70)} {1},{2,3,4}
(30,50,70)
{(30)(70)}
{1,3}
(30)(40,70)(90) {(30)}{(40)(70)(40,70)}{(90)}{1}{2,3,4}{5}
SGI的MineSet：提供的挖掘算法有关联和分类以及高级 统计和可视化工具。特色是具有强大的图形工具，包括规则 可视化工具、树可视化工具、地图可视化工具和多维数据分 散可视化工具，它们用于实现数据和数据挖掘结果的可视化。 ISL的Clementine：为终端用户和开发者提供了一个集成的 数据挖掘开发环境。系统集成了多种数据挖掘算法，如规则 归纳、神经网络、分类和可视化工具。Clementine现已被 SPSS公司收购。
(30)(40,70)(90) (90)
频繁项集
（30） （40） （70） （40,70） （90）
映射成 1 2 3 4 5
2) 给一个可行的映射。
好处：将频繁集按一个实体的形式进行处理，可以带来比 较和处理上的方便和高效，提供了一个统一的格式。
算法示例
3)转换。为了使这个过程尽量的快，用另一种形 式来替换每一个客户序列。
算法示例
交易号 1 2 3 4 5
客户购物序列 (30),(90)
(10,20),(30),(40,60,70) (30,50,70)
(30)(40,70)(90) (90)
频繁项集
（30） （40） （70） （40，70） （90）
映射成 1 2 3 4 5
交易号 1 2 3 4 5
客户购物序列
(90)
{(90)}
{5}
算法示例
例：考察右图所示的 一个客户序列组成的 数据库，假定客户序 列已经以转换的形式 出现了，每一条交易 都被包含其中的频繁 项集取代，频繁项集 则由整数代替。最小 支持数据定义为2。
<{1 5}{2}{3}{4}> <{1}{3}{4}{3 5}> <{1}{2}{3}{4}> <{1}{3}{5}> <{4}{5}>
< (30) (90) > 和
< (30) (40,70) >
在那些满足支持度约束 的序列中是最大的，也 是我们所需的序列模式。
交易号 1 2 3 4 5
客户购物序列 (30),(90)
(10,20),(30),(40,60,70) (30,50,70)
(30)(40,70)(90) (90)
序列挖掘算法
附：一、典型的工具
IBM Intelligent Miner:提供了很多数据挖掘 算法，包括关联、分类、回归、预测模型、偏离检 测、序列模式分析和聚类。
DBMiner:提供多种数据挖掘方法，包括发现驱动 的OLAP分析、关联、分类和聚集。特色是它的基 于数据立方体的联机分析挖掘，它包含多种有效的 频繁模式挖掘功能和集成的可视化分类方法。
序列挖掘—基本概念
定义11-3 给定序列S，序列数据库DT,序列 S的支持度（Support）是指S在DT中相对 于整个数据库元组而言所包含S的元组出现 的百分比。支持度大于最小支持度(min-
sup)的k-序列,称为DT上的频繁k-序列。
相关概念及定义
客户客号户序物品列(Item) 时间
5
4
<2,3>
2
<1,3,5> 2
<2,4>
2
<2,3,4> 2
<3,4>
3
<3,5>
2
<4,5>
2
4_项集 支持度 <1,2,3,4> 4
下次遍历不好会产生候选，最大序列是以下三个：<1 2
3 4>,<1 3 5>和<4 5>。
附：一、典型的工具有：
SAS Enterprise Miner：提供的数据挖掘包括回归、分类 和统计分析包。它的特色是具有多种统计分析工具。
近年来序列模式挖掘已经成为数据挖掘的一个重要方面， 其应用范围也不局限于交易数据库，在DNA分析等尖端 科学研究领域、Web访问等新型应用数据源等众多方面 得到针对性研究。
一、序列模式的概念及定义
举例说明，比如有顾客租借录像带，典型的顺序是先租 “星球大战”，然后是“帝国反击战”，再是“杰达武 士归来”(这三部影片是以故事发生的时间先后而情节连 续的)。值得注意的是租借这三部电影的行为并不一定需 要是连续的。在任意两部之间随便插租了什么电影，仍 然还是满足了这个序列模式，并且扩展一下，序列模式 的元素也可以不只是一个元素(如一部电影)，它也可以 是一个项集(item set)。
最大序列
两个序列A= <a1,a2…an>和B= <b1,b2…bm>，如果存在整数 i1<i2<…<in且a1包含于bi1，a2包含于bi2，…，an包含于bin，则 称序列a包含于序列b。在一个序列集中如果序列s不包含于任 何其它序列中，则称序列s为最大的。
比如序列< (3) (4,5) (8) >包含于序列< (7) (3,8) (9) (4,5,6) (8) >，因为(3)包含于(3,8)，(4,5)包含于(4,5,6)以及(8)包含于(8)。 但是序列< (3) (5) >不包含于< (3,5) >，反之亦然。前者表示项3 和项5是先后购买的，而后者则表示项3和项5是同时购买的， 这就是区别所在。
第十一章 序列模式挖掘
序列挖掘或称序列模式挖掘，是指从序列数据库中发现 蕴涵的序列模式。时间序列分析和序列模式挖掘有许多 相似之处，在应用范畴、技术方法等方面也有很大的重 合度。但是，序列挖掘一般是指相对时间或者其他顺序 出现的序列的高频率子序列的发现，典型的应用还是限 于离散型的序列。
序列模式挖掘最早是由Agrawal等人提出的，它的最初 动机是针对带有交易时间属性的交易数据库中发现频繁 项目序列以发现某一时间段内客户的购买活动规律。
MS OLE DB:引入数据挖掘模型（Data Mining Model ,DMM)，并定义了类似SQL的 DMM操作语句，微软的目标成为一个工业标准。 提供的决策算法有决策树方法，聚类，可以接受第 三方的挖掘算法。
二、Internet资源
1、Knowledge Discovery Nuggets 半月刊，如要免费订阅， 只需向
步骤
1) 排序阶段。数据库D以客户号为主键，交易时间为次键 进行排序。这个阶段将原来的事务数据库转换成由客户 序列组成的数据库。