数据挖掘

Tower of Babel
分类:定义 给出一组记录 (训练集)
– 每个记录包含一些属性, 属性之一就是类.
发现类属性的一个模型作为其它属性的一个函 数。 目标: 应该把先前未看到的记录尽可能精确地 分类。
– 测试集 用于确定模型的精确度。通常给出的数据 分成训练集和测试集，训练集用来建立模型，而 测试集用来验证它。
Model
分类:应用 1
指导市场营销 – 目标:瞄准可能购买新款手机的顾客，以减少邮寄费 用。 – 办法:
利用以前引进的类似产品的数据。 我们知道哪些消费者决定去买还是不买。这个 {buy, don’t buy} 决策形成了 类属性。 收集关于这些消费者的各种人口统计的，生活方式的， 及公司关系有关的信息。
挖掘大的数据集 – 动机
常常有不明显的信息“隐藏”在数据集中 需要数周的人工努力来发现有用的信息 大量数据从来没有被分析
4,000,000 3,500,000 3,000,000 2,500,000 2,000,000 1,500,000 1,000,000 500,000 0 1995 1996 1997
分类:应用 3
消费者损耗/搅动(Attrition/Churn): –目的: 预测一个顾客是否可能转向竞争对 手。 –办法:
利用过去和现在的顾客的交易的详细记录，发现 属性。 – 顾客打电话的频率，他在哪里打，什么时间打 得最多，他的经济状况，婚姻状况，等等。 把这个顾客标为忠实的或不忠实的。 找到关于忠实的模型。
数据挖掘的来源
思想来源于机器学习/人工智能，模式识别，统计和数 据库系统 传统方法由于下列理由而不适合 – 数据量太大 Statistics/ Machine Learning/ AI – 数据的高维 Pattern Recognition – 数据的非一致分布特性
Data Mining
Database systems
数据挖掘任务
预测方法 – 利用某些变量来预测其它变量的 未知的或未来的值。 描述方法 – 发现描述数据的人类可以解释的 模式。
数据挖掘任务…
分类 [预测] 聚类 [描述] 关联规则的发现 [描述] 序贯模式的发现 [描述] 回归 [预测] 偏差检测(deviation detection) [预测]
Category Financial Foreign National Metro Sports Entertainment Total Articles
555 341 273 943 738 354
Correctly Placed
364 260 36 746 573 278
S&P 500 股票数据的聚类
The Data Gap
Total new disk (TB) since 1995
Number of analysts
1998 1999
From: R. Grossman, C. Kamath, V. Kumar, “Data Mining for Scientific and Engineering Applications”
观察每天的股票行情 聚类点:股票-升降{UP/DOWN} 相似性度量:如果同一天两个股票所描述的事件同时频繁发生，那么 它们更相似
我们利用关联规则来量化相似性度量
Discovered Clusters
Industry Group
1 2 3 4
A pplied-M atl-DOW N,Bay-Net work-Down,3-C OM -D OW N , Cab letron -Sy s -D OW N ,C IS C O-D OW N,HP -D OW N, DS C-Co mm-DOW N,INT EL-DOW N ,LS I-Lo gic -D OW N , M icron-Tech-D OW N ,Te xas -Ins t-Down ,Te llabs -Inc-Down, Natl-Se micond uct-DOW N,Orac l-D OW N,S GI-DOW N, Sun-DOW N A pple-Co mp-DOW N,A utodes k-D OW N,D EC-D OW N, A D V-M icro -Device -D OW N,A ndrew -Corp-DOW N , Co mputer-A s so c-DOW N ,Circuit-C ity-D OW N, Co mp aq-D OW N, EM C-Corp-D OW N, Gen-Ins t-DOW N, M oto rola-DOW N,M ic ro s oft-DOW N ,Sc ientific-A tl-D OW N Fan nie-M ae-DOW N ,Fed-Ho me-Loan-DOW N, M BNA -Corp -D OW N,M organ-Stanley-D OW N Bake r-Hughes -UP,Dres s er-Inds -UP,Hallib urton-H LD -U P, Lo uis iana-Land-UP,Phillips -Petro-UP,Unocal-U P, Schlu mberger-UP
1 2 3 4 5
Bread, Coke, Milk Beer, Bread Beer, Coke, Diaper, Milk Beer, Bread, Diaper, Milk Coke, Diaper, Milk
{Milk} --> {Coke} {Milk} --> {Coke} {Diaper, Milk} --> {Beer} {Diaper, Milk} --> {Beer}
什么是数据挖掘？ 许多定义
– 从数据非平凡地提取隐含的，以前未知的及潜 在有用的信息 – 用自动或半自动的方式探索和分析大量的数据 以发现有用的模式
什么不是数据挖掘？
什么不是数据挖掘？ – 在电话本上找号 码 – 在网页搜索引擎 查询关于“统计”的 信息 什么是数据挖掘？ – 某些名字在中国某些区域 更加流行 (北方/南方) – 把按照内容搜索的类似文 件组合在一起 (比如，“数据 挖掘”，“机器学习”)
– 职业，住在哪里，收入，等等。
利用这些信息作为输入的属性来学习一个分类模型。
分类:应用 2
探测欺诈 –目标: 预测在信用卡交易中的欺诈。 –办法:
把信用卡交易和持有人的信息作为属性。 –何时顾客买，买什么，他按时付帐的频 率，等等 把过去的交易标为欺诈或公平交易。这形 成类的属性。 学到关于交易类型的模型。 用观测一个帐户信用卡交易，利用这个模 型来探测欺诈。
聚类: 应用 2
文献聚类: –目标：基于在文献中出现的重要词语 ，发现互相类似的文件群体。 –办法: 识别每个文献中频繁出现的词 语。基于不同词语的频率，形成相似 性度量。用它聚类。 –收益: 信息检索器能够利用聚类来把 一个新的文献或搜寻语句和已聚类的 文献相关联。
描述文献聚类
聚类点: 3204个落杉矶时报文章。 相似性度量: 这些文献中有多少词是共同的（在某 种筛选后）。
数据挖掘: 引言
数据挖掘
数据挖掘的理由? 商业观点
大量数据的收集和数据仓库 – 网络数据,电子商业 – 在百货商店/杂货店的购 买 – 银行/信用卡的交易 计算机价格越来越便宜，功 能越来越强 竞争的压力 – 提供更好的，个性化的 服务
数据挖掘的理由? 科学观点
数据以巨大速度收集和存储 – 卫星遥感 – 望远镜扫描太空 – 微阵列(microarray)或生物芯片 技术 不断产生基因表达数据 – 科学模拟产生以terabytes（ 1012）计的数据 传统技术对原始数据的无能为力 数据挖掘可能帮助科学家 – 分类和细分数据 – 形成假说
对星系分类
Courtesy:
早期
类别:
• 形成阶段
属性:
• 图象特征, • 收到的光波特征，等等。
中期
晚期
数据大小:
• 72 million 颗星, 20 million 星系 • 目标编目: 9 GB • 图象数据库: 150 GB
聚类定义
已给一性度量，发现聚类，满足 – 在一个聚类中的数据点互相相似。 – 在不同聚类中的数据点互相不那么相似。 相似性度量: – 如果属性是连续的，可用欧氏距离。 – 其它由问题确定的度量。
分类:应用 4
天空观测编目 – 目标: 基于望远镜观测图象(from Palomar Observatory)预测太空目标的类别 (star or galaxy) ，特别是看上去模糊的那些。
– 3000 图象每个 23,040 x 23,040 象素。
– 办法:
划分图象。 度量图象属性(特征) – 每个目标40个。 基于这些特征对类型建模。 成功的故事: 能够发现16个新的高红移类星体 (quasars), 一些最远的目标很难发现!
Tec hno lo gy1-DO WN
Tec hno lo gy2-DO WN
Fina nc ia l-DO WN O il-UP
关联规则发现: 定义 已给一个记录集，每个记录包含一定数量的 来自已给集合的项; – 产生相倚的规则，由此基于其它项的出现 来预测一项的出现.
TID Items
发现的规则: 发现的规则:
10
Refund Marital Status No Yes No Yes No No Single Married Married
Taxable Income Cheat 75K 50K 150K ? ? ? ? ? ?
Yes No No Yes No No Yes No No No
Single Married Single Married
Divorced 90K Single Married 40K 80K
Divorced 95K Married 60K