《数据挖掘、机器学习和Weka》教学提纲

是数据库在线分析过程。
数据挖掘（data Mining）
只是KDD/ML的一个重要组成部分。
DM用在产生假设 ，而OLAP则用于查证假设
概念：DM与DB
Data Preparation要占Data mining过程70％工作量 「Data base」＋「 Data mining」＝会说话的数据库
• Covering approach导出一个规则集而不是决策树
算法：The basic methods
Mining association rules：
– 参数：coverage(support)，accuracy(confidence)
Linear models（参考cpu.arff例子）
简单例子：天气问题*
天气数据：weather.nominal.arff
运行Weka，载入数据，选择算法id3
预测（决策树）
• outlook = rainy
• | windy = TRUE: no
• | windy = FALSE: yes
测试方法：采用10 Cross-validation的
概念：Machine Learning
To learn:
– to get knowledge of study, experience, or being taught; – to become aware by information or from observation; – to commit to memory; – to be informed of, ascertain(确定); to receive instruction
– 不考虑类型，我们把要学习的称为Concept，而 把学习的输出成为concept description
Instance：数据样本记录 Attribute：数据字段
– Nominal：outlook: sunny => no – Ordinal：距离无法度量，如hot > mild > cool – Interval：距离可度量，如整数 – Ratio：如58.1%
Inferring rudimentary rules （算法：1R、1-Rule） Statistical modeling（算法：Naïve Bayes）
• 使用所有属性，假设属性无关、且同等重要
Divide and conquer: Constructing decision trees
– An open source framework for text analysis implemented in Java that is being developed at the University of Waikato in New Zealand.
– /ml/weka/ – /datamining/
Shortcomings when it comes to talking about computes
– It’s virtually impossible to test if learning as bean achieved or not.
– This ties learning to performance rather than knowledge
Getting to know your data!
• 数据清理一个耗时、费力，却很重要的过程， • Garbage in, garbage out!
输出：Knowledge representation
Decision tables Decision trees Classification rules
• If a and b then x
Association rules：多个结果
• If … then outlook=sunny and humidity=high
Rules with exceptions (P.66)
• If … then … except…else … except…
Trees for numeric prediction Instance-based representation Clusters
输入：Preparing the input*
Gathering the data together
– The data must be assembled, integrated, and cleaned up（Data Warehousing）
– Selecting the right type and level of aggregation is usually critical for success
概念：KDD、ML、OLAP与DM
KDD（Knowledge Discovery in Database）
是一种知识发现的一连串过程。
ML（Machine Learning）
＝KD，不限于Database的数据 过程：挖掘－数据模式－表示－验证－预测 OLAP（Online Analytical Process）
Counting the cost：
• Lift charts (Respondents /Sample Size) 、ROC curves (P.141)
The MDL principle (Minimum Description Length)
• Occam’s Razor：Other things being equal, simple theories are preferable to complex ones.
回顾：DM的功能分类
分类方法一 分类(classification) 估计(estimation) 预测(prediction) 关联分组(affinity grouping) 聚类(clustering）
分类方法二 Classification Regression Time-Series Forecasting Clustering Association Sequence Discovery
– Metadata often involves relations among attributes
文本挖掘 挖掘Web
回顾：目录
DM综合的技术领域 DM的功能分类
DM的具体应用
DM的步骤
DM的理论技术和算法
DM的常用分析工具
回顾：DM综合的技术领域
Database systems, Data Warehouses, OLAP Machine learning Statistical and data analysis methods Visualization Mathematical programming High performance computing
其他算法：Neural Network
14.2857 %
数据挖掘的过程步骤：见『回顾：DM的步骤』
输入：Concepts, Instances, Attributes
Concept
– 四种基本的学习类型
• Classification, association, clustering, numeric prediction
测试结果：Confusion Matrix(P.138)和准确率
• a b <-- classified as
• 8 1 | a = yes
• 1 4 | b = no
• Correctly Classified Instances
12
85.7143 %
• Incorrectly Classified Instances 2
回顾：DM的具体应用
市场--购物蓝分析 • 保险欺诈侦察
客户关系管理
• 客户信用风险评级
寻找潜在客户
• 电话盗打
提高客户终生价值 • NBA球员强弱分析
保持客户忠诚度 • 信用卡可能呆帐预警
行销活动规划
• 星际星体分类
预测金融市场方向
回顾：DM的步骤*
一种步骤划分方式
– 理解资料与进行的工作 – 获取相关知识与技术（Acquisition） – 整合与查核资料（Integration and checking） – 去除错误、不一致的资料（Data cleaning） – 模式与假设的演化（Model and hypothesis development） – 实际数据挖掘工作 – 测试与核查所分析的资料（Testing and verification） – 解释与运用（Interpretation and use）
Support vector machines – Ch6.4 Instance-based learning – Ch6.5 Numeric prediction – Ch6.6 Clustering
改进：Engineering the input and output
数据工程
– Attribute selection – Discretizing（离散化） numeric attributes – Automatic data cleaning
原则：测试数据无论如何也不能用于模型的训练 问题：如果样本很少，如何划分? 方法：
• N-fold Cross-validation，(n=3,10) • Leave-one-out Cross-validation • Bootstrap (e=0.632): best for very small datasets
– 主要用于值预估和分类（Linear regression）
Instance-based learning
– 算法：Nearest-neighbor, K-Nearest-neighbor