大数据核心技术之数据挖掘与机器学习技术探索培训大纲

时间培训大纲内容

第一天上午

第一章

机器学习及数据挖掘

基础原理

1) 什么是机器学习？

2) 什么是数据挖掘？

3) 什么是大数据？

4) 典型应用

5) 机器学习基本思想与原理

a) 假设空间

b) 主要流派

(机械学习/示教学习/类别学习/归纳学习)

c) 归纳学习(有监督的学习/无监督的学习)

6) 机器学习应用的一般流程

(收集数据/准备数据/分析数据/训练/测试/应用)

7) 大数据下机器学习算法的特点

8)基础知识

a) 常见文本处理流程

(分词、词性标注、实体识别、句法分析、索引)

b) 向量空间模型

c) 高维数据降维

c) 相似度计算方法

d) 基本概率统计知识

9) 常用工具

第一天下午

第二章

机器学习及数据挖掘

常用技术

1)分类方法

a)特征选择及降维

b)朴素贝叶斯

c)决策树

d)回归分类器

第二天上午

第二章

机器学习及数据挖掘

常用技术

e)中心向量法

f)KNN

g)SVM

h)线性分类器

2)分类的研究进展及趋势

a)大数据下的分类算法

b)情感分析

c)众包标注

第二天下午

第二章

机器学习及数据挖掘

常用技术

3)常见聚类算法

a)k-Means

b)层次聚类

c)DBSCAN

4)聚类的研究进展及趋势

a)大数据下的聚类算法

b)Science上最新发表的聚类算法

c)社交网络中的社区发现

第三天上午

第二章

机器学习及数据挖掘

常用技术

5)回归算法

a)线性回归

b)Logistic回归

c)岭回归

d)Lasso回归

6)回归的研究进展及趋势

a)树回归

b)支持向量回归

第三天下午

第二章

机器学习及数据挖掘

常用技术

7)推荐算法

a)基于内容的推荐

b)基于协同的推荐

8)推荐的研究进展及趋势

c)社交化推荐

第四天上午

第三章

数据挖掘实战1

大数据基础应用之

分类问题:垃圾邮件过滤

a)开发语言

b)软件包

2)问题定义

a)目标

b)可用数据

c)预期输出

3)算法分析

a)贝叶斯方法回顾

b)理论与应用结合

c)算法应用过程

4) 数据预处理

a)获取原始数据

b)查看数据样本

c)编写数据过滤程序

d)获取训练样本与测试样本

5) 特征提取

a)使用哪些特征？

b)使用什么类型的特征？

c)编写特征提取程序

6) 模型训练

a)一般过程

b)训练与测试

c)参数化模型选择

d)关于 overfitting 模型实验

e)回顾

第四天下午

第三章

数据挖掘实战2

大数据基础应用之

回归问题:美国社区犯罪

率预测

2) 问题定义

a)目标

b)可用数据

c)预期输出

3) 算法分析

a)回归方法回顾

b)理论与应用结合

c)算法应用过程

4) 数据预处理

a)获取原始数据

b)查看数据样本

c)编写数据过滤程序

d)获取训练样本与测试样本

5) 模型训练

a)一般过程

b)训练与测试

c)参数化模型选择

d)关于 overfitting 模型实验

e)回顾