大数据分析与挖掘培训课件PPT课件

➢ 一卡通大量使用，乘客出行的海量数据
➢ 预埋传感器，收集车流量、客流量信息
➢ 卫星地图数据对道路交通情况进行分析
➢ 出租车提供实时数据,了解主要道路的路况
➢ 智能手机使用地图应用,分析出实时的道路交通拥堵状况、出行流
动趋势或特定区域的人员聚集程度
7
对大数据的初步认识(3) 大数据分析电信诈骗
➢ 根据2015年的统计数据，我国公民个人信息泄露数量已经达到40亿条 左右。
有用的数据仅仅有一两秒 ④ 速度快：产生了大量的高速动态数据流，对数据流的实时
分析与处理要求不断增加，数据处理的越及时，产生的价 值越大。
9
大数据基本特征的第五个V：Veracity 数据的不确定性
10
数据挖掘：Data Mining
概念
从大量数据中抽取出（隐含
的、有潜在用途的、未知的、 人们可以理解的）有价值的 信息和模式的过程。这些新 发现的规律、模式、信息和 概念具有潜在使用价值。
12
数据挖掘背后的 大数据思维
在数据挖掘的思想中，知识的学习是不需 要通过具体问题的专业知识建模。
这其实是模拟了人的原始学习过程 --- 比 如你要预测一个人跑100米要多久时间， 可以根据之前了解的他这样体型的人跑 100米用的多少时间做一个估计，而不会 使用牛顿定律来算。
13
数据挖掘：Data Mining 一般流程
大数据分析与挖掘
大数据与数据挖掘 课程的背景……
2
中国大数据发展调查报告 （2018年）：
➢ 2017年中国大数据产业总体规模为4700亿元人民币， 同比增长30%；预计2018-2020年增速将保持在30%以 上。
➢ 大部分企业均已意识到数据分析对企业发展的重要 性。
✓ 近四成的企业已经应用了大数据。与2016年相比上升4.5% ✓ 金融等领域大数据应用增加趋势较为明显。
数据挖掘：Data
Mining
时间序列分析
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
20
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
刚取了通知书就有助学金诈骗电话 刚买了房就有无数装修公司的电话……
8
大Fra Baidu bibliotek据的基本特征
用4个V来总结：Volume、Variety、Value和Velocity
① 数据体量大：从 TB级别，跃升到 PB ② 数据多样性：多为非结构型数据，如网络日志、视频、图
片、地理位置信息 ③ 价值密度低：以视频为例，连续不间断监控过程中，可能
➢ 这种方法，实际上依靠的并非因果关系，而是一种强关联关系，即A 药对B病有效。至于为什么有效，接下来3年的研究工作实际上就是在 反过来寻找原因。
➢ 这种先有结果再反推原因的做法，和过去通过因果关系推导出结果的 做法截然相反。无疑，这样的做法会比较快，当然，前提是有足够多 的数据支持。
在大数据时代，我们能够得益于一种新的思维方法—从大 量的数据中直接找到答案，即使不知道原因。
关联规则：零售业应用
几十年来，大型零售商塔吉特收集了海量的数据，记 录了每一位经常光顾其各分店的顾客数据。
发现女客户会在怀孕四个月左右，大量购买无香味乳 液。由此挖掘出25项与怀孕高度相关的商品，制作“ 怀孕预测”指数。
推算出预产期后，就能抢先一步，将孕妇装、婴儿床 等折扣券寄给客户。
在接下来的几年中会根据婴儿的生长周期定期给这些 顾客推送相关产品，使这些客户形成长期的忠诚度。
➢ 企业应用大数据所带来的主要效果包括实现智能决 策、提升运营效率和改善风险管理。
3
我们身边的大数据…
4
百度地图的定位数据
对大数据的初步认识(1)
➢ 三十多年来，我国春运大军从1 亿多人次到36亿人次
➢ 春运的最热现象是逆向过年，即 老人们到孩子工作的地方过年。
除夕夜 哈尔滨迁徙地图
6
对大数据的初步认识(2) 大数据与交通拥堵
18
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
数据挖掘 分类与预测 金融创新产品设计
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
19
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
11
数据挖掘背后的 大数据思维
➢ 寻找特效药：
➢ 科学家们通常需要分析疾病产生的原因，寻找能够消除这些原因的物 质，然后合成新药。是一个非常漫长的过程，而且费用非常高。
➢ 有了大数据，寻找特效药的方法就和过去有所不同了。
➢ 斯坦福大学医学院发现，原来用于治疗心脏病的某种药物对治疗某种 胃病特别有效。
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
17
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
数据挖掘：Data Mining 分类与预测
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
14
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
数据挖掘：Data Mining 功能
➢关联规则 ➢分类与预测 ➢聚类分析 ➢…
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
15
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
数据挖掘：Data Mining 关联规则
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)
16
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术大数 据分析 与挖掘 培训课 件(PPT 30页)