大数据的发展与未来
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2013
云计算时代
宽带移动通信时代
以计算机 为中心
GUI
网络时代 发明WWW
DOS PC 时代 发明蜂窝电话
1999 14年前 1989 WEB时代 24年前
发明PC
移动通信时代
34年前
1979
发明计算机
发明Internet
@
1974 PC时代
互联网时代
发明光纤 1969
发明IC 1966
39年前 44年前 47年前
Data in Motion
Up to 10,000 times faster
也有价值！
Kilo
yr mo wk day hr min sec … ms s
Occasional
Frequent
Real-time
Decision Frequency 决策时间
大数据的到来
6 of 33
江西财经大学 信息管理学院
发明电视
1959 摩尔时代
54年前 69年前
1944
74年前
1939
大数据的到来
2 of 33
大数据时代 2020？
物联网时代 2020？
云计算时代 2015？
后WEB时代 2012
后PC时代 2012 移动互联网 时代 2012
后摩尔时代 2018？ 数字化/平板 化电视时代 2010
江西财经大学 信息管理学院
互联网流量变化
一年 ZB (10 21 ) EB (10 18 ) PB (10 15 ) TB (10 12 ) GB (10 9 ) MB ( 10 6 )
一月 1Eb可刻满1.68亿 张DVD
一周
一天
全球新产生的数据年增40%，全球信息总量每两年就可以翻番! 而对新增数据的处理能力以及其利用率的增长则不足5%
大数据的特征
数据体量巨大 TB=1012, PB=1015, EB=1018, ZB=1021
更快的满足 实时性需求
结构化， 非结构化数据 种类繁多
结构化－－能以表格或关系数 据库的表、视图来表示的数据
SOCIAL
BLOG
SMART METER
大数据包括ABC 三个要素： 大分析(Analytic)、 高带宽(Bandwidth)、 大内容(Content)
0
90' 91' 92' 93' 94' 95' 96' 97' 98' 99' 00' 01' 02' 03' 04' 05' 06' 07' 08' 09' 10' 11'
大数据的到来
4 of 33
江西财经大学 信息管理学院
大数据应用举例
单日数据产生量 超过50TB，存储 淘宝 量40PB。
高峰期每秒100 万次响应请求。
江西财经大学 信息管理学院
大数据在农业中应用
硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地 的降雨、气温和土壤状况及历年农作物产量做成精密图表，从而预测任一农场 的明年产量，向农户出售个性化保险，如果出现未能预测的恶劣天气损坏庄稼 ，气候公司将及时赔付。
大数据的到来
3 of 33
江西财经大学 信息管理学院
骨干网IP流量变化
30000 全球骨干网IP流量
25000
20000
15000 10000
美国互联网流量（TB/月）： 90’ 96’ 99’ 11’ 1 1000 10000 15000000
大约10年1000倍
5000
美国Telegeography的国际互联网流量数据监测显示： 2010年比2009年全球增长了62%，按此推算10年超过1000倍！
目
录
大数据的到来
大数据的应用
大数据的管理
大数据的挑战
1 of 33
江西财经大学 信息管理学院
信息通信技术发展 以认知
进入新时代 数据共享 为中心 Data
资源共享
以服务
内容共享 为中心
以软件
网络共享 为中心 Web
以应用
Mining
为中心 IOT 大数据时代
Cloud
来自百度文库
物联网时代
3G标准化 3G
LTE
Tera
Data Scale
Data Scale
Data at Rest
－－维基百科定义
微软的研究发现，Facebook 90%的Hadoop任务数据集在 100GB以下，Yahoo平均为
12.5GB
Giga
数 据 规 模 Mega
事实上，小数据也值得重视，
对未到TB级规模的数据的挖掘
Traditional Data Warehouse and Business Intelligence
大数据在制造业的应用
• 丰田公司利用数据分析在试制样车之前避免了80％的缺陷。 • 日本小松公司的挖掘机安装了GPS定位系统，在实时监控车辆运行情况的同时，
还统计挖掘机每月每年的工作情况，挖掘机开工越饱满，说明市场需求越旺盛 • GE正在筛选生产的2万台喷气引擎中的不易察觉的告警信号，对于某些型号的引
每日约处理600G 数据。存量数据 交通银行 超过70TB。
每秒产生2千元 的交易额，累计 京东商城 各种数据达到PB。
每天1千亿次服
务调用、5万亿
腾讯
次计算、300G 存储量。
公交一卡通每天 刷卡4000万次， 北京公交 地铁1000万次。
农夫山泉每天从 销售其矿泉水的 超市回传10张照 片，每月3TB。
101100101001 001001101010 101011100101 010100100101
超量 VOLUME
高速 VELOCITY
种类 VARIETY
大数据的到来
7 of 33
价值 VALUE
江西财经大学 信息管理学院
大数据的到来 大数据的应用 大数据的管理
大数据的挑战
8 of 33
江西财经大学 信息管理学院
擎，开发的算法能够提前一个月预测其维护需求，预测准确率达到70%。 • 陕鼓动力集团在其出厂的机组中加装运行监测传感器并连网，提供在线监测及
故障诊断服务，服务收入占公司收入1/3。 • 华尔街对冲基金依据购物网站顾客评论分析企业销售状况。 • 华尔街银行根据求职网站岗位数量推断就业率。
大数据的应用
9 of 33
大数据的到来
5 of 33
江西财经大学 信息管理学院
大数据的定义 Exa
• “大数据是指无法在容许的时 间内用常规软件工具对其内容 进行抓取、管理和处理的数据 集合，大数据规模的标准是持 续变化的，当前泛指单一数据 集的大小在几十TB和数PB之间 ”
Up to
10,000
Times
Peta
larger
新浪微博
到2012年10月信 息系统累计产生 大数据2PB。 国家电网
第一医院所存数 据2008年130TB, 中山大学 预计2015年1PB。
联通
用户上网记录83
每天产生数据超
万条/秒，对应
过10TB，现已存
数据量3.6PB/年。 华大基因
20PB，预计该基 因库最终将达1EB。
每天约处理60亿 次搜索请求，几 百度 十PB数据。
云计算时代
宽带移动通信时代
以计算机 为中心
GUI
网络时代 发明WWW
DOS PC 时代 发明蜂窝电话
1999 14年前 1989 WEB时代 24年前
发明PC
移动通信时代
34年前
1979
发明计算机
发明Internet
@
1974 PC时代
互联网时代
发明光纤 1969
发明IC 1966
39年前 44年前 47年前
Data in Motion
Up to 10,000 times faster
也有价值！
Kilo
yr mo wk day hr min sec … ms s
Occasional
Frequent
Real-time
Decision Frequency 决策时间
大数据的到来
6 of 33
江西财经大学 信息管理学院
发明电视
1959 摩尔时代
54年前 69年前
1944
74年前
1939
大数据的到来
2 of 33
大数据时代 2020？
物联网时代 2020？
云计算时代 2015？
后WEB时代 2012
后PC时代 2012 移动互联网 时代 2012
后摩尔时代 2018？ 数字化/平板 化电视时代 2010
江西财经大学 信息管理学院
互联网流量变化
一年 ZB (10 21 ) EB (10 18 ) PB (10 15 ) TB (10 12 ) GB (10 9 ) MB ( 10 6 )
一月 1Eb可刻满1.68亿 张DVD
一周
一天
全球新产生的数据年增40%，全球信息总量每两年就可以翻番! 而对新增数据的处理能力以及其利用率的增长则不足5%
大数据的特征
数据体量巨大 TB=1012, PB=1015, EB=1018, ZB=1021
更快的满足 实时性需求
结构化， 非结构化数据 种类繁多
结构化－－能以表格或关系数 据库的表、视图来表示的数据
SOCIAL
BLOG
SMART METER
大数据包括ABC 三个要素： 大分析(Analytic)、 高带宽(Bandwidth)、 大内容(Content)
0
90' 91' 92' 93' 94' 95' 96' 97' 98' 99' 00' 01' 02' 03' 04' 05' 06' 07' 08' 09' 10' 11'
大数据的到来
4 of 33
江西财经大学 信息管理学院
大数据应用举例
单日数据产生量 超过50TB，存储 淘宝 量40PB。
高峰期每秒100 万次响应请求。
江西财经大学 信息管理学院
大数据在农业中应用
硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地 的降雨、气温和土壤状况及历年农作物产量做成精密图表，从而预测任一农场 的明年产量，向农户出售个性化保险，如果出现未能预测的恶劣天气损坏庄稼 ，气候公司将及时赔付。
大数据的到来
3 of 33
江西财经大学 信息管理学院
骨干网IP流量变化
30000 全球骨干网IP流量
25000
20000
15000 10000
美国互联网流量（TB/月）： 90’ 96’ 99’ 11’ 1 1000 10000 15000000
大约10年1000倍
5000
美国Telegeography的国际互联网流量数据监测显示： 2010年比2009年全球增长了62%，按此推算10年超过1000倍！
目
录
大数据的到来
大数据的应用
大数据的管理
大数据的挑战
1 of 33
江西财经大学 信息管理学院
信息通信技术发展 以认知
进入新时代 数据共享 为中心 Data
资源共享
以服务
内容共享 为中心
以软件
网络共享 为中心 Web
以应用
Mining
为中心 IOT 大数据时代
Cloud
来自百度文库
物联网时代
3G标准化 3G
LTE
Tera
Data Scale
Data Scale
Data at Rest
－－维基百科定义
微软的研究发现，Facebook 90%的Hadoop任务数据集在 100GB以下，Yahoo平均为
12.5GB
Giga
数 据 规 模 Mega
事实上，小数据也值得重视，
对未到TB级规模的数据的挖掘
Traditional Data Warehouse and Business Intelligence
大数据在制造业的应用
• 丰田公司利用数据分析在试制样车之前避免了80％的缺陷。 • 日本小松公司的挖掘机安装了GPS定位系统，在实时监控车辆运行情况的同时，
还统计挖掘机每月每年的工作情况，挖掘机开工越饱满，说明市场需求越旺盛 • GE正在筛选生产的2万台喷气引擎中的不易察觉的告警信号，对于某些型号的引
每日约处理600G 数据。存量数据 交通银行 超过70TB。
每秒产生2千元 的交易额，累计 京东商城 各种数据达到PB。
每天1千亿次服
务调用、5万亿
腾讯
次计算、300G 存储量。
公交一卡通每天 刷卡4000万次， 北京公交 地铁1000万次。
农夫山泉每天从 销售其矿泉水的 超市回传10张照 片，每月3TB。
101100101001 001001101010 101011100101 010100100101
超量 VOLUME
高速 VELOCITY
种类 VARIETY
大数据的到来
7 of 33
价值 VALUE
江西财经大学 信息管理学院
大数据的到来 大数据的应用 大数据的管理
大数据的挑战
8 of 33
江西财经大学 信息管理学院
擎，开发的算法能够提前一个月预测其维护需求，预测准确率达到70%。 • 陕鼓动力集团在其出厂的机组中加装运行监测传感器并连网，提供在线监测及
故障诊断服务，服务收入占公司收入1/3。 • 华尔街对冲基金依据购物网站顾客评论分析企业销售状况。 • 华尔街银行根据求职网站岗位数量推断就业率。
大数据的应用
9 of 33
大数据的到来
5 of 33
江西财经大学 信息管理学院
大数据的定义 Exa
• “大数据是指无法在容许的时 间内用常规软件工具对其内容 进行抓取、管理和处理的数据 集合，大数据规模的标准是持 续变化的，当前泛指单一数据 集的大小在几十TB和数PB之间 ”
Up to
10,000
Times
Peta
larger
新浪微博
到2012年10月信 息系统累计产生 大数据2PB。 国家电网
第一医院所存数 据2008年130TB, 中山大学 预计2015年1PB。
联通
用户上网记录83
每天产生数据超
万条/秒，对应
过10TB，现已存
数据量3.6PB/年。 华大基因
20PB，预计该基 因库最终将达1EB。
每天约处理60亿 次搜索请求，几 百度 十PB数据。