大数据的发展现状
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
监控 50% 嵌入与医疗 数据处理 2010 2015 2020 消 费 者 图 像 与 视 频
被标签和分析的数据类型比例
100% 娱乐与社交媒体
三、各大行业的数据积累与价值
制造业数据 GE的每一引擎装20个传感器，在飞行过程中每隔一段时间通过卫星将 传感器收集的引擎状态传给GE公司。每个引擎每飞行小时产生20TB,从
次。北京市交通调度中心每天数据增量
30GB，存储量20TB
三、各大行业的数据积累与wk.baidu.com值
医疗数据
现在一个病人的CT影像往往多达两千幅，数据量己经到了几十
个GB. 如今中国大城市的医院每天门诊上万人，全国每年门诊人数更 是以数十亿计，住院人次己经达到两亿人次。按照医疗行业的 相关规定，一个患者的数据通常需要保留50年以上。 中山大学第一附属医院 数据存储量（TB）
伦敦到纽约每一飞行产生640TB级数据，GE每天收集PB级引擎数据。
美国每月收集360万次飞行记录，监视机队25000个引擎。
GE通过对所生产的2万台喷气引擎的数据分析，开发的算法能够提前一个月
预测其维护需求，预测准确率达到70%。依此对喷气引擎预防性维护，在美 国就防止了不止6万次的航班延误或取消。如果将传感数据收集和分析用于
交通银行 农业银行 工商银行
企业级数据仓库存储量已超过350TB ，积累的数据4. 5PB 每年产生结构化和非结构化数据分别
突破100TB和1PB，已归档PB级数据 每日约处理600G数据，存量数据超过
70TB 发卡量40亿张，每天近600亿次交易 ，每秒50万次记录，存储量350TB
三、各大行业的数据积累与价值
互联网数据 淘宝——每天交易超过数千万笔，其单日数据产生量超过50TB, 峰值时处理交易达到9万 笔/分钟，1GB/s。在阿里数据平台事业部的服务器上有超过100PB己处理过的数据。 百度——每天要处理60亿次搜索请求(谷歌为30亿次)，新增10TB，处理100PB数据，每天 产生一个TB的日志。目前存储网页数近1万亿，数据总量1000PB 腾讯——腾讯QQ月活跃用户超8亿，微信用户5亿，在线人际关系链超1000亿，每天1千 亿次服务调用，日新增200-300TB数据量，每月增加10%。经压缩后的数据总存储量 100PB
谢谢！
条信息，减排10%。
医疗
苹果公司总裁乔布斯花费几十万美元获得自身全部DNA，希望通过这种方式战胜癌症虽然愿望没有实现， 但也将他的生命延长了几年；人体对药品 代谢方式的差异 取决于个体特定的基因、酶和蛋白质组合，因 此基因信息对选择最优治疗非常关键。
五、大数据的发展优势
2014 年，大数据在公共服务中的交通、医疗、教育、预 测服务等领域得到广泛应用。随着第三方服务机构的参与， 公众需求被不断挖掘，应用场景逐步丰富。
1.74MB,1EB =6626亿部，即全球人均100部《红楼梦》 ，1EB可刻满1.68亿张DVD
量每两年就可以翻番!
三、各大行业的数据积累与价值
大数据的价值
麦肯锡评估报告中指出大数据在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服 务等领域都将带来可观的价值 海量数据可以在各个部门创造重大财务价值 英国医疗服务业 • • 每年价值3000亿美元 大约0.7%的年生产率增长 • • 欧洲公共部门管理 每年价值2500亿欧元 (约35OO亿美元) 大约0.5%的年生产率增长 • • 全球个人位置数据 服务提供商收入1000亿美元或以上 最终用户价值达7000亿美元
美国零售业 • • 可能的净利润增长水平为60%或以上 • 0.5—1.0%的年生产率增长 •
制造业 产品开发、组装成本降低达50% 运营资本降低达7%
40%GDP
四、大数据的热门应用领域
1
2 3
制造业
丰田利用数据分析在试制样车前避免了80%的缺陷；GE通过对2万台喷气引擎的数据分析，能够提前一 个月预测其维护需求，预测准确率达到70%；百度将网民对汽车的各类搜索 请求进行大数据挖掘，帮助 一汽等车企深入了解消费者需求，设计新品及资源调配
四、大数据的热门应用领域
4
5 6
金融
华尔街的银行应用大数据分析风险时间从3月缩短到3小时，价格计算从48小时到20分钟，行为分析从 72小时到20分钟；交通银行太平洋信用卡中心采用大数据信贷审批决策引擎，审批效率提高30%；阿里 公司基于大数据建设投融资平台。
交通
美国UPS每天平均运输163万件包裹，用传感器跟踪46000辆车，2011年少跑了8500万英里路程，节 约了840万加仑燃料；中远物流公司有100多个配送中心，3000个网点，装GPS的上万辆车每月产生2亿
新浪微博——每天有数十亿外部网页和API接口访问需求。在晚上高峰期，微博每秒要接
受100万以上的响应请求。
三、各大行业的数据积累与价值
互联网流量变化
图灵奖获得者Jim Gray提出新摩尔定律: 全球新产生的数据年增40%,全球信息总
《 红 楼 梦 》 含 标 点 共 87 万 字 ， 每 汉 字 占 2B ， 全 书
我国大数据相关政策、项目、技术和应用等 逐步进入实际落地阶段。各有关部门和地方政 府的重视程度逐步升级，相关的政策措施和规 划方案处于高密度发布时期。 企业级大数据应用逐渐普及，消费 者行为分析、精准营销、新业务新产 品推广、广告推送、社交媒体、库存 2015 年开始大数据与云计算、物联网、智 慧城市、移动互联网进入新的结合期，新产品 将加速推出。 管理、信贷保险等相关应用不断丰富， 潜力巨大。
大数据的特点
大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value （价值）
二、国内外大数据的发展现状
2014 年全球大数据市场规模达到 285 亿美元，同比增长 53.2%。大数据成为全球IT 支出新的增长点。2014年大数据对 全球IT 开支的直接或间接推动达2320 亿美元，预计到2018 年 这一数据将增长三倍。 2014 年，我国大数据仍处于起步发展阶段，行业应用得到 快速推广，市场规模增速明显。2014 年，我国大数据市场规 模达到75.7 亿元，同比增长28.4%。
2012-2017年全球大数据市场规模
2012-2016年中国大数据市场规模
三、各大行业的数据积累与价值
政府数据 视频监控摄像头广泛应用于主要道路、热点地区、地铁和居民小 区的安全监视。北京超市食品架前均要求装能清晰拍到走在架前 的人的脸部。 一个8Mbps摄像头每小时产生3.6GB,很多城市的摄像头多达几 十万个，一个月的数据量达到数百PB，若需保存3个月则存储量 达EB量级。 国家税务总局每月收集全国数据4TB，己集中的结构化数据 260TB 北京市政府部门数据库总量2011年63PB，2012年95PB
农业
硅谷Climate公司从美国政府获得30年的气候、60年的农作物收成、14TB的土壤数据，还收集250万个 地点的气候数据，向农户提供天气变化、作物、病虫害和灾害、肥料、收获、产量、市场 价格等咨询和
保险服务，承诺侮英亩的玉米利润增加100美元，如预测有误将将及时赔付。
商业
沃尔玛基于每月4500万网购数据，结合网上挖掘的对产品的大众评分，开发语义搜索引擎，方便浏览， 在线购物者增加10—15%,增加销售十多亿美元。还通过对消费者购物行为分析，了解顾客购物习惯，优 化商品陈列。
燃油效率上，1%的提高就能使航空业每年省20亿美元。
三、各大行业的数据积累与价值
服务业数据
年均产生数据510TB(不含视频)累计产
生数5PB 用户上网记录每秒83万条，对应年数 据量3.6PB 农夫山泉每天从销售其矿泉水的超市 回传10张照片，每月3TB 公交一卡通每天4千万次，地铁一千万人
大数据的发展现状
2015年7月
一、大数据的提出及概念
大数据的提出
大数据最早在上世纪90年代被提出，麦肯锡在2012年的评估报告中指出“大数据时 代”已经到来，使得人们对于大数据重要性的认知和关注度进一步增加。
1
2 3
大数据的概念
研究机构Gartner给出的定义：“大数据”是需要新处理模式才能具有更强的决策力 、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
被标签和分析的数据类型比例
100% 娱乐与社交媒体
三、各大行业的数据积累与价值
制造业数据 GE的每一引擎装20个传感器，在飞行过程中每隔一段时间通过卫星将 传感器收集的引擎状态传给GE公司。每个引擎每飞行小时产生20TB,从
次。北京市交通调度中心每天数据增量
30GB，存储量20TB
三、各大行业的数据积累与wk.baidu.com值
医疗数据
现在一个病人的CT影像往往多达两千幅，数据量己经到了几十
个GB. 如今中国大城市的医院每天门诊上万人，全国每年门诊人数更 是以数十亿计，住院人次己经达到两亿人次。按照医疗行业的 相关规定，一个患者的数据通常需要保留50年以上。 中山大学第一附属医院 数据存储量（TB）
伦敦到纽约每一飞行产生640TB级数据，GE每天收集PB级引擎数据。
美国每月收集360万次飞行记录，监视机队25000个引擎。
GE通过对所生产的2万台喷气引擎的数据分析，开发的算法能够提前一个月
预测其维护需求，预测准确率达到70%。依此对喷气引擎预防性维护，在美 国就防止了不止6万次的航班延误或取消。如果将传感数据收集和分析用于
交通银行 农业银行 工商银行
企业级数据仓库存储量已超过350TB ，积累的数据4. 5PB 每年产生结构化和非结构化数据分别
突破100TB和1PB，已归档PB级数据 每日约处理600G数据，存量数据超过
70TB 发卡量40亿张，每天近600亿次交易 ，每秒50万次记录，存储量350TB
三、各大行业的数据积累与价值
互联网数据 淘宝——每天交易超过数千万笔，其单日数据产生量超过50TB, 峰值时处理交易达到9万 笔/分钟，1GB/s。在阿里数据平台事业部的服务器上有超过100PB己处理过的数据。 百度——每天要处理60亿次搜索请求(谷歌为30亿次)，新增10TB，处理100PB数据，每天 产生一个TB的日志。目前存储网页数近1万亿，数据总量1000PB 腾讯——腾讯QQ月活跃用户超8亿，微信用户5亿，在线人际关系链超1000亿，每天1千 亿次服务调用，日新增200-300TB数据量，每月增加10%。经压缩后的数据总存储量 100PB
谢谢！
条信息，减排10%。
医疗
苹果公司总裁乔布斯花费几十万美元获得自身全部DNA，希望通过这种方式战胜癌症虽然愿望没有实现， 但也将他的生命延长了几年；人体对药品 代谢方式的差异 取决于个体特定的基因、酶和蛋白质组合，因 此基因信息对选择最优治疗非常关键。
五、大数据的发展优势
2014 年，大数据在公共服务中的交通、医疗、教育、预 测服务等领域得到广泛应用。随着第三方服务机构的参与， 公众需求被不断挖掘，应用场景逐步丰富。
1.74MB,1EB =6626亿部，即全球人均100部《红楼梦》 ，1EB可刻满1.68亿张DVD
量每两年就可以翻番!
三、各大行业的数据积累与价值
大数据的价值
麦肯锡评估报告中指出大数据在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服 务等领域都将带来可观的价值 海量数据可以在各个部门创造重大财务价值 英国医疗服务业 • • 每年价值3000亿美元 大约0.7%的年生产率增长 • • 欧洲公共部门管理 每年价值2500亿欧元 (约35OO亿美元) 大约0.5%的年生产率增长 • • 全球个人位置数据 服务提供商收入1000亿美元或以上 最终用户价值达7000亿美元
美国零售业 • • 可能的净利润增长水平为60%或以上 • 0.5—1.0%的年生产率增长 •
制造业 产品开发、组装成本降低达50% 运营资本降低达7%
40%GDP
四、大数据的热门应用领域
1
2 3
制造业
丰田利用数据分析在试制样车前避免了80%的缺陷；GE通过对2万台喷气引擎的数据分析，能够提前一 个月预测其维护需求，预测准确率达到70%；百度将网民对汽车的各类搜索 请求进行大数据挖掘，帮助 一汽等车企深入了解消费者需求，设计新品及资源调配
四、大数据的热门应用领域
4
5 6
金融
华尔街的银行应用大数据分析风险时间从3月缩短到3小时，价格计算从48小时到20分钟，行为分析从 72小时到20分钟；交通银行太平洋信用卡中心采用大数据信贷审批决策引擎，审批效率提高30%；阿里 公司基于大数据建设投融资平台。
交通
美国UPS每天平均运输163万件包裹，用传感器跟踪46000辆车，2011年少跑了8500万英里路程，节 约了840万加仑燃料；中远物流公司有100多个配送中心，3000个网点，装GPS的上万辆车每月产生2亿
新浪微博——每天有数十亿外部网页和API接口访问需求。在晚上高峰期，微博每秒要接
受100万以上的响应请求。
三、各大行业的数据积累与价值
互联网流量变化
图灵奖获得者Jim Gray提出新摩尔定律: 全球新产生的数据年增40%,全球信息总
《 红 楼 梦 》 含 标 点 共 87 万 字 ， 每 汉 字 占 2B ， 全 书
我国大数据相关政策、项目、技术和应用等 逐步进入实际落地阶段。各有关部门和地方政 府的重视程度逐步升级，相关的政策措施和规 划方案处于高密度发布时期。 企业级大数据应用逐渐普及，消费 者行为分析、精准营销、新业务新产 品推广、广告推送、社交媒体、库存 2015 年开始大数据与云计算、物联网、智 慧城市、移动互联网进入新的结合期，新产品 将加速推出。 管理、信贷保险等相关应用不断丰富， 潜力巨大。
大数据的特点
大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value （价值）
二、国内外大数据的发展现状
2014 年全球大数据市场规模达到 285 亿美元，同比增长 53.2%。大数据成为全球IT 支出新的增长点。2014年大数据对 全球IT 开支的直接或间接推动达2320 亿美元，预计到2018 年 这一数据将增长三倍。 2014 年，我国大数据仍处于起步发展阶段，行业应用得到 快速推广，市场规模增速明显。2014 年，我国大数据市场规 模达到75.7 亿元，同比增长28.4%。
2012-2017年全球大数据市场规模
2012-2016年中国大数据市场规模
三、各大行业的数据积累与价值
政府数据 视频监控摄像头广泛应用于主要道路、热点地区、地铁和居民小 区的安全监视。北京超市食品架前均要求装能清晰拍到走在架前 的人的脸部。 一个8Mbps摄像头每小时产生3.6GB,很多城市的摄像头多达几 十万个，一个月的数据量达到数百PB，若需保存3个月则存储量 达EB量级。 国家税务总局每月收集全国数据4TB，己集中的结构化数据 260TB 北京市政府部门数据库总量2011年63PB，2012年95PB
农业
硅谷Climate公司从美国政府获得30年的气候、60年的农作物收成、14TB的土壤数据，还收集250万个 地点的气候数据，向农户提供天气变化、作物、病虫害和灾害、肥料、收获、产量、市场 价格等咨询和
保险服务，承诺侮英亩的玉米利润增加100美元，如预测有误将将及时赔付。
商业
沃尔玛基于每月4500万网购数据，结合网上挖掘的对产品的大众评分，开发语义搜索引擎，方便浏览， 在线购物者增加10—15%,增加销售十多亿美元。还通过对消费者购物行为分析，了解顾客购物习惯，优 化商品陈列。
燃油效率上，1%的提高就能使航空业每年省20亿美元。
三、各大行业的数据积累与价值
服务业数据
年均产生数据510TB(不含视频)累计产
生数5PB 用户上网记录每秒83万条，对应年数 据量3.6PB 农夫山泉每天从销售其矿泉水的超市 回传10张照片，每月3TB 公交一卡通每天4千万次，地铁一千万人
大数据的发展现状
2015年7月
一、大数据的提出及概念
大数据的提出
大数据最早在上世纪90年代被提出，麦肯锡在2012年的评估报告中指出“大数据时 代”已经到来，使得人们对于大数据重要性的认知和关注度进一步增加。
1
2 3
大数据的概念
研究机构Gartner给出的定义：“大数据”是需要新处理模式才能具有更强的决策力 、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。