大数据最新技术及在行业应用介绍2018
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据介绍及在各行业应用
XXXX技术有限公司
大数据“浪潮汹涌”
“人人都知道，都说 好，但究竟是什么， 怎么做？” —— 有关大数据浪潮的贴 切描述
真有很“大” 的数据么？
ZQY
© ZQY . All rights reserved.
数据的背景意义——信息爆炸增长
“网上一分钟，人间一万年！”
反映到数据 量上是什么 情况？
大数据科研属于“数据密集型”的科学发现第四范式
2007 年 ， 已 故 的图灵奖得主 吉 姆 ·格 雷 （Jim Gray）
ZQY
© ZQY . All rights reserved.
大数据研究的科学价值
李国杰 （中国工程院院士， 大数据专委会主任）
“现代生命科学信息已具备大数据公认的4V特征， 同时，大数据彻底颠覆了传统生命科学以假说指 导实验和以模式生物为研究主体的科学发现模式， 使生命科学研究开始进入“数据密集型”的科学 发现第四范式时代。”
而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长 44 倍，达到35.2ZB（1ZB=10 亿TB）！
如此庞大数据的 源头是什么？
© ZQY . All rights reserved.
ZQY
数据的背景意义——物联网设备的普及
普适计算
把计算机嵌入到环境或日常工具中 Invisible Computing 去 计算机本身从人们的视线中消失 不必显式地使用计算机等设备进行 4A 让人们注意的中心回归到要完成的 计算，就能获取需要的信息 任务本身 必要条件 Anytime 功能简单、价格低廉的设备必须广 Anywhere 多个人共享少量的设备 泛存在 Anyone 必须有一个允许这些设备无缝通信 Anything 的架构
一个人拥有多个设备
ZQY
© ZQY . All rights reserved.
数据的背景意义——物联网体系架构
ZQY
© ZQY . All rights reserved.
数据的背景意义——社交网络承载
ZQY
© ZQY . All rights reserved.
数据的背景意义——云计算的支撑
ZQY
© ZQY . All rights reserved.
数据的背景意义——信息爆炸增长
地球上至今总共的数据量：
在2006 年，个人用户才刚刚迈进TB时代， 全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。
TB
GB
ZB EB PB
1PB = 250字节 1EB = 260字节 1ZB = 270字节
大数据的概念及内涵
“大数据：或称巨量数据、海量数据、大资料，指 的是所涉及的数据量规模巨大到无法通过人工，在 合理时间内达到截取、管理、处理、并整理成为人 类所能解读的信息。” ——维基百科
ZQY
© ZQY . All rights reserved.
大数据的概念及内涵
“大数据指的是大小超出常规的数据库工具获取、存储、管理和分 析能力的数据集。尺寸并无主观度量。” ——麦肯锡
成熟期（Plateau of Productivity）：真正成熟，该技术已经成 为一种平常
ZQY
© ZQY . All rights reserved.
大数据新思维
大数据的数据够“大”，数据不再是稀缺资源，不 能像小数据时代那样，用最小的数据获得最多的信 息；而应该要拿到与领域相关的全数据 大 数 据 新 思 维 大数据的数据够“杂”，来源广泛，格式五花八门， 用户需从海量数据中提炼有价值信息，个体数据 （或严格因果模型）的精确性不再重要，重要的是 大多数数据群共同指出的结论（相关性关系）； 大数据的数据够“快”，数据产生得快，数据增加 得快，数据随时间的折旧也快，数据的时效性成为 关键。
ZQY
赵国屏 （中科院院士，国家人类基因组南方中心执 行主任，分子微生物学专家）
© ZQY . All rights reserved.
Gartner2017年技术成熟度曲线
ZQY
© ZQY . All rights reserved.
Gartner2017年技术成熟度曲线
萌芽期（Technology Trigger）：人们对新技术产品和概念开 始感知，并且表现出兴趣; 过热期（Peak of Inflated Expectations）：人们一拥而上，纷纷 采用这种新技术，讨论这种新技术。典型成功的案例往往会 大数据正处于高速发展的巅峰期（热度巅峰），但在研究 把人们的这种热情加上把催化剂;
速度Velocity
ZQY
实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效
© ZQY . Leabharlann Baidull rights reserved.
大数据的背景意义——大数据的4V特性
大
海量沙漠
杂
充满杂 质
低
只为粒 金
ZQY
快
争分夺秒
© ZQY . All rights reserved.
大数据研究的科学价值
中仍然面临严峻挑战，亟需研究突破。待热潮之后，虽可
低谷期（ Trough of Disillusionment）：过度的预期，严峻的现 能转向低谷期，但未来将走向成熟！ 实，往往会把人们心理的一把火浇灭; 复苏期（Slope of Enlightenment）：人们开始反思问题，并从 实际出发考虑技术的价值。相比之前冷静不少;
ZQY
© ZQY . All rights reserved.
大数据的概念及内涵
仅仅是 “大”？
比“大”更重要的 是数据的复杂性， 有时甚至大数据中 的小数据如一条微 博就具有颠覆性的 价值
ZQY
© ZQY . All rights reserved.
大数据的背景及意义——大数据的4V特性
体量Volume
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大
多样性Variety
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
杂
低 快
价值密度Value
大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）
大数据的背景：网络互联技术发展、感知设备普及以 及物联网架构成熟，并由社交网络承载所引起的信息 爆炸。云计算为其提供强大的支撑动力！
商业模式驱动
（新壶装旧酒） 云计算
内在需求驱动
（新酒装新壶） 大数据
“蓝蓝的天上白云飘，白云下面数据跑” ——云计算技术是大数据发展的基础和支撑
ZQY
© ZQY . All rights reserved.
XXXX技术有限公司
大数据“浪潮汹涌”
“人人都知道，都说 好，但究竟是什么， 怎么做？” —— 有关大数据浪潮的贴 切描述
真有很“大” 的数据么？
ZQY
© ZQY . All rights reserved.
数据的背景意义——信息爆炸增长
“网上一分钟，人间一万年！”
反映到数据 量上是什么 情况？
大数据科研属于“数据密集型”的科学发现第四范式
2007 年 ， 已 故 的图灵奖得主 吉 姆 ·格 雷 （Jim Gray）
ZQY
© ZQY . All rights reserved.
大数据研究的科学价值
李国杰 （中国工程院院士， 大数据专委会主任）
“现代生命科学信息已具备大数据公认的4V特征， 同时，大数据彻底颠覆了传统生命科学以假说指 导实验和以模式生物为研究主体的科学发现模式， 使生命科学研究开始进入“数据密集型”的科学 发现第四范式时代。”
而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长 44 倍，达到35.2ZB（1ZB=10 亿TB）！
如此庞大数据的 源头是什么？
© ZQY . All rights reserved.
ZQY
数据的背景意义——物联网设备的普及
普适计算
把计算机嵌入到环境或日常工具中 Invisible Computing 去 计算机本身从人们的视线中消失 不必显式地使用计算机等设备进行 4A 让人们注意的中心回归到要完成的 计算，就能获取需要的信息 任务本身 必要条件 Anytime 功能简单、价格低廉的设备必须广 Anywhere 多个人共享少量的设备 泛存在 Anyone 必须有一个允许这些设备无缝通信 Anything 的架构
一个人拥有多个设备
ZQY
© ZQY . All rights reserved.
数据的背景意义——物联网体系架构
ZQY
© ZQY . All rights reserved.
数据的背景意义——社交网络承载
ZQY
© ZQY . All rights reserved.
数据的背景意义——云计算的支撑
ZQY
© ZQY . All rights reserved.
数据的背景意义——信息爆炸增长
地球上至今总共的数据量：
在2006 年，个人用户才刚刚迈进TB时代， 全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。
TB
GB
ZB EB PB
1PB = 250字节 1EB = 260字节 1ZB = 270字节
大数据的概念及内涵
“大数据：或称巨量数据、海量数据、大资料，指 的是所涉及的数据量规模巨大到无法通过人工，在 合理时间内达到截取、管理、处理、并整理成为人 类所能解读的信息。” ——维基百科
ZQY
© ZQY . All rights reserved.
大数据的概念及内涵
“大数据指的是大小超出常规的数据库工具获取、存储、管理和分 析能力的数据集。尺寸并无主观度量。” ——麦肯锡
成熟期（Plateau of Productivity）：真正成熟，该技术已经成 为一种平常
ZQY
© ZQY . All rights reserved.
大数据新思维
大数据的数据够“大”，数据不再是稀缺资源，不 能像小数据时代那样，用最小的数据获得最多的信 息；而应该要拿到与领域相关的全数据 大 数 据 新 思 维 大数据的数据够“杂”，来源广泛，格式五花八门， 用户需从海量数据中提炼有价值信息，个体数据 （或严格因果模型）的精确性不再重要，重要的是 大多数数据群共同指出的结论（相关性关系）； 大数据的数据够“快”，数据产生得快，数据增加 得快，数据随时间的折旧也快，数据的时效性成为 关键。
ZQY
赵国屏 （中科院院士，国家人类基因组南方中心执 行主任，分子微生物学专家）
© ZQY . All rights reserved.
Gartner2017年技术成熟度曲线
ZQY
© ZQY . All rights reserved.
Gartner2017年技术成熟度曲线
萌芽期（Technology Trigger）：人们对新技术产品和概念开 始感知，并且表现出兴趣; 过热期（Peak of Inflated Expectations）：人们一拥而上，纷纷 采用这种新技术，讨论这种新技术。典型成功的案例往往会 大数据正处于高速发展的巅峰期（热度巅峰），但在研究 把人们的这种热情加上把催化剂;
速度Velocity
ZQY
实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效
© ZQY . Leabharlann Baidull rights reserved.
大数据的背景意义——大数据的4V特性
大
海量沙漠
杂
充满杂 质
低
只为粒 金
ZQY
快
争分夺秒
© ZQY . All rights reserved.
大数据研究的科学价值
中仍然面临严峻挑战，亟需研究突破。待热潮之后，虽可
低谷期（ Trough of Disillusionment）：过度的预期，严峻的现 能转向低谷期，但未来将走向成熟！ 实，往往会把人们心理的一把火浇灭; 复苏期（Slope of Enlightenment）：人们开始反思问题，并从 实际出发考虑技术的价值。相比之前冷静不少;
ZQY
© ZQY . All rights reserved.
大数据的概念及内涵
仅仅是 “大”？
比“大”更重要的 是数据的复杂性， 有时甚至大数据中 的小数据如一条微 博就具有颠覆性的 价值
ZQY
© ZQY . All rights reserved.
大数据的背景及意义——大数据的4V特性
体量Volume
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大
多样性Variety
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
杂
低 快
价值密度Value
大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）
大数据的背景：网络互联技术发展、感知设备普及以 及物联网架构成熟，并由社交网络承载所引起的信息 爆炸。云计算为其提供强大的支撑动力！
商业模式驱动
（新壶装旧酒） 云计算
内在需求驱动
（新酒装新壶） 大数据
“蓝蓝的天上白云飘，白云下面数据跑” ——云计算技术是大数据发展的基础和支撑
ZQY
© ZQY . All rights reserved.