大数据及其相关新兴技术
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(4)大数据发展的主要推动力
• 大数据推动者是企业界：企业界的经济效益推动了大数据的发展。IBM、Oracle、 微软、谷歌、亚马逊、Facebook等跨国巨头是大数据处理技术的主要推动者。 O’Reilly公司断言：数据是下一个“Intel Inside”，未来属于将数据转换成产品 的公司和人们。
• 斯隆数字天空勘探（SDSS：Sloan Digital Sky Survey）计划：从2008 年开始收集天文数据，并且每晚以200GB的速率继续收集，到2012年， SDSS已积累了超过140TB的信息。
• 基因测序：2013年全球至少有30万个人类个体基因组被全部或部分测序， 这就意味着将会产生30Pb的序列数据，至少需要相当150PB的存储和分5
• 物联网上采集和观测数据：在遍布全球各地的移动传感器、无线传感器、空 间遥感器、射频识读器和摄像、照相机等各种采集和观测数据设备，都在时 时、处处捕获大量诸如位置数据、传感数据、卫星图像数据、气象数据等。
• 社会发布的信息数据：现代社会中，政府、企事业、行业等机关部门都不断 地向社会发布政务信息、公共服务信息、卫生保健信息、社会保险信息、科 技教育信息、安全预警信息、金融服务信息、证据投资信息等数据。
大数据及其相关新兴技术 Big Data and It’s Related Emerging
Technologies
摘要： 大数据、物联网和云计算是新一代信息技术发
展中的华彩乐章。物联网使成千上万的网络传感器 嵌入到现实世界中，云计算为物联网产生的海量数 据提供了存储空间和在线处理，而大数据则让海量 数据产生了价值。本报告，首先介绍大数据世界和 大数据潮流；其次讲解什么是大数据和大数据的一 般处理流程；接着介绍产生大数据来源之一的物联 网的产生、发展及其系统架构；然后讲述大数据与 云计算的关系和两者的异同点；最后在简介高性能 计算与高性能计算机的基础上，阐述了在大数据面 前高性能计算本身所面临的技术挑战等。
4
(2)大科学工程产1生、了大大数数据据浪潮汹涌澎湃
• *大型强子碰撞（LHC：Large Hadron Collider）试验：美国大数据研究 计划中专门列出寻找希格斯粒子（被称为“上帝粒子”）的LHC实验。据 说至少要1万亿个事例中才可能找出一个希格斯粒子。在发生碰撞时， LHC检测器（Detector）在一秒钟内能捕获到其临近0.4亿（40 million） 个快照。当LHC试验时，约有1.5亿个传感器（Sensor）每秒传递数据0.4 亿次，大约每秒近6.0亿碰撞。如果所有的传感器数据均记录在LHC中， 则在重复之前每天将近有500EB（E=1018）数据流量，几乎是世界上所有 其他资源的200倍。
6. 高性能计算与高性能计算机
6.1 什么是高性能计算
2. 大数据引领社会、经济和科技发展 6.2 高性能计算机系统举例
2.1 大数据对国家社会的作用
6.3 高性能计算应用
2.2 大数据推动国民经济发展 2.3 大数据促进科技发展
7. 高性能计算面临大数据的挑战
2.4 大数据应用及实例
7.1 计算模型的转变
3
1、大数据浪潮汹涌澎湃
• 1.1 大数据世界
(1)网络连接的世界涌现出大数据
• 互联网和社交网产生的数据：现代网络社会中，人们在通过电子邮件、维基、 微博、博客、娱乐节目、网上购物、银行交易、股票数据等进行互动和交易， 每个人在分享网上数据的同时，又在不断制造数据。
• 无线移动互联网络产生的数据：移动智能终端接入互联网就形成了移动互联 网，它虽兼具了通信网之“随时、随地、随身”和互联网之“共享、开放、 交互”的优势，但仍面临着海量数据通信对网络带宽带来的巨大负担；而移 动互联网的无线接入网络使得数据流量剧增，迫使网络运营商不断增加基站 数和进一步挖掘频谱利用率；网络应用和服务的多元化使得传统的微观小尺 度（分组级和数据帧级）的业务规律分析无法从宏观上描述业务特征规律。
*参与“上帝粒子”项目的28岁小伙子，计昊爽，合肥庐江人，毕业于中国科学技术大学，后 去美国威斯康辛大学读博士。他是欧洲核子研究组织（CERN）团队成员，他在计算和实验证 明出“上帝粒子”存在功不可没。他首次计算得到了5倍西格玛（Sigma）的显著度，有 99.9999%的可信度表明了该粒子的存在。这在科学界被认为已经证明了上帝粒子的存在。
*希格斯粒子以2013年诺贝尔奖获主之一现年84岁的英国科学家彼得·希格斯命名。他在1964 年曾预言玻色子粒子的存在。时隔50年之后，被总部设在瑞士日内瓦的欧洲核子研究中心 LHC实验项目所证实。因为诺贝尔奖至多3人分享，所以欧洲核子研究中心参与发现这种粒子 的数以千计的研究人员就成了无名英雄了。
• 大数据主要消费者是网民：近年来大数据骤增主要还是来自人们的日常生活（图片、 视频、音乐等），特别是互联网公司的服务。
7.2 系统结构的转变
3. 大数据的处理流程
7.3 编程模型的转变
3.1 大数据的采集与预处理
7.4 应用方式的转变
3.2 大数据的传输
7.5 其他方面的转变
3.3 大数据的存储 3.4 大数据的处理
8. 结论
3.5 大数据的展现
8.1 从量变到质变
8.2 各领风骚十数年
4. 大数据与物联网
4.1 物联网
(3)新技术新应用1催、生的大大数数据 据浪潮汹涌澎湃
• 新技术：传感技术、新型通信技术、物联网技术等高速发展，让人们感知的东西很 多；人与人、人与机器、机器与机器时刻都在互联互动；新的获取、搜索、发现和 分析工具更使人们获得更丰富的数据。
• 新应用：物联网（使成千上万的网络传感器嵌入到现实世界中）和云计算（为海量 数据提供了存储空间和在线处理）等新型应用更使得数据激增。
2
1. 大数据浪潮汹涌澎湃
1.1 大数据世界
目 录4.2 物联网的发展历程 4.3 大数据与物联网
1.2 大数据潮流
5. 大数据与云计算
1.3 什么是大数据
来自百度文库
5.1 什么是云计算
1.4 变革思维研究大数据
5.2 大数据与云计算的关系
1.5 大数据的价值
5.3 大数据与云计算的不同点
1.6 大数据的管理 1.7 大数据时代的产业界情况
• 大数据推动者是企业界：企业界的经济效益推动了大数据的发展。IBM、Oracle、 微软、谷歌、亚马逊、Facebook等跨国巨头是大数据处理技术的主要推动者。 O’Reilly公司断言：数据是下一个“Intel Inside”，未来属于将数据转换成产品 的公司和人们。
• 斯隆数字天空勘探（SDSS：Sloan Digital Sky Survey）计划：从2008 年开始收集天文数据，并且每晚以200GB的速率继续收集，到2012年， SDSS已积累了超过140TB的信息。
• 基因测序：2013年全球至少有30万个人类个体基因组被全部或部分测序， 这就意味着将会产生30Pb的序列数据，至少需要相当150PB的存储和分5
• 物联网上采集和观测数据：在遍布全球各地的移动传感器、无线传感器、空 间遥感器、射频识读器和摄像、照相机等各种采集和观测数据设备，都在时 时、处处捕获大量诸如位置数据、传感数据、卫星图像数据、气象数据等。
• 社会发布的信息数据：现代社会中，政府、企事业、行业等机关部门都不断 地向社会发布政务信息、公共服务信息、卫生保健信息、社会保险信息、科 技教育信息、安全预警信息、金融服务信息、证据投资信息等数据。
大数据及其相关新兴技术 Big Data and It’s Related Emerging
Technologies
摘要： 大数据、物联网和云计算是新一代信息技术发
展中的华彩乐章。物联网使成千上万的网络传感器 嵌入到现实世界中，云计算为物联网产生的海量数 据提供了存储空间和在线处理，而大数据则让海量 数据产生了价值。本报告，首先介绍大数据世界和 大数据潮流；其次讲解什么是大数据和大数据的一 般处理流程；接着介绍产生大数据来源之一的物联 网的产生、发展及其系统架构；然后讲述大数据与 云计算的关系和两者的异同点；最后在简介高性能 计算与高性能计算机的基础上，阐述了在大数据面 前高性能计算本身所面临的技术挑战等。
4
(2)大科学工程产1生、了大大数数据据浪潮汹涌澎湃
• *大型强子碰撞（LHC：Large Hadron Collider）试验：美国大数据研究 计划中专门列出寻找希格斯粒子（被称为“上帝粒子”）的LHC实验。据 说至少要1万亿个事例中才可能找出一个希格斯粒子。在发生碰撞时， LHC检测器（Detector）在一秒钟内能捕获到其临近0.4亿（40 million） 个快照。当LHC试验时，约有1.5亿个传感器（Sensor）每秒传递数据0.4 亿次，大约每秒近6.0亿碰撞。如果所有的传感器数据均记录在LHC中， 则在重复之前每天将近有500EB（E=1018）数据流量，几乎是世界上所有 其他资源的200倍。
6. 高性能计算与高性能计算机
6.1 什么是高性能计算
2. 大数据引领社会、经济和科技发展 6.2 高性能计算机系统举例
2.1 大数据对国家社会的作用
6.3 高性能计算应用
2.2 大数据推动国民经济发展 2.3 大数据促进科技发展
7. 高性能计算面临大数据的挑战
2.4 大数据应用及实例
7.1 计算模型的转变
3
1、大数据浪潮汹涌澎湃
• 1.1 大数据世界
(1)网络连接的世界涌现出大数据
• 互联网和社交网产生的数据：现代网络社会中，人们在通过电子邮件、维基、 微博、博客、娱乐节目、网上购物、银行交易、股票数据等进行互动和交易， 每个人在分享网上数据的同时，又在不断制造数据。
• 无线移动互联网络产生的数据：移动智能终端接入互联网就形成了移动互联 网，它虽兼具了通信网之“随时、随地、随身”和互联网之“共享、开放、 交互”的优势，但仍面临着海量数据通信对网络带宽带来的巨大负担；而移 动互联网的无线接入网络使得数据流量剧增，迫使网络运营商不断增加基站 数和进一步挖掘频谱利用率；网络应用和服务的多元化使得传统的微观小尺 度（分组级和数据帧级）的业务规律分析无法从宏观上描述业务特征规律。
*参与“上帝粒子”项目的28岁小伙子，计昊爽，合肥庐江人，毕业于中国科学技术大学，后 去美国威斯康辛大学读博士。他是欧洲核子研究组织（CERN）团队成员，他在计算和实验证 明出“上帝粒子”存在功不可没。他首次计算得到了5倍西格玛（Sigma）的显著度，有 99.9999%的可信度表明了该粒子的存在。这在科学界被认为已经证明了上帝粒子的存在。
*希格斯粒子以2013年诺贝尔奖获主之一现年84岁的英国科学家彼得·希格斯命名。他在1964 年曾预言玻色子粒子的存在。时隔50年之后，被总部设在瑞士日内瓦的欧洲核子研究中心 LHC实验项目所证实。因为诺贝尔奖至多3人分享，所以欧洲核子研究中心参与发现这种粒子 的数以千计的研究人员就成了无名英雄了。
• 大数据主要消费者是网民：近年来大数据骤增主要还是来自人们的日常生活（图片、 视频、音乐等），特别是互联网公司的服务。
7.2 系统结构的转变
3. 大数据的处理流程
7.3 编程模型的转变
3.1 大数据的采集与预处理
7.4 应用方式的转变
3.2 大数据的传输
7.5 其他方面的转变
3.3 大数据的存储 3.4 大数据的处理
8. 结论
3.5 大数据的展现
8.1 从量变到质变
8.2 各领风骚十数年
4. 大数据与物联网
4.1 物联网
(3)新技术新应用1催、生的大大数数据 据浪潮汹涌澎湃
• 新技术：传感技术、新型通信技术、物联网技术等高速发展，让人们感知的东西很 多；人与人、人与机器、机器与机器时刻都在互联互动；新的获取、搜索、发现和 分析工具更使人们获得更丰富的数据。
• 新应用：物联网（使成千上万的网络传感器嵌入到现实世界中）和云计算（为海量 数据提供了存储空间和在线处理）等新型应用更使得数据激增。
2
1. 大数据浪潮汹涌澎湃
1.1 大数据世界
目 录4.2 物联网的发展历程 4.3 大数据与物联网
1.2 大数据潮流
5. 大数据与云计算
1.3 什么是大数据
来自百度文库
5.1 什么是云计算
1.4 变革思维研究大数据
5.2 大数据与云计算的关系
1.5 大数据的价值
5.3 大数据与云计算的不同点
1.6 大数据的管理 1.7 大数据时代的产业界情况