大数据概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基础设施层 基础设施即服务（IaaS）
--勿忘初心，坚持自我。
云计算
大数据学院
--勿忘初心，坚持自我。
大数据学院
云计算关键技术
包括：虚拟化、分布式存储、分布式计算、多租户等
--勿忘初心，坚持自我。
大数据学院
物联网
物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式 联在一起，实现信息化和远程管理控制
Pregel、GraphX、Giraph、 PowerGraph、Hama、GoldenOrb 等
大规模数据的存储管理 和查询分析
Hive、Cassandra、Impala等
--勿忘初心，坚持自我。
大数据学院
云计算，大数据和物联网的关系
先看云计算
公有云
混合云
私有云
应用层 软件即服务（SaaS）
平台层 平台即服务（PaaS）
--勿忘初心，坚持自我。
物联网的应用
大数据学院
--勿忘初心，坚持自我。
大数据学院
大数据，云计算和物联网的关系
--勿忘初心，坚持自我。
应用层 智能交通 智能电网 智慧农业 智能工业 智能家居 智慧医疗
处理层
业务支撑平台（中间件平台）
服务支撑 平台
网络管理 平台
信息处理 平台
信息安全 平台
网络层 电信网 互联网 广电网 电网 专用网 其他网
感知层 RFID标签
和读写器
RFID网络 M2M终端 导航定位
传感器网络
二维码 标签
传感器
摄像头
大数据学院 大数据概述
1. 大数据的应用 2. 大数据的技术 3. 大数据，云计算和物联网的关系
--勿忘初心，坚持自我。
大数据学院 大数据的应用
大数据的应用无处不在，包括金融，能源，电信，政务，医疗，娱乐等在内的各行 各业已融入了大数据的印迹
--勿忘初心，坚持自我。
大数据学院
大数据关键技术—从技术层面考虑
利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法 ，实现对海量数据的处理和分析；对分析结果进行可视化呈现
在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私 数据保护体系和数据安全体系，有效保护个人隐私和数据安全
--勿忘初心，坚持自我。
大数据学院 大数据2大核心技术
大数据
GFS/HDFS BIGTABLE/HBASE NOSQL NEWSQL
MAPREDUCE
--勿忘初心，坚持自我。
大数据学院
大数据计算模式
计算模式
批处理计算 流计算 图计算 查询分析计算
解决问题
框架或产品
针对大规模数据的批处 理
MapReduce、Spark等
针对流数据的实时计算
Storm、S4、DStream、Super Mario、银河流数据处理平台等
针对大规模图结构数据 的处理
数据采集 数据存储和管理
利用ETL工具将分布的的数据如关系数据、平面数据文件等，抽取到 临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集 中，进行分析处理
利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数 Baidu Nhomakorabea库等，实现对结构化、半结构化和非结构化海量数据的存储和管理
数据处理与分析 数据隐私和安全
--勿忘初心，坚持自我。
云计算
大数据学院
--勿忘初心，坚持自我。
大数据学院
云计算关键技术
包括：虚拟化、分布式存储、分布式计算、多租户等
--勿忘初心，坚持自我。
大数据学院
物联网
物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式 联在一起，实现信息化和远程管理控制
Pregel、GraphX、Giraph、 PowerGraph、Hama、GoldenOrb 等
大规模数据的存储管理 和查询分析
Hive、Cassandra、Impala等
--勿忘初心，坚持自我。
大数据学院
云计算，大数据和物联网的关系
先看云计算
公有云
混合云
私有云
应用层 软件即服务（SaaS）
平台层 平台即服务（PaaS）
--勿忘初心，坚持自我。
物联网的应用
大数据学院
--勿忘初心，坚持自我。
大数据学院
大数据，云计算和物联网的关系
--勿忘初心，坚持自我。
应用层 智能交通 智能电网 智慧农业 智能工业 智能家居 智慧医疗
处理层
业务支撑平台（中间件平台）
服务支撑 平台
网络管理 平台
信息处理 平台
信息安全 平台
网络层 电信网 互联网 广电网 电网 专用网 其他网
感知层 RFID标签
和读写器
RFID网络 M2M终端 导航定位
传感器网络
二维码 标签
传感器
摄像头
大数据学院 大数据概述
1. 大数据的应用 2. 大数据的技术 3. 大数据，云计算和物联网的关系
--勿忘初心，坚持自我。
大数据学院 大数据的应用
大数据的应用无处不在，包括金融，能源，电信，政务，医疗，娱乐等在内的各行 各业已融入了大数据的印迹
--勿忘初心，坚持自我。
大数据学院
大数据关键技术—从技术层面考虑
利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法 ，实现对海量数据的处理和分析；对分析结果进行可视化呈现
在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私 数据保护体系和数据安全体系，有效保护个人隐私和数据安全
--勿忘初心，坚持自我。
大数据学院 大数据2大核心技术
大数据
GFS/HDFS BIGTABLE/HBASE NOSQL NEWSQL
MAPREDUCE
--勿忘初心，坚持自我。
大数据学院
大数据计算模式
计算模式
批处理计算 流计算 图计算 查询分析计算
解决问题
框架或产品
针对大规模数据的批处 理
MapReduce、Spark等
针对流数据的实时计算
Storm、S4、DStream、Super Mario、银河流数据处理平台等
针对大规模图结构数据 的处理
数据采集 数据存储和管理
利用ETL工具将分布的的数据如关系数据、平面数据文件等，抽取到 临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集 中，进行分析处理
利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数 Baidu Nhomakorabea库等，实现对结构化、半结构化和非结构化海量数据的存储和管理
数据处理与分析 数据隐私和安全