大数据概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
包括：虚拟化、分布式存储、分布式计算、多租户等
--勿忘初心，坚持自我。
大数据学院
物联网
物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式 联在一起，实现信息化和远程管理控制
应用层
智能交通 智能电网 智慧农业 智能工业 智能家居 智慧医疗
业务支撑平台（中间件平台）
处理层
服务支撑 平台
网络管理 平台
信息处理 平台
信息安全 平台
网络层
电信网
互联网
广电网
电网
专用网
其他网
RFID网络
传感器网络 导航定位 二维码 标签 传感器 摄像头
感知层
RFID标签 和读写器
M2M终端
--勿忘初心，坚持自我。
大数据学院
物联网的应用
--勿忘初心，坚持自我。
--勿忘初心，坚持自我。
数据存储和管理 数据处理与分析 数据隐私和安全
大数据学院
大数据2大核心技术
大数据
GFS/HDFS BIGTABLE/HBASE NOSQL NEWSQL
MAPREDUCE
--勿忘初心，坚持自我。
大数据学院
大数据计算模式
计算模式
批处理计算 流计算
解决问题
针对大规模数据的批处 理
--勿忘初心，坚持自我。
图计算
查询分析计算
大数据学院
云计算，大数据和物联网的关系
先看云计算
公有云 混合云 私有云
应用层 软件即服务（SaaS） 平台层 平台即服务（PaaS） 基础设施层 基础设施即服务（IaaS）
--勿忘初心，坚持自我。
大数据学院
云计算
--勿忘初心，坚持自我。
大数据学院
云计算关键技术Baidu Nhomakorabea
针对流数据的实时计算 针对大规模图结构数据 的处理 大规模数据的存储管理 和查询分析
框架或产品
MapReduce、Spark等 Storm、S4、DStream、Super Mario、银河流数据处理平台等 Pregel、GraphX、Giraph、 PowerGraph、Hama、GoldenOrb 等 Hive、Cassandra、Impala等
数据采集 利用ETL工具将分布的的数据如关系数据、平面数据文件等，抽取到 临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集 中，进行分析处理 利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数 据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理 利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法 ，实现对海量数据的处理和分析；对分析结果进行可视化呈现 在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私 数据保护体系和数据安全体系，有效保护个人隐私和数据安全
大数据学院
大数据，云计算和物联网的关系
--勿忘初心，坚持自我。
大数据学院
大数据概述
1. 大数据的应用 2. 大数据的技术 3. 大数据，云计算和物联网的关系
--勿忘初心，坚持自我。
大数据学院
大数据的应用
大数据的应用无处不在，包括金融，能源，电信，政务，医疗，娱乐等在内的各行 各业已融入了大数据的印迹
--勿忘初心，坚持自我。
大数据学院
大数据关键技术—从技术层面考虑
--勿忘初心，坚持自我。
大数据学院
物联网
物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式 联在一起，实现信息化和远程管理控制
应用层
智能交通 智能电网 智慧农业 智能工业 智能家居 智慧医疗
业务支撑平台（中间件平台）
处理层
服务支撑 平台
网络管理 平台
信息处理 平台
信息安全 平台
网络层
电信网
互联网
广电网
电网
专用网
其他网
RFID网络
传感器网络 导航定位 二维码 标签 传感器 摄像头
感知层
RFID标签 和读写器
M2M终端
--勿忘初心，坚持自我。
大数据学院
物联网的应用
--勿忘初心，坚持自我。
--勿忘初心，坚持自我。
数据存储和管理 数据处理与分析 数据隐私和安全
大数据学院
大数据2大核心技术
大数据
GFS/HDFS BIGTABLE/HBASE NOSQL NEWSQL
MAPREDUCE
--勿忘初心，坚持自我。
大数据学院
大数据计算模式
计算模式
批处理计算 流计算
解决问题
针对大规模数据的批处 理
--勿忘初心，坚持自我。
图计算
查询分析计算
大数据学院
云计算，大数据和物联网的关系
先看云计算
公有云 混合云 私有云
应用层 软件即服务（SaaS） 平台层 平台即服务（PaaS） 基础设施层 基础设施即服务（IaaS）
--勿忘初心，坚持自我。
大数据学院
云计算
--勿忘初心，坚持自我。
大数据学院
云计算关键技术Baidu Nhomakorabea
针对流数据的实时计算 针对大规模图结构数据 的处理 大规模数据的存储管理 和查询分析
框架或产品
MapReduce、Spark等 Storm、S4、DStream、Super Mario、银河流数据处理平台等 Pregel、GraphX、Giraph、 PowerGraph、Hama、GoldenOrb 等 Hive、Cassandra、Impala等
数据采集 利用ETL工具将分布的的数据如关系数据、平面数据文件等，抽取到 临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集 中，进行分析处理 利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数 据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理 利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法 ，实现对海量数据的处理和分析；对分析结果进行可视化呈现 在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私 数据保护体系和数据安全体系，有效保护个人隐私和数据安全
大数据学院
大数据，云计算和物联网的关系
--勿忘初心，坚持自我。
大数据学院
大数据概述
1. 大数据的应用 2. 大数据的技术 3. 大数据，云计算和物联网的关系
--勿忘初心，坚持自我。
大数据学院
大数据的应用
大数据的应用无处不在，包括金融，能源，电信，政务，医疗，娱乐等在内的各行 各业已融入了大数据的印迹
--勿忘初心，坚持自我。
大数据学院
大数据关键技术—从技术层面考虑