大数据体系结构

谷歌大数据中心：全球主要DC有8个
PPT文档演模板
大数据体系结构
大数据表象概念：百度数据规模
PPT文档演模板
大数据体系结构
大数据表象概念：对系统要求
PPT文档演模板
大数据体系结构
大数据时代的新命题:
n 数据在爆炸式增长 －互联网海量大数据 －物联网各类型数据
n 发数据处理能力要求提高 －大规模数据存取方式 －大数据并行技术能力
n 数据间关联性分析加强 －社交网络关系 －多业务关联性 －用户行为分析
n 网络数据的实时同步 －一切营销都线下＋线上 －多业务跨地域数据同步
PPT文档演模板
“数据结构化”本身是最具 挑战性的一个环节. 海量数据与快速处理是一 对悖论.
大数据体系结构
信息时代的大数据需求
信息社会需求：信息化-智能化-现代化
并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对 ）缩小键/值对列表； n HBase: 类似Google BigTable的分布式NoSQL列数据库； n Hive：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一 张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务 进行运行；
Hadoop分布式系统组成
PPT文档演模板
大数据体系结构
大数据系统架构Hadoop
在图中，Hadoop主要的功能组件有： n Hadoop Common: 包含HDFS、MapReduce和其他项目公共内容； n HDFS：Hadoop分布式文件系统； n MapReduce：一个用于并行处理大数据集的软件框架。Map 函数接受一组数据
大数据系统架构Hadoop：功能定位
PPT文档演模板
大数据体系结构
1.大数据系统架构Hadoop：层次对应
PPT文档演模板
大数据体系结构
大数据：分布式计算架构
PPT文档演模板
大数据体系结构
大数据架构: MapReduce工作原理1
PPT文档演模板
大数据体系结构
大数据架构: MapReduce工作原理2
大数据体系结构
大数据关键技术3：数据分析技术
苦恼: 淹没在数据中 ; 不能制定合适的决策!
数据
知识
决策
金融 经济 政府 POS. 人口统计 生命周期
PPT文档演模板
模式 趋势 事实 关系 模型 关联规则 序列
PPT文档演模板
大数据体系结构
大数据的系统架构：整体系统架构
新一代编程语言
PPT文档演模板
大数据体系结构
大数据架构：整体逻辑功能架构
PPT文档演模板
大数据体系结构
大数据架构理解：搜索引擎
PPT文档演模板
大数据体系结构
大数据架构理解：网页内容抓取
PPT文档演模板
大数据体系结构
大数据系统架构Hadoop
数据的海量化和快增长特征、以及数据格式的多样化是大数据对
存储技术提出的首要挑战。要求底层硬件架构和文件系统在性价比上要大大高于传 统技术，并能够弹性扩展存储容量。
网络附着存储系统（NAS）和存储区域网络 （SAN）等体系，存储和计算的物理设备分离，
它们之间要通过网络接口连接，这导致在进行
数据密集型计算（Data Intensive Computing） 时I/O 容易成为瓶颈。单机文件系统不提供数据 冗余、可扩展性、容错及并发能力差
n Zookeeper：分布式锁，提供类似Google Chubby的功能； n Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制； n Pig：大数据数据流分析平台，为用户提供多种接口； n Sqoop：在HADOOP与传统的数据库间进行数据的传递。
Fra Baidu bibliotek
PPT文档演模板
大数据体系结构
大数据体系结构
PPT文档演模板
2020/11/15
大数据体系结构
主要内容
一、大数据时代的新命题 二、大数据的体系结构 三、大数据的关键技术
四、物联网与云计算架构 五、知名企业大数据架构 六、大数据系统设计案例
总结、交流、作业
PPT文档演模板
大数据体系结构
一、大数据时代的新命题
PPT文档演模板
大数据体系结构
人力工具 -- 镰刀 -- 锄头
动力工具 -- 机车 -- 机床
智能工具 --推理机 --智能网
农业社会
PPT文档演模板
工业社会
信息社会
大数据体系结构
信息时代数据大爆炸，推动智能技术发展
PPT文档演模板
大数据体系结构
信息时代，软件编程模型发展
n “面向信息处理”的智能化编程模型，编程简化为数据配置 与管理
PPT文档演模板
大数据体系结构
大数据＋技术架构数据智能
PPT文档演模板
大数据体系结构
二、大数据的系统架构
PPT文档演模板
大数据体系结构
传统数据库技术架构:
n Oracle数据库体系架构
PPT文档演模板
大数据体系结构
大数据架构：分层架构
从数据在生命周期看，大数据从数据源经过分析挖掘到最终获得价值需要经过5 个环节，包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。
PPT文档演模板
谷歌文件系统（GFS）和Hadoop 的分布式文件 系统HDFS（Hadoop Distributed File System） 奠定了大数据存储技术的基础。GFS/HDFS 将计 算和存储节点在物理上结合在一起，从而避免在 数据密集计算中易形成的I/O 吞吐量的制约，同 时这类分布式存储系统的文件系统也采用了分布 式架构，能达到较大高数的据并体发系访结构问能力。
PPT文档演模板
大数据体系结构
三、大数据的关键技术
PPT文档演模板
大数据体系结构
大数据关键技术到底有哪些？ 核心问题是：(计算、存储、分析)算法
大数据：恐怖的大数据(生活示例) 智能性：数据分析、自然语言理解
逻辑推理(演示) 艺术性：分形算法、视频动画(演示)
PPT文档演模板
大数据体系结构
大数据关键技术1：大数据存储技术
大数据关键技术2：并行计算能力
大数据的分析挖掘是数据密集型计算，需要巨大的计算能力。 针对不同计算场景发展出特定分布式计算框架。
Yahoo 提出的S4 系统、Twitter 的Storm,谷歌2010 年公布的Dremel系统， MapReduce 内存化以提高实时性的Spark 框架.
PPT文档演模板