第5章-大数据处理

• 根据需要通过软件编程去定义器件的硬件功能 • 一种半定制电路
• 既解决了全定制电路的不足，又克服了原有可 编程逻辑器件门电路数有限的缺点
总结
大数据导论
• 传统的集中式数据计算架构
– 超级计算机的发展历史和大数据处理特点
• 分布式计算架构
– MapReduce和Spark两种分布式计算架构 – 流式数据的计算架构：Storm、Spark、Samza
5.2.1 基于MapReduce批处理计算架构
• 基础：Hadoop分布式文件系统（HDFS） • HDFS
– 适合运行在通用硬件上的分布式文件系统 – 高度容错性，适合部署在廉价的机器上 – 提供高吞吐量的数据访问 – HDFS应用需要一个“一次写入多次读取”的文
件访问模型
5.2.1 基于MapReduce批处理计算架构
5.2.2 基于Spark分布式内存计算架构
• Spark自身只对计算负责，其计算资源的管理和调度 由第三方框架来实现。
• 常用的框架: YARN、Mesos
5.2.2 基于Spark分布式内存计算架构
• Spark计算过程
– RDD构建：构建RDD之间的依赖关系，将RDD转换为阶 段的有向无环图。
• 超级计算机
– 超级计算机的性能以每秒浮点运算（FLOPS）而不是每 秒百万条指令（MIPS）来衡量
– 通常应用于计算密集型任务: 量子力学、天气预报、气 候研究、石油和天然气勘探、分子建模、物理模拟 （如宇宙早期模拟、飞机和宇宙飞船的空气动力学、 核武器爆炸和核聚变模拟）
– 国防科技大学研制的天河二号超级计算机连续六次蝉 联TOP500桂冠，2017年11月，同样来自中国的神威·太 湖之光超过了天河二号，摘得TOP500桂冠。
1个副本放在同一机架的另一个节点上，最后1个副 本放在不同机架的节点上
5.2.2 基于Spark分布式内存计算架构
• Spark: 一个分布式的内存计算框架 • 特点: 能处理大规模数据，计算速度快 • 延续了Hadoop的MapReduce计算模型 • 提升了计算速度
– 计算过程保持在内存中 – 减少了硬盘读写 – 能够将多个操作进行合并后计算
主要内容
• 5.1 集中式计算架构 • 5.2 分布式计算架构 • 5.3 处理加速技术
5.1 集中式计算架构
• 在计算机技术应用的早期，大型主机乃至 超级计算机是计算和数据的绝对霸主，因 此集中式架构也就是唯一选择。
• 传统的集中式数据计算架构
– 大型主机 – 超级计算机系统。
5.1 集中式计算架构
第五章 大数据处理
设置思路
• 大数据是一个庞大的生态系统，很难用一种架构或处理 技术覆盖所有场景
• 随着人们对数据特点的认识和需求变化，以及新数据类 型的不断出现，新的处理架构和处理技术也随之不断涌 现。
• 根据数据处理需求和类型的不同，分成不同的小节介绍 相应的架构和处理技术。
– 早期流行的集中式计算架构 – 当前主流的分布式架构（重点） – 近年来热门的处理加速技术。
5.3.2 TPU
• Google在2016年的Google I/O年会上首次公布了TPU • 与CPU和GPU由于引入了Cache、乱序执行、多线程和预
取等造成的执行时间不确定相比，TPU 的确定性执行模 块能够满足 Google 神经网络应用上 99% 相应时间需求。
5.3.3 FPGA
• FPGA: 现场可编程逻辑闸阵列（Field Programmable Gate Array）
• HDFS采用主/从架构
– 名字节点（Namenode） – 数据节点（Datanodes）
5.2.1 基于MapReduce批处理计算架构
• HDFS的数据复制
– 能够在一个大集群中跨机器可靠地存储超大文件 – 将每个文件存储成一系列的数据块，文件的所有数
据块都会有副本 – 副本的存放是HDFS可靠性和性能的关键 – 副本存放策略：1个副本存放在本地机架的节点上，
5.2.3 流式数据计算架构
• Apache Spark
– 核心Spark API的一个扩展 – 不会像Storm那样一次一个地处理数据流，而是
在处理前按时间间隔预先将其切分为一段一段 的批处理作业 – Spark针对持续性数据流的抽象称为Dstream， 一个DStream是一个微批处理的RDD
• 提供了更丰富的计算API
5.2.2 基于Spark分布式内存计算架构
• 核心概念：RDD
– Resilient Distributed Datasets: 弹性分布式数据集 – Spark中最主要的数据结构 – RDD是分布式的数据集 – 每个RDD都支持MapReduce类操作，经过
MapReduce操作后会产生新的RDD，而不会修 改原有RDD
5.1 集中式计算架构
• 大数据对超级计算机提出的挑战
– 超级计算机是面向高性能计算设计的计算系统， 高性能计算与大数据处理存在多方面差异
5.2 分布式计算架构
• 5.2.1 基于MapReduce批处理计算架构 • 5.2.2 基于Spark分布式内存计算架构 • 5.2.3 流式数据计算架构
5.2.2 基于Spark分布式内存计算架构
• 核心概念：RDD
– Resilient Distributed Datasets: 弹性分布式数据集 – Spark中最主要的数据结构 – RDD是分布式的数据集 – 每个RDD都支持MapReduce类操作，经过
MapReduce操作后会产生新的RDD，而不会修 改原有RDD
5.2.3 流式数据计算架构
• Apache Storm
– 在Storm中，先要设计一个实时计算的图状结构， 称之为拓扑（topology）
– 拓扑中包括spout和bolt两种角色
• Spout：发送消息，负责将数据流以tuple元组的形式发送 出去
• Bolt：负责转换这些数据流，在bolt中可以完成计算、过 滤等操作，bolt自身也可以随机将数Fra bibliotek发送给其他bolt
5.3 处理加速技术
5.3.1 GPU
• GPU则拥有一个由数以千计的更小、更高效的 核心组成的大规模并行计算架构
• GPU和CPU的差异：GPU是特别为计算密集， 高并行度计算设计的，因此将更多的晶体管用 于数据处理而不是数据缓存和流控。
• GPU非常适合处理那些能够表示为数据并行计 算（同一程序在多个数据上并行执行）的问题， 数据并行计算的算术计算密度（算术操作和存 储器操作的比例）非常高。
• 处理加速技术：GPU、TPU、FPGA
主要特色
• 集中式架构尽管已不是主流，但通过与分布式架构 对比，更易于理解大数据架构的演化脉络
• 在集中式架构中，重点介绍了在国计民生中占据重 要地位的超级计算机，以及大数据对超级计算机的 挑战
• 在分布式架构部分，除了流行的MapReduce和Spark， 还介绍了针对流数据的3种架构
• 针对高效大数据处理的需求，介绍了当前必不可少 的处理加速技术，包括GPU、FPGA以及最新的TPU
5.2.3 流式数据计算架构
• Apache Samza
– 分别按次处理每条收到的消息 – Samza的流单位既不是元组，也不是Dstream，
而是一条条消息 – 在Samza中，数据流被切分开来，每个部分都
由一组只读消息的有序数列构成，而这些消息 每条都有一个特定的ID
• GPU • TPU • FPGA
– 任务调度：根据空闲计算资源情况进行任务提交，并 对任务的运行状态进行监测和处理。
– 任务计算：搭建任务运行环境，执行任务并返回任务 结果。
– Shuffle过程：两个阶段之间有宽依赖时，需要进行 Shuffle操作
5.2.3 流式数据计算架构
• 流式数据计算架构：低延迟、可扩展和容 错性
– Storm – Spark – SamzaRDD