大数据 Spark编程基础 第6章-Spark Streaming
Spark编程基础：Spark的设计与运行原理单元测验与答案
一、单选题1、以下哪个不是Spark的组件?（）A.Spark StreamingB.MLlibC.GraphXD.Flink正确答案：D2、下面哪个不是 RDD 的特点 ? （）A.可分区B.可序列化C.可修改D.可持久化正确答案：C3、Task是Executor上的工作单元，运行于下面哪个组件上？（）A.Driver ProgramB.Spark MasterC.Worker NodeD.Cluster Manager正确答案：C4、下面哪个操作肯定是宽依赖？（）A.mapB.filterC.reduceByKeyD.union正确答案：C二、多选题1、以下是Spark的主要特点的有? （）A.运行速度快B.容易使用，简洁的API设计有助于用户轻松构建并行程序C.通用性，Spark提供了完整而强大的技术栈D.运行模式多样正确答案：A、B、C、D2、Spark的运行架构包括哪些？（）A.集群资源管理器（Cluster Manager）B.执行进程（Executor）C.Worker NodeD.任务控制节点Driver Program正确答案：A、B、C、D3、关于RDD之间的依赖分为窄依赖和宽依赖，以下说法正确的是？（）A.存在一个父RDD的一个分区对应一个子RDD的多个分区，则为宽依赖B.存在一个父RDD的多个分区对应一个子RDD的一个分区，则为宽依赖C.存在一个父RDD的一个分区只被一个子RDD的一个分区所使用，则为窄依赖D.存在一个父RDD的一个分区被一个子RDD的多个分区所使用，则为窄依赖正确答案：A、C4、Spark可以采用几种不同的部署方式，以下正确的部署方式有？（）A.LocalB.StandaloneC.Spark on MesosD.Spark on YARN正确答案：A、B、C、D5、目前的大数据处理典型应用场景可分为哪几个类型? （）A.复杂的批量数据处理B.基于历史数据的交互式查询C.大数据的分布式计算D.基于实时数据流的数据处理正确答案：A、B、D6、以下选项中哪些是Spark的优点？（）A.具有高效的容错性B.利用进程模型C.可以将中间结果持久化到内存D.表达能力有限正确答案：A、C。
学Spark需要什么基础？
学Spark需要什么基础？学Spark需要什么基础？作为大数据主流框架之一的Spark，也是大数据开发人员必须要掌握的重要技术框架，在企业招聘当中，掌握Spark框架的大数据人才，也更加具备竞争优势。
那么Spark需要什么基础？今天就来给大家讲讲Spark需要什么基础？首先，学习大数据，不管是Hadoop还是Spark，基本功都少不了Linux和Java。
搭建集群环境，Linux基础是必须的，系统操作命令是基础中的基础。
而Java，主要以JavaSE的知识为重点，包括面向对象、集合、io、多线程以及JDBC操作等，这部分是大数据开发当中常常需要用到的。
其次，是要建立起大数据技术背景，对于大数据处理各个环节，以及对应的解决方案，系统框架要有基本的认识：1、数据采集：Flume、Kafka、Logstash、Filebeat...2、数据存储：Mysql、Redis、Hbase、HDFS...3、数据查询：Hive、Elasticsearch...4、实时数据计算：Storm、Spark-streaming、Flink...5、离线数据计算：Hadoop、Spark...6、其他框架：Zookeeper...有了这样的背景基础之后，开始Spark学习也能够更快地理解很多东西，特点建议在Spark学习之间要先对Hadoop框架有比较全面的认识，包括核心的HDFS、MapReduce、Yarn等，这部分和Spark 联系紧密，对于像Spark为什么计算性能优异，架构设计为什么会这样设计等等这样的问题，也能更快理解和消化。
对于Spark框架的学习，Spark生态圈各组件需要着重掌握，包括Spark-core，Spark-streaming，Spark-mlib，Spark-graphx，刚开始学习的时候主要学习Spark-core和Spark-streaming，Spark-mlib和Spark-graphx可以等后期工作需要或者有时间了在研究即可。
Spark Streaming 大规模准实时流式数据处理
Require large clusters to handle workloads Require latencies of few seconds
Need for a framework …
… for building such complex stream processing applications
Traditional streaming systems have a eventdriven record-at-a-time processing model
- Each node has mutable state - For each record, update state & send new records
Spark Streaming
Large-scale near-real-time stream processing
Tathagata Das (TD)
UC Berkeley
UC BERKELEY
What is Spark Streaming?
Framework for large scale stream processing
flatMap
batch @ t+2
flatMap
tweets DStream
flatMap
hashTags DStream
save save save
every batch saved to HDFS
Java Example
Scala
val tweets = ssc.twitterStream(<Twitter username>, <Twitter password>) val hashTags = tweets.flatMap (status => getTags(status)) hashTags.saveAsHadoopFiles("hdfs://...")
实战大数据课件第6章 基于Spark的用户行为实时分析 第4节 基于Spark Streaming
4.Spark Streaming实时分析用户行为
• 业务建表
✓ MySQL建库
4.Spark Streaming实时分析用户行为
• 业务建表
✓ MySQL建表 在test数据库下，创建newscount表存储每个新闻话题的数量
4.Spark Streaming实时分析用户行为
• 业务建表
✓ MySQL建表 在test数据库下，创建periodcount表存储每分钟新闻话题的总量
4.Spark Streaming实时分析用户行为
• 业务代码实现
✓ 开发实时业务代码 val topics = Array(Constants.topic) val stream = KafkaUtils.createDirectStream[String, String]( ssc, PreferConsistent, Subscribe[String, String](topics, kafkaParams) )
4.Spark Streaming实时分析用户行为
• 模拟生成用户数据
✓ 编写模拟程序代码 //读取文件数据 public static void readData(String inputFile,String outputFile) { String tmp = null; FileInputStream fis = new FileInputStream(inputFile); InputStreamReader isr = new InputStreamReader(fis,"GBK"); BufferedReader br = new BufferedReader(isr); int counter=1; while ((tmp = br.readLine()) != null) { writeData(outputFile,tmp); counter++; Thread.sleep(1000); } isr.close(); }
《Spark大数据编程基础(Scala版)》第六章SparkSQL
6.1.2 程序主入口SparkSession
在启动进入spark-shell后，spark-shell默认提供了一个Spa rkSession对象，名称为spark，因此在进入spark-shell之后进行 各种数据操作，可以依据代码6-1声明创建一个SparkSession对 象，也可以直接使用spark-shell提供的默认的SparkSession对象， 即spark。
6.1.1 Spark SQL架构
Spark SQL与传统的DBMS的“查询优化器+执行器” 的架构较为相似，只不过其执行器是在分布式环境中实 现，并采用Spark作为执行引擎。Spark SQL的执行优化 器是Catalyst，其基于Scala语言开发的，可以灵活利用 Scala原生的语言特性扩展功能，奠定了Spark SQL的发展 空间。所有的Spark SQL语句最终都通过Catalyst解析、 优化生成可以执行的Java字节码。
Spark大数据编程基础（Scala版）
本章对Spark SQL进行了概述，包括架构、特点和程 序主入口等，以及Spark SQL的DataFrame编程抽象；然 后介绍了DataFrame与RDD的区别，从外部数据源创建 DataFrame的方法，以及RDD转换为DataFrame的两种方 法；再对DataFrame的Transformation操作、Action操作 和保存操作进行了介绍；最后用综合实例对整章内容进 行总结概括。
6.1.2 程序主入口SparkSession
SparkSession对象不仅为用户提供了创建Data Frame对象、读取外部数据源并转化为DataFrame 对象以及执行sql查询的API，还负责记录着用户希 望Spark应用在Spark集群运行的控制、调优参数， 是Spark SQL的上下文环境，是运行的基础。
Spark实践——基于SparkStreaming的实时日志分析系统
Spark实践——基于SparkStreaming的实时⽇志分析系统本⽂基于《Spark 最佳实践》第6章 Spark 流式计算。
我们知道⽹站⽤户访问流量是不间断的，基于⽹站的访问⽇志，即 Web log 分析是典型的流式实时计算应⽤场景。
⽐如百度统计，它可以做流量分析、来源分析、⽹站分析、转化分析。
另外还有特定场景分析，⽐如安全分析，⽤来识别 CC 攻击、 SQL 注⼊分析、脱库等。
这⾥我们简单实现⼀个类似于百度分析的系统。
1.模拟⽣成 web log 记录在⽇志中，每⾏代表⼀条访问记录，典型格式如下：分别代表：访问 ip，时间戳，访问页⾯，响应状态，搜索引擎索引，访问 Agent。
简单模拟⼀下数据收集和发送的环节，⽤⼀个 Python 脚本随机⽣成 Nginx 访问⽇志，为了⽅便起见，不使⽤ HDFS，使⽤单机⽂件系统。
⾸先，新建⽂件夹⽤于存放⽇志⽂件然后，使⽤ Python 脚本随机⽣成 Nginx 访问⽇志，并为脚本设置执⾏权限, 代码见设置可执⾏权限的⽅法如下之后，编写 bash 脚本，⾃动⽣成⽇志记录，并赋予可执⾏权限，代码见赋予权限执⾏ genLog.sh 查看效果，输⼊ ctrl+c 终⽌。
2.流式分析创建 Scala 脚本，代码见3.执⾏同时开启两个终端，分别执⾏ genLog.sh ⽣成⽇志⽂件和执⾏ WebLogAnalyse.scala 脚本进⾏流式分析。
执⾏ genLog.sh执⾏ WebLogAnalyse.scala, 使⽤ spark-shell 执⾏ scala 脚本效果如下，左边是 WebLogAnalyse.scala，右边是 genLog.sh。
Spark大数据技术与应用 第6章 Spark Streaming：实时计算框架
描述
源DStream的每个元素通过函数func返回一个新的DStream
类似map操作，不同的是每个元素可以被映射出0或者更多的输出元素 对源DStream中的每一个元素应用func方法进行计算，如果func函数返回结 果为true，则保留该元素，否则丢弃该元素，返回一个新的Dstream 合并两个DStream，生成一个包含两个DStream中所有元素的新DStream对 象 统计DStream中每个RDD包含的元素的个数，得到一个新的DStream 使用func将源DStream中的每个元素进行聚合操作，返回一个内部所包含的 RDD只有一个元素的新DStream
TCP sockets ➢ 不仅可以通过调用map，reduce，join和window等API函数来处理数据，
也可以使用机器学习、图算法来处理数据 ➢ 最终结果可以保存在文件系统、数据库或者实时Dashboard展示
3
初探Spark Streaming
Spark Streaming运行原理
Spark Streaming的输入数据按照时间片（batch size）分成一段 一段的数据，得到批数据（batch data），每一段数据都转换成 Spark中的RDD，然后将Spark Streaming中对DStream的 Transformation操作变为针对Spark中的RDD的Transformation 操作，将RDD经过操作变成中间结果保存在内存中。整个流式计 算根据业务的需求可以对中间的结果进行叠加或者存储到外部设 备。
DStream的操作可以通过RDD的Transformation生成新的DStream。
Байду номын сангаас13
掌握DStream编程模型
Spark编程基础教学大纲
Spark编程基础教学大纲课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming和Spark MLlib 等。
课程概述Spark是当前热门的大数据处理技术，本课程重点介绍Spark的技术原理与编程方法。
课程由全国高校知名大数据教师厦门大学林子雨老师主讲，采用林子雨等编著的《Spark编程基础（Scala版）》作为课程教材。
Spark支持采用Scala、Java、Python和R语言进行编程，本课程采用Scala语言编写Spark应用程序。
课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark 环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming和Spark MLlib等。
通过本课程的学习，将帮助学生形成基础的Spark应用程序编程能力，为学生使用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础。
授课目标Spark是当前热门的大数据处理技术，本课程重点介绍Spark的技术原理与编程方法。
本课程采用Scala语言编写Spark应用程序。
课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming和Spark MLlib等。
通过本课程的学习，将帮助学生形成基础的Spark应用程序编程能力，为学生使用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础。
课程大纲第1章大数据技术概述1.1 大数据时代1.2 大数据概念1.3 大数据的影响1.4 大数据关键技术1.5 大数据计算模式1.6 代表性大数据技术第1章大数据技术概述单元测验第2章Scala语言基础2.1 Scala语言概述2.2 Scala基础知识2.3 面向对象编程基础2.4 函数式编程基础第2章Scala语言基础单元测验第3章Spark的设计与运行原理3.1 Spark概述3.2 Spark生态系统3.3 Spark运行架构3.4 Spark的部署和应用方式第3章Spark的设计与运行原理单元测验第4章Spark环境搭建和使用方法4.1 安装Spark4.2 在spark-shell中运行代码4.3 开发Spark独立应用程序4.4 Spark集群环境搭建4.5 在集群上运行Spark应用程序第4章Spark环境搭建和使用方法单元测验第5章RDD编程5.1 RDD编程基础5.2键值对RDD5.3 数据读写5.4 综合案例第5章RDD编程单元测验第6章Spark SQL6.1 Spark SQL简介6.2 DataFrame6.3 从RDD转换得到DataFrame 6.4 使用Spark SQL读写数据库第6章Spark SQL单元测验第7章Spark Streaming7.1 流计算概述7.2 Spark Streaming7.3 DStream操作概述7.4 基本输入源7.5 高级数据源7.6 转换操作7.7 输出操作7.8 Structured Streaming第7章Spark Streaming单元测验第8章Spark MLlib8.1 Spark MLlib简介8.2 机器学习流水线8.3 特征抽取、转化和选择8.4 分类与回归第8章Spark MLlib单元测验预备知识本课程属于“进阶级”大数据课程，在学习本课程之前，建议首先学习由林子雨老师主讲的“入门级”大数据课程《大数据技术原理与应用》（点击这里在中国大学MOOC平台学习林子雨老师主讲的国家精品在线开放课程《大数据技术原理与应用》）。
Spark编程基础Python版教学设计
Spark编程基础Python版教学设计一、课程简介Spark是一种通用的分布式计算框架，可以用来处理大规模数据处理和分析工作。
Spark框架使用一种基于内存的计算方式，可以比Hadoop MapReduce更快地完成任务。
本课程主要介绍Spark框架下的编程基础，包括Spark的安装、配置、Spark编程模型、RDD（弹性分布式数据集）等内容。
本课程使用Python语言作为编程语言，适合有一定Python基础的学生学习。
二、课程目标1.了解Spark框架和编程模型；2.熟悉Python语言在Spark框架下的编程；3.能够使用Spark进行数据处理和分析；4.掌握RDD的概念和使用方法。
三、教学内容3.1 Spark概述1.Spark的特点和应用场景；2.Spark与Hadoop MapReduce的比较；3.Spark的安装和配置。
3.2 Spark编程模型1.Spark编程模型的基本概念；2.Spark编程环境的设置；3.Spark编程任务的提交和执行。
3.3 PySpark介绍1.PySpark的基本概念；2.PySpark的环境搭建；3.PySpark的入门案例分析。
3.4 RDD介绍1.RDD的基本概念；2.RDD的创建和操作；3.RDD的注意事项。
3.5 Spark数据处理1.数据导入和导出；2.数据分析和处理；3.内存数据缓存。
3.6 Spark编程实例1.编写Spark程序；2.Spark WordCount案例；3.Spark TopN案例。
四、教学流程4.1 第一周：Spark概述和编程模型第一天•课程介绍和教学目标；•Spark介绍和应用场景；•Spark与Hadoop的比较；•Spark的安装和配置。
第二天•Spark编程模型的基本概念；•Spark编程环境的设置；•Spark编程任务的提交和执行。
4.2 第二周：RDD和PySpark介绍第一天•RDD的基本概念；•RDD的创建和操作；•RDD的注意事项。
《Spark大数据分析与实战》项目六 Spark Streaming处理流数据
读取基础数据源到DStream
任务2
中
任务3 读取Kafka数据到DStream中
任务4 DStream的转换操作
任务5 DStream的输出操作
任务6 Spark Streaming实时处理 电商用户行为数据
任务1
初识流数据处理模块 Spark Streaming
✓ Spark Streaming计算框架基本工作原理 ✓ 编写一个简单的Spark Streaming程序实现实时词频统计 ✓ Spark Streaming的5阶段。
➢ 这些新生成的单词 RDD 对象就组成了 words 这个DStream对象。完成核心业务处理后，还可根据业务的需 求对结果进一步处理，比如存储到外部设备中。
1.3用spark-shell写第一个 Spark Streaming程序
➢ 利用Netcat工具向9999端口发送数据流（文本数据），使用Spark Streaming监听9999端口的数据流并进行词频 统计。
1.3用spark-shell写第一个 Spark Streaming程序
➢ 有了words DStream后，使用map方法将其RDD元素转换为（word, 1）键值对形式；再使用reduceByKey算子， 得到各个单词出现的频率、并打印输出。
➢ 注意，执行以上代码后，Spark Streaming 只是将计算逻辑设置好，此时并未真正的开始处理数据。要启动 之前的处理逻辑，我们还要使用start方法启动流计算并等待程序结束。
//创建StreamingContext
1.4 用IDEA工具写第一个Spark Streaming程序
➢ lines 是从数据server接收到的数据流，其中每条记录都是一行文本。接下来，我们就要把这些文本行按空格 分割成单词；与Spark RDD中的ftatMap类似，这里的ftatMap是一个映射算子，lines中的每行都会被ftatMap 映射为多个单词，从而生成新的words DStream对象。。
大数据Spark实时处理--架构分析
⼤数据Spark实时处理--架构分析Spark是⼀个实时处理框架Spark提供了两套实施解决⽅案：Spark Streaming（SS）、Structured Streaming（SSS）然后再结合其它框架：Kafka、HBase、Flume、Redis项⽬流程：架构分析、数据产⽣、数据采集、数据收集、数据实时交换、实时流处理、结果可视化、调优1）【项⽬启动】架构分析2）【环境部署】基础开发环境搭建2）【数据产⽣】3）【数据采集】构建⽇志服务器（偏重于⽇志产⽣及存储）4）【数据收集】基于Flume构建分布式⽇志收集（偏重于数据从A地⽅到B地⽅的操作）5）【消息队列】基于Kafka构建实时数据交换6）【实时流处理】Spark Streaming核⼼API7）【实时流处理】应⽤Spark Streaming实现数据分析及调优8）【实时流处理】Structured Streaming应⽤9）【实时流处理】应⽤Structured Streaming实现数据分析及调优10）【数据可视化】使⽤Echarts完成数据展⽰架构图1）⽇志采集：⾃定义⼀个⽇志服务2）数据收集交换：使⽤Flume将⽇志服务数据收集过来，落在Kafka上3）实时处理：基于Spark Streaming（SS）、Structured Streaming（SSS）来对接Kafka的数据4）数据存储：第3）步处理后的数据，Spark Streaming处理的数据存储⾄HBase中，Structured Streaming处理的数据存储⾄Redis 5）查询API：页⾯的请求通过API，即使⽤Spring Boot、Spring Data来查询HBase和Redis⾥的数据，并把数据放置可视化⾥。
在可视化⾥是通过Echarts来展⽰。
也会使⽤到React来封装Echarts。
6）整个项⽬的运⾏环境：产商云主机、物理机、虚拟机更详细的流程1）客户端所产⽣的⽇志，通过Nginx协议端过来后，给它负载均衡落在LogServer上，其中LogServer是⾃定义开发的。
Spark编程基础：Spark Streaming单元测验与答案
一、单选题1、以下流计算框架中，哪个不是开源的。
（）A.IBM StreamBaseB.Twitter StormC.Yahoo! S4D.Spark Streaming正确答案：A2、下面关于Spark Streaming的描述错误的是（）。
A.Spark Streaming的基本原理是将实时输入数据流以时间片为单位进行拆分，然后采用Spark引擎以类似批处理的方式处理每个时间片数据B.Spark Streaming最主要的抽象是DStream（Discretized Stream，离散化数据流），表示连续不断的数据流C.Spark Streaming可整合多种输入数据源，如Kafka、Flume、HDFS，甚至是普通的TCP套接字D.Spark Streaming的数据抽象是DataFrame正确答案：D3、下面关于Spark Streaming和Storm的描述正确的是（）。
A.Spark Streaming无法实现毫秒级的流计算，而Storm可以实现毫秒级响应B.Spark Streaming可以实现毫秒级的流计算，而Storm无法实现毫秒级响应C.Spark Streaming和Storm都可以实现毫秒级的流计算D.Spark Streaming和Storm都无法实现毫秒级的流计算正确答案：A4、下面描述错误的是（）。
A.在RDD编程中需要生成一个SparkContext对象B.在Spark SQL编程中需要生成一个SparkSession对象C.运行一个Spark Streaming程序，就需要首先生成一个StreamingContext对象D.在Spark SQL编程中需要生成一个StreamingContext对象正确答案：D5、下面不属于Spark Streaming基本输入源的是（）。
A.文件流B.套接字流C.RDD队列流D.双向数据流正确答案：D二、多选题1、以下关于流数据特征的描述，哪些是正确的。
spark知识点总结
spark知识点总结Spark是一种分布式计算引擎，可以在大规模数据上进行高效的数据处理。
它提供了丰富的API，可以支持各种类型的应用程序，包括批处理、交互式查询、流处理和机器学习。
Spark还提供了很多工具和库，可以简化大规模数据处理的工作，同时也提供了很多优化特性，可以确保性能和可靠性。
Spark的核心概念Spark的核心概念包括Resilient Distributed Datasets (RDD)、作业和任务、分区、转换和行动。
这些概念是理解Spark编程模型的关键。
1. Resilient Distributed Datasets (RDD)RDD是Spark的核心数据结构，它代表一个可以在集群上并行操作的数据集合。
RDD可以从外部数据源创建，也可以通过其他RDD进行转换得到。
RDD具有容错性，并且可以在节点之间进行数据分区和并行处理。
2. 作业和任务在Spark中，作业是指由一系列的任务组成的计算单元。
每个任务都是在一个数据分区上并行执行的。
Spark会根据数据依赖关系和调度策略来合并任务，并在集群上执行。
这样可以确保作业能够高效地执行，并且可以减少数据传输和计算开销。
3. 分区分区是指将数据集合分割成多个独立的部分，这样可以在集群上进行并行处理。
Spark提供了很多内置的分区方法，同时也支持自定义分区策略。
正确的分区策略可以提高计算效率，减少数据传输和数据倾斜。
4. 转换和行动在Spark中，转换是指对RDD进行操作来生成新的RDD，例如map、filter、flatMap等。
行动是指对RDD执行计算来获取结果，例如reduce、collect、count等。
转换和行动是Spark编程的核心操作，它们可以用来构建复杂的数据处理流程。
Spark的核心特性除了上述核心概念外，Spark还具有以下几个核心特性：1. 内存计算Spark将数据存储在内存中，可以在多次计算之间重用数据，从而避免了传统的磁盘读写开销。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6.1.3 流计算概念
• 流计算：实时获取来自不同数据源的海量数据，经过实时 分析处理，获得有价值的信息
数据采集
实时分析处理
结果反馈
图 流计算示意图
6.1.3 流计算概念
• 流计算秉承一个基本理念，即数据的价值随着时间的流逝 而降低，如用户点击流。因此，当事件出现时就应该立即 进行处理，而不是缓存起来进行批量处理。为了及时处理 流数据，就需要一个低延迟、可扩展、高可靠的处理引擎
对于一个流计算系统来说，它应达到如下需求： •高性能：处理大数据的基本要求，如每秒处理几十万 条数据 •海量式：支持TB级甚至是PB级的数据规模 •实时性：保证较低的延迟时间，达到秒级别，甚至是 毫秒级别 •分布式：支持大数据的基本架构，必须能够平滑扩展 •易用性：能够快速进行开发和部署 •可靠性：能可靠地处理流数据
数据实时采集
数据实时计算
用户查询 查询结果
实时查询服务
流计算处理流程示意图
6.1.5 流计算处理流程
2. 数据实时采集
• 数据实时采集阶段通常采集多个数据源的海量数据，需要保证实时性 、低延迟与稳定可靠 • 以日志数据为例，由于分布式集群的广泛应用，数据分散存储在不同 的机器上，因此需要实时汇总来自不同机器上的日志数据 • 目前有许多互联网公司发布的开源分布式日志采集系统均可满足每秒 数百MB的数据采集和传输需求，如： – Facebook的Scribe – LinkedIn的Kafka – 淘宝的Time Tunnel 数据实时采集 – 基于Hadoop的Chukwa和Flume
传统的数据处理流程示意图
• 传统的数据处理流程隐含了两个前提： – 存储的数据是旧的。存储的静态数据是过去某一时刻的快照，这 些数据在查询时可能已不具备时效性了 – 需要用户主动发出查询来获取结果
6.1.5 流计算处理流程
• 流计算的处理流程一般包含三个阶段：数据实时采集、数据实时计算 、实时查询服务Leabharlann 6.1.1 静态数据和流数据
• 很多企业为了支持决策分析而构建的数据仓库系统，其中 存放的大量历史数据就是静态数据。技术人员可以利用数 据挖掘和OLAP（On-Line Analytical Processing）分析工 具从静态数据中找到对企业有价值的信息
6.1.1 静态数据和流数据
• 近年来，在Web应用、网络监控、传感监测等领域，兴 起了一种新的数据密集型应用——流数据，即数据以大量 、快速、时变的流形式持续到达 • 实例：PM2.5检测、电子商务网站用户点击流 流数据具有如下特征： •数据快速持续到达，潜在大小也许是无穷无尽的 •数据来源众多，格式复杂 •数据量大，但是不十分关注存储，一旦经过处理，要 么被丢弃，要么被归档存储 •注重数据的整体价值，不过分关注个别数据 •数据顺序颠倒，或者不完整，系统无法控制将要处理 的新到达的数据元素的顺序
6.1.4 流计算框架
• 当前业界诞生了许多专门的流数据实时计算系统来满足各自需求 • 目前有三类常见的流计算框架和平台：商业级的流计算平台、开源流 计算框架、公司为支持自身业务开发的流计算框架 • 商业级：IBM InfoSphere Streams和IBM StreamBase • 较为常见的是开源流计算框架，代表如下： – Twitter Storm：免费、开源的分布式实时计算系统，可简单、高 效、可靠地处理大量的流数据 – Yahoo! S4（Simple Scalable Streaming System）：开源流计算 平台，是通用的、分布式的、可扩展的、分区容错的、可插拔的 流式系统 • 公司为支持自身业务开发的流计算框架： – Facebook Puma – Dstream（） – 银河流数据处理平台（淘宝）
计算结果
数据流出
数据实时采集
数据实时计算流程
用户查询
数据实时计算
查询结果
实时查询服务
6.1.5 流计算处理流程
4.实时查询服务
• 实时查询服务：经由流计算框架得出的结果可供用户进行 实时查询、展示或储存 • 传统的数据处理流程，用户需要主动发出查询才能获得想 要的结果。而在流处理流程中，实时查询服务可以不断更 新结果，并将用户所需的结果实时推送给用户 • 虽然通过对传统的数据处理系统进行定时查询，也可以实 现不断地更新结果和结果推送，但通过这样的方式获取的 结果，仍然是根据过去某一时刻的数据得到的结果，与实 时结果有着本质的区别 数据实时采集
《Spark编程基础》
第6章 Spark Streaming
提纲
6.1 流计算概述 6.2 Spark Streaming 6.3 DStream操作概述 6.4 基本输入源
6.5 高级数据源
6.6 转换操作 6.7 输出操作
6.8 Structured Streaming
6.1 流计算概述
• • • • • 6.1.1 静态数据和流数据 6.1.2 批量计算和实时计算 6.1.3 流计算概念 6.1.4 流计算框架 6.1.5 流计算处理流程
6.1.5 流计算处理流程
• • • • 1. 2. 3. 4. 概述 数据实时采集 数据实时计算 实时查询服务
6.1.5 流计算处理流程
1. 概述
• 传统的数据处理流程，需要先采集数据并存储在关系数据库等数据管 理系统中，之后由用户通过查询操作和数据管理系统进行交互
用户查询 查询结果
数据管理系统
数据实时计算
用户查询 查询结果
实时查询服务
6.1.5 流计算处理流程
3. 数据实时计算
• 数据实时计算阶段对采集的数据进行实时的分析和计算， 并反馈实时结果 • 经流处理系统处理后的数据，可视情况进行存储，以便之 后再进行分析计算。在时效性要求较高的场景中，处理之 后的数据也可以直接丢弃
数据流入
流处理系统 实时计算
6.1.2 批量计算和实时计算
• 对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量 计算和实时计算
•批量计算：充裕时间处理静态数据， 如Hadoop •流数据不适合采用批量计算，因为流 数据不适合用传统的关系模型建模 •流数据必须采用实时计算，响应时间 为秒级 •数据量少时，不是问题，但是，在大 数据时代，数据格式复杂、来源众多、 数据量巨大，对实时计算提出了很大 的挑战。因此，针对流数据的实时计 算——流计算，应运而生 图 数据的两种处理模型