apache Tez调研笔记

Apache Tez1.什么是Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。

Tez并不直接面向最终用户——它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。

Hadoop 传统上是一个大量数据批处理平台。

但是，有很多用例需要近乎实时的查询处理性能。

还有一些工作则不太适合MapReduce，例如机器学习。

Tez的目的就是帮助Hadoop处理这些用例场景。

Tez项目的目标是支持高度定制化，这样它就能够满足各种用例的需要，让人们不必借助其他的外部方式就能完成自己的工作。

它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、Merge和Output，Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等，这样，这些分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一些控制程序组装后，可形成一个大的DAG作业。

总结起来，Tez有以下特点：1)运行在yarn上；2)适用于DAG（有向图）应用（可与hive和pig结合）；3)具有表现力的数据流API——Tez团队希望通过一套富有表现力的数据流定义API让用户能够描述他们所要运行计算的有向无环图（DAG）。

为了达到这个目的，Tez实现了一个结构化类型的API，你可以在其中添加所有的处理节点和边，并可视化实际构建的图形；下图是一个实现terasort（分布式排序）过程的流程图：4)灵活的输入—处理器—输出（Input-Processor-Output）运行时模型——可以通过连接不同的输入、处理器和输出动态地构建运行时执行器；Tez将用户数据流图的每个顶点看作是一个input-processor-output模型。

Input&output决定了数据的格式和怎样的被读取和写入，processor是对数据的处理逻辑。

将这些任务模型进行组装就可以形成不同功能的DAG图，连接不同processor的input&output需要互相兼容；5)数据类型无关性——仅关心数据的移动，不关心数据格式（键值对、面向元组的格式等，mr需要指定map和reduce的输入输出格式）；6)}7)简单地部署——Tez完全是一个客户端应用程序，它利用了YARN的本地资源和分布式缓存；8)DAG图在运行时的优化和重新配置——分布式数据处理是具有动态的特性，不能执行前提前预知并选出最有的优化策略。

Tez可以在执行过程中通过收集tasks的信息更改数据流图。

例如下图，运行时，当获知数据量有10GB的时候，自动将reducer的数量进行更改。

Tez于2014-07-16成为apache顶级项目，目前最新的稳定版本是，最新版本是版，目前我们平台采用的是。

Apache当前有顶级项目Oozie用于DAG作业设计，但Oozie是比较高层（作业层面）的，它只是提供了一种多类型作业（比如MR程序、Hive、Pig等）依赖关系表达方式，并按照这种依赖关系提交这些作业，而Tez则不同，它在更底层提供了DAG编程接口，用户编写程序时直接采用这些接口进行程序设计，这种更底层的编程方式会带来更高的效率，举例如下：传统的MR（包括Hive，Pig和MR程序）。

假设有四个有依赖关系的MR作业（1个较为复杂的Hive SQL语句或者Pig脚本可能被翻译成4个有依赖关系的MR作业）或者用Oozie描述的4个有依赖关系的作业，运行过程如下图左边所示（其中，绿色是Reduce Task，需要写HDFS），采用tez的示意图如右边所示。

通过上面的例子可以看出，Tez可以将多个有依赖的作业转换为一个作业（这样只需写一次HDFS，且中间节点较少），从而大大提升DAG作业的性能。

原来的mapreduce作业需要执行多次的hdfs的读写。

2./的优化3.Tez. 当前YARN框架存在的问题（1）作业启用一个独立的ApplicationMasterMRv1中所有作业公用一个作业追踪器JobTracker，当JobTracker出现故障是，整个系统将不可用，且所有作业将运行失败。

与MRv1不同，YARN中每个作业启用一个独立的作业追踪器ApplicationMaster，解决了MRv1中单点故障和扩展瓶颈问题。

但这种方式引入一个新的问题：作业延迟较大，即每个作业首先要申请资源启动一个ApplicationMaster后，才可以正式启动作业，也就是说，较MRv1中的作业运行过程，YARN作业将耗费更多的计算资源和产生更长的运行延迟，这不利于运行小作业和DAG作业，尤其是DAG作业（如Hive SQL和Pig 产生的DAG作业），将需要更多的计算资源。

（2）资源无法重用在MRv1中，用户可为自己的作业设置是否启用JVM重用功能，如果启用该功能，则同一个JVM可运行多个任务，从而降低作业延迟提高作业效率。

在YARN MRAppMaster（MRAppMaster是MapReduce计算框架的ApplicationMaster）中，MRAppMaster总是为未运行的任务申请新的资源(Container)，也就是时候，任务运行完成后便会释放对应的资源，并为接下来运行的任务重新申请资源(Container)，而不会向MRv1那样重用资源(Container)。

Apache Tez中的优化技术为了克服当前YARN存在的问题，Apache Tez提出了一系列优化技术，其中值得一说的是ApplicationMaster缓冲池、预先启动Container和Container重用这三项技术。

（1）ApplicationMaster缓冲池在Apache Tez中，用户并不是直接将作业提交到ResouceManager上，而是提交到一个叫AMPoolServer的服务上。

该服务启动后，会预启动若干个ApplicationMaster，形成一个ApplicationMaster缓冲池，这样，当用户提交作业时，可通过AMPoolServer直接将作业提交到这些ApplicationMaster上。

这样做的好处是，避免了每个作业启动一个独立的ApplicationMaster。

>在Apache Tez中，管理员可采用参数和配置ApplicationMaster缓冲区中最小ApplicationMaster个数和最大ApplicationMaster个数。

（2）预先启动ContainerApplicationMaster缓冲池中的每个ApplicationMaster启动时可以预先启动若干个Container，以提高作业运行效率。

管理员可通过参数设置每个ApplicationMaster预启动container的数目。

（3）Container重用每个任务运行完成后，ApplicationMaster不会立即释放其占用的container，而是将其分配给其他未运行的任务，从而达到资源(Container)重用的目的。

管理员可通过参数指定是否启用Container重用功能，通过参数设置每个container重用次数。

4.Tez on HDP:在版本中已经集成了Tez，在首页右边能看到Tez的任务视图页面。

点击每个Tez的任务，能查看到DAG信息和所有对任务的描述。

如下是执行hive两表join的任务，执行语句如下：分别是表clc_test join clc_test2和clc_test2 join clc_test，DAG图如下：）图中，map1、map2不是说这里只有两个map，他们是DAG处理节点（vertex）的名称（节点Vertex的名称可以在程序中随便定义），根据输入数据量或者配置的不同，每个处理节点可以并行运行多个任务。

除节点外，在DAG图中还可以看到连接两个vertex的边的信息，看下图，Map2 到map1的边（edge）用来连接两个vertex，可以在DAG图中查看输入和输出的类型为Unordered*，map2的作用实质就是把被join的表输入到map1中去做join运算，所以数据并不需要排序。

另外由于数据量少，从map2到map1的数据移动类型（Data movement type）为broadcast，这个等同于mr里面的map join。

下面再看一个更复杂的select语句：DAG图如下图所示，map1和map2负责join，reducer3负责distinct和group by。

在HDP上通过yarn jar 运行mr和tez自带的wordcount案例，比较两个的运行时间，发现tez的整体运行时间为34秒，mr为50秒；任务的application master 和container都启动之后执行数据处理的时间，tez为6秒，mr要31秒。

启动的时候，tez多了一步DAG的启动，而且启动就花了15秒，5.Tez的实现)Tez对外提供了6种可编程组件，分别是：（1）Input：对输入数据源的抽象，它解析输入数据格式，并吐出一个个Key/value；（2）Output：对输出数据源的抽象，它将用户程序产生的Key/value写入文件系统；（3）Paritioner：对数据进行分片，类似于MR中的Partitioner；（4）Processor：对计算的抽象，它从一个Input中获取数据，经处理后，通过Output输出；（5）Task：对任务的抽象，每个Task由一个Input、Ouput和Processor组成；（6）Maser：管理各个Task的依赖关系，并按顺依赖关系执行他们。

除了以上6种组件，Tez还提供了两种算子，分别是Sort（排序）和Shuffle （洗牌），为了用户使用方便，它还提供了多种Input、Output、Task和Sort的实现。

为了展示Tez的使用方法和验证Tez框架的可用性，Apache在YARN MRAppMaster基础上使用Tez编程接口重新设计了MapReduce框架，使之可运行在YARN中。

为了减少Tez开发工作量，并让Tez能够运行在YARN之上，Tez 重用了大部分YARN 中MRAppMater的代码，包括客户端、资源申请、任务推测执行、任务启动等。

-Tez API包括以下几个组件：有向无环图（DAG）——定义整体任务。

一个DAG对象对应一个任务。

节点（Vertex）——定义用户逻辑以及执行用户逻辑所需的资源和环境。

一个节点对应任务中的一个步骤。

边（Edge）——定义生产者和消费者节点之间的连接。

边需要分配属性，对Tez而言这些属性是必须的。