大数据框架整理

大数据框架整理大数据离线部分一、HDFS1 : HDFS的架构部分及.工作原理NameNode :负责管理元素据，将信息保存在内存中DataNode :保存数据，以块的形式保存。

启动后需要定时的向NameNode 发送心跳，报告自身存储的块信息2: HDFS的上传过程3: HDFS的下载4: NameNode 的元数据安全机制以记日志的形式将每一个操作写在磁盘的日志文件中，然后借助Seco ndary NameNode 的checkpoint 功能将fslmage 和日志进行合并。

重点：记住checkpoint 工作过程5:如果服务器的磁盘坏了，如何挽救数据？配置多个dfs. name node, name.dir 路径为本地磁盘路径和nfs网络磁盘路径。

6 : hdfs集群中，受到拓展瓶颈的是NameNode 还是Data node?是NameNode ，因为DataNode 不够可以很方便的水平拓展，而工作的NameNode 只有一个，他的存储能力完全取决于他的内存，所以。

，但是其实NameNode —般不会成为瓶颈，因为一个块记录的元数据信息大小约为150B，如果每一个块大小为128M 的话，那么15G的NameNode 内存可以存储12PB 的数据。

7: data node 明明已启动，但是集群中的可用data node 列表中就是没有，怎么办?NameNode 不认。

8:文件下载到window 中，为什么会报错？默认使用操作系统的内核进行磁盘数据的写入，也就是需要一个win util的工具，而默认的安装包中不提供，所以需要编译源码或者设置为使用Java的进行磁盘写入。

9 : hadoop 的HA （高可用）二、MapReduce1: MapReduce 中，file in putformat -> map -> shuffle -> reduce 的过程2 : Map Reduce 中，job提交的过程3:自定义Javabean 作为数据，需要extends writableandCompareble 接口。

4 :自定义outputformat ，进行不同方向的处理。

5: MapReduce 的一些应用场景1、排序并且求TOP One 和TOPN2、求某个用户前几个月的总流量，并且选择出流量前几名的用户。

3、r educe 端的join4、m ap 端join5、求共同好友问题三、hive1 ：什么是hive ？一个将sql转化为MapReduce 程序的、单机版的、数据仓库工具。

通过关系型数据库（mysql等）来记录表元数据信息。

真正的数据在HDFS中。

Hive利用HDFS存储数据，利用MapReduce 查询分析数据hive2.0 版本之后，都是基于Spark 处理了。

安装的时候，需要注意jline 的版本冲突。

2：如何启动？3：执行的sql 的形式hiveshell 、hive -e "sql 命令" 、hive -f " 一个包含着很多SQL 语句的文件" 4：hive 的创建表操作内部表、外部表就差连个关键字（external 和location ）分区表、分桶表5：hive 查询表join动态分区分组查询复杂的那个累计报表操作。

6：hive 自定义函数（UDF ）四、sqoop利用hadoop 的map 端进行数据的并行导入导出。

安装在HDFS 上，配置HDFS 的路径和Hive 路径即可。

五、flume1：agent ：sources 、channel 、sinks2：sources ：exec 、spooldir 、arvo （加一个拦截器）3：channel ：men 、disk4 ：sinks ：arvo 、HDFS 、kafka5：flume 安装在数据源这一边。

6：如何自定义拦截器？class myiterceptor implements Iterceptor// 里面有一个静态的公共内部类。

public static class mybuilder implements Iterceptor.Builder7：如何实现flume 的多级连接，以及如何实现高可用？大数据实时storm 部分storm1:storm 是一个实时的计算框架，只负责计算，不负责存储。

它通过spout 的open 和nextTuple 方法去外部存储系统（kafka ）获取数据，然后传送给后续的bolt 处理，bolt 利用prepare 和execute 方法处理完成后，继续往后续的bolt 发送，或者根据输出目录，把信息写到指定的外部存储系统中。

2：storm 的数据不丢失原理交叉收到的数据做异或元算中间结果不为0 的原理。

3：设置spout_max_pending （可以限流）4：jstorm 的通信机制,每一个：worker 都有一个接受线程和输出线程5：storm 的架构分析nimbus 、zookeeper 、supervisor 、workernimbus ：接受任务请求，并且进行任务的分发，最后写入到zookeeper 中。

supervisor ：接受nimbus 的任务调度，然后启动和管理属于自己的worker 进程, supervisor 是可以快速失败的，不影响任务的执行。

我们可以写一个脚本来监控supervisor 的进程，如果不存在了，立马启动，就可以了。

worker ：启动spoutTask 、boltTask 等等任务，去执行业务逻辑。

6：storm 的编程模型topology ：由spout 和bolt 组成的一个流程图。

他描述着本次任务的信息spout ：opennexttupledeclareOutputFieldsbolt:prepareexecutedeclareOutputFields6：storm 的tuple 结构，它里面有两个数据结构，一个list 、一个是maplist ：记录着信息map ：记录着每个字段对应的下表，通过找到下边再去上面的list 中找数据。

7：storm 任务提交的过程kafka1、kafka 和jms 的区别2、kafka 的topic 理解topic 是逻辑存在的，真正在物理磁盘中的体现是partitioner ，一个topic 可以对应多个partition ，不同的paritition 存放在不同的broker 中，以提高并发存储能力。

3、partitionerpartition 是topic 信息在屋里存储中的具体体现，在磁盘中它是一个文件夹，名字是topic 名字_partition 编号。

4、segmentoffset 位置。

5、kafka 为什么这么快1/ 使用了操作系统使用的pagecache 缓存，缓存大，缓存到一定量的数据时，以顺序写入的方式写入到磁盘中。

因为：磁盘顺序写入的方式非常的快=>600MB/s, 而随机存储只有100kb/s 左右。

2/ 使用操作系统的sendfile 技术。

在读取信息发送的时候，不需要经过用户区，而是在os 端直接发送，可以减少很多步骤。

6、为什么要多个partitioner7 、为什么每个partitioner 需要切分为多个segment 文件8、kafka 的HA对partitioner 分区进行备份，利用zookeeper 的选举机制选择leader 。

数据的生产存储和消费读取都是有leader 负责，其他的replicatition 只是负责备份而已。

9、kafka 如何用shell 脚本来讲一个文件读写进去?10 、kafka 如何用JavaAPI 实现生产者和消费者？大数据一站式解决方案：Scala 和Spark 部分scala 回顾1、如何定义变量2、如何定义函数、方法，如何在将函数作为方法的参数传入进去？3、条件判断语句，循环控制语句4、集合操作：Array 、list 、set 、tuple 、map （注意：可变和不可变的区别）5、样例类的使用6、trit 、抽象类的使用7、主构造器和辅助构造器的使用8、scala 的高级特性高阶函数：作为值得函数、匿名函数、闭包、柯里化隐式转换：一个类对象中，如果他没有摸一个功能，但是我们有想要它实现，可以使用英式转换的方式。

object MyPredef{// 定义隐式转换方法implicit def fileReadToRichFile(file: File)=new RichFile(file)}使用：import MyPredef._9 、Actor写起来像多线程，用起来像socket10 、akkaActorSystem.actorOf() 创建一个Actor ，创建的同时，就是执行Actor 中的prestart 方法，去初始化一些信息。

Spark RDD1、SparkRDD 叫做：弹性分布式数据集，其实就是一个类，用来描述：任务的数据从哪里读取、用那个算进行计算、得到的结果有存放在哪里、RDD 之间的依赖关系是款以来还是窄依赖2、RDD 有五个特点一系列分区每个算子作用在每个分区上一系列依赖关系最有位置(如果从HDFS 上读取数据)3、RDD 的两种算子Transformation 和ActionTransformation 是懒加载，只是定义了这个算子的任务，该如何做，但是还没有做。

Action 是立即执行，当执行到Action 时，会触发DAGSchudle 切分stage ，切分完成后，有TaskScheduler 将任务通过DriverActor 发送到executor 中执行。

4、RDD 的几个复杂的Transformation->combineByKey(x=>x,(a:List[String],b:String) => a :+ b,(m:List[String],n:List[String])=> m ++ n) 第一个参数表示分组后的第一个值如何处理，第二个参数表示后续的值和前一个值如何处理，第三个参数表示，map 端处理完成后，在reduce 端如何对这些list 进行处理。

->aggregate(" 初始量，可以是String 也可以是int")( 第一个func ，第二个func) 初始量作用于没一个分区，第一个func 作用于map 端，第二个func 作用于reduce 端。

->reduceByKey(_+_) 作用于map 端和reduce 端，可以进行局部聚合。

其实reduceByKey 和aggregateByKey 在底层都调用了combineByKey 方法来实现响应的功能。