Hadoop集群管理和运维

专注开源技术在线培训
讲义
• 2.hadoop配置讲解 • --mapred-site.xml part4
专注开源技术在线培训
apred.jobtr acker.resta rt.recover
mapred.job tracker.task Scheduler
true | false
org.apache. hadoop.ma pred. CapacityTa skSchedule r
专注开源技术在线培训
讲义
• --集群安装 噗-就是那么快! 为什么以前那么复杂?
专注开源技术在线培训
讲义
• --集群安装 为什么以前那么复杂?理解后的化繁为简
专注开源技术在线培训
讲义
• --集群模式 遇到的初级问题
专注开源技术在线培训
讲义
• --集群模式 怎么破? 临时： iptables –F setenforce 0 永久: 修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled
/opt/data1/hdfs/data, /opt/data2/hdfs/data, /opt/data3/hdfs/data, ...
dfs.datanode.data.dir.pe rm
755
dfs.replication
3
设置hdfs超级权限的组， 默认是supergroup，启 动hadoop所使用的用户 通常是superuser。
io.compression.codec.lz o.class
com.hadoop.compressio n.lzo.LzoCodec
LZO所使用的压缩编码器
topology.script.file.name
/hadoop/bin/RackAware. py
机架感知脚本位置
topology.script.number.a rgs
mapred.output.compress
mapred.output.compress ion.codec
true | false
org.apache.hadoop.io.co mpress.SnappyCodec
任务结果采用压缩输出， 默认false，建议false
输出结果所使用的编解码 器，也可以用gz或者 bzip2或者lzo或者snappy 等
SNN的tracker页面监听 地址和端口
DN的服务监听端口，端 口为0的话会随机监听端 口，通过心跳通知NN
DN的tracker页面监听地 址和端口
DN的IPC监听端口，写0 的话监听在随机端口通过 心跳传输给NN
DN启动的服务线程数
讲义
• 2.hadoop配置讲解 • -- mapred-site.xml 前传1
1000
机架感知脚本管理的主机 数，IP地址
fs.trash.interval
10800
HDFS垃圾箱设置，可以 恢复误删除，分钟数，0
为禁用，添加该项无需重 启hadoop
专注开源技术在线培训
讲义
• 2.hadoop配置讲解 • --hdfs-site.xml
dfs.name.dir
/opt/data1/hdfs/name,
1073741824
本地运算文件夹剩余空间低 于该值则不在本地做计算。 字节配置
mapred.local.dir. minspacekill
mapred.tasktrack er.expiry.interval
mapred.map.task s
mapred.reduce.ta sks
1073741824
LOGO
Hadoop集群管理和运维
廖旻可
专注开源技术在线培训
培训调查
• 1.关注 hadoop集群架构？开发? • 2.单位业务有集群否？有的话，规模? • 3.本次培训期望收获?
专注开源技术在线培训
议程
• 1.hadoop规划,集群安装及配置 • 2.hadoop配置讲解 • 3.hadoop集群正式环境快速安装 • 4.hadoop集群管理 • 5.hadoop集群调优 • 6.hadoop运维常见故障
1
-----
讲义
• 2.hadoop配置讲解
• --mapred-site.xml part3
mapred.tasktracker.map. tasks.maximum
12
mapred.tasktracker.redu
ce.
6
tasks.maximum
每服务器允许启动的最大 map槽位数。
每服务器允许启动的最大 reduce槽位数
0.0.0.0:50075
dfs.datanode.ipc.addres s
0.0.0.0:50020
dfs.datanode.handler.co unt
3
专注开源技术在线培训
新的hadoop支持了文件 的APPEND操作，这个 就是控制是否允许文件 APPEND的
能够导致DN挂掉的坏硬 盘最大数，默认0就是只 要有1个硬盘坏了，DN就 会shutdown。
专注开源技术在线培训
讲义
• 2.hadoop配置讲解 • -- mapred-site.xml前传对应配置
io.sort.mb 每一个map都会对应存在一个内存buffer,调大降低spill (写磁盘) + io.sort.spill.percent map写mem到多少进行spill io.sort.factor map 中 spill合并,控制merge,中间结果大时调优。 + min.num.spill.for.combine 控制combiner在merge前或后进行。 mapred.compress.map.output 压缩中间结果。 mapred.reduce.parallel.copies reduce从map里复制并行数 好处?map快 mapred.reduce.copy.backoff reduce 等待复制失败 网络慢时候+ mapred.job.shuffle.input.buffer.percent reduce的io.sort.mb shuffile
本地计算文件夹剩余空间低 于该值则不再申请新的任务， 字节数
60000
TT在这个时间内没有发送心 跳，则认为TT已经挂了。单
位毫秒
默认每个job所使用的map数，
意思是假设设置dfs块大小为
2
64M，需要排序一个60M的文 件，也会开启2个map线程，
当jobtracker设置为本地是不
起作用。
专注开源技术在线培训
讲义
• --单机模式 启动 为什么是这样启动?
• sudo -u hdfs /usr/sbin/hadoop-daemon.sh start namenode
• sudo -u hdfs /usr/sbin/hadoop-daemon.sh start datanode
• sudo -u hdfs /usr/sbin/hadoop-daemon.sh start secondarynamenode
dfs.support.append
true | false
dfs.datanode.failed.volu mes.tolerated
0
dfs.secondary.http.addre ss
0.0.0.0:50090
dfs.datanode.address 0.0.0.0:50010
dfs.datanode.http.addres s
fs.checkpoint.size
33554432
以日志大小间隔做备份间 隔，只对snn生效，默认
64M
io.compression.codecs
org.apache.hadoop.io.co mpress.DefaultCodec, com.hadoop.compressio n.lzo.LzoCodec, com.hadoop.compressio n.lzo.LzopCodec,
mapred.child.java.opt设 置，否则会OOM
连接jobtrack服务器的配 置项，默认不写是local， map数1，reduce数1
jobtracker的tracker页面 服务监听地址
讲义
• 2.hadoop配置讲解
• --mapred-site.xml part2
mapred.local.dir. minspacestart
在reduce内存中的数据最多使用内存量,不同是个比例 mapred.job.shuffle.merge.percent reduce的 io.sort.spill.percent
专注开源技术在线培训
讲义
• 2.hadoop配置讲解 • --mapred-site.xml part1
io.sort.factor
30
io.sort.mb
600
mapred.job.tracker
hadoopmaster:9001
mapred.job.tracker.http.a ddress
0.0.0.0:50030
专注开源技术在线培训
这里处理流合并时的文件 排序数，我理解为排序时 打开的文件数
排序所使用的内存数量，
单位兆，不能超过
真正的datanode数据保 存路径，可以写多块硬 盘，逗号分隔
datanode所使用的本地 文件夹的路径权限，默 认755
hdfs数据块的复制份数， 默认3，理论上份数越多 跑数速度越快，但是需 要的存储空间也更多。 有钱
专注开源技术在线培训
讲义
• 2.hadoop配置讲解 • -- hdfs-site.xml step2
• sudo -u hdfs/usr/sbin/hadoop-daemon.sh start jobtracker
• sudo -u hdfs /usr/sbin/hadoop-daemon.sh start tasktracker
专注开源技术在线培训
讲义
• --单机模式 hadoop jar /usr/share/hadoop/hadoop*examples*.jar pi 100 100000000
fs.checkpoint.dir
/opt/data/hadoop1/hdfs/n amesecondary1
定义hadoop的name备份 的路径，官方文档说是读
取这个，写入 dfs.name.dir
fs.checkpoint.period
1800
定义name备份的备份间 隔时间，秒为单位，只对
snn生效，默认一小时
NN所使用的元数据保存， 一般建议在nfs上保留一 份，作为1.0的HA方案使 用，也可以在一台服务
器的多块硬盘上使用
dfs.permissions
true | false
dfs权限是否打开，设置 false
dfs.permissions.supergr oup
supergroup
dfs.data.dir
org.apache.hadoop.io.co mpress.GzipCodec,
org.apache.hadoop.io.co mpress.BZip2Codec
(排版调整，实际配置不 要回Leabharlann Baidu)
Hadoop所使用的编解码 器，gzip和bzip2为自带， lzo需安装hadoopgpl或者
kevinweil，逗号分隔， snappy也需要单独安装
专注开源技术在线培训
讲义
• 1.hadoop规划,集群安装及配置 • --Hadoop集群规划初步 硬盘容量 : 日志+时间 400G*3*180 + 预留用户数据 > 216T 内存 网络带宽 CPU 操作系统 Hadoop版本 Hadoop 1.x/hadoop 2.6 社区版本?发行版?
专注开源技术在线培训
org.apache. hadoop.ma pred. JobQueueT askSchedul er
讲义
• --单机模式 安装
专注开源技术在线培训
讲义
• --单机模式 core-site.xml
专注开源技术在线培训
讲义
• --单机模式 mapred-site.xml
专注开源技术在线培训
讲义
• --单机模式 sudo -u hdfs hadoop namenode -format
专注开源技术在线培训
专注开源技术在线培训
讲义
• --集群模式 Hdfs状况
专注开源技术在线培训
讲义
• --集群模式 job状况
专注开源技术在线培训
讲义
• 2.hadoop配置讲解
fs.default.name
hdfs://hadoopmaster:900 定义HadoopMaster的URI
0
和端口
• --core-site.xml