hadoop运维手册

目录
一、hadoop服务启停 (2)
各组件和对应的服务名 (2)
一次完整的启动过程 (3)
一次完整的关闭过程 (3)
二、应用服务启停及说明 (3)
系统说明： (3)
启停说明： (4)
三、常用的运维操作 (5)
1、修改原有文件的备份数 (5)
2、检查hadoop block健康状态 (5)
3、更新调度器调度文件 (5)
4、杀死正在运行的Job (5)
5、离开safe mode (6)
四、hdfs目录用途说明 (6)
一、hadoop服务启停
Hadoop服务启动：service <server_name> start,例：启动namenode为service hadoop-hdfs-namenode start
说明：查看是否正常启动，首先看启动是的提示是否为[ok],其次jps查看是否有相应的进程名
Hadoop服务停止：service <server_name> stop,例：停止namenode为service hadoop-hdfs-namenode stop
zookeeper启动： zkServer.sh start
说明：查看是否正常启动zkServer.sh status，查看状态，其中一台的状态为leader，其余均为follower
zookeeper停止： zkServer.sh stop
各组件和对应的服务名
一次完整的启动过程
1、启动所有zookeeper
2、启动所有的JournalNode
3、启动两台NameNode及zkfc，这里可以通过查看namenode的web页面，查看
两台机器的状态，一台为active，另一台为standby
4、启动所有的DataNode
5、启动两台ResourceManager，这里可以通过查看resourceManager的web页
面
6、启动所有的NodeManager
7、启动JobHistory
一次完整的关闭过程
1、停止JobHistory
2、停止所有的NodeManager
3、停止两台ResourceManager
4、停止所有的DataNode
5、停止两台NameNode及ZKFC
6、停止所有的JournalNode
7、停止所有的zookeeper
二、应用服务启停及说明
系统说明：
应用系统均分为前台和后台，前台为tomcat服务器，后台为shell脚本，对应关系如下表格
启停说明：
各个应用系统启动类似，特做统一说明，注意：所有服务必须使用tools用户启动，即所有启动操作均需要切换成tools用户再操作
前台启动:
启动tomcat:
cd /opt/app/apache-tomcat-6.0.35/bin
./startup.sh
停止tomcat
cd /opt/app/apache-tomcat-6.0.35/bin
./shutdown.sh
后台启动：
启动：
启动上述表格中后台启动shell即可。

特别说明：1、所有脚本均已添加到定时器中，不需要手动启动。

2、所有启动脚本均做了重复性启动检查，不会重复启动。

停止：
1、使用ps –ef | grep xxx查看对应后台shell的进程号
2、Kill -9 杀死对应的进程号。

特别说明：由于定时器中会定时检查和启动后台脚本，故停止了之
后会自动启动，如果不想自动启动，请使用crontab –e将对应的
定时任务注释掉。

三、常用的运维操作
1、修改原有文件的备份数
bin/hadoop fs -setrep -R 1 /
备注：dfs.replication这个参数其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。

2、检查hadoop block健康状态
bin/hadoop fsck /
hadoop fsck / -delete 删除坏的block
3、更新调度器调度文件
在更改公平调度器资源之后需执行
yarn rmadmin –refreshQueues
4、杀死正在运行的Job
mapred job -kill job_201207121738_0001
5、离开safe mode
sudo -u hdfs hadoop dfsadmin -safemode leave
四、hdfs目录用途说明
1、/group/user/<user_name>/
说明：该目录存放的是各个用户HIVE中的表，<user_name>表示对应的用户名（hive 数据库名与用户名一致）。

该目录重要，切勿删除，否则会导致hive表丢失数据
2、/hadooptmp
说明：该目录存放临时文件，目前mapreduce的临时目录配置为该目录下。

3、/tmp
说明：该目录存放临时文件，目前yarn的临时目录配置为该目录下。

4、/user/<user_name>
说明：该目录为用户在HDFS上的根目录，用以存放用户的文件、脚本和回收站（回收站已设置一天的有效期，如误删文件请在一天之内从回收站恢复）。

5、/user/history/done和/user/history/done_intermediate
说明：分别存放yarn application运行的日志信息，用以在jobhistory查看对应application的信息。

done目录为最终信息，done_intermediate为中间过程信息。

6、/yarn/apps/<user_name>/logs
说明：该目录存放yarn container的日志信息，用以在jobhistory中查看对应的map/reduce task的运行日志。