大数据集群Cloudera Manager日常运维手册

大数据集群Cloudera Manager 日常运维手册

1登录Cloudera Manager首页

使用谷歌或者火狐浏览器输入http://XXX:7180 进入Cloudera Manager 管理系统登录页面，XXXX为安装Cloudera Manage的机器IP地址，在BI集群里恰好是YUCLIENT的IP地址。使用admin/admin登录到系统，如下图所示：

2启动/停止/重启Cloudera Management Service

2.1启动

2.2重启

2.3停止

3启动/停止/重启Hadoop所有服务

在启动Hadoop相关服务器前请务必保证已经启动了Cloudera Management Service相关服务！

3.1启动

当所有服务都启动成功后，各项服务均显示问绿灯状态才为正常，如下图所示：

3.2重启

3.3停止

4启动/停止/重启Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper

这里以重启HDFS服务为例，其他服务与之完全相同。

5启动/停止/重启单个节点上的Hadoop 某项服务如HDFS、Hive、MapReduce、ZooKeeper

启动/停止/重启节点上的单个服务包括Namenode, Datanode, Hive Server, Hive Metastore, Resource Manager, Nodemanager, Zookeeper等。

这里以重启一台节点上的Datanode服务为例进行说明，启动或停止与之相同，其他服务的操作也与之相同。

等待重启成功，该操作完成。

6修改HDFS、Hive、MapReduce、ZooKeeper等配置参数

修改参数包括修改全局参数以及单个节点的某个参数，全局参数指针对整个集群所有节点适用的参数。下一章会介绍如何修改单个节点的参数。

这里以修改HDFS的blocksize为例进行说明，其他参数修改与之相同。

修改参数并保存修改成功后回到CM主页面，CM会提示是否需要部署客户端配置或者重启服务。如下图所示：

首先部署客户端配置：

等待部署完成后点击“关闭”回到CM主页面，发现“部署客户端配置”的提示已经消失：

由于修改blocksize大小后HDFS，Hive，MapReduce都提示需要重启，

于是重启整个集群，某些参数修改不用重启服务，CM不会有重启的图标提示，某些参数的修改只需要重启单个服务。

等待重启完成，点击“关闭”按钮，本次修改参数的操作就全部完成。

7修改单个节点的特定HDFS、Hive、MapReduce、ZooKeeper等配置参数

因为有时候集群的所有机器不一定配置完全相同，如CPU，内存，磁盘等，这个时候我们需要对某个与其他节点配置不相同的机器进行单独的设置。

这里以修改某个Datanode节点的Data存放目录配置进行举例说明，其他与之相同。

回到CM主页面发现HDFS服务有需要才重启的标示，重启HDFS服务等待成功后本次修改单个Datanode的数据目录的操作完成。如何重启HDFS服务参考第4章重启Hadoop的某项服务。

8管理节点手动转移

当集群配置HA后，我们有时候需要对管理节点进行手动切换来进行排错或者其他操作等，这里以Namenode的切换为例进行说明，ResourceManager 与之相同。

等待转移完成，点击‘关闭’，管理节点手动转移操作完成。