Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

Cloudera大数据平台环境搭建（CDH5.13.1版）
目录
基础环境
软件环境
本文将介绍Centos7.4离线安装CDH和ClouderaManager过程，软件版本如下：
配置规划
本次安装共5台服务器，服务器配置及用途如下：
所需要的软件资源
1)JDK环境：
JDK版本：51
jdk-8u151-linux-x64.rpm
下载地址：
2)CM包：
CM版本：5.13.1
下载地址：
3)CDH包
CDH版本：5.13.1，
；
.sha1；
manifest.json
下载地址：
4)JDBC连接jar包：
jar包版本：5.1.43，
mysql-connector-java-5.1.43.jar
下载地址：
修改机器名（所有节点）
这种方式，在Centos7中可以永久性改变主机名称。

内容都改为：
设置防火墙（所有节点）
注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。

防火墙常用命令：
便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

配置免密码登录SSH
将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）
一路回车，生成无密码的密钥对。

把公钥拷贝至node169服务器上?：
登录到node169服务器上：
然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建）：
在node168节点出现下面表示成功登录node169节点：
以同样的方式将公钥拷贝至其他节点服务器上。

关闭SELINUX（所有节点）
关闭linuxSELINUX安全内核
（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）
修改Linux内核参数（所有节点）
为避免安装过程中出现的异常问题，首先调整Linux内核参数。

1)设置swappiness，控制换出运行时内存的相对权重，Cloudera建议将swappiness设置为
10：
自CentOS6版本开始引入了TransparentHugePages(THP)，从CentOS7版本开始，该特性默认就会启用。

尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。

表示已禁用：
临时关闭（重启机器会变回默认开启状态）：
重启系统，以后再检查THP状态，显示状态被禁用了。

3)修改文件句柄数：
修改后需要重启机器。

其他安装与配置（所有节点）
为避免安装过程中出现异常问题，安装相关依赖包：
配置NTP服务
集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。

具体建设过程如下：
NTP服务端（主节点）：
1)查找时间同步服务器：
打开网址，内容如下：
以面表明，chronyd显示为开机启动状态。

将chronyd设为禁用状态：
此时，NTP的服务开机自启动完成！
NTP客户端（所有从节点）：
是NTP服务端IP，
安装oracleJDK1.8（所有节点）
下载rpm安装包jdk-8u151-linux-x64.rpm
查询java相关的包，使用
配置JAVA_HOME环境变量：
在profile文件最后，输入下面内容，保存并退出。

bashrc 件配置环境变量：
Mysql安装（主节点）
到官网选择对应安装包：
按common–>libs–>client–>server的顺序安装：
安装CM
传包，解包
在主节点上下载相关软件包，这里将软件包下载到/data/cdh/目录下。

创建数据库
在主节点上：
主节点/etc/hosts内容：
脚本/scm_prepare_database.sh执行成功界面：
创建用户
制作本地YUM源
在主节点上：
拷贝jar包
在主节点上：
修改cloudera-scm-agent配置
在主节点上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件：
在主节点上：
启动CMServer和Agent
在主节点上，启动cloudera-scm-server：
启动过程较慢，可通过/opt/cm-5.13.1/log/cloudera-scm-server日志，查看启动过程。

访问CM
地址：主节点IP:7180
用户名、密码：admin
安装CDH
登录后界面
接受协议：
选择CM版本
本文档选择ClouderaExpress免费版。

指定主机
在搜索主机名和IP地址框输入node[169-172]，这里输入的内容支持正则表达式。

输入后点【搜索】按钮，出现机器列表：
选择“当前管理的主机“选择项卡，点【继续】。

选择CDH版本
这里需要选择制作本地源时的版本，如果选择别的版本的就会去官网下载，那样安装速度会很慢。

点【继续】按钮，进入安装界面。

出现“主机运行状态不良”错误
重新启动故障节点Agent服务：
注：出现故障原因是，因为我之前在故障节点启动过cloudera-scm-agent服务。

检查主机正确性
确保全部验证通过。

选择安装的服务
本文选择的是安装所有服务。

角色分配
这里应该根据实际需求和服务器的硬件参数自己选择
数据库设置
指定的数据库名称，要与2.2节创建的数据库（hive,monitor,oozie,hue）保持一致，并输入对应的数据库用户名和密码，为了简便这里用的是root账号名和密码。

全部输入完，之后【测试连接】：
测试连接报错：
测试连接，Hue测试报错：Unabletoverifydatabaseconnection：
原因是缺少Mysql mysql-community-libs-compat安装包，安装后，问题解决：
测试成功后，点【继续】安装。

群集设置
可以根据自己的实际情况更改设置，本文采用默认配置。

这些配置也可以在集群安装完成后再更改。

开始安装
安装过程没有任何错误，显示安装完成。

安装完成
第一次安装完成后，会出现一些配置的警告信息。

这些可以根据提示信息更改。

警告信息：
发现节点有异常信息，显示所有主机，发现node71节点运行状态不良。

按照主机->所有主机->进入节点查看：
选择“配置“页签，拉到页面底部，修改”主机时钟偏差阈值“，设为”从不“，点【保存更改】，异常消失。

常见错误
初始化数据库错误：
在这个环节，出现的问题较多，但总的来说，是与数据库参数配置，和帐号权限配置有关。

:Yourpassworddoesnotsatisfythecurrentpolicyrequirements
可以通过f配置文件关闭validate_password插件。

通过修改/etc/f目录下配置文件，修改设置密码策略的级别，只需要在[mysqld]下添加一行validate_password=off
如图所示：
编辑完配置文件后，重启mysqld服务即可生效。

未能连接到HostMonitor
后台tail-fcloudera-scm-server/cloudera-scm-server.log日志报错信息：
com.cloudera.cmon.MgmtServiceLocatorException:CouldnotfindaHOST_MONITORINGnozzlefromSCM.
此问题原因：有些网上说是由文件句柄数限制引起，所以按照网上说明进行了修改：
在主节点上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件：
//查看文件句柄数，显示1024，显然太小
#ulimit-n
1024
//修改限制
#vi/etc/security/limits.conf
//在文件后加入下面内容：
*softnofile100000
*hardnofile100000
注：按照上面过程操作，但问题依然存在，后来通过用3.4节中“主机运行状态不良”故障问题解决办法，问题得到解决。