Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

Cloudera大数据平台环境搭建（CDH5.13.1版）

目录

基础环境

软件环境

本文将介绍Centos7.4离线安装CDH和ClouderaManager过程，软件版本如下：

配置规划

本次安装共5台服务器，服务器配置及用途如下：

所需要的软件资源

1)JDK环境：

JDK版本：51

jdk-8u151-linux-x64.rpm

下载地址：

2)CM包：

CM版本：5.13.1

下载地址：

3)CDH包

CDH版本：5.13.1，

；

.sha1；

manifest.json

下载地址：

4)JDBC连接jar包：

jar包版本：5.1.43，

mysql-connector-java-5.1.43.jar

下载地址：

修改机器名（所有节点）

这种方式，在Centos7中可以永久性改变主机名称。

内容都改为：

设置防火墙（所有节点）

注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。

防火墙常用命令：

便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

配置免密码登录SSH

将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）

一路回车，生成无密码的密钥对。

把公钥拷贝至node169服务器上?：

登录到node169服务器上：

然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建）：

在node168节点出现下面表示成功登录node169节点：

以同样的方式将公钥拷贝至其他节点服务器上。

关闭SELINUX（所有节点）

关闭linuxSELINUX安全内核

（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）

修改Linux内核参数（所有节点）

为避免安装过程中出现的异常问题，首先调整Linux内核参数。

1)设置swappiness，控制换出运行时内存的相对权重，Cloudera建议将swappiness设置为

10：

自CentOS6版本开始引入了TransparentHugePages(THP)，从CentOS7版本开始，该特性默认就会启用。尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。

表示已禁用：

临时关闭（重启机器会变回默认开启状态）：

重启系统，以后再检查THP状态，显示状态被禁用了。

3)修改文件句柄数：

修改后需要重启机器。

其他安装与配置（所有节点）

为避免安装过程中出现异常问题，安装相关依赖包：

配置NTP服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。具体建设过程如下：

NTP服务端（主节点）：

1)查找时间同步服务器：

打开网址，内容如下：

以面表明，chronyd显示为开机启动状态。

将chronyd设为禁用状态：

此时，NTP的服务开机自启动完成！

NTP客户端（所有从节点）：

是NTP服务端IP，

安装oracleJDK1.8（所有节点）

下载rpm安装包jdk-8u151-linux-x64.rpm

查询java相关的包，使用

配置JAVA_HOME环境变量：

在profile文件最后，输入下面内容，保存并退出。

bashrc 件配置环境变量：

Mysql安装（主节点）

到官网选择对应安装包：

按common–>libs–>client–>server的顺序安装：

安装CM

传包，解包

在主节点上下载相关软件包，这里将软件包下载到/data/cdh/目录下。

创建数据库

在主节点上：

主节点/etc/hosts内容：

脚本/scm_prepare_database.sh执行成功界面：

创建用户

制作本地YUM源

在主节点上：

拷贝jar包

在主节点上：

修改cloudera-scm-agent配置

在主节点上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件：

在主节点上：

启动CMServer和Agent

在主节点上，启动cloudera-scm-server：

启动过程较慢，可通过/opt/cm-5.13.1/log/cloudera-scm-server日志，查看启动过程。

访问CM

地址：主节点IP:7180

用户名、密码：admin

安装CDH

登录后界面

接受协议：

选择CM版本

本文档选择ClouderaExpress免费版。

指定主机

在搜索主机名和IP地址框输入node[169-172]，这里输入的内容支持正则表达式。输入后点【搜索】按钮，出现机器列表：

选择“当前管理的主机“选择项卡，点【继续】。

选择CDH版本

这里需要选择制作本地源时的版本，如果选择别的版本的就会去官网下载，那样安装速度会很慢。

点【继续】按钮，进入安装界面。

出现“主机运行状态不良”错误

重新启动故障节点Agent服务：