大数据平台环境搭建傻瓜式说明书

Cloudera大数据平台环境搭建（CDH5.13.1版）

目录

Cloudera大数据平台环境搭建 (1)

（CDH5.13.1版） (1)

1.基础环境 (4)

1.1.软件环境 (4)

1.2.配置规划 (4)

1.3.所需要的软件资源 (4)

1.4.修改机器名（所有节点） (5)

1.5.设置防火墙（所有节点） (5)

1.6.配置免密码登录SSH (6)

1.7.关闭SELINUX（所有节点） (6)

1.8.修改Linux内核参数（所有节点） (7)

1.9.其他安装与配置（所有节点） (8)

1.10.配置NTP服务 (8)

1.11.安装oracle JDK1.8 （所有节点） (10)

1.12.Mysql安装（主节点） (11)

2.安装CM (12)

2.1.传包，解包 (12)

2.2.创建数据库 (12)

2.3.创建用户 (13)

2.4.制作本地YUM源 (13)

2.5.拷贝jar包 (14)

2.6.修改cloudera-scm-agent配置 (14)

2.7.启动CM Server和Agent (14)

2.8.访问CM (15)

3.安装CDH (15)

3.1.登录后界面 (15)

3.2.选择CM版本 (16)

3.3.指定主机 (17)

3.4.选择CDH版本 (18)

3.4.1.出现“主机运行状态不良”错误 (19)

3.5.检查主机正确性 (19)

3.6.选择安装的服务 (20)

3.7.角色分配 (20)

3.8.数据库设置 (21)

3.8.1.测试连接报错： (22)

3.9.群集设置 (23)

3.10.开始安装 (24)

3.11.安装完成 (25)

3.11.1.警告信息： (25)

4.常见错误 (27)

4.1.初始化数据库错误： (27)

4.2.未能连接到 Host Monitor (28)

1.基础环境

1.1.软件环境

1.2.配置规划

1.3.所需要的软件资源

1)JDK环境：

JDK版本：1.8.0_151

jdk-8u151-linux-x64.rpm

下载地址：

2)CM包：

CM版本：5.13.1

cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

下载地址：

3)CDH包

CDH版本：5.13.1，

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；

manifest.json

下载地址：

4)JDBC连接jar包：

jar包版本：5.1.43，

mysql-connector-java-5.1.43.jar

下载地址：

1.4.修改机器名（所有节点）

这种方式，在Centos7中可以永久性改变主机名称。

1.5.设置防火墙（所有节点）

注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。

防火墙常用命令：

注意：需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为了安装起来方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

1.6.配置免密码登录SSH

将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）

在主节点上执行：

#cd~ //进入到根目录

# ssh-keygen -t rsa

一路回车，生成无密码的密钥对。

把公钥拷贝至node169服务器上：

# scp /root/.ssh/id_rsa.pub root@node169:~ //输入node169机器上root用户

密码拷备成功

登录到node169服务器上：

然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建）：

# cat id_rsa.pub >> ~/.ssh/authorized_keys

如果提示下面信息，则需要创建./ssh目录：

-bash: /root/.ssh/authorized_keys: No such directory

//创建/.ssh目录,再追加公钥内容

# mkdir ~/.ssh

# cat id_rsa.pub >> ~/.ssh/authorized_keys

并设置authorized_keys的访问权限：

# chmod 600 ~/.ssh/authorized_keys

测试：在node168点上执行ssh node169，正常情况下，不需要密码就能直接登陆进去了。

在node168节点出现下面表示成功登录node169节点：

以同样的方式将公钥拷贝至其他节点服务器上。

1.7.关闭SELINUX（所有节点）

关闭linux SELINUX安全内核