Cloudera大数据平台环境搭建CDH傻瓜式说明书

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

Cloudera大数据平台环境搭建

(版)

目录

1.基础环境

1.1.软件环境

本文将介绍离线安装CDH和Cloudera Manager过程,软件版本如下:

1.2.配置规划

本次安装共5台服务器,服务器配置及用途如下:

1.3.所需要的软件资源

1)JDK环境:

JDK版本:

2)下载地址:包:

CM版本:

3)下载地址:包

CDH版本:,

下载地址:

4)连接jar包:

jar包版本:,

下载地址:

1.4.修改机器名(所有节点)

1)修改机器名称

sh/ root@node169:~

sh下,如果没有可以新建):

# cat >> ~/.ssh/authorized_keys

如果提示下面信息,则需要创建./ssh目录:

-bash: /root/.ssh/authorized_keys: No such file or directory

sh目录,再追加公钥内容

# mkdir ~/.ssh

# cat >> ~/.ssh/authorized_keys

并设置authorized_keys的访问权限:

# chmod 600 ~/.ssh/authorized_keys

测试:在node168点上执行ssh node169,正常情况下,不需要密码就能直接登陆进去了。

在node168节点出现下面表示成功登录node169节点:

以同样的方式将公钥拷贝至其他节点服务器上。

1.5.关闭SELINUX(所有节点)

关闭linux SELINUX安全内核

修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)

内容增加:

重启后生效:

查看SELINUX 是否关闭:

(在Centos7中遇到SELINUX无法关闭的问题,重新启动机器恢复正常)1.6.修改Linux内核参数(所有节点)

为避免安装过程中出现的异常问题,首先调整Linux内核参数。

1)设置swappiness,控制换出运行时内存的相对权重,Cloudera 建议将

swappiness 设置为 10:

1) 2) 3)

6)

此问题原因:有些网上说是由文件句柄数限制引起,所以按照网上说明进行了修改:

在主节点上,修改/opt/文件:

此步骤需要重启机器生效,可以设置完后再重启。

注:按照上面过程操作,但问题依然存在,后来通过用节中“主机运行状态不良”故障问题解决办法,问题得到解决。

相关文档
最新文档