Cloudera大数据平台环境搭建CDH傻瓜式说明书
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Cloudera大数据平台环境搭建
(版)
目录
1.基础环境
1.1.软件环境
本文将介绍离线安装CDH和Cloudera Manager过程,软件版本如下:
1.2.配置规划
本次安装共5台服务器,服务器配置及用途如下:
1.3.所需要的软件资源
1)JDK环境:
JDK版本:
2)下载地址:包:
CM版本:
3)下载地址:包
CDH版本:,
;
;
下载地址:
4)连接jar包:
jar包版本:,
下载地址:
1.4.修改机器名(所有节点)
1)修改机器名称
sh/ root@node169:~
sh下,如果没有可以新建):
# cat >> ~/.ssh/authorized_keys
如果提示下面信息,则需要创建./ssh目录:
-bash: /root/.ssh/authorized_keys: No such file or directory
sh目录,再追加公钥内容
# mkdir ~/.ssh
# cat >> ~/.ssh/authorized_keys
并设置authorized_keys的访问权限:
# chmod 600 ~/.ssh/authorized_keys
测试:在node168点上执行ssh node169,正常情况下,不需要密码就能直接登陆进去了。
在node168节点出现下面表示成功登录node169节点:
以同样的方式将公钥拷贝至其他节点服务器上。
1.5.关闭SELINUX(所有节点)
关闭linux SELINUX安全内核
修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)
内容增加:
重启后生效:
查看SELINUX 是否关闭:
(在Centos7中遇到SELINUX无法关闭的问题,重新启动机器恢复正常)1.6.修改Linux内核参数(所有节点)
为避免安装过程中出现的异常问题,首先调整Linux内核参数。
1)设置swappiness,控制换出运行时内存的相对权重,Cloudera 建议将
swappiness 设置为 10:
1) 2) 3)
6)
此问题原因:有些网上说是由文件句柄数限制引起,所以按照网上说明进行了修改:
在主节点上,修改/opt/文件:
此步骤需要重启机器生效,可以设置完后再重启。
注:按照上面过程操作,但问题依然存在,后来通过用节中“主机运行状态不良”故障问题解决办法,问题得到解决。