hadoop集群搭建流程
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
包所在目
有的话删除连接的java文件夹,没有直接创建一个连接文件夹java #java -version
#ssh-keygen -t rsa
authorized_keys,将~/.ssh/id_rsa.pub里的内容复制到authorized_keys 桌面上的authorized_keys文件
将~/.ssh/id_rsa.pub里的内容复制到authorized_keys文件里
3.其他机器重复上述步骤
4.将authorized_keys文件分别放到~/.ssh/下
到此ssh免密码登录完成
2.
#ln -s hadoop-2.5.2 hadoop
1.
2.
namenode节点,hdfs-site.xml配置需如下3.
默认情况下是没有mapred-site.xml文件的,但是有mapred-site.xml.template文件,需要将mapred-site.xml.template复制一份并改名为mapred-site.xml
#cp mapred-site.xml.template mapred-site.xml
添加以下内容
4.
5.在其他机器上重复上述步骤,注意core-site.xml和yarn-site.xml都不变
服务器上格式化datanode
9.启动好后先运行start-dfs.sh,并测试
10.启动start-yarn.sh
第七步:配置zookeeper
2.使用scp命令将改好的文件分发给其他的服务器
文件:
4.
5.
A_HOME和HBASE_MANAGES_ZK
2.
这两
个文
件分
发到集群的其他服务器上
3.修改datanode机器中/opt/software/hbase/conf/下的regionservers
#cd /opt/software/hbase/conf/
#vim regionservers
System.out.println( "row Name:" + new String( CellUtil.cloneQualifier( cell ) ) + " " );
System.out.println( "value:" + new String( CellUtil.cloneValue( cell ) ) + " " ); }
}
} finally {
t.close();
}
System.out.println( "Done!" );
注意,java测试程序所在机器的hosts文件,注意必须有全FDQN(fully qualified domain name, 参见上面linux中的hosts文件),否则有java访问时会提示找不到
第九步:修该/etc/security/limits.conf
#vim /etc/security/limits.conf
添加:。