hadoop环境配置入门教程
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ubuntu 下安装配置hadoop 1.0.4
第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，
我的环境
操作系统：wmv虚拟机中的ubuntu12.04
hadoop版本：hadoop-1.0.4(听说是稳定版就下了)
eclipse版本：eclipse-jee-indigo-SR2-win32
1.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是
2.安装ssh这个也不用说了
2.把hadoop-1.0.4.tar.gz拖到虚拟机中，解压,比如: /home/wys/Documents/hadoop-1.0.4/ (有的还单独建了个用户,为了舍去不必要的麻烦我都是用root用户来操作的)
3.修改hadoop-1.0.4/conf 下面的core-site.xml文件，如下：
192.168.116.128这个是虚拟机中ubuntu的ip,听说用localhost，127.0.0.1都不行，我没试过，直接写上ip地址了
tmp是预先创建的一个目录
4.修改hadoop-env.sh
把export JAVA_HOME=xxxxxx 这行的#号去掉，写上jdk的目录路径
5.修改hdfs-site.xml如下：
说明：为了以后用eclipse开发出现各种问题，就把权限关了！
6.修改mapred-site.xml
这里我也用了本机ip
7.启动hadoop
为了方便启动，我就把hadoop配置到了环境变量(配置完记得重启)：
export HADOOP_HOME=/home/wys/Documents/hadoop-1.0.4
export JAVA_HOME=/home/wys/Documents/jdk1.6.0_24
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$HADOOP_HOME/bin
把这个复制到/etc/profile 文件中HADOOP_HOME JAVA_HOME根据实际情况而定！
重启之后格式化分布式文件系统：
hadoopnamenode -format
接着启动hadoop：
start-all.sh
成功后会看到一下信息：
startingnamenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/h
adoop-root-namenode-ubuntu.out
localhost: starting datanode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-datanode-ubu ntu.out
localhost: starting secondarynamenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-secondarynam enode-ubuntu.out
startingjobtracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-jobtracker-ubu ntu.out
localhost: starting tasktracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-tasktracker-ub untu.out
现在就可以在浏览器中输入地址：
http://192.168.116.128:50030
http://192.168.116.128:50070
均可以查看到一些信息
假如这个http://192.168.116.128:50070地址无法访问是因为hadoop.tmp.dir 这个没指定文件夹
至此hadoop已安装配置完成！
Eclipse 连接hadoop开发程序入门
前面一遍博文介绍了如何安装配置hadoop
地址：/wqs1010/article/details/8486040
这里就来介绍一下用eclipse如何连接hadoop开发
由于我用的是虚拟机中的系统来做测试，多少有点不正确，还请谅解！
1.首先要下载eclipse hadoop插件我用的是hadoop 1.0.4的版本,这里有个已经做好了的版本
下载地址：hadoop-eclipse-plugin-1.0.4.jar
下载下来直接把jar文件放到eclipse/plugins/文件夹中,然后重启eclipse
2.之后会到看到如下图：然后设置下右边的hadoop根目录