hadoop入门教程

ubuntu 下安装配置hadoop 1.0.4
第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，
我的环境
操作系统：wmv虚拟机中的ubuntu12.04
hadoop版本：hadoop-1.0.4(听说是稳定版就下了)
eclipse版本：eclipse-jee-indigo-SR2-win32
1.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是
2.安装ssh这个也不用说了
2.把hadoop-1.0.4.tar.gz拖到虚拟机中，解压,比如: /home/wys/Documents/hadoop-1.0.4/ (有的还单独建了个用户,为了舍去不必要的麻烦我都是用root用户来操作的)
3.修改hadoop-1.0.4/conf 下面的core-site.xml文件，如下：
<configuration>
<property>
<name></name>
<value>hdfs://192.168.116.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/wys/Documents/tmp</value>
</property>
</configuration>
192.168.116.128这个是虚拟机中ubuntu的ip,听说用localhost，127.0.0.1都不行，我没试过，直接写上ip地址了
tmp是预先创建的一个目录
4.修改hadoop-env.sh
把export JAVA_HOME=xxxxxx 这行的#号去掉，写上jdk的目录路径
5.修改hdfs-site.xml如下：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
说明：为了以后用eclipse开发出现各种问题，就把权限关了！
6.修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.116.128:9001</value>
</property>
</configuration>
这里我也用了本机ip
7.启动hadoop
为了方便启动，我就把hadoop配置到了环境变量(配置完记得重启)：
export HADOOP_HOME=/home/wys/Documents/hadoop-1.0.4
export JAVA_HOME=/home/wys/Documents/jdk1.6.0_24
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$HADOOP_HOME/bin
把这个复制到/etc/profile 文件中HADOOP_HOME JAVA_HOME根据实际情况而定！
重启之后格式化分布式文件系统：
hadoop namenode -format
接着启动hadoop：
start-all.sh
成功后会看到一下信息：
starting namenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/h
adoop-root-namenode-ubuntu.out
localhost: starting datanode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-datanode-ubu ntu.out
localhost: starting secondarynamenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-secondarynam enode-ubuntu.out
starting jobtracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-jobtracker-ubu ntu.out
localhost: starting tasktracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-tasktracker-ub untu.out
现在就可以在浏览器中输入地址：
http://192.168.116.128:50030
http://192.168.116.128:50070
均可以查看到一些信息
假如这个http://192.168.116.128:50070地址无法访问是因为hadoop.tmp.dir 这个没指定文件夹
至此hadoop已安装配置完成！
Eclipse 连接hadoop开发程序入门
前面一遍博文介绍了如何安装配置hadoop
地址：/wqs1010/article/details/8486040
这里就来介绍一下用eclipse如何连接hadoop开发
由于我用的是虚拟机中的系统来做测试，多少有点不正确，还请谅解！
1.首先要下载eclipse hadoop插件我用的是hadoop 1.0.4的版本,这里有个已经做好了的版本
下载地址：hadoop-eclipse-plugin-1.0.4.jar
下载下来直接把jar文件放到eclipse/plugins/文件夹中,然后重启eclipse
2.之后会到看到如下图：然后设置下右边的hadoop根目录
没有的话说明插件没安装成功！
3.切换到Map/Reduce视图：
下面有个黄色的大象：
4.右击新建一个hadoop地址
把红框的都填下：
Location name : 这个随便写个
Map/Reduce host port: 这2个是要根据conf/mapred-site.xml这个来定的
DFS Master port：这个是对应你conf/core-site.xml这个文件中这个属性的值
右边的Advanced parameters就不用改了！
完成后再看工程视图：
一步一步展开DFS Locations
当出现ConnectException异常时，只要检查下你写的地址跟端口是否跟hadoop配置文件中一样即可！
5.连接成功之后类似这个样子：
6.新建一个MapReduce Project
把\hadoop-1.0.4\src\examples\org\apache\hadoop\examples\WordCount.java复制到你的工程
7.在eclipse里，创建远程目录命名为wordCount，建完之后刷新就可以看到了
8.然后从本地上传一个word.txt文件
word.txt内容：
java c++ python c
java c++ javascript
helloworld hadoop
mapreduce java hadoop hbase
当出现node.SafeModeException: 异常，这时就要把hadoop安全模式关闭, 命令：hadoop dfsadmin –safemode leave
9.上传之后run as WordCount.java 记得带上参数,用空格隔开
这个时候会出现Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-wys\mapred\staging\wys1479426331\.staging
to 0700 异常，是因为没有权限，网上说替换hadoop-core-xx.jar包中的org.apache.hadoop.fs.FileUtil.class文件，除此之外我还没找到其他的方法了！文件地址：FileUtil
10.替换之后刷新工程，再次执行WordCount.java文件
当控制台打印下面这些说明已经执行成功！
再看DFS Locations
下面会多出来一个文件夹和2个文件，
打开part-r-00000文件这个就是你想要的：
恭喜你，此时大功告成！。