win7+eclipse+hadoop开发环境搭建

Win7+eclipse+Ubuntu14虚拟机环境下搭建hadoop1.2.1单机模式的开发环境
1.虚拟机下安装ubuntu14操作系统。

**注:（我安装ubuntu的时候的用户名是zjp一下涉及到的所有的zjp都需要换成自己的用名）
2.Ctrl+Alt+t 快捷键可以打开终端。

3.激活root用户sudo passwd root
4.联网的情况下，可以用apt-get install samba命令下载以及安装samba服务器。

这个主要是为了window向ubuntu中上传jdk以及hadoop的安装文件。

(如果apt-get命令无法使用，先用apt-get update安装这个命令。

如果主机联网了，但是ubuntn没有连上网，那么将虚拟机的网络适配器改为NA T模式，并且启动任务管理器。

打开服务，查看VMware NAT service 和WMware DPCH service是否启动，如果没有启动那么就启动这两个服务。

如果还不能联网那就在虚拟机的菜单栏中选择编辑->虚拟网络编辑器，恢复默认设置。

重启一下电脑，如果还是不行，那就没办法了，自求多福！)
5.联网的情况下安装ssh协议apt-get install ssh
6.在/home/zjp 目录下创建两个文件夹1.share用于存放共享文件 2.mysoftware用于存放需要安装的软件
7.配置samba共享su root 切换至root用户gedit /etc/samba/smb.conf 编辑samba 的配置文件在文件的最后添加
[share]
comment=sharedir
path=/home/zjp/share
read only=no
browseable=yes
guest ok=no
7.关闭防火墙ufw disable
8重启samba服务器service samba restart
9创建samba用户smbpasswd -a samba用户名eg:smbpasswd -a zkpk
10ifconfig查看ubuntu的ip地址。

例如ip是192.168.30.128
11打开我的电脑，在地址栏中输入\\192.168.30.128不出意外的话会让你登录，就用创建的samba登录就可以了。

然后把下载好的linux版本的jdk和hadoop的安装文件拷贝进去。

12.再把传到share目录下面的两个文件拷贝到mysoftware中去。

这些准备工作都做好了，就可以安装jdk以及hadoop了
一．先安装jdk
1.在mysoftware目录下用tar -zxvf jdk-7u55-linux-x64.gz命令解压以及安装jdk。

2.配置环境变量
gedit /etc/profile 然后在文件的最末尾添加如下内容:
JA V A_HOME=/home/xkl/mysof/jdk1.7.0_60
export PA TH=$PATH:$JA V A_HOME/bin
OK注销一下Ubuntu然后在终端中输入java -version如果可以看见jdk的版本，说明jdk 安装成功。

二.安装hadoop
1.利用图形界面进入mysoftware->hadoop-1.
2.1->conf目录，然后修改一些配置文件
修改hadoop-env.sh
右键hadoop-env.sh open with gedit 编辑hadoop-env.sh
将export JA V A_HOME=****** 这一行的注释去掉，然后写上自己的jdk的安装目录（/home/zjp/mysoftware/jdk1.7.0_55）
保存一下
修改core-site.xml文件
在configuration标签中加入两个属性：ip地址换成你自己的ip地址即可
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zjp/hadoop/hadooptmp</value>
</property>
<property>
<name></name>
<value>hdfs://192.168.30.128:9000</value>
</property>
修改hdfs-site.xml
同样的方法：在configuration标签中加入一个个属性:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
修改mapred-site.xml
同样的方法：在configuration标签中加入一个个属性:
<property>
<name>mapred.job.tracker</name>
<value>192.168.30.128:9001</value>
</property>
这几项配置代表什么意思可以自己查一下。

2.将hadoop的bin加入环境变量。

这个的意思就跟装jdk的时候添加环境变量是一个意思，就是让系统能够认识hadoop命令.
gedit /etc/profile 然后在文件的最末尾添加如下内容:
export HADOOP_INSTALL=/home/zjp/mysoftware/hadoop-1.2.1
export PATH=$PATH:$HADOOP_INSTALL/bin
重启一下ubuntu打开终端输入hadoop version如果能看见hadoop的版本，说明hadoop的基
本的配置就成功了。

3.切换到mysoftware 目录下，查看一下hadoop-1.2.1的所有者和所属的组是不是你的hadoop 用户，如果不是的话就用chown -R zjp:zjp hadoop-1.2.1修改一下。

否则在以非root用户启动hadoop的时候，会提示没有权限的错误。

4.格式化hdfs
**不要用root用户格式化。

要切换成hadoop用户。

执行命令hadoop namenode -format。

执行完此操作以后在/home/zjp目录下会有一个hadoop 的文件夹。

5.实现linux的ssh无密码验证配置。

这主要是为了启动hadoop的时候不用输入密码.
1.输入ssh-keygen -t rsa 然后一路点enter键，(什么也不用输入)然后进入/home/zkpk/.ssh
将id_rsa.pub 拷贝到authorized_keys文件命令: cp id_rsa.pub authorized_keys
重启一下ssh服务命令:service ssh restart
然后输入ssh localhost或者你的ip地址或者主机名.如果可以登录成功，那就配置成功了
6.测试hadoop启动
进入hadoop的安装目录的bin目录 ./start-all.sh启动hadoop启动过程中如果没有任何异常信息，并且启动完成后用ps -e命令查看一下进程，如果可以看见5个java进程，则说明hadoop成功启动，然后可以运行pi 和wordcount这两个测试程序，如果可以得出正确结果则说明hadoop安装成功.
三．在eclipse中集成hadoop的开发环境
1.再利用samba共享将配置成功的hadoop安装目录传到window系统中
2.将hadoop-eclipse-plugin-1.2.1.jar加入至eclipse中的plugins文件夹中，然后启动eclipse
在菜单栏中选择window->preferences
选择Hadoop Map/Reduce在右侧有一个窗口，在这里面选择你的hadoop在windows中的安装目录。

然后点击window->show view->other
然后在eclipse的控制台的位置出现一个小窗口选项
在下面的空白处右键，选择new hadooplocation
Location name可以随便添，就是一个标识而已，host就添你的ubuntu的ip地址
然后两个端口就按照图添就可以。

填完以后重启一下eclipse然后
在小象这里右键一下，选择edit hadoop location
如果是按照我推荐的方式安装，那就把.dir和其他的一些选项中的zjp换成自己的ubuntu的登录名就可以了
这两项也是一样
这个换成1因为是单机模式所以备份就一个就可以
其实就几个需要改，别的都是自动生成好的。

这些都弄完以后。

在eclipse中就会出现hadoop的文件系统，要稍等一会才能加载完成.
这样就算搭建完成了。